📡 Logs verzenden als een pro: Fluent Bit ontmoet Ansible in mijn homelab

Illustratie: een man die op de grond zit met een laptop waarop Ansible te zien is

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

Inmiddels is mijn kleine homelab uitgegroeid tot een kleine maar krachtige vloot virtuele machines — bijna een dozijn ervan zoemen lekker door. Maar meer services betekent meer logs… en meer chaos. 🌀

Om orde in die chaos te brengen, gebruik ik de open-source log shipper Fluent Bit om logs van al mijn VM’s te verzamelen en door te sturen naar een centrale OpenSearch-instantie voor analyse en visualisatie.

Het doel? Alles verzamelen — van waarschuwingen over schijfruimte, mislukte inlogpogingen en systemd-ruis tot sappige kernelmeldingen. Alle logs van al mijn machines moeten netjes geïndexeerd en doorzoekbaar terechtkomen in één OpenSearch-dashboard.

(De OpenSearch-setup loop ik binnenkort in een aparte post met je door.)

In plaats van handmatig op elke VM in te loggen en Fluent Bit met de hand te configureren (nee, dank je 🙃), heb ik een klein, overzichtelijk Ansible-playbook gebouwd dat de hele setup automatiseert.

Dit doet het playbook:

  • Installeert Fluent Bit
  • Uploadt een eigen configuratiebestand uit de lokale map files/
  • Zorgt ervoor dat de service gestart en ingeschakeld is

Zodra het playbook klaar is, kan ik Fluent Bit naar alle VM’s tegelijk uitrollen, parallel — zonder handwerk. Eén commando, en Ansible doet de rest.

Een van de beste dingen aan Ansible is de idempotentie: het controleert slim de toestand van elk doelsysteem en voert alleen de taken uit die echt nodig zijn. Je kunt het playbook meerdere keren draaien zonder iets kapot te maken — en dat is pure DevOps-magie. ✨

Om dit te laten werken, is er nog één bestand bij betrokken: een inventorybestand hosts.ini, dat de IP-adressen van al mijn VM’s bevat en aangeeft hoe Ansible erop moet inloggen via SSH.

--- # Ansible Playbook to install Fluent Bit
- name: Install packages and configure Fluent Bit on Debian 12
  hosts: homelab
  become: true

  vars:
    fluentbit_custom_config: true  # Set to true to upload your own config file from "files/"

  tasks:

    - name: Ensure gpg is installed
      ansible.builtin.apt:
        name: gnupg
        state: present
        update_cache: yes

    - name: Import Fluent Bit GPG key
      ansible.builtin.apt_key:
        url: https://packages.fluentbit.io/fluentbit.key
        keyring: /usr/share/keyrings/fluentbit-archive-keyring.gpg
        state: present

    - name: Add Fluent Bit repository
      ansible.builtin.apt_repository:
        repo: deb [signed-by=/usr/share/keyrings/fluentbit-archive-keyring.gpg] https://packages.fluentbit.io/debian/bookworm bookworm main
        filename: fluentbit
        state: present

    - name: Update apt cache
      ansible.builtin.apt:
        update_cache: yes

    - name: Install Fluent Bit
      ansible.builtin.apt:
        name: fluent-bit
        state: present

    - name: Optional - Deploy custom fluent-bit.conf from files/
      ansible.builtin.copy:
        src: fluent-bit.conf
        dest: /etc/fluent-bit/fluent-bit.conf
        owner: root
        group: root
        mode: '0644'
      notify: Restart fluent-bit
      when: fluentbit_custom_config | default(false)

    - name: Enable and start Fluent Bit service
      ansible.builtin.systemd:
        name: fluent-bit
        enabled: yes
        state: started

  handlers:
    - name: Restart fluent-bit
      ansible.builtin.systemd:
        name: fluent-bit
        state: restarted

Hier is een voorbeeld van de uitvoer na het draaien van het playbook. Zoals je ziet, ging alles soepel — behalve bij pihole, waar gpg in eerste instantie ontbrak, waardoor de eerste installatie gedeeltelijk mislukte. Na het installeren van gpg liep het playbook prima door:

root@seedVM:~/ansible/fluent-bit# ansible-playbook install_and_configure.yml -i hosts.ini

PLAY [Install packages and configure Fluent Bit on Debian 12] ************************************************

TASK [Gathering Facts] ***************************************************************************************
ok: [pihole]
ok: [gitlab]
...

TASK [Install Fluent Bit] ************************************************************************************
ok: [gitlab]
ok: [grafana]
changed: [pihole]
...

TASK [Enable and start Fluent Bit service] *******************************************************************
ok: [nextcloud]
changed: [pihole]
...

RUNNING HANDLER [Restart fluent-bit] *************************************************************************
changed: [pihole]

PLAY RECAP ****************************************************************************************************
blog     : ok=8  changed=0  unreachable=0  failed=0
pihole   : ok=9  changed=7  unreachable=0  failed=0
seedVM   : ok=8  changed=0  unreachable=0  failed=0
Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details