📡 Logs verzenden als een pro: Fluent Bit ontmoet Ansible in mijn homelab

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
Inmiddels is mijn kleine homelab uitgegroeid tot een kleine maar krachtige vloot virtuele machines — bijna een dozijn ervan zoemen lekker door. Maar meer services betekent meer logs… en meer chaos. 🌀
Om orde in die chaos te brengen, gebruik ik de open-source log shipper Fluent Bit om logs van al mijn VM’s te verzamelen en door te sturen naar een centrale OpenSearch-instantie voor analyse en visualisatie.
Het doel? Alles verzamelen — van waarschuwingen over schijfruimte, mislukte inlogpogingen en systemd-ruis tot sappige kernelmeldingen. Alle logs van al mijn machines moeten netjes geïndexeerd en doorzoekbaar terechtkomen in één OpenSearch-dashboard.
(De OpenSearch-setup loop ik binnenkort in een aparte post met je door.)
In plaats van handmatig op elke VM in te loggen en Fluent Bit met de hand te configureren (nee, dank je 🙃), heb ik een klein, overzichtelijk Ansible-playbook gebouwd dat de hele setup automatiseert.
Dit doet het playbook:
- Installeert Fluent Bit
- Uploadt een eigen configuratiebestand uit de lokale map
files/ - Zorgt ervoor dat de service gestart en ingeschakeld is
Zodra het playbook klaar is, kan ik Fluent Bit naar alle VM’s tegelijk uitrollen, parallel — zonder handwerk. Eén commando, en Ansible doet de rest.
Een van de beste dingen aan Ansible is de idempotentie: het controleert slim de toestand van elk doelsysteem en voert alleen de taken uit die echt nodig zijn. Je kunt het playbook meerdere keren draaien zonder iets kapot te maken — en dat is pure DevOps-magie. ✨
Om dit te laten werken, is er nog één bestand bij betrokken: een inventorybestand hosts.ini, dat de IP-adressen van al mijn VM’s bevat en aangeeft hoe Ansible erop moet inloggen via SSH.
--- # Ansible Playbook to install Fluent Bit
- name: Install packages and configure Fluent Bit on Debian 12
hosts: homelab
become: true
vars:
fluentbit_custom_config: true # Set to true to upload your own config file from "files/"
tasks:
- name: Ensure gpg is installed
ansible.builtin.apt:
name: gnupg
state: present
update_cache: yes
- name: Import Fluent Bit GPG key
ansible.builtin.apt_key:
url: https://packages.fluentbit.io/fluentbit.key
keyring: /usr/share/keyrings/fluentbit-archive-keyring.gpg
state: present
- name: Add Fluent Bit repository
ansible.builtin.apt_repository:
repo: deb [signed-by=/usr/share/keyrings/fluentbit-archive-keyring.gpg] https://packages.fluentbit.io/debian/bookworm bookworm main
filename: fluentbit
state: present
- name: Update apt cache
ansible.builtin.apt:
update_cache: yes
- name: Install Fluent Bit
ansible.builtin.apt:
name: fluent-bit
state: present
- name: Optional - Deploy custom fluent-bit.conf from files/
ansible.builtin.copy:
src: fluent-bit.conf
dest: /etc/fluent-bit/fluent-bit.conf
owner: root
group: root
mode: '0644'
notify: Restart fluent-bit
when: fluentbit_custom_config | default(false)
- name: Enable and start Fluent Bit service
ansible.builtin.systemd:
name: fluent-bit
enabled: yes
state: started
handlers:
- name: Restart fluent-bit
ansible.builtin.systemd:
name: fluent-bit
state: restarted
Hier is een voorbeeld van de uitvoer na het draaien van het playbook. Zoals je ziet, ging alles soepel — behalve bij pihole, waar gpg in eerste instantie ontbrak, waardoor de eerste installatie gedeeltelijk mislukte. Na het installeren van gpg liep het playbook prima door:
root@seedVM:~/ansible/fluent-bit# ansible-playbook install_and_configure.yml -i hosts.ini
PLAY [Install packages and configure Fluent Bit on Debian 12] ************************************************
TASK [Gathering Facts] ***************************************************************************************
ok: [pihole]
ok: [gitlab]
...
TASK [Install Fluent Bit] ************************************************************************************
ok: [gitlab]
ok: [grafana]
changed: [pihole]
...
TASK [Enable and start Fluent Bit service] *******************************************************************
ok: [nextcloud]
changed: [pihole]
...
RUNNING HANDLER [Restart fluent-bit] *************************************************************************
changed: [pihole]
PLAY RECAP ****************************************************************************************************
blog : ok=8 changed=0 unreachable=0 failed=0
pihole : ok=9 changed=7 unreachable=0 failed=0
seedVM : ok=8 changed=0 unreachable=0 failed=0
