📡 Wysyłanie logów jak zawodowiec: Fluent Bit spotyka Ansible w moim homelabie

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Mój mały homelab rozrósł się już w niewielką, ale potężną flotę maszyn wirtualnych — prawie tuzin z nich ładnie sobie mruczy. Ale więcej usług to więcej logów… i więcej chaosu. 🌀
Żeby zaprowadzić porządek w tym chaosie, używam open-source’owego log shippera Fluent Bit, który zbiera logi ze wszystkich moich VM-ek i przekazuje je do centralnej instancji OpenSearch do analizy i wizualizacji.
Cel? Zbierać wszystko — od ostrzeżeń o miejscu na dysku, nieudanych prób logowania i szumu systemd po soczyste komunikaty jądra. Wszystkie logi ze wszystkich moich maszyn mają trafić porządnie zindeksowane i przeszukiwalne do jednego dashboardu OpenSearch.
(Konfigurację OpenSearch pokażę ci wkrótce w osobnym wpisie.)
Zamiast ręcznie logować się na każdą VM-kę i konfigurować Fluent Bit ręcznie (nie, dziękuję 🙃), zbudowałem mały, schludny playbook Ansible, który automatyzuje całą konfigurację.
Oto co robi playbook:
- Instaluje Fluent Bit
- Wgrywa własny plik konfiguracyjny z lokalnego katalogu
files/ - Pilnuje, żeby usługa była uruchomiona i włączona
Gdy playbook jest gotowy, mogę wdrożyć Fluent Bit na wszystkie VM-ki naraz, równolegle — bez ręcznej pracy. Jedno polecenie, a Ansible zajmuje się resztą.
Jedną z najlepszych cech Ansible jest idempotentność: sprytnie sprawdza stan każdego systemu docelowego i wykonuje tylko te taski, które są naprawdę potrzebne. Możesz uruchamiać playbook wiele razy, niczego nie psując — i to jest czysta magia DevOps. ✨
Żeby to działało, potrzebny jest jeszcze jeden plik: plik inwentarza hosts.ini, który zawiera adresy IP wszystkich moich VM-ek i określa, jak Ansible ma się na nie logować przez SSH.
--- # Ansible Playbook to install Fluent Bit
- name: Install packages and configure Fluent Bit on Debian 12
hosts: homelab
become: true
vars:
fluentbit_custom_config: true # Set to true to upload your own config file from "files/"
tasks:
- name: Ensure gpg is installed
ansible.builtin.apt:
name: gnupg
state: present
update_cache: yes
- name: Import Fluent Bit GPG key
ansible.builtin.apt_key:
url: https://packages.fluentbit.io/fluentbit.key
keyring: /usr/share/keyrings/fluentbit-archive-keyring.gpg
state: present
- name: Add Fluent Bit repository
ansible.builtin.apt_repository:
repo: deb [signed-by=/usr/share/keyrings/fluentbit-archive-keyring.gpg] https://packages.fluentbit.io/debian/bookworm bookworm main
filename: fluentbit
state: present
- name: Update apt cache
ansible.builtin.apt:
update_cache: yes
- name: Install Fluent Bit
ansible.builtin.apt:
name: fluent-bit
state: present
- name: Optional - Deploy custom fluent-bit.conf from files/
ansible.builtin.copy:
src: fluent-bit.conf
dest: /etc/fluent-bit/fluent-bit.conf
owner: root
group: root
mode: '0644'
notify: Restart fluent-bit
when: fluentbit_custom_config | default(false)
- name: Enable and start Fluent Bit service
ansible.builtin.systemd:
name: fluent-bit
enabled: yes
state: started
handlers:
- name: Restart fluent-bit
ansible.builtin.systemd:
name: fluent-bit
state: restarted
Oto przykładowy wynik po uruchomieniu playbooka. Jak widać, wszystko poszło gładko — poza pihole, gdzie na początku brakowało gpg, przez co pierwsza instalacja częściowo się nie powiodła. Po zainstalowaniu gpg playbook przeszedł bez problemu:
root@seedVM:~/ansible/fluent-bit# ansible-playbook install_and_configure.yml -i hosts.ini
PLAY [Install packages and configure Fluent Bit on Debian 12] ************************************************
TASK [Gathering Facts] ***************************************************************************************
ok: [pihole]
ok: [gitlab]
...
TASK [Install Fluent Bit] ************************************************************************************
ok: [gitlab]
ok: [grafana]
changed: [pihole]
...
TASK [Enable and start Fluent Bit service] *******************************************************************
ok: [nextcloud]
changed: [pihole]
...
RUNNING HANDLER [Restart fluent-bit] *************************************************************************
changed: [pihole]
PLAY RECAP ****************************************************************************************************
blog : ok=8 changed=0 unreachable=0 failed=0
pihole : ok=9 changed=7 unreachable=0 failed=0
seedVM : ok=8 changed=0 unreachable=0 failed=0
