📡 Wysyłanie logów jak zawodowiec: Fluent Bit spotyka Ansible w moim homelabie

Ilustracja: mężczyzna siedzący na podłodze z laptopem pokazującym Ansible

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Mój mały homelab rozrósł się już w niewielką, ale potężną flotę maszyn wirtualnych — prawie tuzin z nich ładnie sobie mruczy. Ale więcej usług to więcej logów… i więcej chaosu. 🌀

Żeby zaprowadzić porządek w tym chaosie, używam open-source’owego log shippera Fluent Bit, który zbiera logi ze wszystkich moich VM-ek i przekazuje je do centralnej instancji OpenSearch do analizy i wizualizacji.

Cel? Zbierać wszystko — od ostrzeżeń o miejscu na dysku, nieudanych prób logowania i szumu systemd po soczyste komunikaty jądra. Wszystkie logi ze wszystkich moich maszyn mają trafić porządnie zindeksowane i przeszukiwalne do jednego dashboardu OpenSearch.

(Konfigurację OpenSearch pokażę ci wkrótce w osobnym wpisie.)

Zamiast ręcznie logować się na każdą VM-kę i konfigurować Fluent Bit ręcznie (nie, dziękuję 🙃), zbudowałem mały, schludny playbook Ansible, który automatyzuje całą konfigurację.

Oto co robi playbook:

  • Instaluje Fluent Bit
  • Wgrywa własny plik konfiguracyjny z lokalnego katalogu files/
  • Pilnuje, żeby usługa była uruchomiona i włączona

Gdy playbook jest gotowy, mogę wdrożyć Fluent Bit na wszystkie VM-ki naraz, równolegle — bez ręcznej pracy. Jedno polecenie, a Ansible zajmuje się resztą.

Jedną z najlepszych cech Ansible jest idempotentność: sprytnie sprawdza stan każdego systemu docelowego i wykonuje tylko te taski, które są naprawdę potrzebne. Możesz uruchamiać playbook wiele razy, niczego nie psując — i to jest czysta magia DevOps. ✨

Żeby to działało, potrzebny jest jeszcze jeden plik: plik inwentarza hosts.ini, który zawiera adresy IP wszystkich moich VM-ek i określa, jak Ansible ma się na nie logować przez SSH.

--- # Ansible Playbook to install Fluent Bit
- name: Install packages and configure Fluent Bit on Debian 12
  hosts: homelab
  become: true

  vars:
    fluentbit_custom_config: true  # Set to true to upload your own config file from "files/"

  tasks:

    - name: Ensure gpg is installed
      ansible.builtin.apt:
        name: gnupg
        state: present
        update_cache: yes

    - name: Import Fluent Bit GPG key
      ansible.builtin.apt_key:
        url: https://packages.fluentbit.io/fluentbit.key
        keyring: /usr/share/keyrings/fluentbit-archive-keyring.gpg
        state: present

    - name: Add Fluent Bit repository
      ansible.builtin.apt_repository:
        repo: deb [signed-by=/usr/share/keyrings/fluentbit-archive-keyring.gpg] https://packages.fluentbit.io/debian/bookworm bookworm main
        filename: fluentbit
        state: present

    - name: Update apt cache
      ansible.builtin.apt:
        update_cache: yes

    - name: Install Fluent Bit
      ansible.builtin.apt:
        name: fluent-bit
        state: present

    - name: Optional - Deploy custom fluent-bit.conf from files/
      ansible.builtin.copy:
        src: fluent-bit.conf
        dest: /etc/fluent-bit/fluent-bit.conf
        owner: root
        group: root
        mode: '0644'
      notify: Restart fluent-bit
      when: fluentbit_custom_config | default(false)

    - name: Enable and start Fluent Bit service
      ansible.builtin.systemd:
        name: fluent-bit
        enabled: yes
        state: started

  handlers:
    - name: Restart fluent-bit
      ansible.builtin.systemd:
        name: fluent-bit
        state: restarted

Oto przykładowy wynik po uruchomieniu playbooka. Jak widać, wszystko poszło gładko — poza pihole, gdzie na początku brakowało gpg, przez co pierwsza instalacja częściowo się nie powiodła. Po zainstalowaniu gpg playbook przeszedł bez problemu:

root@seedVM:~/ansible/fluent-bit# ansible-playbook install_and_configure.yml -i hosts.ini

PLAY [Install packages and configure Fluent Bit on Debian 12] ************************************************

TASK [Gathering Facts] ***************************************************************************************
ok: [pihole]
ok: [gitlab]
...

TASK [Install Fluent Bit] ************************************************************************************
ok: [gitlab]
ok: [grafana]
changed: [pihole]
...

TASK [Enable and start Fluent Bit service] *******************************************************************
ok: [nextcloud]
changed: [pihole]
...

RUNNING HANDLER [Restart fluent-bit] *************************************************************************
changed: [pihole]

PLAY RECAP ****************************************************************************************************
blog     : ok=8  changed=0  unreachable=0  failed=0
pihole   : ok=9  changed=7  unreachable=0  failed=0
seedVM   : ok=8  changed=0  unreachable=0  failed=0
Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły