📡 Enviando logs como um profissional: Fluent Bit encontra Ansible no meu homelab

Ilustração: um homem sentado no chão com um laptop mostrando Ansible

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski

A esta altura, meu pequeno homelab virou uma frota pequena, mas poderosa, de máquinas virtuais — quase uma dúzia delas zumbindo tranquilamente. Mas com mais serviços vêm mais logs… e mais caos. 🌀

Para pôr ordem nesse caos, estou usando o log shipper open source Fluent Bit para coletar logs de todas as minhas VMs e encaminhá-los para uma instância central do OpenSearch para análise e visualização.

O objetivo? Coletar tudo — de avisos de espaço em disco, tentativas de login falhas e ruído do systemd até mensagens suculentas do kernel. Todos os logs de todas as minhas máquinas devem acabar bem indexados e pesquisáveis num único dashboard do OpenSearch.

(Vou mostrar a configuração do OpenSearch num post separado em breve.)

Agora, em vez de entrar manualmente em cada VM e configurar o Fluent Bit à mão (não, obrigado 🙃), montei um Playbook Ansible pequeno e organizado que automatiza toda a configuração.

Veja o que o playbook faz:

  • Instala o Fluent Bit
  • Envia um arquivo de configuração próprio a partir do diretório local files/
  • Garante que o serviço esteja iniciado e habilitado

Com o playbook pronto, posso implantar o Fluent Bit em todas as VMs de uma vez, em paralelo — sem trabalho manual. Só um comando, e o Ansible cuida do resto.

Uma das melhores coisas do Ansible é a idempotência: ele verifica de forma inteligente o estado de cada sistema de destino e só executa as tasks realmente necessárias. Você pode rodar o playbook várias vezes sem quebrar nada — e isso é pura mágica DevOps. ✨

Para isso funcionar, há mais um arquivo envolvido: um arquivo de inventário hosts.ini, que lista os endereços IP de todas as minhas VMs e especifica como o Ansible deve entrar nelas via SSH.

--- # Ansible Playbook to install Fluent Bit
- name: Install packages and configure Fluent Bit on Debian 12
  hosts: homelab
  become: true

  vars:
    fluentbit_custom_config: true  # Set to true to upload your own config file from "files/"

  tasks:

    - name: Ensure gpg is installed
      ansible.builtin.apt:
        name: gnupg
        state: present
        update_cache: yes

    - name: Import Fluent Bit GPG key
      ansible.builtin.apt_key:
        url: https://packages.fluentbit.io/fluentbit.key
        keyring: /usr/share/keyrings/fluentbit-archive-keyring.gpg
        state: present

    - name: Add Fluent Bit repository
      ansible.builtin.apt_repository:
        repo: deb [signed-by=/usr/share/keyrings/fluentbit-archive-keyring.gpg] https://packages.fluentbit.io/debian/bookworm bookworm main
        filename: fluentbit
        state: present

    - name: Update apt cache
      ansible.builtin.apt:
        update_cache: yes

    - name: Install Fluent Bit
      ansible.builtin.apt:
        name: fluent-bit
        state: present

    - name: Optional - Deploy custom fluent-bit.conf from files/
      ansible.builtin.copy:
        src: fluent-bit.conf
        dest: /etc/fluent-bit/fluent-bit.conf
        owner: root
        group: root
        mode: '0644'
      notify: Restart fluent-bit
      when: fluentbit_custom_config | default(false)

    - name: Enable and start Fluent Bit service
      ansible.builtin.systemd:
        name: fluent-bit
        enabled: yes
        state: started

  handlers:
    - name: Restart fluent-bit
      ansible.builtin.systemd:
        name: fluent-bit
        state: restarted

Aqui está um exemplo de saída depois de rodar o playbook. Como dá para ver, tudo funcionou sem problemas — exceto no pihole, onde o gpg estava faltando no início, o que fez a primeira instalação falhar em parte. Depois de instalar o gpg, o playbook rodou numa boa:

root@seedVM:~/ansible/fluent-bit# ansible-playbook install_and_configure.yml -i hosts.ini

PLAY [Install packages and configure Fluent Bit on Debian 12] ************************************************

TASK [Gathering Facts] ***************************************************************************************
ok: [pihole]
ok: [gitlab]
...

TASK [Install Fluent Bit] ************************************************************************************
ok: [gitlab]
ok: [grafana]
changed: [pihole]
...

TASK [Enable and start Fluent Bit service] *******************************************************************
ok: [nextcloud]
changed: [pihole]
...

RUNNING HANDLER [Restart fluent-bit] *************************************************************************
changed: [pihole]

PLAY RECAP ****************************************************************************************************
blog     : ok=8  changed=0  unreachable=0  failed=0
pihole   : ok=9  changed=7  unreachable=0  failed=0
seedVM   : ok=8  changed=0  unreachable=0  failed=0
Alguns textos e imagens deste site foram criados com a ajuda de IA ou gerados por IA. Detalhes