Encarando o vazio: uma carta de amor aos arquivos de log

Ilustração: um homem com um café diante de telas cheias de linhas de log

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski

Se você já ficou encarando um terminal cheio de mensagens de log, sabe: é nos logs que os sistemas dizem a verdade. Eles são barulhentos, às vezes feios, mas absolutamente essenciais quando algo dá errado. Hoje instalei Graylog e Fluent Bit no meu servidor. Não só porque trabalho com essas ferramentas profissionalmente, mas também porque vou usá-las cada vez mais no futuro, já que meu homelab serve para experimentar, aprender e manter o cérebro ocupado.
Índice

Por que logging importa

Logging é um dos blocos mais fundamentais de sistemas confiáveis. Métricas dizem que algo está errado, logs dizem por quê. Logging centralizado se torna crucial assim que você opera mais de uma máquina.

Fluent Bit, Graylog & Sidecar

O Fluent Bit atua como componente cliente no servidor. A tarefa dele é simples: coletar logs localmente e enviá-los ao Graylog.

O Graylog fornece a GUI e o backend onde os logs são armazenados, processados, pesquisados e usados para alertas. Ele pode ser usado facilmente para coletar mensagens de log de vários milhares de servidores e analisá-las de forma central.

O Sidecar é um serviço adicional que permite configurar de forma centralizada o agente Fluent Bit direto do Graylog, tornando rollouts e mudanças muito mais práticos.

Ajuste de memória & primeiras lições aprendidas

Funcionalmente tudo deu bem certo, mas tive de reduzir bastante a necessidade de RAM. Curiosamente, o Graylog agarrou espaço de swap na hora — mesmo o servidor tendo um total de 32 GB de RAM disponível.

Esses assuntos de memória ligados ao Java ainda são novos para mim, então é algo em que vou ter de me aprofundar mais. Para começar, ter um dashboard do Grafana foi extremamente útil para acompanhar em detalhe o uso de CPU e RAM.

Para limitar o uso de heap, adicionei a seguinte entrada em /etc/graylog/datanode/datanode.conf:

opensearch_heap = 2g

Exemplo de configuração do Fluent Bit

A seguir está a configuração atual do Fluent Bit rodando no meu sistema Ubuntu/Debian. Ela coleta logs de várias fontes locais (journal do systemd, syslog, logs de autenticação e logs do kernel) e encaminha tudo ao Graylog usando a saída GELF via TCP.

Esse setup funciona bem para um ambiente de homelab e ainda fica bem perto do que você rodaria em produção.


############################################
# Fluent Bit – Ubuntu / Debian
############################################

[SERVICE]
    Flush        30
    Daemon       Off
    Log_Level    info
    storage.type memory


###################################################################
# INPUTS
###################################################################

# Systemd Journal (primary input source)
[INPUT]
    Name              systemd
    Tag               journal.*
    Read_From_Tail    On


# /var/log/syslog
[INPUT]
    Name              tail
    Path              /var/log/syslog
    Tag               syslog.*
    DB                /var/log/fluent-bit/db_syslog.db
    Mem_Buf_Limit     5MB
    Skip_Long_Lines   On


# Authentication Logs
[INPUT]
    Name              tail
    Path              /var/log/auth.log
    Tag               auth.*


# Kernel Log
[INPUT]
    Name              tail
    Path              /var/log/kern.log
    Tag               kernel.*


###################################################################
# OUTPUT
###################################################################

[OUTPUT]
    Name                    gelf
    Match                   *
    Host                    192.168.10.x
    Port                    12201
    Mode                    udp
    Gelf_Short_Message_Key  log
    Gelf_Host_Key           host

Com essa configuração, o Fluent Bit envia de forma confiável todos os logs de sistema relevantes ao Graylog, onde eles podem ser indexados, pesquisados e usados para alertas.

Considerações finais

Logging centralizado é uma ferramenta poderosa — mesmo (ou principalmente) em um homelab. Ele ajuda a construir intuição para sistemas de produção e torna o troubleshooting bem menos doloroso quando as coisas um dia quebram.

Dashboard do Graylog com estatísticas de logs do homelab Visão de busca do Graylog filtrando logs do homelab Lista de mensagens do Graylog vindas dos servidores do homelab Visão geral de streams e inputs do Graylog Widget do Graylog mostrando o volume de logs ao longo do tempo Visão geral da interface web do Graylog

Alguns textos e imagens deste site foram criados com a ajuda de IA ou gerados por IA. Detalhes