Encarando o vazio: uma carta de amor aos arquivos de log

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski
Índice
Por que logging importa
Logging é um dos blocos mais fundamentais de sistemas confiáveis. Métricas dizem que algo está errado, logs dizem por quê. Logging centralizado se torna crucial assim que você opera mais de uma máquina.
Fluent Bit, Graylog & Sidecar
O Fluent Bit atua como componente cliente no servidor. A tarefa dele é simples: coletar logs localmente e enviá-los ao Graylog.
O Graylog fornece a GUI e o backend onde os logs são armazenados, processados, pesquisados e usados para alertas. Ele pode ser usado facilmente para coletar mensagens de log de vários milhares de servidores e analisá-las de forma central.
O Sidecar é um serviço adicional que permite configurar de forma centralizada o agente Fluent Bit direto do Graylog, tornando rollouts e mudanças muito mais práticos.
Ajuste de memória & primeiras lições aprendidas
Funcionalmente tudo deu bem certo, mas tive de reduzir bastante a necessidade de RAM. Curiosamente, o Graylog agarrou espaço de swap na hora — mesmo o servidor tendo um total de 32 GB de RAM disponível.
Esses assuntos de memória ligados ao Java ainda são novos para mim, então é algo em que vou ter de me aprofundar mais. Para começar, ter um dashboard do Grafana foi extremamente útil para acompanhar em detalhe o uso de CPU e RAM.
Para limitar o uso de heap, adicionei a seguinte entrada em
/etc/graylog/datanode/datanode.conf:
opensearch_heap = 2gExemplo de configuração do Fluent Bit
A seguir está a configuração atual do Fluent Bit rodando no meu sistema Ubuntu/Debian. Ela coleta logs de várias fontes locais (journal do systemd, syslog, logs de autenticação e logs do kernel) e encaminha tudo ao Graylog usando a saída GELF via TCP.
Esse setup funciona bem para um ambiente de homelab e ainda fica bem perto do que você rodaria em produção.
############################################
# Fluent Bit – Ubuntu / Debian
############################################
[SERVICE]
Flush 30
Daemon Off
Log_Level info
storage.type memory
###################################################################
# INPUTS
###################################################################
# Systemd Journal (primary input source)
[INPUT]
Name systemd
Tag journal.*
Read_From_Tail On
# /var/log/syslog
[INPUT]
Name tail
Path /var/log/syslog
Tag syslog.*
DB /var/log/fluent-bit/db_syslog.db
Mem_Buf_Limit 5MB
Skip_Long_Lines On
# Authentication Logs
[INPUT]
Name tail
Path /var/log/auth.log
Tag auth.*
# Kernel Log
[INPUT]
Name tail
Path /var/log/kern.log
Tag kernel.*
###################################################################
# OUTPUT
###################################################################
[OUTPUT]
Name gelf
Match *
Host 192.168.10.x
Port 12201
Mode udp
Gelf_Short_Message_Key log
Gelf_Host_Key host
Com essa configuração, o Fluent Bit envia de forma confiável todos os logs de sistema relevantes ao Graylog, onde eles podem ser indexados, pesquisados e usados para alertas.
Considerações finais
Logging centralizado é uma ferramenta poderosa — mesmo (ou principalmente) em um homelab. Ele ajuda a construir intuição para sistemas de produção e torna o troubleshooting bem menos doloroso quando as coisas um dia quebram.

