Fissare il vuoto: una lettera d'amore ai file di log

🌐 Anche in: English · Deutsch · Français · Español · Português · Nederlands · Polski
Indice
Perché il logging è importante
Il logging è uno dei mattoni fondamentali dei sistemi affidabili. Le metriche ti dicono che qualcosa non va, i log ti dicono perché. Il logging centralizzato diventa cruciale non appena gestisci più di una singola macchina.
Fluent Bit, Graylog & Sidecar
Fluent Bit fa da componente client sul server. Il suo compito è semplice: raccogliere i log in locale e spedirli a Graylog.
Graylog fornisce la GUI e il backend in cui i log vengono archiviati, elaborati, cercati e usati per gli allarmi. Si può usare tranquillamente per raccogliere i messaggi di log di diverse migliaia di server e analizzarli in modo centralizzato.
Sidecar è un servizio aggiuntivo che permette di configurare in modo centralizzato l'agent Fluent Bit direttamente da Graylog, rendendo rollout e modifiche molto più comodi.
Tuning della memoria e prime lezioni imparate
Dal punto di vista funzionale tutto ha funzionato abbastanza bene, ma ho dovuto ridurre in modo significativo i requisiti di RAM. Curiosamente Graylog si è preso subito spazio di swap — anche se il server ha a disposizione in totale 32 GB di RAM.
Questi temi di memoria legati a Java sono ancora nuovi per me, quindi è qualcosa in cui dovrò scavare più a fondo. Per cominciare, avere una dashboard Grafana è stato estremamente utile per tenere d'occhio nel dettaglio l'uso di CPU e RAM.
Per limitare l'uso dell'heap ho aggiunto la seguente voce a
/etc/graylog/datanode/datanode.conf:
opensearch_heap = 2gEsempio di configurazione di Fluent Bit
Quella che segue è l'attuale configurazione di Fluent Bit in esecuzione sul mio sistema Ubuntu/Debian. Raccoglie i log da più sorgenti locali (journal di systemd, syslog, log di autenticazione e log del kernel) e inoltra tutto a Graylog usando l'output GELF via TCP.
Questo setup funziona bene in un ambiente homelab pur restando vicino a ciò che faresti girare in produzione.
############################################
# Fluent Bit – Ubuntu / Debian
############################################
[SERVICE]
Flush 30
Daemon Off
Log_Level info
storage.type memory
###################################################################
# INPUTS
###################################################################
# Systemd Journal (primary input source)
[INPUT]
Name systemd
Tag journal.*
Read_From_Tail On
# /var/log/syslog
[INPUT]
Name tail
Path /var/log/syslog
Tag syslog.*
DB /var/log/fluent-bit/db_syslog.db
Mem_Buf_Limit 5MB
Skip_Long_Lines On
# Authentication Logs
[INPUT]
Name tail
Path /var/log/auth.log
Tag auth.*
# Kernel Log
[INPUT]
Name tail
Path /var/log/kern.log
Tag kernel.*
###################################################################
# OUTPUT
###################################################################
[OUTPUT]
Name gelf
Match *
Host 192.168.10.x
Port 12201
Mode udp
Gelf_Short_Message_Key log
Gelf_Host_Key host
Con questa configurazione Fluent Bit spedisce in modo affidabile tutti i log di sistema rilevanti a Graylog, dove possono essere indicizzati, cercati e usati per gli allarmi.
Considerazioni finali
Il logging centralizzato è uno strumento potente — anche (o soprattutto) in un homelab. Aiuta a sviluppare l'intuito per i sistemi di produzione e rende il troubleshooting molto meno doloroso quando le cose prima o poi si rompono.

