Les yeux dans le vide : lettre d’amour aux fichiers de log

Pourquoi les logs sont essentiels

La journalisation est l’une des briques les plus fondamentales d’un système fiable. Les métriques vous disent
qu’il y a un problème, les logs vous disent pourquoi. La centralisation des logs devient cruciale
dès que vous exploitez plus d’une seule machine.

Fluent Bit, Graylog & Sidecar

Fluent Bit joue le rôle de composant client sur le serveur. Sa mission est simple :
collecter les logs localement et les expédier à Graylog.

Graylog fournit l’interface graphique et le backend où les logs sont stockés, traités, recherchés
et utilisés pour les alertes. Il peut sans difficulté collecter les messages de log de plusieurs milliers
de serveurs et les analyser de façon centralisée.

Sidecar est un service supplémentaire qui permet de configurer de manière centralisée
l’agent Fluent Bit directement depuis Graylog, ce qui rend les déploiements et les modifications bien plus confortables.

Réglage de la mémoire & premières leçons

Sur le plan fonctionnel, tout a plutôt bien marché, mais j’ai dû réduire nettement les besoins
en RAM. Fait intéressant, Graylog s’est immédiatement jeté sur le swap — alors que le serveur
dispose de 32 Go de RAM au total.

Ces questions de mémoire propres à Java sont encore nouvelles pour moi, je vais donc devoir creuser
davantage. Pour commencer, un tableau de bord Grafana m’a été extrêmement
utile pour surveiller en détail l’utilisation du CPU et de la RAM.

Pour limiter le heap, j’ai ajouté l’entrée suivante dans
/etc/graylog/datanode/datanode.conf :

opensearch_heap = 2g

Exemple de configuration Fluent Bit

Voici la configuration Fluent Bit qui tourne actuellement sur mon système Ubuntu/Debian. Elle collecte les logs de plusieurs sources locales (journal systemd, syslog, logs d’authentification et logs du noyau) et transmet le tout à Graylog via la sortie GELF en TCP.

Cette configuration convient bien à un homelab tout en restant proche de ce que vous feriez tourner en production.

############################################
# Fluent Bit – Ubuntu / Debian
############################################

[SERVICE]
    Flush        30
    Daemon       Off
    Log_Level    info
    storage.type memory


###################################################################
# INPUTS
###################################################################

# Systemd Journal (primary input source)
[INPUT]
    Name              systemd
    Tag               journal.*
    Read_From_Tail    On


# /var/log/syslog
[INPUT]
    Name              tail
    Path              /var/log/syslog
    Tag               syslog.*
    DB                /var/log/fluent-bit/db_syslog.db
    Mem_Buf_Limit     5MB
    Skip_Long_Lines   On


# Authentication Logs
[INPUT]
    Name              tail
    Path              /var/log/auth.log
    Tag               auth.*


# Kernel Log
[INPUT]
    Name              tail
    Path              /var/log/kern.log
    Tag               kernel.*


###################################################################
# OUTPUT
###################################################################

[OUTPUT]
    Name                    gelf
    Match                   *
    Host                    192.168.10.x
    Port                    12201
    Mode                    udp
    Gelf_Short_Message_Key  log
    Gelf_Host_Key           host

Avec cette configuration, Fluent Bit envoie de façon fiable tous les logs système pertinents à Graylog,
où ils peuvent être indexés, recherchés et utilisés pour les alertes.

Pour conclure

La centralisation des logs est un outil puissant — même (ou surtout) dans un homelab. Elle aide à développer
l’intuition des systèmes de production et rend le dépannage bien moins douloureux le jour où, forcément,
quelque chose finit par casser.