Staren in de leegte: een liefdesbrief aan logbestanden

Illustratie: een man met koffie voor schermen vol logregels

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

Als je ooit naar een terminal vol logberichten hebt zitten staren, weet je het: in logs vertellen systemen de waarheid. Ze zijn luidruchtig, soms lelijk, maar absoluut onmisbaar als er iets misgaat. Vandaag heb ik Graylog en Fluent Bit op mijn server geïnstalleerd. Niet alleen omdat ik professioneel met deze tools werk, maar ook omdat ik ze in de toekomst steeds vaker ga gebruiken, want mijn homelab is bedoeld om te experimenteren, te leren en mijn brein bezig te houden.
Inhoud

Waarom logging ertoe doet

Logging is een van de meest fundamentele bouwstenen van betrouwbare systemen. Metrics vertellen je dat er iets mis is, logs vertellen je waarom. Centrale logging wordt cruciaal zodra je meer dan één machine beheert.

Fluent Bit, Graylog & Sidecar

Fluent Bit fungeert als clientcomponent op de server. Zijn taak is simpel: logs lokaal verzamelen en naar Graylog sturen.

Graylog levert de GUI en de backend waar logs worden opgeslagen, verwerkt, doorzocht en gebruikt voor alerting. Je kunt het makkelijk gebruiken om logberichten van enkele duizenden servers te verzamelen en centraal te analyseren.

Sidecar is een extra service waarmee je de Fluent Bit-agent centraal vanuit Graylog configureert, wat uitrollen en wijzigingen een stuk makkelijker maakt.

Geheugentuning & eerste lessen

Functioneel werkte alles behoorlijk goed, maar ik moest de RAM-behoefte flink terugschroeven. Opvallend genoeg greep Graylog meteen swapruimte — terwijl de server in totaal 32 GB RAM beschikbaar heeft.

Die Java-gerelateerde geheugenonderwerpen zijn nog nieuw voor me, dus daar moet ik me verder in verdiepen. Voor het begin was een Grafana-dashboard enorm handig om CPU- en RAM-gebruik in detail te volgen.

Om het heapgebruik te beperken, heb ik de volgende regel toegevoegd aan /etc/graylog/datanode/datanode.conf:

opensearch_heap = 2g

Voorbeeldconfiguratie van Fluent Bit

Hieronder staat de huidige Fluent Bit-configuratie die op mijn Ubuntu/Debian-systeem draait. Ze verzamelt logs uit meerdere lokale bronnen (systemd-journal, syslog, auth-logs en kernellogs) en stuurt alles door naar Graylog via de GELF-output over TCP.

Deze setup werkt goed voor een homelab-omgeving en ligt toch dicht bij wat je in productie zou draaien.


############################################
# Fluent Bit – Ubuntu / Debian
############################################

[SERVICE]
    Flush        30
    Daemon       Off
    Log_Level    info
    storage.type memory


###################################################################
# INPUTS
###################################################################

# Systemd Journal (primary input source)
[INPUT]
    Name              systemd
    Tag               journal.*
    Read_From_Tail    On


# /var/log/syslog
[INPUT]
    Name              tail
    Path              /var/log/syslog
    Tag               syslog.*
    DB                /var/log/fluent-bit/db_syslog.db
    Mem_Buf_Limit     5MB
    Skip_Long_Lines   On


# Authentication Logs
[INPUT]
    Name              tail
    Path              /var/log/auth.log
    Tag               auth.*


# Kernel Log
[INPUT]
    Name              tail
    Path              /var/log/kern.log
    Tag               kernel.*


###################################################################
# OUTPUT
###################################################################

[OUTPUT]
    Name                    gelf
    Match                   *
    Host                    192.168.10.x
    Port                    12201
    Mode                    udp
    Gelf_Short_Message_Key  log
    Gelf_Host_Key           host

Met deze configuratie stuurt Fluent Bit alle relevante systeemlogs betrouwbaar naar Graylog, waar ze geïndexeerd, doorzocht en voor alerting gebruikt kunnen worden.

Tot slot

Centrale logging is een krachtig hulpmiddel — zelfs (of juist) in een homelab. Het helpt je gevoel te ontwikkelen voor productiesystemen en maakt troubleshooting veel minder pijnlijk als dingen uiteindelijk stukgaan.

Graylog-dashboard met logstatistieken van het homelab Zoekweergave in Graylog die homelab-logs filtert Berichtenlijst in Graylog van de homelab-servers Overzicht van streams en inputs in Graylog Graylog-widget met het logvolume in de tijd Overzicht van de Graylog-webinterface

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details