Wpatrując się w pustkę: list miłosny do plików logów

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Spis treści
Dlaczego logowanie jest ważne
Logowanie to jeden z najbardziej podstawowych elementów niezawodnych systemów. Metryki mówią ci, że coś jest nie tak, logi mówią ci dlaczego. Centralne logowanie staje się kluczowe, gdy tylko zarządzasz więcej niż jedną maszyną.
Fluent Bit, Graylog & Sidecar
Fluent Bit działa jako komponent kliencki na serwerze. Jego zadanie jest proste: zbierać logi lokalnie i wysyłać je do Grayloga.
Graylog dostarcza GUI i backend, w którym logi są przechowywane, przetwarzane, przeszukiwane i używane do alertów. Można go łatwo użyć do zbierania komunikatów logów z kilku tysięcy serwerów i centralnej ich analizy.
Sidecar to dodatkowa usługa, która pozwala centralnie konfigurować agenta Fluent Bit bezpośrednio z Grayloga, co znacznie ułatwia wdrożenia i zmiany.
Tuning pamięci & pierwsze lekcje
Funkcjonalnie wszystko działało całkiem dobrze, ale musiałem mocno obniżyć zapotrzebowanie na RAM. Co ciekawe, Graylog od razu złapał swap — mimo że serwer ma łącznie 32 GB RAM.
Te javowe tematy pamięciowe są dla mnie wciąż nowe, więc będę musiał się w nie głębiej wgryźć. Na początek dashboard w Grafanie był niezwykle pomocny w szczegółowym śledzeniu użycia CPU i RAM.
Żeby ograniczyć użycie heapu, dodałem następujący wpis do
/etc/graylog/datanode/datanode.conf:
opensearch_heap = 2gPrzykładowa konfiguracja Fluent Bit
Poniżej jest aktualna konfiguracja Fluent Bit działająca na moim systemie Ubuntu/Debian. Zbiera logi z kilku lokalnych źródeł (journal systemd, syslog, logi uwierzytelniania i logi jądra) i przekazuje wszystko do Grayloga za pomocą wyjścia GELF przez TCP.
Ten setup dobrze sprawdza się w homelabie, a przy tym jest bliski temu, co uruchomiłbyś na produkcji.
############################################
# Fluent Bit – Ubuntu / Debian
############################################
[SERVICE]
Flush 30
Daemon Off
Log_Level info
storage.type memory
###################################################################
# INPUTS
###################################################################
# Systemd Journal (primary input source)
[INPUT]
Name systemd
Tag journal.*
Read_From_Tail On
# /var/log/syslog
[INPUT]
Name tail
Path /var/log/syslog
Tag syslog.*
DB /var/log/fluent-bit/db_syslog.db
Mem_Buf_Limit 5MB
Skip_Long_Lines On
# Authentication Logs
[INPUT]
Name tail
Path /var/log/auth.log
Tag auth.*
# Kernel Log
[INPUT]
Name tail
Path /var/log/kern.log
Tag kernel.*
###################################################################
# OUTPUT
###################################################################
[OUTPUT]
Name gelf
Match *
Host 192.168.10.x
Port 12201
Mode udp
Gelf_Short_Message_Key log
Gelf_Host_Key host
Z tą konfiguracją Fluent Bit niezawodnie wysyła wszystkie istotne logi systemowe do Grayloga, gdzie można je indeksować, przeszukiwać i używać do alertów.
Na koniec
Centralne logowanie to potężne narzędzie — nawet (a może zwłaszcza) w homelabie. Pomaga budować intuicję dla systemów produkcyjnych i sprawia, że troubleshooting jest dużo mniej bolesny, gdy coś w końcu się zepsuje.

