Wpatrując się w pustkę: list miłosny do plików logów

Ilustracja: mężczyzna z kawą przed ekranami pełnymi linii logów

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Jeśli kiedykolwiek wpatrywałeś się w terminal pełen komunikatów logów, wiesz: to w logach systemy mówią prawdę. Są hałaśliwe, czasem brzydkie, ale absolutnie niezbędne, gdy coś idzie nie tak. Dziś zainstalowałem na swoim serwerze Graylog i Fluent Bit. Nie tylko dlatego, że pracuję z tymi narzędziami zawodowo, ale też dlatego, że w przyszłości będę ich używać coraz częściej – mój homelab służy przecież do eksperymentowania, nauki i zajmowania mózgu.
Spis treści

Dlaczego logowanie jest ważne

Logowanie to jeden z najbardziej podstawowych elementów niezawodnych systemów. Metryki mówią ci, że coś jest nie tak, logi mówią ci dlaczego. Centralne logowanie staje się kluczowe, gdy tylko zarządzasz więcej niż jedną maszyną.

Fluent Bit, Graylog & Sidecar

Fluent Bit działa jako komponent kliencki na serwerze. Jego zadanie jest proste: zbierać logi lokalnie i wysyłać je do Grayloga.

Graylog dostarcza GUI i backend, w którym logi są przechowywane, przetwarzane, przeszukiwane i używane do alertów. Można go łatwo użyć do zbierania komunikatów logów z kilku tysięcy serwerów i centralnej ich analizy.

Sidecar to dodatkowa usługa, która pozwala centralnie konfigurować agenta Fluent Bit bezpośrednio z Grayloga, co znacznie ułatwia wdrożenia i zmiany.

Tuning pamięci & pierwsze lekcje

Funkcjonalnie wszystko działało całkiem dobrze, ale musiałem mocno obniżyć zapotrzebowanie na RAM. Co ciekawe, Graylog od razu złapał swap — mimo że serwer ma łącznie 32 GB RAM.

Te javowe tematy pamięciowe są dla mnie wciąż nowe, więc będę musiał się w nie głębiej wgryźć. Na początek dashboard w Grafanie był niezwykle pomocny w szczegółowym śledzeniu użycia CPU i RAM.

Żeby ograniczyć użycie heapu, dodałem następujący wpis do /etc/graylog/datanode/datanode.conf:

opensearch_heap = 2g

Przykładowa konfiguracja Fluent Bit

Poniżej jest aktualna konfiguracja Fluent Bit działająca na moim systemie Ubuntu/Debian. Zbiera logi z kilku lokalnych źródeł (journal systemd, syslog, logi uwierzytelniania i logi jądra) i przekazuje wszystko do Grayloga za pomocą wyjścia GELF przez TCP.

Ten setup dobrze sprawdza się w homelabie, a przy tym jest bliski temu, co uruchomiłbyś na produkcji.


############################################
# Fluent Bit – Ubuntu / Debian
############################################

[SERVICE]
    Flush        30
    Daemon       Off
    Log_Level    info
    storage.type memory


###################################################################
# INPUTS
###################################################################

# Systemd Journal (primary input source)
[INPUT]
    Name              systemd
    Tag               journal.*
    Read_From_Tail    On


# /var/log/syslog
[INPUT]
    Name              tail
    Path              /var/log/syslog
    Tag               syslog.*
    DB                /var/log/fluent-bit/db_syslog.db
    Mem_Buf_Limit     5MB
    Skip_Long_Lines   On


# Authentication Logs
[INPUT]
    Name              tail
    Path              /var/log/auth.log
    Tag               auth.*


# Kernel Log
[INPUT]
    Name              tail
    Path              /var/log/kern.log
    Tag               kernel.*


###################################################################
# OUTPUT
###################################################################

[OUTPUT]
    Name                    gelf
    Match                   *
    Host                    192.168.10.x
    Port                    12201
    Mode                    udp
    Gelf_Short_Message_Key  log
    Gelf_Host_Key           host

Z tą konfiguracją Fluent Bit niezawodnie wysyła wszystkie istotne logi systemowe do Grayloga, gdzie można je indeksować, przeszukiwać i używać do alertów.

Na koniec

Centralne logowanie to potężne narzędzie — nawet (a może zwłaszcza) w homelabie. Pomaga budować intuicję dla systemów produkcyjnych i sprawia, że troubleshooting jest dużo mniej bolesny, gdy coś w końcu się zepsuje.

Dashboard Grayloga ze statystykami logów z homelabu Widok wyszukiwania w Graylogu filtrujący logi z homelabu Lista komunikatów w Graylogu z serwerów homelabu Przegląd streamów i inputów w Graylogu Widget Grayloga pokazujący wolumen logów w czasie Przegląd interfejsu webowego Grayloga

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły