Deep Dive: Loki i Grafana Alloy – przeszukiwalne logi obok metryk i to, co znalazła pierwsza godzina
Jak Loki przechowuje logi według labeli zamiast indeksować każde słowo, jak Grafana Alloy zbiera logi z journala, podów i audytu, co dokładnie działa na blogu – i cztery rzeczy, które nowe alerty logów znalazły w pierwszej godzinie.

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Deep Dive z serii wokół Ansible Tour. Tour objaśnia role, deep dive’y technologię pod spodem: jak działa, dlaczego jest tu używana właśnie tak i co po drodze poszło nie tak.
Metryki mówią ci, że coś jest nie tak: pamięć jest zajęta w 90 procentach, kontener zrestartował się trzy razy, dysk się zapełnia. Rzadko mówią, dlaczego. To „dlaczego” jest w logach – a na hoście K3s logi są rozrzucone po journalu systemd, katalogu na każdy pod w /var/log/pods, logu audytu i garstce plików aplikacji. Do tej pory znalezienie czegokolwiek oznaczało SSH, journalctl, kubectl logs i grep, jedno źródło naraz. Ten wpis wyjaśnia, jak Loki i Grafana Alloy zamieniają to w jedno przeszukiwalne miejsce obok dashboardów, co dokładnie działa na blogu od 19 października 2026 – i co nowe alerty logów znalazły w pierwszej godzinie, zanim ktokolwiek zaczął tego szukać.
Spis treści
🧭 Jak działają Loki i Alloy
Idea: indeksuj labele, nie słowa
Klasyczne systemy logów, takie jak Elasticsearch, budują indeks pełnotekstowy: każde słowo każdej linii staje się przeszukiwalne, a indeks bywa większy niż same logi. Loki robi odwrotnie. Indeksuje tylko mały zestaw labeli na stream – na przykład job="journal", unit="sshd.service", namespace="wordpress" – a same linie przechowuje skompresowane w chunkach. Zapytanie najpierw wybiera streamy po labelach (tanio, przez indeks), a potem przeszukuje tylko chunki tych streamów pod kątem tekstu (brute force, ale na małej ilości danych). To ten sam model, którego Prometheus używa dla metryk, i dlatego oba tak dobrze do siebie pasują.
Konsekwencją jest reguła, która decyduje, czy Loki pozostanie szybki: labele muszą mieć mało wartości. Host, job, unit systemd, namespace, kontener – po kilkadziesiąt wartości każdy – to dobre labele. Nazwa użytkownika, adres IP, request ID już nie: każda nowa wartość tworzy nowy stream, a tysiące maleńkich streamów robią indeks wielkim, a chunki bezużytecznymi. Takie wartości zostają w linii i są filtrowane w czasie zapytania.
Streamy, chunki, indeks, compactor
- Stream: wszystkie linie z dokładnie tym samym zestawem labeli.
{job="journal", unit="k3s.service", level="info"}to jeden stream. - Chunk: skompresowany blok linii jednego streamu, zapisywany do systemu plików, gdy jest pełny albo wystarczająco stary.
- Indeks (TSDB, schema v13): mapuje zestawy labeli na chunki, jeden plik indeksu na dzień.
- Compactor: scala dzienne pliki indeksu i – co ważne – jest komponentem, który faktycznie usuwa dane, gdy są starsze niż okres retencji. Bez
retention_enabledustawienie retencji tylko ukrywa stare dane przed zapytaniami.
LogQL w dwóch krokach
Zapytanie LogQL zawsze zaczyna się od selektora streamu w nawiasach klamrowych, po którym idą opcjonalne filtry. Z zakresem i funkcją wokół to samo zapytanie staje się metryką – tego używają alerty.
# all lines of the k3s unit that contain "error" (case-insensitive)
{job="journal", unit="k3s.service"} |~ "(?i)error"
# as a number: how many such lines in the last 15 minutes?
sum(count_over_time({job="journal", unit="k3s.service"} |~ "(?i)error" [15m]))
|= oznacza „zawiera”, != „nie zawiera”, |~ i !~ to wersje z regexem. Parsery takie jak | json czy | logfmt zamieniają fragmenty linii w tymczasowe labele, które istnieją tylko w trakcie zapytania – tani sposób na filtrowanie po wartości, która nigdy nie powinna stać się prawdziwym labelem.
Grafana Alloy: kolektor
Alloy to agent Grafany, następca Promtaila i Grafana Agenta. Jego konfiguracja to pipeline komponentów: sources czytają logi (journal, pliki), processors je zmieniają (parsowanie, relabel, ustawienie timestampu, odrzucanie), a writers wysyłają je do Lokiego. Każdy komponent deklaruje, dokąd idzie jego wyjście (forward_to), więc konfiguracja czyta się jak diagram przepływu danych. Alloy zapamiętuje we własnym katalogu danych, jak daleko przeczytał każdy plik i journal, więc restart ani nie gubi, ani nie powtarza linii.
🛡️ Dlaczego jest tutaj
- Jedno miejsce na wszystkie logi. Journal, każdy pod, log audytu i fail2ban, przeszukiwalne w Grafanie obok metryk, z ostatnich 14 dni – także dla podów, które już nie istnieją i których logów
kubectl logsnie potrafi już pokazać. - Alerty na rzeczy, których metryki nie widzą. Odmowa SELinuksa, nieudany ban fail2ban czy OOM kill jądra to linia logu, nie liczba. Wcześniej znajdowano je tylko wtedy, gdy ktoś akurat zajrzał.
- Wystarczająco tanie dla małego serwera. Loki i Alloy razem potrzebują na blogu około pół gigabajta RAM i kilku megabajtów dysku na godzinę – stack pełnotekstowy potrzebowałby kilka razy więcej.
🔧 Co robi to repozytorium
Rola common_loki działa po common_grafana (z której repozytorium pakietów i API korzysta) i przed common_monit (który potem pilnuje obu usług). Działa na blogu od 19 października 2026; dwa serwery Nextcloud dołączyły 20 października po dniu obserwacji.
Loki: jedna binarka, lokalny dysk, 14 dni
Pakiet dostarcza konfigurację demonstracyjną, która trzyma wszystko w /tmp/loki – znika po każdym reboocie – z logowaniem na poziomie debug. Rola zastępuje ją w całości. Najważniejsze części:
server:
http_listen_address: 127.0.0.1 # only Grafana on the same host reads
grpc_listen_address: 127.0.0.1
common:
path_prefix: /var/lib/loki
replication_factor: 1
ring:
kvstore:
store: inmemory # one process, no cluster
schema_config:
configs:
- from: 2026-10-01
store: tsdb
object_store: filesystem
schema: v13
limits_config:
retention_period: 336h # 14 days
compactor:
retention_enabled: true # the part that really deletes
analytics:
reporting_enabled: false
Szablon jest sprawdzany, zanim zastąpi prawdziwy plik: validate w Ansible uruchamia loki -verify-config na kandydacie. Literówka powoduje więc błąd przebiegu playbooka, a nie usługę, która przestaje się uruchamiać.
Alloy: cztery źródła, garść labeli
- Journal z labelami
unit,levelitransport.transport="kernel"oddziela komunikaty samego jądra – tam pisze OOM killer. - Logi podów z
/var/log/pods/<namespace>_<pod>_<uid>/<container>/N.log. Reguła relabel wycina z ścieżki namespace, pod i kontener;stage.criusuwa prefiks containerd (czas, stream, flaga partial) i skleja podzielone linie. - audit.log. Odmowy SELinuksa nie trafiają na tych hostach do journala – auditd jest właścicielem gniazda audytu jądra – więc Alloy czyta plik.
- fail2ban.log, bo nieudany ban jest logowany tylko tam.
Wszystkie streamy dostają label host; automatyczny label filename jest odrzucany, bo tylko duplikowałby informacje, które już są w pozostałych labelach.
Czytanie logów roota bez bycia rootem
Pakiet uruchamia Alloy jako użytkownika alloy w grupach adm i systemd-journal. To wystarcza dla journala, ale nie dla audit.log (root, tryb 0600), fail2ban.log i logów podów (root, 0640). Leniwym rozwiązaniem byłoby uruchomić Alloy jako root. Zamiast tego rola daje mu jedną capability Linuksa, w drop-inie systemd:
[Service]
AmbientCapabilities=CAP_DAC_READ_SEARCH
CapabilityBoundingSet=CAP_DAC_READ_SEARCH
NoNewPrivileges=yes
ProtectSystem=strict
ReadWritePaths=/var/lib/alloy
ProtectHome=yes
PrivateTmp=yes
ProtectKernelTunables=yes
ProtectKernelModules=yes
...
CAP_DAC_READ_SEARCH omija sprawdzanie uprawnień do odczytu plików i katalogów – i nic więcej. Alloy może czytać każdy log, ale nie może pisać poza własnym katalogiem danych, nie może zmieniać właściciela, nie może ładować modułów. Loki dostaje podobny drop-in w ogóle bez capability. systemd-analyze security ocenia obie unity na 4.0 i 3.8 – „OK” w jego skali, gdzie usługa bez hardeningu ląduje w okolicach 9.
Wniosek: Usługa, która musi czytać każdy log, nie potrzebuje roota. Wystarczy jedna capability do odczytu, a cała reszta zostaje zamknięta.
Grafana: datasource, alerty i autotest
Rola tworzy datasource „Loki” przez API Grafany (najpierw sprawdza, tworzy tylko, jeśli brakuje) oraz pięć reguł alertów w folderze, w którym są już alerty metryk:
| Alert | LogQL (okno 15 minut) | Dlaczego |
|---|---|---|
| SELinux coś zablokował | {job="audit"} |= "type=AVC" |= "permissive=0" | Prawdziwa odmowa. Linie permissive=1 z domen wciąż w fazie uczenia się nie liczą się. |
| fail2ban zgłasza błędy | {job="fail2ban"} |= "]: ERROR" != "KeyError('/var/log/pods/" | Akcja bana albo filtr jest zepsuty. Wykluczony KeyError jest nieszkodliwy (patrz niżej). |
| OOM killer jądra | {job="journal", transport="kernel"} |~ "(?i)out of memory: killed process" | Obejmuje też procesy hosta, nie tylko kontenery. |
| Nie przychodzą żadne logi | sum(count_over_time({job="journal"}[15m])) < 1 | Zepsuty jest sam pipeline. „Brak danych” liczy się tu jako alert. |
| Przekroczony budżet błędów (od 26 paź 2026, okno 1 godziny) | linie błędów i ostrzeżeń na unit lub kontener > 100, znany szum wykluczony | Usługa, która godzinami pisze błędy, a żadna metryka tego nie pokazuje – jak dwa exportery w październiku |
Na koniec rola testuje cały łańcuch: zapisuje do journala unikalny znacznik przez logger i odpytuje Lokiego, aż znacznik się pojawi. Jeśli Alloy albo Loki jest zepsuty, przebieg playbooka kończy się błędem dokładnie w tym miejscu.
🔍 Pierwsza godzina: cztery znaleziska, których nikt nie szukał
W ciągu godziny od pierwszego rolloutu nowe alerty wysłały już maile. Żaden nie był szumem – każdy wskazywał na coś prawdziwego, a dwa z nich na moje własne błędy.
1. Stare linie, nowe timestampy
Pierwsze dwa alerty odpaliły natychmiast: AVC i błąd fail2ban. Linia fail2ban była z 11:13 tego ranka. Co się stało: przy pierwszym starcie Alloy czyta każdy plik od początku i bez dalszych instrukcji stempluje każdą linię czasem, w którym ją przeczytał. Cała zaległość z audit.log i fail2ban.log trafiła do Lokiego jako „teraz” – a alerty, które liczą linie z ostatnich 15 minut, zobaczyły naraz godziny starych błędów.
Rozwiązanie: brać timestamp z samej linii. Log audytu niesie epoch w msg=audit(1792426019.999:37103), fail2ban zapisuje czas lokalny bez strefy:
loki.process "files" {
stage.match {
selector = "{job=\"audit\"}"
stage.regex { expression = "msg=audit\\((?P<ts>[0-9]+[.][0-9]+):" }
stage.timestamp { source = "ts" format = "Unix" }
}
stage.match {
selector = "{job=\"fail2ban\"}"
stage.regex { expression = "^(?P<ts>[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9:]{8},[0-9]{3})" }
stage.timestamp { source = "ts" format = "2006-01-02 15:04:05,000" location = "UTC" }
}
...
}
Strefa czasowa nie jest wpisana na sztywno w rolę: rola odczytuje strefę hosta przez timedatectl i przekazuje ją do szablonu, więc ta sama rola działa poprawnie na hoście, który chodzi w czasie lokalnym.
Wniosek: Kolektor logów, który używa czasu odczytu zamiast timestampu linii, sprawia, że alerty odpalają na stare zdarzenia. Bierz timestamp z linii.
2. Pierwsze prawdziwe AVC: instalator pakietu
Samo AVC było prawdziwe i zupełnie nowe: podczas instalacji RPM-a Alloy useradd -m próbował utworzyć .bash_logout w nowym katalogu domowym /var/lib/alloy. Ten katalog ma typ var_lib_t, a polityka nie pozwala useradd_t tworzyć tam plików użytkownika. Nieszkodliwe – Alloy nie potrzebuje profilu powłoki – ale dokładnie ten rodzaj zdarzenia, który wcześniej ginął w 6-megabajtowym logu audytu.
Wniosek: Nowe narzędzie przynosi ze sobą nowe odmowy. Alert na AVC znalazł je przy pierwszym wystąpieniu, a nie tygodnie później.
3. Błędy fail2ban, które były tam od dni
Przegląd błędów fail2ban w Lokim pokazał dwa rodzaje. Jeden był nieszkodliwy: KeyError('/var/log/pods/…'), backend pollingu gubiący ślad logu poda, który został usunięty przy restarcie poda; jail działa dalej. Drugi już nie: 13 i 14 października Failed to execute ban jail 'nginx-k3s-bad-paths' action 'nftables…' – bany, które się nie wykonały, w dniach, gdy przerabiany był reload firewalla. Nikt ich nie zauważył. Alert wyklucza teraz tylko znany nieszkodliwy wzorzec.
Wniosek: Błędy, których nikt nie czyta, i tak istnieją. Dopiero gdy logi dało się przeszukiwać, wyszły na jaw błędy, które były tam od dni.
4. AVC od kolejnego nowego narzędzia
Godzinę później zainstalowano Trivy (jego własny deep dive będzie następny). Jego unit skanowania miał NoNewPrivileges=yes, a skrypt wywołuje k3s kubectl. Binarka k3s przechodzi do domeny container_runtime_t, a pod NoNewPrivileges SELinux odmawia takiego przejścia, chyba że polityka wyraźnie na nie pozwala: avc: denied { nnp_transition }. Alert Lokiego odpalił kilka minut po pierwszym skanie. Nie pierwszy raz ten mechanizm narobił tu kłopotów – MariaDB i Grafana już wcześniej na niego wpadły – ale pierwszy raz znalazła go maszyna, a nie padająca usługa.
Przy okazji mój własny błąd: Loki kilka razy na godzinę pisał “error getting network interfaces … address family not supported”. Sandbox unitu pozwalał tylko na gniazda IPv4, IPv6 i Unix, a Loki odpytuje interfejsy sieciowe przez gniazdo netlink. Od 26 października 2026 AF_NETLINK jest dozwolone; bez capabilities Loki może przez nie tylko czytać, niczego nie zmieni.
Dysk i pamięć
Po pierwszych dwóch godzinach na blogu: Loki około 240 MB RSS, Alloy około 275 MB, razem jakieś dwie minuty czasu CPU i 13 MB w /var/lib/loki – około 150 MB dziennie, czyli mniej więcej 2 GB przy pełnych 14 dniach. Serwery Nextcloud mają więcej podów i więcej ruchu; dlatego rola najpierw została na dzień tylko na blogu, a liczby porównano, zanim poszła dalej. Jeśli dysk kiedyś zacznie rosnąć szybciej, niż oczekiwano, pierwsze pytanie brzmi, który stream jest duży – odpowiada na nie topk po unit lub namespace – a drugie, czy ten stream w ogóle trzeba trzymać; Alloy może odrzucać linie przez stage.drop, zanim w ogóle dotrą do Lokiego.
Warto wiedzieć
- Strefa czasowa w przeglądarce. Grafana pokazuje czasy w strefie przeglądarki, serwery chodzą w UTC. Linia „z 11:13” w pliku to latem 13:13 w Grafanie.
- Stare linie są odrzucane.
reject_old_samples_max_age: 168h– plik z liniami starszymi niż tydzień (na przykład z odtworzonego backupu) nie zostanie zaimportowany. Tak ma być. - Restart jest bezpieczny. Alloy trzyma pozycje odczytu w
/var/lib/alloy/data. Usunięcie tego katalogu sprawia, że przeczyta wszystko od nowa – teraz z poprawnymi timestampami, ale jako duplikaty.
🆘 Ściąga: objaw → polecenie
Krótka wersja tego artykułu na chwilę, gdy coś jest nie tak. Uruchamiaj na hoście jako root; <…> to placeholdery.
| Objaw | Polecenie |
|---|---|
| Czy Loki jest gotowy, czy Alloy jest gotowy? | curl -s 127.0.0.1:3100/readycurl -s 127.0.0.1:12345/-/ready |
| Brakuje logów z jakiegoś źródła | curl -sG 127.0.0.1:3100/loki/api/v1/query \--data-urlencode 'query=sum(count_over_time({job="<job>"}[10m]))'journalctl -u alloy -p warning --since -1h |
| Czego odmówił SELinux? | {job="audit"} |= "type=AVC" |= "permissive=0" |
| Logi poda, który już nie istnieje | {namespace="<ns>", container="<container>"} |= "Fatal" |
| Jądro: OOM, segfaulty, sprzęt | {job="journal", transport="kernel"} |
| Dysk rośnie szybciej, niż oczekiwano | du -sh /var/lib/lokitopk(10, sum by (unit) (count_over_time({job="journal"}[1h]))) |
| Czasy w Grafanie przesunięte o dwie godziny | # browser time zone vs. UTC on the servers - not a bug |
🎯 Wnioski
- Labele z małą liczbą wartości, treść w linii: to trzyma Lokiego małym i szybkim.
- Bierz timestamp z linii logu, nie z czasu przyjęcia.
- Czytanie każdego logu wymaga jednej capability; root nie jest potrzebny.
- Testuj pipeline logów od początku do końca: zapisz znacznik i znajdź go ponownie w Lokim.
- Alert na linie logów znajduje to, czego nie pokazuje żadna metryka – łącznie z twoimi własnymi błędami.
⚖️ Alternatywy – i dlaczego Loki
| Opcja | Mocna strona | Dlaczego nie tutaj |
|---|---|---|
| journald + grep | Za darmo, zawsze dostępne | Jeden host, jedno źródło naraz, brak alertów, logi podów znikają razem z podem. |
| ELK / OpenSearch | Wyszukiwanie pełnotekstowe po wszystkim, bardzo potężne | Java, kilka GB RAM na jeden węzeł – więcej, niż potrzebuje cały stack bloga. |
| Graylog | Dobre UI, streamy i alerty wbudowane | Testowany wcześniej w labie: potrzebuje MongoDB plus OpenSearch – znowu ciężko jak na jeden mały serwer. |
| Promtail + Loki | Klasyczne połączenie | Promtail jest w trybie utrzymania; Alloy to jego następca i obsługuje też metryki i trace’y. |
| Loki + Alloy | Indeks labeli jak w Prometheusie, mały, natywny w Grafanie | Wybrany: pasuje do istniejącego setupu Prometheus/Grafana i do budżetu RAM. |
Decydujące nie były funkcje, tylko dopasowanie. Prometheus i Grafana już były, maile z alertami już działały, a model labeli jest ten sam, którego używają metryki. Loki dodał brakującą połowę – to „dlaczego” za liczbami – za mniej więcej pół gigabajta RAM.
