Deep Dive: Loki en Grafana Alloy – doorzoekbare logs naast de metrics, en wat het eerste uur opleverde
Hoe Loki logs op labels opslaat in plaats van elk woord te indexeren, hoe Grafana Alloy journal-, pod- en auditlogs verzamelt, wat er precies op de blog draait – en de vier dingen die de nieuwe logalerts in hun eerste uur vonden.

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
Deep Dive in de serie rond de Ansible Tour. De tour legt de roles uit, de deep dives de techniek eronder: hoe het werkt, waarom het hier zo gebruikt wordt en wat er onderweg misging.
Metrics vertellen je dat er iets mis is: het geheugen zit op 90 procent, een container is drie keer herstart, de schijf loopt vol. Ze vertellen zelden waarom. Het waarom staat in de logs – en op een K3s-host zijn de logs verspreid over het systemd-journal, een map per pod onder /var/log/pods, het auditlog en een handvol applicatiebestanden. Tot nu toe betekende iets vinden: SSH, journalctl, kubectl logs en grep, één bron tegelijk. Deze post legt uit hoe Loki en Grafana Alloy daar één doorzoekbare plek naast de dashboards van maken, wat er sinds 19 oktober 2026 precies op de blog draait – en wat de nieuwe logalerts binnen hun eerste uur vonden, voordat iemand ernaar had gezocht.
Inhoud
🧭 Hoe Loki en Alloy werken
Het idee: indexeer de labels, niet de woorden
Klassieke logsystemen zoals Elasticsearch bouwen een full-text index: elk woord van elke regel wordt doorzoekbaar, en de index is vaak groter dan de logs zelf. Loki doet het omgekeerde. Het indexeert alleen een kleine set labels per stream – bijvoorbeeld job="journal", unit="sshd.service", namespace="wordpress" – en slaat de regels zelf gecomprimeerd op in chunks. Een query selecteert eerst streams op label (goedkoop, via de index) en doorzoekt daarna alleen de chunks van die streams op de tekst (brute force, maar over een kleine hoeveelheid data). Dat is hetzelfde model dat Prometheus voor metrics gebruikt, en daarom passen de twee zo goed bij elkaar.
Het gevolg is een regel die bepaalt of Loki snel blijft: labels moeten weinig waarden hebben. Host, job, systemd-unit, namespace, container – elk een paar dozijn waarden – zijn goede labels. Een gebruikersnaam, een IP-adres, een request-ID niet: elke nieuwe waarde maakt een nieuwe stream, en duizenden piepkleine streams maken de index groot en de chunks nutteloos. Zulke waarden blijven in de regel en worden bij het opvragen gefilterd.
Streams, chunks, index, compactor
- Stream: alle regels met precies dezelfde labelset.
{job="journal", unit="k3s.service", level="info"}is één stream. - Chunk: een gecomprimeerd blok regels van één stream, naar het bestandssysteem geschreven als het vol of oud genoeg is.
- Index (TSDB, schema v13): koppelt labelsets aan chunks, één indexbestand per dag.
- Compactor: voegt de dagelijkse indexbestanden samen en is – belangrijk – het onderdeel dat data echt verwijdert zodra die ouder is dan de retentieperiode. Zonder
retention_enabledverbergt de retentie-instelling oude data alleen voor queries.
LogQL in twee stappen
Een LogQL-query begint altijd met een streamselector tussen accolades, gevolgd door optionele filters. Met een bereik en een functie eromheen wordt dezelfde query een metric – dat is wat alerts gebruiken.
# all lines of the k3s unit that contain "error" (case-insensitive)
{job="journal", unit="k3s.service"} |~ "(?i)error"
# as a number: how many such lines in the last 15 minutes?
sum(count_over_time({job="journal", unit="k3s.service"} |~ "(?i)error" [15m]))
|= betekent “bevat”, != “bevat niet”, |~ en !~ zijn de regex-versies. Parsers zoals | json of | logfmt maken van delen van een regel tijdelijke labels die alleen tijdens de query bestaan – de goedkope manier om te filteren op een waarde die nooit een echt label mag worden.
Grafana Alloy: de collector
Alloy is de agent van Grafana, de opvolger van Promtail en de Grafana Agent. De configuratie is een pipeline van componenten: sources lezen logs (journal, bestanden), processors passen ze aan (parsen, relabelen, de timestamp zetten, weggooien) en writers sturen ze naar Loki. Elk component geeft aan waar zijn output heen gaat (forward_to), dus de configuratie leest als een dataflowdiagram. Alloy onthoudt in zijn eigen datamap hoe ver het elk bestand en het journal heeft gelezen, dus een herstart verliest geen regels en herhaalt ze ook niet.
🛡️ Waarom het hier draait
- Eén plek voor alle logs. Journal, elke pod, het auditlog en fail2ban, doorzoekbaar in Grafana naast de metrics, voor de laatste 14 dagen – ook voor pods die niet meer bestaan en waarvan
kubectl logsde logs niet meer kan tonen. - Alerts op dingen die metrics niet zien. Een SELinux-denial, een mislukte fail2ban-ban of een OOM-kill van de kernel is een logregel, geen getal. Vroeger werden ze alleen gevonden als iemand toevallig keek.
- Goedkoop genoeg voor een kleine server. Loki en Alloy samen hebben op de blog ongeveer een halve gigabyte RAM en een paar megabyte schijf per uur nodig – een full-text stack zou daar een veelvoud van nodig hebben.
🔧 Wat deze repository doet
De role common_loki draait na common_grafana (waarvan hij de package-repository en API gebruikt) en vóór common_monit (die daarna beide services bewaakt). Hij draait sinds 19 oktober 2026 op de blog; de twee Nextcloud-servers volgden op 20 oktober na een dag observatie.
Loki: één binary, lokale schijf, 14 dagen
Het package levert een democonfiguratie die alles onder /tmp/loki opslaat – weg na elke reboot – met debuglogging. De role vervangt die volledig. De belangrijke delen:
server:
http_listen_address: 127.0.0.1 # only Grafana on the same host reads
grpc_listen_address: 127.0.0.1
common:
path_prefix: /var/lib/loki
replication_factor: 1
ring:
kvstore:
store: inmemory # one process, no cluster
schema_config:
configs:
- from: 2026-10-01
store: tsdb
object_store: filesystem
schema: v13
limits_config:
retention_period: 336h # 14 days
compactor:
retention_enabled: true # the part that really deletes
analytics:
reporting_enabled: false
De template wordt gecontroleerd voordat hij het echte bestand vervangt: Ansibles validate draait loki -verify-config op de kandidaat. Een typfout laat dus de playbookrun falen, in plaats van een service die niet meer start.
Alloy: vier bronnen, een handvol labels
- Journal met de labels
unit,levelentransport.transport="kernel"scheidt de eigen meldingen van de kernel – daar schrijft de OOM-killer. - Podlogs uit
/var/log/pods/<namespace>_<pod>_<uid>/<container>/N.log. Een relabel-regel knipt namespace, pod en container uit het pad;stage.crihaalt het prefix van containerd weg (tijd, stream, partial-flag) en voegt gesplitste regels samen. - audit.log. SELinux-denials staan op deze hosts niet in het journal – auditd bezit de audit-socket van de kernel – dus Alloy leest het bestand.
- fail2ban.log, omdat een mislukte ban alleen daar gelogd wordt.
Alle streams krijgen het label host; het automatische label filename wordt weggegooid, omdat het alleen informatie zou dupliceren die al in de andere labels zit.
De logs van root lezen zonder root te zijn
Het package draait Alloy als gebruiker alloy in de groepen adm en systemd-journal. Dat is genoeg voor het journal, maar niet voor audit.log (root, mode 0600), fail2ban.log en de podlogs (root, 0640). De luie oplossing zou zijn om Alloy als root te draaien. De role geeft het in plaats daarvan één enkele Linux-capability, in een systemd-drop-in:
[Service]
AmbientCapabilities=CAP_DAC_READ_SEARCH
CapabilityBoundingSet=CAP_DAC_READ_SEARCH
NoNewPrivileges=yes
ProtectSystem=strict
ReadWritePaths=/var/lib/alloy
ProtectHome=yes
PrivateTmp=yes
ProtectKernelTunables=yes
ProtectKernelModules=yes
...
CAP_DAC_READ_SEARCH omzeilt de leesrechtcontroles op bestanden en mappen – en verder niets. Alloy kan elk log lezen, maar kan niet buiten zijn eigen datamap schrijven, geen eigenaar wijzigen, geen modules laden. Loki krijgt een vergelijkbare drop-in, helemaal zonder capability. systemd-analyze security geeft de twee units 4.0 en 3.8 – “OK” op zijn schaal, waar een niet-geharde service rond de 9 zit.
De les: Een service die elk log moet lezen, heeft geen root nodig. Eén capability om te lezen is genoeg, en al het andere blijft op slot.
Grafana: datasource, alerts en een zelftest
De role maakt de datasource “Loki” aan via de API van Grafana (eerst controleren, alleen aanmaken als hij ontbreekt) en vijf alertregels in de map waar de metric-alerts al staan:
| Alert | LogQL (venster van 15 minuten) | Waarom |
|---|---|---|
| SELinux heeft iets geblokkeerd | {job="audit"} |= "type=AVC" |= "permissive=0" | Een echte denial. permissive=1-regels van domeinen die nog in hun leerfase zitten, tellen niet. |
| fail2ban meldt fouten | {job="fail2ban"} |= "]: ERROR" != "KeyError('/var/log/pods/" | Een ban-actie of filter is kapot. De uitgesloten KeyError is onschuldig (zie hieronder). |
| OOM-killer van de kernel | {job="journal", transport="kernel"} |~ "(?i)out of memory: killed process" | Dekt ook hostprocessen, niet alleen containers. |
| Er komen geen logs binnen | sum(count_over_time({job="journal"}[15m])) < 1 | De pipeline zelf is kapot. “Geen data” telt hier als alert. |
| Foutbudget overschreden (sinds 26 okt 2026, venster van 1 uur) | fout- en waarschuwingsregels per unit of container > 100, bekende ruis uitgesloten | Een service die urenlang fouten schrijft zonder dat een metric het laat zien – zoals twee exporters in oktober |
Aan het eind test de role de hele keten: hij schrijft met logger een unieke marker in het journal en vraagt Loki op tot de marker verschijnt. Als Alloy of Loki kapot is, faalt de playbookrun precies daar.
🔍 Het eerste uur: vier vondsten waar niemand naar had gezocht
Binnen een uur na de eerste rollout hadden de nieuwe alerts al mails gestuurd. Geen ervan was ruis – elk wees op iets echts, en twee ervan op fouten van mezelf.
1. Oude regels, nieuwe timestamps
De eerste twee alerts gingen meteen af: een AVC en een fail2ban-fout. De fail2ban-regel was van 11:13 die ochtend. Wat er gebeurd was: bij de eerste start leest Alloy elk bestand vanaf het begin, en zonder verdere instructies stempelt het elke regel met het moment waarop het hem las. De hele achterstand van audit.log en fail2ban.log kwam in Loki terecht als “nu” – en de alerts, die regels in de laatste 15 minuten tellen, zagen in één keer uren aan oude fouten.
De oplossing is de timestamp uit de regel zelf te halen. Het auditlog draagt de epoch in msg=audit(1792426019.999:37103), fail2ban schrijft lokale tijd zonder zone:
loki.process "files" {
stage.match {
selector = "{job=\"audit\"}"
stage.regex { expression = "msg=audit\\((?P<ts>[0-9]+[.][0-9]+):" }
stage.timestamp { source = "ts" format = "Unix" }
}
stage.match {
selector = "{job=\"fail2ban\"}"
stage.regex { expression = "^(?P<ts>[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9:]{8},[0-9]{3})" }
stage.timestamp { source = "ts" format = "2006-01-02 15:04:05,000" location = "UTC" }
}
...
}
De tijdzone staat niet hard in de role: hij leest de zone van de host met timedatectl en geeft die door aan de template, zodat dezelfde role ook klopt op een host die in lokale tijd draait.
De les: Een logcollector die de leestijd gebruikt in plaats van de timestamp van de regel, laat alerts afgaan op oude gebeurtenissen. Haal de timestamp uit de regel.
2. De eerste echte AVC: een package-installer
De AVC zelf was echt en gloednieuw: tijdens de installatie van de Alloy-RPM probeerde useradd -m .bash_logout aan te maken in de nieuwe homedirectory /var/lib/alloy. Die map heeft het type var_lib_t, en de policy laat useradd_t daar geen gebruikersbestanden aanmaken. Onschuldig – Alloy heeft geen shellprofiel nodig – maar precies het soort gebeurtenis dat vroeger verdween in een auditlog van 6 MB.
De les: Een nieuwe tool brengt nieuwe denials mee. Een alert op AVC’s vond ze bij de eerste keer, niet weken later.
3. fail2ban-fouten die er al dagen waren
Toen ik de fail2ban-fouten in Loki bekeek, zag ik twee soorten. De ene was onschuldig: KeyError('/var/log/pods/…'), de polling-backend die het spoor kwijtraakt van een podlog dat bij een podherstart verwijderd werd; de jail gaat gewoon door. De andere niet: op 13 en 14 oktober Failed to execute ban jail 'nginx-k3s-bad-paths' action 'nftables…' – bans die niet gebeurd waren, in de dagen dat de firewall-reload werd omgebouwd. Niemand had ze gezien. Het alert sluit nu alleen het bekende onschuldige patroon uit.
De les: Fouten die niemand leest, bestaan nog steeds. Pas toen de logs doorzoekbaar waren, kwamen fouten boven die er al dagen waren.
4. Een AVC van de volgende nieuwe tool
Een uur later werd Trivy geïnstalleerd (zijn eigen deep dive volgt). De scan-unit had NoNewPrivileges=yes, en het script roept k3s kubectl aan. De k3s-binary gaat over naar het domein container_runtime_t, en onder NoNewPrivileges weigert SELinux zo’n transitie tenzij de policy die expliciet toestaat: avc: denied { nnp_transition }. Het Loki-alert ging binnen enkele minuten na de eerste scan af. Niet de eerste keer dat dit mechanisme hier problemen gaf – MariaDB en Grafana liepen er eerder al tegenaan – maar wel de eerste keer dat een machine het vond in plaats van een falende service.
Een fout van mezelf erbij: Loki schreef meerdere keren per uur “error getting network interfaces … address family not supported”. De sandbox van de unit stond alleen IPv4-, IPv6- en Unix-sockets toe, maar Loki vraagt de netwerkinterfaces op via een netlink-socket. Sinds 26 oktober 2026 is AF_NETLINK toegestaan; zonder capabilities kan Loki er alleen mee lezen, niets veranderen.
Schijf en geheugen
Na de eerste twee uur op de blog: Loki ongeveer 240 MB RSS, Alloy ongeveer 275 MB, samen zo’n twee minuten CPU-tijd, en 13 MB in /var/lib/loki – ongeveer 150 MB per dag, dus grofweg 2 GB bij de volle 14 dagen. De Nextcloud-servers hebben meer pods en meer verkeer; daarom bleef de role eerst een dag op de blog en werden de cijfers vergeleken voordat hij verder ging. Als de schijf ooit sneller groeit dan verwacht, is de eerste vraag welke stream groot is – topk op unit of namespace beantwoordt dat – en de tweede of die stream überhaupt bewaard moet worden; Alloy kan regels met stage.drop weggooien voordat ze Loki ooit bereiken.
Goed om te weten
- Tijdzone in de browser. Grafana toont tijden in de zone van de browser, de servers draaien in UTC. Een regel “van 11:13” in een bestand is in de zomer 13:13 in Grafana.
- Oude regels worden geweigerd.
reject_old_samples_max_age: 168h– een bestand met regels ouder dan een week (bijvoorbeeld een teruggezette backup) wordt niet geïmporteerd. Dat is zo bedoeld. - Herstarten is veilig. Alloy bewaart zijn leesposities in
/var/lib/alloy/data. Verwijder je die map, dan leest het alles opnieuw – nu met correcte timestamps, maar als duplicaten.
🆘 Spiekbriefje: symptoom → commando
De korte versie van dit artikel voor het moment dat er iets mis is. Draai op de host als root; <…> zijn placeholders.
| Symptoom | Commando |
|---|---|
| Is Loki klaar, is Alloy klaar? | curl -s 127.0.0.1:3100/readycurl -s 127.0.0.1:12345/-/ready |
| Logs van een bron ontbreken | curl -sG 127.0.0.1:3100/loki/api/v1/query \--data-urlencode 'query=sum(count_over_time({job="<job>"}[10m]))'journalctl -u alloy -p warning --since -1h |
| Wat heeft SELinux geweigerd? | {job="audit"} |= "type=AVC" |= "permissive=0" |
| Logs van een pod die niet meer bestaat | {namespace="<ns>", container="<container>"} |= "Fatal" |
| Kernel: OOM, segfaults, hardware | {job="journal", transport="kernel"} |
| Schijf groeit sneller dan verwacht | du -sh /var/lib/lokitopk(10, sum by (unit) (count_over_time({job="journal"}[1h]))) |
| Tijden in Grafana zitten twee uur ernaast | # browser time zone vs. UTC on the servers - not a bug |
🎯 De lessen
- Labels met weinig waarden, inhoud in de regel: zo blijft Loki klein en snel.
- Haal de timestamp uit de logregel, niet uit het moment van inlezen.
- Elk log lezen vereist één capability; root is niet nodig.
- Test een logpipeline van begin tot eind: schrijf een marker en vind die terug in Loki.
- Een alert op logregels vindt wat geen enkele metric laat zien – ook je eigen fouten.
⚖️ Alternatieven – en waarom Loki
| Optie | Sterk punt | Waarom niet hier |
|---|---|---|
| journald + grep | Gratis, altijd aanwezig | Eén host, één bron tegelijk, geen alerts, podlogs verdwijnen met de pod. |
| ELK / OpenSearch | Full-text zoeken over alles, zeer krachtig | Java, meerdere GB RAM voor één node – meer dan de hele blogstack nodig heeft. |
| Graylog | Goede UI, streams en alerts ingebouwd | Eerder in een lab getest: heeft MongoDB plus OpenSearch nodig – weer zwaar voor één kleine server. |
| Promtail + Loki | De klassieke combinatie | Promtail zit in maintenance mode; Alloy is de opvolger en spreekt ook metrics en traces. |
| Loki + Alloy | Labelindex zoals Prometheus, klein, native in Grafana | Gekozen: past bij de bestaande Prometheus/Grafana-setup en het RAM-budget. |
Het doorslaggevende punt waren niet de features, maar de fit. Prometheus en Grafana waren er al, de alertmails werkten al, en het labelmodel is hetzelfde als dat van de metrics. Loki voegde de ontbrekende helft toe – het waarom achter de cijfers – voor ongeveer een halve gigabyte RAM.
