Deep Dive: Grafana en de dashboards – wat elk paneel betekent, en alerts die nooit afgingen

Dashboards zijn alleen nuttig als je weet wat je eruit moet aflezen. Wat Prometheus op deze servers verzamelt, hoe je de vier dashboards paneel voor paneel leest, hoe de alerts werken – en waarom de eerste versie ervan nooit ook maar één mail had kunnen sturen.

Illustratie voor de Deep Dive-serie

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

Deep Dive in de serie rond de Ansible Tour. De tour legt de roles uit, de deep dives de techniek eronder: hoe het werkt, waarom het hier zo wordt gebruikt en wat er onderweg misging.

Elke server hier heeft zijn eigen Prometheus en zijn eigen Grafana (deel 6 van de tour laat de roles zien). Deze post is de leeswijzer: wat de getallen zijn, hoe normaal eruitziet op deze machines, welke panelen ertoe doen als er iets mis is – en hoe de alerting is opgebouwd, inclusief de fout die hem wekenlang stil hield.

Inhoud

🧭 Hoe Prometheus en Grafana werken

Pull, tijdreeksen, labels

Exporters zijn kleine programma’s die getallen via HTTP aanbieden – de node exporter voor de host, mysqld_exporter voor MariaDB, php-fpm_exporter voor PHP, de cAdvisor van de kubelet voor containers, kube-state-metrics voor Kubernetes-objecten. Prometheus haalt ze elke 15 seconden op (“scrapet”) en slaat elk getal op als tijdreeks, herkenbaar aan een naam en labels zoals container="nextcloud-fpm". Grafana vraagt Prometheus in diens querytaal PromQL en tekent het antwoord.

Drie functies die de meeste panelen dekken

  • rate(x[5m]): stijging per seconde van een counter, gemiddeld over vijf minuten – requests per seconde, CPU-seconden per seconde (= cores).
  • increase(x[1h]): hoeveel een counter in een uur gegroeid is – herstarts, OOM kills, perioden met throttling.
  • max_over_time(…[7d]) en sum by (…): slechtste waarde in een periode, en reeksen optellen langs gekozen labels. Bij die tweede gebeuren de meeste leesfouten (zie hieronder).

Alerting zonder Alertmanager

Grafana evalueert de alertregels zelf: een query (A), een drempel (B), een duur (“gedurende 5 minuten”). Als de voorwaarde lang genoeg geldt, stuurt hij een mail naar het contact point. Voor één beheerder en drie servers vervangt dat een aparte Alertmanager.

🛡️ Waarom het hier draait

  • Trends in plaats van momenten. 30 dagen geschiedenis beantwoorden “sinds wanneer?” en “is dit normaal?”, wat top nooit kan.
  • Eén plek voor host, database, PHP, containers – en sinds oktober 2026 de logs ernaast (Loki).
  • Open en standaard. Prometheus en Grafana zijn de taal van Kubernetes-monitoring; voor elke exporter bestaan al dashboards.

🔧 Wat deze repository doet

OnderdeelDetail
Prometheuscommon_prometheus: scrape-interval 15 s, 30 dagen retentie, luistert op 127.0.0.1; 5 scrape jobs per server, ~7.500 reeksen, 0,5–0,8 GB op schijf
Grafanacommon_grafana: pakket uit de Grafana-repository, achter de ingress onder /grafana, poort 3000 alleen open voor de node zelf; logniveau warn
DatabronnenPrometheus en Loki, via de API aangemaakt met vaste UID’s
Dashboards1860 Node Exporter Full, 7362 MySQL Overview, 25545 PHP-FPM (4912 tot 26 oktober 2026), plus het eigen “Container-Ressourcen”
Alerts17 metriekregels en 5 logregels, één mail-contact point
Hardeningeigen SELinux-domein voor Grafana, Prometheus en de exporters; Grafana-login beschermd door een fail2ban-jail en de eigen lock-out van Grafana

Alles wordt via de HTTP-API van Grafana ingericht door kleine Python-scripts die Ansible schrijft en uitvoert. Dashboards worden geïmporteerd met vaste UID’s, zodat links en bladwijzers een herimport overleven; dashboard 1860 krijgt daarnaast een patch op zijn variabelen, omdat de import-API de databron en de node/job-variabelen niet initialiseert, en elk paneel bij de eerste keer openen “No data” toonde.

📊 De dashboards lezen

Node Exporter Full (1860) – de host

PaneelNormaal hierBeter kijken als
CPU Busygemiddeld 5 % (blog), 9 % en 16 % (Nextcloud); 95e percentiel onder 30 %langdurig boven 70 % – dan laat “CPU Basic” zien of het user, system of iowait is
Sys Loadonder het aantal cores, korte pieken iets erboven (reboot, nachtelijke scans)meer dan een paar minuten boven het aantal cores
RAM Usedgemiddeld 16–32 %, hooguit 39 %dagenlang stijgend zonder terug te zakken – een lek, geen belasting
SWAP Usedbijna nulgestaag groeiend
Root FS Usedruim onder 80 %de alert gaat af bij 80 %
Disk IOps / Read/Writekorte pieken ’s nachts (scans, reboot)hoge iowait samen met veel I/O overdag
Network Trafficlaag, pieken door uploads en backupsaanhoudend uitgaand verkeer dat niemand kan verklaren

Eén patroon herhaalt zich elke nacht: een gat van een paar minuten rond 03:30. Dat is geen storing maar de geplande reboot na updates; een gat op een ander tijdstip is het bekijken waard. En de grotere Nextcloud-server toont voor K3s zelf een veelvoud van de CPU-tijd van de blog, voor hetzelfde werk – een eigenschap van zijn processorgeneratie, uitgelegd in de deep dive over K3s, geen configuratiefout.

MySQL Overview (7362) – de database

PaneelNormaal hierBeter kijken als
MySQL Connectionseen handvol, pieken 6–15dicht bij max_connections (50)
MySQL Questions / Queriestientallen per seconde, volgt het tijdstip van de dageen sprong zonder meer gebruikers
InnoDB Buffer Poolgroot deel ongebruikt, hit rate > 99 %vrije pagina’s bijna nul en stijgende reads van schijf
Temporary Objectswat tijdelijke tabellen op schijf (TEXT-kolommen)tabellen op schijf groeien sneller dan de queries
Slow Queries0alles boven nul – dan zegt de slow log welke

PHP-FPM (25545) – de workers

PaneelNormaal hierBeter kijken als
Active / idle processeseen paar actief, de meeste idleactief dicht bij max_children
Listen queue0iets boven nul voor langer dan een minuut
Max children reached0stijgt – de pool is te klein
Slow requests0stijgt – de podlog noemt het script

Het dashboard dat nooit een getal liet zien

Tot 26 oktober 2026 beschreef deze sectie dashboard 4912 – en elk van zijn panelen toonde N/A. 4912 is gebouwd voor het cluster van de makers van de exporter zelf: elke query filtert op labels als app, hip_new en kubernetes_namespace die alleen daar bestaan. Hier bleven de variabelen bovenaan leeg, en elk paneel bleef mee leeg, terwijl de alerts, die de metrieken rechtstreeks bevragen, al die tijd werkten. Sindsdien gebruiken de servers 25545: dezelfde metrieken, alleen gefilterd op job en instance, en elke query ervan levert data op alle drie de servers. Een geïmporteerd dashboard is code die iemand voor zijn eigen setup schreef; voordat je een leeg paneel leest als “er gebeurt niks”, is het de moeite waard om te checken of de queries hier überhaupt iets opleveren.

Container-Ressourcen – het eigen dashboard

Acht panelen per namespace: CPU en geheugen als aandeel van de limiet van de container, CPU-throttling, absolute cores en working set, herstarts en OOM kills per uur, de laatste reden van beëindiging per container, en de ingestelde limits en requests. Het beantwoordt de ene vraag die de andere dashboards niet kunnen beantwoorden: wordt een container door zijn eigen limiet afgeremd terwijl de host ruimte heeft? Throttling van een paar procent is normaal voor PHP met pieken; een container die boven 50 % throttling zit, is degene die meer CPU moet krijgen.

De leesfout

Tijdens het schrijven van de performance-deep dive liet een query voor de PHP-container van de blog een geheugenpiek van 940 MiB zien tegen een limiet van 1 GiB. Die had alle reeksen met die containernaam opgeteld – tijdens een rollout overlappen de oude en de nieuwe pod, en na een herstart rapporteert cAdvisor even de oude én de nieuwe cgroup. De echte piek van één pod was 538 MiB. Panelen die sum by (namespace, pod, container) doen, zoals het eigen dashboard, zijn veilig; een sum over alleen de containernaam niet.

🚨 Alerts – en waarom ze stil bleven

AlertGaat af als (gedurende 5 min)
Disk root / disk datameer dan 80 % gebruikt
Memorymeer dan 90 % gebruikt
CPU loadmeer dan 85 % bezet
Node downde node exporter antwoordt niet
Container memoryeen container boven 90 % van zijn geheugenlimiet
Container throttlingmeer dan 50 % van de CPU-perioden gethrottled
Container OOM / crash loopeen OOM kill, of meer dan 2 herstarts in 15 minuten
Trivy stale / failed36 uur geen kwetsbaarheidsscan, of de laatste scan mislukte
PHP-FPMrequests wachten in de queue; alle workers bezet; meer dan 80 % bezet
Collectoreen collector van de node exporter levert geen data
Heartbeat mail pathaltijd – één mail per week per host
Periodic jobeen job (AIDE, rkhunter, ClamAV …) heeft zich langer dan toegestaan niet gemeld
Logs (Loki)SELinux-denial in enforcing-modus, fail2ban-fout, kernel-OOM, helemaal geen logs, error budget overschreden

In september 2026 bleek bij een controle op de grotere Nextcloud-server dat geen van deze regels ooit was afgegaan – niet omdat er niets gebeurde, maar omdat ze het niet konden. De regels waren via de API aangemaakt zonder het veld condition, dat de query noemt die over de alert beslist. Grafana logde bij elke evaluatie “condition must not be empty”, en de regels stonden op execErrState: OK, wat elke evaluatiefout veranderde in “alles in orde”. Twee instellingen, elk op zich redelijk, lieten samen de alerting gezond lijken terwijl hij dood was. Sindsdien noemt elke regel condition: "B". De les: controleer na een wijziging de status van elke regel in Grafana – “Normal” zonder evaluatiefout – in plaats van het uitblijven van mail als bewijs te nemen.

Eén gat blijft bewust bestaan: noDataState en execErrState staan nog op OK, zodat een herstart van Prometheus niet een dozijn mails stuurt. Als Prometheus zelf zou stoppen, zou elke regel stilletjes groen blijven. Dat geval wordt buiten Grafana afgedekt: Monit bewaakt Prometheus, Grafana, de node- en MySQL-exporters, Loki en Alloy, en mailt als een ervan stopt.

Sinds 26 oktober 2026 dichten twee regels dit gat van de andere kant. De ene gaat expres de hele tijd af en stuurt eens per week een mail; als die op maandag ontbreekt, is het mailpad kapot. De andere meldt wanneer een periodieke job zoals AIDE of rkhunter zijn timestamp niet meer vernieuwt. Of Prometheus zelf draait, controleert nog steeds Monit.

De les: Een alert die nooit afgaat, is ofwel overbodig ofwel kapot. De enige manier om het verschil te zien is hem één keer te laten afgaan – of zijn status in Grafana te controleren in plaats van te vertrouwen op het uitblijven van mail.

  • Een drempel wijzigen betekent hem in de role wijzigen en het playbook draaien; een wijziging in de webinterface zou bij de volgende run worden overschreven, en dat is de bedoeling.
  • Een nieuw paneel dat moet blijven, gaat in de dashboard-JSON in de repository (het eigen dashboard) – voor geïmporteerde community-dashboards een kopie met een eigen UID.
  • Backups: alles wat ertoe doet – databronnen, dashboards, alertregels – wordt uit de repository opnieuw aangemaakt. Van de metrieken zelf wordt geen backup gemaakt; 30 dagen geschiedenis is de bewust gekozen horizon.

🆘 Spiekbriefje: symptoom → commando

De korte versie van dit artikel voor het moment dat er iets mis is. Uitvoeren op de host als root; <…> zijn placeholders.

SymptoomCommando
Grafana of Prometheus niet bereikbaarsystemctl status grafana-server prometheus
journalctl -u grafana-server --since -1h
403 op /grafana# country filter in the ingress: is the address in the list?
nft get element inet filter ssh_geo4 '{ <ip> }'
Een grafiek is leegcurl -s http://127.0.0.1:9090/api/v1/targets | jq '.data.activeTargets[] | {job: .labels.job, health}'
Prometheus rechtstreeks bevragencurl -s --get http://127.0.0.1:9090/api/v1/query --data-urlencode 'query=up' | jq '.data.result'
Geen alertmails, hoewel er iets mis is# Grafana → Alerting → Alert rules: state "Error" or "No data"?
journalctl -u grafana-server | grep -i alert | tail
Prometheus zelf gestoptmonit status svc_prometheus # Monit mails, Grafana cannot
Drempel of dashboard in de webinterface gewijzigd# overwritten by the next playbook run - change it in the role

🎯 De lessen

  • Naast elk paneel hoort de normale waarde voor deze server.
  • Aggregeer containermetrieken per pod, niet per containernaam.
  • Controleer een geïmporteerd dashboard eerst tegen je eigen labels.
  • Alertregels hebben een condition nodig; je controleert hun status, niet het uitblijven van mail.
  • Een heartbeat laat zien dat het alertpad zelf werkt.

⚖️ Alternatieven – en waarom Grafana + Prometheus

OptieSterk puntWaarom niet hier
NetdataGeen configuratie, resolutie per secondePer host, standaard korte geschiedenis, minder geschikt voor Kubernetes-metrieken.
Zabbix / IcingaKlassieke check-gebaseerde monitoring, volwassen alertingChecks zeggen “up of down”, niet “hoeveel sinds wanneer”; containermetrieken kosten extra werk. Icinga is in een lab getest.
Cloud-monitoringdienstenNiets om zelf te draaienDe metrieken verlaten de server; kosten per host en per reeks.
Prometheus + GrafanaStandaard voor Kubernetes, pull-model, open, dashboards voor elke exporterGekozen.

Een dashboard is een set vragen die iemand anders heeft gesteld. De nuttige hier zijn die waarvan de normale toestand bekend is – daarom zet deze post “normaal hier” naast elk paneel. En alerting is maar zo goed als zijn laatste test: de belangrijkste regel in deze post is die over regels die wekenlang groen leken zonder ooit te kunnen afgaan.

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details