Deep Dive: Grafana en de dashboards – wat elk paneel betekent, en alerts die nooit afgingen
Dashboards zijn alleen nuttig als je weet wat je eruit moet aflezen. Wat Prometheus op deze servers verzamelt, hoe je de vier dashboards paneel voor paneel leest, hoe de alerts werken – en waarom de eerste versie ervan nooit ook maar één mail had kunnen sturen.

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
Deep Dive in de serie rond de Ansible Tour. De tour legt de roles uit, de deep dives de techniek eronder: hoe het werkt, waarom het hier zo wordt gebruikt en wat er onderweg misging.
Elke server hier heeft zijn eigen Prometheus en zijn eigen Grafana (deel 6 van de tour laat de roles zien). Deze post is de leeswijzer: wat de getallen zijn, hoe normaal eruitziet op deze machines, welke panelen ertoe doen als er iets mis is – en hoe de alerting is opgebouwd, inclusief de fout die hem wekenlang stil hield.
Inhoud
🧭 Hoe Prometheus en Grafana werken
Pull, tijdreeksen, labels
Exporters zijn kleine programma’s die getallen via HTTP aanbieden – de node exporter voor de host, mysqld_exporter voor MariaDB, php-fpm_exporter voor PHP, de cAdvisor van de kubelet voor containers, kube-state-metrics voor Kubernetes-objecten. Prometheus haalt ze elke 15 seconden op (“scrapet”) en slaat elk getal op als tijdreeks, herkenbaar aan een naam en labels zoals container="nextcloud-fpm". Grafana vraagt Prometheus in diens querytaal PromQL en tekent het antwoord.
Drie functies die de meeste panelen dekken
rate(x[5m]): stijging per seconde van een counter, gemiddeld over vijf minuten – requests per seconde, CPU-seconden per seconde (= cores).increase(x[1h]): hoeveel een counter in een uur gegroeid is – herstarts, OOM kills, perioden met throttling.max_over_time(…[7d])ensum by (…): slechtste waarde in een periode, en reeksen optellen langs gekozen labels. Bij die tweede gebeuren de meeste leesfouten (zie hieronder).
Alerting zonder Alertmanager
Grafana evalueert de alertregels zelf: een query (A), een drempel (B), een duur (“gedurende 5 minuten”). Als de voorwaarde lang genoeg geldt, stuurt hij een mail naar het contact point. Voor één beheerder en drie servers vervangt dat een aparte Alertmanager.
🛡️ Waarom het hier draait
- Trends in plaats van momenten. 30 dagen geschiedenis beantwoorden “sinds wanneer?” en “is dit normaal?”, wat
topnooit kan. - Eén plek voor host, database, PHP, containers – en sinds oktober 2026 de logs ernaast (Loki).
- Open en standaard. Prometheus en Grafana zijn de taal van Kubernetes-monitoring; voor elke exporter bestaan al dashboards.
🔧 Wat deze repository doet
| Onderdeel | Detail |
|---|---|
| Prometheus | common_prometheus: scrape-interval 15 s, 30 dagen retentie, luistert op 127.0.0.1; 5 scrape jobs per server, ~7.500 reeksen, 0,5–0,8 GB op schijf |
| Grafana | common_grafana: pakket uit de Grafana-repository, achter de ingress onder /grafana, poort 3000 alleen open voor de node zelf; logniveau warn |
| Databronnen | Prometheus en Loki, via de API aangemaakt met vaste UID’s |
| Dashboards | 1860 Node Exporter Full, 7362 MySQL Overview, 25545 PHP-FPM (4912 tot 26 oktober 2026), plus het eigen “Container-Ressourcen” |
| Alerts | 17 metriekregels en 5 logregels, één mail-contact point |
| Hardening | eigen SELinux-domein voor Grafana, Prometheus en de exporters; Grafana-login beschermd door een fail2ban-jail en de eigen lock-out van Grafana |
Alles wordt via de HTTP-API van Grafana ingericht door kleine Python-scripts die Ansible schrijft en uitvoert. Dashboards worden geïmporteerd met vaste UID’s, zodat links en bladwijzers een herimport overleven; dashboard 1860 krijgt daarnaast een patch op zijn variabelen, omdat de import-API de databron en de node/job-variabelen niet initialiseert, en elk paneel bij de eerste keer openen “No data” toonde.
📊 De dashboards lezen
Node Exporter Full (1860) – de host
| Paneel | Normaal hier | Beter kijken als |
|---|---|---|
| CPU Busy | gemiddeld 5 % (blog), 9 % en 16 % (Nextcloud); 95e percentiel onder 30 % | langdurig boven 70 % – dan laat “CPU Basic” zien of het user, system of iowait is |
| Sys Load | onder het aantal cores, korte pieken iets erboven (reboot, nachtelijke scans) | meer dan een paar minuten boven het aantal cores |
| RAM Used | gemiddeld 16–32 %, hooguit 39 % | dagenlang stijgend zonder terug te zakken – een lek, geen belasting |
| SWAP Used | bijna nul | gestaag groeiend |
| Root FS Used | ruim onder 80 % | de alert gaat af bij 80 % |
| Disk IOps / Read/Write | korte pieken ’s nachts (scans, reboot) | hoge iowait samen met veel I/O overdag |
| Network Traffic | laag, pieken door uploads en backups | aanhoudend uitgaand verkeer dat niemand kan verklaren |
Eén patroon herhaalt zich elke nacht: een gat van een paar minuten rond 03:30. Dat is geen storing maar de geplande reboot na updates; een gat op een ander tijdstip is het bekijken waard. En de grotere Nextcloud-server toont voor K3s zelf een veelvoud van de CPU-tijd van de blog, voor hetzelfde werk – een eigenschap van zijn processorgeneratie, uitgelegd in de deep dive over K3s, geen configuratiefout.
MySQL Overview (7362) – de database
| Paneel | Normaal hier | Beter kijken als |
|---|---|---|
| MySQL Connections | een handvol, pieken 6–15 | dicht bij max_connections (50) |
| MySQL Questions / Queries | tientallen per seconde, volgt het tijdstip van de dag | een sprong zonder meer gebruikers |
| InnoDB Buffer Pool | groot deel ongebruikt, hit rate > 99 % | vrije pagina’s bijna nul en stijgende reads van schijf |
| Temporary Objects | wat tijdelijke tabellen op schijf (TEXT-kolommen) | tabellen op schijf groeien sneller dan de queries |
| Slow Queries | 0 | alles boven nul – dan zegt de slow log welke |
PHP-FPM (25545) – de workers
| Paneel | Normaal hier | Beter kijken als |
|---|---|---|
| Active / idle processes | een paar actief, de meeste idle | actief dicht bij max_children |
| Listen queue | 0 | iets boven nul voor langer dan een minuut |
| Max children reached | 0 | stijgt – de pool is te klein |
| Slow requests | 0 | stijgt – de podlog noemt het script |
Het dashboard dat nooit een getal liet zien
Tot 26 oktober 2026 beschreef deze sectie dashboard 4912 – en elk van zijn panelen toonde N/A. 4912 is gebouwd voor het cluster van de makers van de exporter zelf: elke query filtert op labels als app, hip_new en kubernetes_namespace die alleen daar bestaan. Hier bleven de variabelen bovenaan leeg, en elk paneel bleef mee leeg, terwijl de alerts, die de metrieken rechtstreeks bevragen, al die tijd werkten. Sindsdien gebruiken de servers 25545: dezelfde metrieken, alleen gefilterd op job en instance, en elke query ervan levert data op alle drie de servers. Een geïmporteerd dashboard is code die iemand voor zijn eigen setup schreef; voordat je een leeg paneel leest als “er gebeurt niks”, is het de moeite waard om te checken of de queries hier überhaupt iets opleveren.
Container-Ressourcen – het eigen dashboard
Acht panelen per namespace: CPU en geheugen als aandeel van de limiet van de container, CPU-throttling, absolute cores en working set, herstarts en OOM kills per uur, de laatste reden van beëindiging per container, en de ingestelde limits en requests. Het beantwoordt de ene vraag die de andere dashboards niet kunnen beantwoorden: wordt een container door zijn eigen limiet afgeremd terwijl de host ruimte heeft? Throttling van een paar procent is normaal voor PHP met pieken; een container die boven 50 % throttling zit, is degene die meer CPU moet krijgen.
De leesfout
Tijdens het schrijven van de performance-deep dive liet een query voor de PHP-container van de blog een geheugenpiek van 940 MiB zien tegen een limiet van 1 GiB. Die had alle reeksen met die containernaam opgeteld – tijdens een rollout overlappen de oude en de nieuwe pod, en na een herstart rapporteert cAdvisor even de oude én de nieuwe cgroup. De echte piek van één pod was 538 MiB. Panelen die sum by (namespace, pod, container) doen, zoals het eigen dashboard, zijn veilig; een sum over alleen de containernaam niet.
🚨 Alerts – en waarom ze stil bleven
| Alert | Gaat af als (gedurende 5 min) |
|---|---|
| Disk root / disk data | meer dan 80 % gebruikt |
| Memory | meer dan 90 % gebruikt |
| CPU load | meer dan 85 % bezet |
| Node down | de node exporter antwoordt niet |
| Container memory | een container boven 90 % van zijn geheugenlimiet |
| Container throttling | meer dan 50 % van de CPU-perioden gethrottled |
| Container OOM / crash loop | een OOM kill, of meer dan 2 herstarts in 15 minuten |
| Trivy stale / failed | 36 uur geen kwetsbaarheidsscan, of de laatste scan mislukte |
| PHP-FPM | requests wachten in de queue; alle workers bezet; meer dan 80 % bezet |
| Collector | een collector van de node exporter levert geen data |
| Heartbeat mail path | altijd – één mail per week per host |
| Periodic job | een job (AIDE, rkhunter, ClamAV …) heeft zich langer dan toegestaan niet gemeld |
| Logs (Loki) | SELinux-denial in enforcing-modus, fail2ban-fout, kernel-OOM, helemaal geen logs, error budget overschreden |
In september 2026 bleek bij een controle op de grotere Nextcloud-server dat geen van deze regels ooit was afgegaan – niet omdat er niets gebeurde, maar omdat ze het niet konden. De regels waren via de API aangemaakt zonder het veld condition, dat de query noemt die over de alert beslist. Grafana logde bij elke evaluatie “condition must not be empty”, en de regels stonden op execErrState: OK, wat elke evaluatiefout veranderde in “alles in orde”. Twee instellingen, elk op zich redelijk, lieten samen de alerting gezond lijken terwijl hij dood was. Sindsdien noemt elke regel condition: "B". De les: controleer na een wijziging de status van elke regel in Grafana – “Normal” zonder evaluatiefout – in plaats van het uitblijven van mail als bewijs te nemen.
Eén gat blijft bewust bestaan: noDataState en execErrState staan nog op OK, zodat een herstart van Prometheus niet een dozijn mails stuurt. Als Prometheus zelf zou stoppen, zou elke regel stilletjes groen blijven. Dat geval wordt buiten Grafana afgedekt: Monit bewaakt Prometheus, Grafana, de node- en MySQL-exporters, Loki en Alloy, en mailt als een ervan stopt.
Sinds 26 oktober 2026 dichten twee regels dit gat van de andere kant. De ene gaat expres de hele tijd af en stuurt eens per week een mail; als die op maandag ontbreekt, is het mailpad kapot. De andere meldt wanneer een periodieke job zoals AIDE of rkhunter zijn timestamp niet meer vernieuwt. Of Prometheus zelf draait, controleert nog steeds Monit.
De les: Een alert die nooit afgaat, is ofwel overbodig ofwel kapot. De enige manier om het verschil te zien is hem één keer te laten afgaan – of zijn status in Grafana te controleren in plaats van te vertrouwen op het uitblijven van mail.
- Een drempel wijzigen betekent hem in de role wijzigen en het playbook draaien; een wijziging in de webinterface zou bij de volgende run worden overschreven, en dat is de bedoeling.
- Een nieuw paneel dat moet blijven, gaat in de dashboard-JSON in de repository (het eigen dashboard) – voor geïmporteerde community-dashboards een kopie met een eigen UID.
- Backups: alles wat ertoe doet – databronnen, dashboards, alertregels – wordt uit de repository opnieuw aangemaakt. Van de metrieken zelf wordt geen backup gemaakt; 30 dagen geschiedenis is de bewust gekozen horizon.
🆘 Spiekbriefje: symptoom → commando
De korte versie van dit artikel voor het moment dat er iets mis is. Uitvoeren op de host als root; <…> zijn placeholders.
| Symptoom | Commando |
|---|---|
| Grafana of Prometheus niet bereikbaar | systemctl status grafana-server prometheusjournalctl -u grafana-server --since -1h |
| 403 op /grafana | # country filter in the ingress: is the address in the list?nft get element inet filter ssh_geo4 '{ <ip> }' |
| Een grafiek is leeg | curl -s http://127.0.0.1:9090/api/v1/targets | jq '.data.activeTargets[] | {job: .labels.job, health}' |
| Prometheus rechtstreeks bevragen | curl -s --get http://127.0.0.1:9090/api/v1/query --data-urlencode 'query=up' | jq '.data.result' |
| Geen alertmails, hoewel er iets mis is | # Grafana → Alerting → Alert rules: state "Error" or "No data"?journalctl -u grafana-server | grep -i alert | tail |
| Prometheus zelf gestopt | monit status svc_prometheus # Monit mails, Grafana cannot |
| Drempel of dashboard in de webinterface gewijzigd | # overwritten by the next playbook run - change it in the role |
🎯 De lessen
- Naast elk paneel hoort de normale waarde voor deze server.
- Aggregeer containermetrieken per pod, niet per containernaam.
- Controleer een geïmporteerd dashboard eerst tegen je eigen labels.
- Alertregels hebben een
conditionnodig; je controleert hun status, niet het uitblijven van mail. - Een heartbeat laat zien dat het alertpad zelf werkt.
⚖️ Alternatieven – en waarom Grafana + Prometheus
| Optie | Sterk punt | Waarom niet hier |
|---|---|---|
| Netdata | Geen configuratie, resolutie per seconde | Per host, standaard korte geschiedenis, minder geschikt voor Kubernetes-metrieken. |
| Zabbix / Icinga | Klassieke check-gebaseerde monitoring, volwassen alerting | Checks zeggen “up of down”, niet “hoeveel sinds wanneer”; containermetrieken kosten extra werk. Icinga is in een lab getest. |
| Cloud-monitoringdiensten | Niets om zelf te draaien | De metrieken verlaten de server; kosten per host en per reeks. |
| Prometheus + Grafana | Standaard voor Kubernetes, pull-model, open, dashboards voor elke exporter | Gekozen. |
Een dashboard is een set vragen die iemand anders heeft gesteld. De nuttige hier zijn die waarvan de normale toestand bekend is – daarom zet deze post “normaal hier” naast elk paneel. En alerting is maar zo goed als zijn laatste test: de belangrijkste regel in deze post is die over regels die wekenlang groen leken zonder ooit te kunnen afgaan.
