De Ansible Tour, deel 6: monitoring – exporters, Prometheus, Grafana en een Monit-waakhond

Deel 6 van de Ansible Tour: hoe metrics stromen, hoe de waakhond beslist wanneer hij mailt, en een tabel van elke alarmmail met wat je moet doen.

Illustratie voor de Ansible Tour-serie

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

Deel 6 van de Ansible Tour, en het laatste. Na het platform, de applicaties en security gaat dit deel over weten wat er gebeurt. De serie beschrijft release v3.3.0, met latere wijzigingen toegevoegd als updates.

Een server waar niemand naar kijkt, faalt in stilte. De setup hier kijkt op vier manieren, en het helpt om die uit elkaar te houden:

SoortVraagTool
MetricsHoe gaat het met de server door de tijd heen?exporters, Prometheus, Grafana
ToestandenIs er nu iets kapot?Monit
LogsWat is er gebeurd, en waarom?Loki en Grafana Alloy
LevenstekensDraait wat zelden iets meldt überhaupt nog?job-timestamps, een wekelijkse mail

Ze volgen allemaal de regel uit deel 5: stil zolang alles gezond is, zodat elke mail iets betekent. En ze trapten allemaal in dezelfde val: een tijdlang waren ze stil omdat ze niet konden praten, niet omdat er niets gebeurde.

Inhoud

📈 Metrics: exporters, Prometheus, Grafana

Het model is pull: exporters bieden hun cijfers aan als tekstpagina via HTTP, Prometheus haalt ze elke 15 seconden op en bewaart ze 30 dagen, Grafana tekent de curves. Er verlaat niets de server. De node exporter meldt de host, een MariaDB-exporter de database, een PHP-FPM-exporter als sidecar de PHP-workers, cAdvisor in de kubelet elke container, en kube-state-metrics limieten, herstarts en beëindigingsredenen uit de API. Alles luistert alleen lokaal of op poorten die de firewall van buitenaf dropt; alleen Grafana is bereikbaar, via de ingress, met een eigen login en alleen vanuit Duitsland.

De exporters zijn het duidelijkste voorbeeld van het pinned-binary-patroon uit deel 2: de geïnstalleerde versie uitlezen, alleen downloaden bij een afwijking van versions.yml, dan herstarten. Het gedownloade archief in /tmp was vroeger de markering voor “al geïnstalleerd” – na elke reboot was /tmp leeg, en elke run downloadde opnieuw. De geïnstalleerde versie vergelijken met de pin is de eerlijke test.

Prometheus evalueert zijn eigen alertregels, maar verstuurt geen mail; daarvoor zou Alertmanager nodig zijn, die met opzet ontbreekt. De mails komen van Grafana en Monit, en de configuratie zegt dat in de eerste regels, zodat niemand wacht op een mail die niet kan komen. Tot de scrape-jobs per stack gesplitst werden, liet elke server permanent twee targets als “down” zien – de poorten van de andere stack. Onschuldig, maar ruis precies waar je naar echte problemen zoekt.

Grafana heeft geen Ansible-module; de role praat met zijn HTTP-API volgens het patroon “eerst controleren, dan aanmaken”, want een data source twee keer aanmaken levert twee data sources op. Dashboards worden geïmporteerd met een vaste ID, zodat een herimport overschrijft in plaats van kopieert. In deze role zitten drie lessen:

  • Regels die nooit konden afgaan. In september 2026 liet een controle zien dat geen enkele alertregel ooit was afgegaan – ze misten het veld condition, en omdat een evaluatiefout als “OK” telde, zagen ze er groen uit. Sindsdien controleert de laatste check de toestand van elke regel.
  • Een dashboard dat nooit een getal liet zien. Het PHP-FPM-dashboard 4912 van grafana.com filterde op labels uit het eigen cluster van de auteurs; hier bleef elk paneel leeg. Sinds 26 oktober 2026 is het 25545, waarvan alle queries hier data teruggeven. De Grafana deep dive vertelt beide verhalen.
  • Een mailpad dat in stilte brak. Het SMTP-wachtwoord bevatte een #, wat in de configuratie een commentaar begon. Sinds 26 oktober gaat er met opzet continu een regel af die één keer per week een mail stuurt; ontbreekt die op maandag, dan is het mailpad kapot.

Sinds release v3.3.0 zijn er ook curves per container: cAdvisor via een ServiceAccount waarvan het enige recht het lezen van metrics is, en kube-state-metrics met alleen-lezen-rechten. Een eigen dashboard zet elke container af tegen zijn limiet, en vier alerts letten op geheugen, throttling, OOM kills en herstartlussen. Een valkuil bij het lezen: een query die over de containernaam optelt, telt tijdens een rollout de oude en de nieuwe pod bij elkaar op – de juiste som is per pod.

De les: een alert die nooit afgaat en een paneel dat niets laat zien, zien er precies zo uit als een gezonde server. Controleer hun toestand in plaats van op de stilte te vertrouwen.

🐕 common_monit: de waakhond

Monit bestaat vanwege een incident: fail2ban was op de blog gestorven, en twee dagen lang merkte niemand het. Een dode service verschijnt niet als curve. Monit controleert toestanden: elke twee minuten draait het een lijst checks, en het mailt alleen als er een van ok naar mislukt gaat of terug. Omdat dezelfde role op beide stacks draait, vraagt hij eerst met systemctl cat welke services er op deze host bestaan en schrijft alleen voor die een check.

  • Services en firewall: SSH, K3s, de exporters, Prometheus, Grafana; de firewall-tabel met zijn ban-sets; of fail2ban en de sets dezelfde adressen hebben geband.
  • Pods: crash loop, image-pull-fout, OOM – korte wachttoestanden tijdens een herstart tellen niet.
  • fail2ban-jails: of elke jail een logbestand leest dat nog bestaat.
  • Mail: sinds 26 oktober 2026 elke mail die msmtp niet kon afleveren. Monit verstuurt zijn eigen mails via een eigen SMTP-verbinding, zodat deze alert ook doorkomt als het msmtp-pad kapot is.
  • Certificaten: minder dan 21 dagen over. Vernieuwing begint bij 30 dagen; 21 betekent dat ze al meer dan een week mislukt. Deze drempel ontstond toen een image policy de challenge-pod van cert-manager in stilte blokkeerde en dat pas kort voor het verlopen werd opgemerkt.
  • Back-ups: de externe back-upjob werkt na elk succes een bestand op de server bij; is dat ouder dan drie dagen, dan slaat Monit alarm. De server kan de back-up niet zien, maar wel dat niemand hem van een back-up op de hoogte heeft gebracht.

Of de waakhond blaft, wordt op verzoek gecontroleerd door een zelftest: die stopt kort de node exporter, wacht tot Monit de storing meldt en start hem weer – een echte alarmmail en een echte all-clear-mail.

De les: toestanden en metrics beantwoorden verschillende vragen. Wat niet als curve verschijnt, heeft een check nodig die alleen meldt als er iets verandert.

🔎 Logs, kwetsbaarheden en levenstekens

Sinds 20 oktober 2026 draaien er nog twee roles op alle drie de servers. Loki en Grafana Alloy verzamelen de journal, pod-logs, de audit log en de log van fail2ban, 14 dagen lang, doorzoekbaar naast de metrics. Vijf log-alerts melden een door SELinux geblokkeerde toegang, fail2ban-fouten, OOM kills van de kernel, ontbrekende logs en – sinds 26 oktober – een overschreden error budget: meer dan 100 fout- en waarschuwingsregels van één service in een uur, bekende ruis uitgezonderd. Daarvoor hadden twee exporters dagenlang elk tot 240 van zulke regels per uur geschreven zonder dat er iets alarm sloeg. Trivy scant elke nacht alle draaiende images en mailt alleen nieuwe fixbare bevindingen. Beide hebben hun eigen deep dives over Loki en Trivy.

De vierde soort toezicht kwam als laatste. Jobs die alleen mailen bij een vondst – AIDE, rkhunter, ClamAV, de auditd-notifier – zijn ook stil als ze helemaal niet meer draaien; de auditd-notifier deed dat ooit zes weken lang. Sinds 26 oktober 2026 schrijft elk van deze jobs na een geslaagde run een timestamp, Prometheus verzamelt die, en een alert meldt elke job die te laat is. Van buitenaf controleert een wekelijks script wat een bezoeker ziet: namen, certificaten, open poorten en of een ban echt effect heeft.

De les: stilte is alleen goed nieuws als je weet dat de afzender nog leeft.

🛠️ In bedrijf: wie mailt wat

VanBetekenisWat te doen
Verify-roleResultaat na elke playbook-runalles groen, of naar de mislukte checks kijken
Grafanaeen resource raakt op, een job is te laat, PHP-FPM heeft het drukplannen, niet in paniek raken; bij een te late job uitzoeken waarom hij niet draaide
Grafana “heartbeat”één keer per week, met opzetniets – als hij ontbreekt, is het mailpad kapot
Moniter is nu iets kapotmeteen kijken
LokiSELinux-denial, fail2ban-fout, OOM, geen logs, error budgetde bijbehorende regels lezen in Explore van Grafana
dnf-automatic, SSH-alert, auditd, AIDE, rkhunter, ClamAV, Trivyzie deel 2 en deel 5zie daar
  • Schijf: kijk naar de helling, niet naar het niveau. Een lijn die twee procent per week stijgt, bereikt de 80 %-alert op een voorspelbare dag.
  • Geheugen: “used” is altijd hoog door de file cache; wat telt is “available”.
  • PHP-FPM: als alle workers bezig zijn, komen requests in de wachtrij, hoe snel de server ook is. Twee vroege waarschuwingen melden 80 % bezette workers en het bereiken van max_children.

🎯 De lessen van deel 6

  • Metrics, toestanden, logs en levenstekens beantwoorden verschillende vragen; je hebt ze alle vier nodig.
  • Een alertregel heeft een gecontroleerde toestand nodig, niet alleen een definitie.
  • Controleer een geïmporteerd dashboard eerst tegen je eigen data.
  • Elk pad waarlangs alerts reizen, heeft zelf een regelmatig levensteken nodig.
  • Aggregeer containermetrics per pod, niet per containernaam.

🏁 Het einde van de tour

Dat zijn alle roles van de repository, de vier playbooks, de inventory en de checks eromheen. Wie alle zes delen heeft gelezen, weet wat er op deze servers draait, waarom het zo gebouwd is, wat er onderweg misging en wat je moet doen als er een mail binnenkomt. Dat was het doel: niet dat je deze setup kopieert, maar dat hij begrijpelijk genoeg wordt om hem te draaien – of om je eigen te bouwen en de fouten te vermijden die hier opgeschreven staan.

De techniek onder de roles wordt uitgelegd in de deep dives, van SELinux en nftables via K3s tot performance met metingen. De links in de tour wijzen naar release v3.3.0, zodat ze de code blijven tonen die de tekst beschrijft.

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details