Deep Dive: AIDE en rkhunter op een K3s-host – integriteitscontroles zonder te verdrinken in vals alarm
AIDE en rkhunter melden elke wijziging aan systeembestanden. Op een Kubernetes-host verandert echter voortdurend iets. Hoe je beide zo inricht dat een alarm weer iets betekent – en de valse alarmen die me daar brachten.

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
Een integriteitscontrole is maar zo goed als de mails die hij stuurt. Als hij elke ochtend honderden wijzigingen meldt, leest niemand ze na een week nog — en de ene echte bevinding raakt ermee verloren. Dat was mijn probleem met AIDE en rkhunter op drie K3s-hosts: beide werkten, maar meestal meldden ze dingen die ik zelf had veroorzaakt.
Deze deep dive laat zien wat de twee tools doen, waar de ruis op een Kubernetes-host vandaan komt en hoe de baseline elke bedoelde wijziging volgt.
Inhoud
🧾 Wat AIDE doet
AIDE (Advanced Intrusion Detection Environment) bouwt een database: voor elk bewaakt bestand slaat het checksums, rechten, eigenaar, grootte en timestamps op. De dagelijkse controle vergelijkt het bestandssysteem met die baseline. Als iemand een programma in /usr/bin of een configuratie in /etc verandert, komt dat boven — ook als de aanvaller de logs heeft opgeschoond.
De mijne draait één keer per dag en mailt alleen als AIDE echt verschillen vindt. Twee details maken hem bruikbaar:
- Meerdere threads: AIDE 0.19 kan parallel hashen. Met één thread duurde een run van 38 seconden tot anderhalve minuut; nu gebruikt hij één thread per vCPU, met lage prioriteit.
- De exitcode is een bitmask: 1 = bestanden toegevoegd, 2 = verwijderd, 4 = gewijzigd. Waarden van 1 tot 7 betekenen dus “verschillen gevonden”; pas 14 en hoger is een fout van AIDE zelf. Behandel het als een gewone foutcode en je breekt precies af wanneer AIDE zijn werk heeft gedaan — wat mijn eerste versie deed.
De les: AIDE zegt niet “goed” of “slecht”, het zegt “anders dan gisteren”. Of dat een bevinding is, hangt ervan af of de baseline actueel is.
🐳 Waar de ruis op een K3s-host vandaan komt
Een Kubernetes-host verandert voortdurend zonder dat er iets verdachts gebeurt. Drie plekken leverden bij mij regelmatig vals alarm op:
/var/log/pods: K3s maakt bij elke podstart en elke CronJob-run een submap aan. Dat verandert het aantal links van de bovenliggende map — AIDE meldde dat praktisch elke dag./var/log/containers: één symlink per container die naar/var/log/podswijst. Als een CronJob-pod tijdens de controle wordt opgeruimd, hangt de link in het niets, en begon de mail met “failed to access …”./boot/efi: een FAT-bestandssysteem dat AIDE onder SELinux niet mag lezen. Hij sloeg de partitie toch al over — maar elke run leverde een stapel SELinux-denials op, 13 per run op één host.
De eerste twee zijn geen doelwit voor manipulatie: het zijn vluchtige opnames van containeruitvoer, geen programma’s en geen configuratie. Ze zijn dus uitgesloten, elk met zijn reden in de code. Voor /boot/efi is uitsluiten niet genoeg: AIDE vraagt nog steeds de eigenschappen van het bestandssysteem op met statfs(). Een kleine lokale SELinux-module staat precies die ene aanroep toe — metadata van het bestandssysteem lezen, geen enkel bestand erop. De EFI-bestanden komen uit packages, dus rpm -V controleert ze als het nodig is.
De les: uitsluitingen zijn prima zolang elke uitsluiting een reden heeft. “Het is irritant” is er geen — “het is vluchtig en geen aanvalsdoel” wel.
🔄 De baseline moet meebewegen
De meeste valse alarmen kwamen echter van mezelf. Elke bedoelde wijziging — een package-update, een nieuwe firewallregel, een nieuwe K3s-binary — is voor AIDE in eerste instantie een afwijking. Op mijn hosts zijn er drie routes waarlangs bewaakte bestanden veranderen, en elke route heeft zijn eigen refresh nodig:
- Ansible-runs: de laatste rol van elk playbook is
common_aide_refresh. Die draaitaide --update, dat in één doorgang controleert en de nieuwe database schrijft. Vroeger was het een controle gevolgd door een update, dus twee volledige scans per run. - Nachtelijke security-updates: dnf-automatic installeert ’s nachts updates, zonder Ansible. Na een kernelwissel meldde AIDE de volgende ochtend 3.273 toegevoegde, 3.273 verwijderde en 364 gewijzigde bestanden — oude kernel eruit, nieuwe kernel erin. Sindsdien draait er om 04:00 een aparte refresh, na het updatevenster en de mogelijke reboot om 03:30.
- Wijzigingen met de hand: wie buiten deze twee routes iets verandert, moet de refresh zelf aanslingeren. Mijn regel: na elke playbook-run met
--tagsook--tags common_rkhunter,common_aide_refreshdraaien — een run met tags slaat de laatste rol over.
De derde route is de verraderlijke. Toen ik onlangs ’s middags met de hand een kernel installeerde, zou de controle van middernacht — vóór de refresh van 04:00 — precies die kernel hebben gemeld.
De les: elke route waarlangs een systeem verandert, heeft een bijpassende baseline-refresh nodig. Vergeet er één en het valse alarm komt gegarandeerd.
🦠 rkhunter: een second opinion met eigen eigenaardigheden
rkhunter (Rootkit Hunter) werkt op een vergelijkbare manier, maar met een andere focus: het vergelijkt belangrijke systeemprogramma’s met zijn eigen database van eigenschappen en zoekt naar sporen van bekende rootkits. Ook dat heeft een actuele baseline nodig, die rkhunter --propupd aanmaakt.
Er waren drie dingen nodig voordat het stil werd:
- Een dnf-plugin in plaats van een timer-hook: na elke dnf-transactie die echt packages heeft veranderd, draait een kleine plugin
rkhunter --propupd. Mijn eerste oplossing hing aan de dnf-automatic-service, dus die vuurde alleen bij nachtelijke updates, niet bij een handmatigednf upgrade. - Eén scan per nacht: het EPEL-package levert een eigen script in
/etc/cron.daily. Samen met mijn eigen cron-entry draaide elke host twee volledige scans per nacht — en een waarschuwing betekende twee mails. Het meegeleverde script is weg, en een rpm-instelling (%_netsharedpath) zorgt ervoor dat de volgende rkhunter-update het niet terugzet. - Uitgeschakelde tests, elk met een reden: sommige tests passen niet bij AlmaLinux 9 of K3s — de test van de SSH-configuratie met een bekende bug in rkhunter 1.4.6 bijvoorbeeld, of de moduletests die na een kernelwissel op het verkeerde pad kijken. Elke uitgeschakelde test staat met zijn reden in de rol.
Eén detail voor het drift-principe: --propupd ververst een afgeleide database, geen configuratie. De task meldt daarom nooit “changed” — anders zou elke playbook-run eruitzien als drift.
De les: een package brengt soms zijn eigen idee mee over hoe je moet werken. Als je zelf dingen inplant, schakel dan het meegeleverde schema bewust uit — en zorg dat het niet terugkomt.
💓 Wie controleert de controleur?
Een stille integriteitscontrole is alleen goed als hij ook echt draait. “Geen mail” kan twee dingen betekenen: alles in orde — of de job draait niet meer. Daarom schrijft elk van deze jobs aan het eind een timestamp (een heartbeat) voor Prometheus, en een alertregel gaat af als een ervan te oud wordt.
Het opzetten van de heartbeats bracht twee oude fouten aan het licht:
- Op één host draaide om 05:00 een met de hand gemaakte tweede AIDE-controle — in geen enkele rol en geen enkele repository, single-threaded en overbodig.
- Mails aan de kale ontvanger
rootkwamen nooit aan. De relay accepteerde ze, maar msmtp heeft geen lokale aliassen, en zonder domein ging de mail nergens heen. Sindsdien gaat elk alert naar een volledig adres.
De les: stilte is geen bewijs. Een controletool heeft een eigen controle nodig dat hij draait en dat zijn mails aankomen.
🎯 De lessen
- Een alarm moet iets betekenen — anders leest niemand het.
- Uitsluitingen alleen met een reden — vluchtige containerlogs ja, “irritant” nee.
- Elke wijzigingsroute heeft zijn refresh nodig — Ansible, nachtelijke updates en handwerk.
- Controleer meegeleverde schema’s — een package kan een tweede scan meebrengen.
- Bewaak de controleur — een heartbeat per job, mails naar echte adressen.
Meer achtergrond over SELinux op deze hosts staat in de SELinux-deep-dive, de bewaking van de jobs in deel 6 van de Ansible-tour.
