Wie bewaakt de bewakers? Een Monit-waakhond nadat fail2ban twee dagen stilletjes dood was

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
Tijd voor een bekentenis. Een tijdje geleden ontdekte ik dat fail2ban al twee dagen dood was op mijn server en ik had geen idee. Een configbestand wees naar een logpad dat niet meer bestond, fail2ban weigerde te starten, systemd haalde zijn schouders op, en het hele ding... stond daar gewoon. Niemand bannen. In stilte. 🙈 Het enge is niet dat een service doodging — services gaan dood. Het enge is dat niets het me vertelde. Een securitymaatregel kan open falen en je zou het nooit weten tot je gaat kijken. Dus deed ik het verstandige en voegde een waakhond toe wiens enige taak het is om te merken wanneer er iets mis is en dan tegen me te schreeuwen.
🤔 Waarom Monit (en geen zelfgebakken script)
Mijn eerste ingeving was een klein bash-script op een cron-timer. Toen herinnerde ik me: dit is een opgelost probleem, en monitoring opnieuw uitvinden is precies hoe je eindigt met een waakhond die zelf stilletjes faalt. Er zijn gevestigde tools: Prometheus + Alertmanager (geweldig als je al in die wereld leeft), Icinga/Zabbix (uitstekend, en overkill voor een hobbymachine) en Monit — een piepkleine, speciaal gebouwde daemon die precies één ding goed doet: services en resources in de gaten houden, en alarm slaan (of automatisch herstarten) als ze zich misdragen. Monit won voor een blog op homelab-niveau om één reden boven alles: het slaat niet alleen alarm, het kan zichzelf herstellen. Als fail2ban doodgaat, herstart Monit het en mailt het mij. De storing van twee dagen was een hapering van twee minuten geweest plus een seintje.
📦 Vereisten & installatie
- AlmaLinux 9 met EPEL ingeschakeld (Monit woont daar):
dnf install monit— je krijgt Monit 6.0. - Een werkende mailrelay. Ik had
msmtpal naar mijn provider gericht voor de rkhunter-/ClamAV-alerts, dus Monit kon dezelfde credentials hergebruiken. - Root, omdat het systeemservices, de firewall en de schijf controleert.
Het geheel is nu een Ansible-role, dus reproduceerbaar over hosts heen, maar
de bewegende delen zijn maar twee bestanden: de hoofd-/etc/monitrc (daemon-instellingen
- mailrelay) en een drop-in met checks in
/etc/monit.d/.
⚙️ Wat het echt controleert
De filosofie: stil zolang het gezond is. Monit mailt alleen bij een toestandswijziging — iets gezonds begint te falen, of iets wat faalde herstelt zich. Een stille inbox betekent een gezonde machine, dus een mail van Monit is nooit ruis.
- 🥷 fail2ban — de eregast. Automatische herstart via systemd; als het weigert op te blijven, stopt Monit met flapperen en stuurt in plaats daarvan een “ik geef het op”-alert. Precies de storing waarmee dit allemaal begon, zou nu worden opgemerkt.
- 🔌 sshd, k3s, node_exporter, Prometheus, Grafana — alert als de systemd-unit niet actief is.
- 🧱 Firewall — niet alleen “draait de unit”, maar “staat de input chain van nftables echt op default-drop”. Een firewall die geladen maar leeggemaakt is, is erger dan nutteloos, dus controleer ik het echte werk.
- 📦 K3s-pods — alles wat vastzit in CrashLoopBackOff / ImagePullBackOff / OOMKilled / Error.
- 💽 Schijf, load, geheugen — de saaie resourcedingen die servers om 3 uur ’s nachts stilletjes vermoorden.
Een uitgeklede check is prettig leesbaar:
check process fail2ban with pidfile /run/fail2ban/fail2ban.pid
start program = "/usr/bin/systemctl start fail2ban"
if does not exist then restart
if 3 restarts within 5 cycles then timeout
check program firewall with path "/usr/local/sbin/monit-check-firewall.sh"
if status != 0 then alert
📧 De mail-valkuil (een flink uur van mijn leven)
Dit is het deel dat je tijd gaat besparen. Mijn werkende msmtp-setup gebruikte
STARTTLS op poort 587. Dus configureerde ik Monit natuurlijk op dezelfde
manier. Monit faalde prompt met:
Mail: Authentication failed -- no supported authentication methods found
Wat een leugen is, zo’n beetje. De relay ondersteunt AUTH absoluut. Het echte
probleem: Monit 6 heeft geen STARTTLS-keyword. Zijn using
ssl betekent impliciete SSL, waarvan de standaardpoort 465 is,
niet 587. Op 587 praatte Monit plaintext, de server bood geen AUTH aan vóór
STARTTLS (wat nooit gebeurde), en Monit concludeerde dat er “no supported
authentication methods” waren. 🤦
Om te bewijzen dat de relay zelf in orde was (en geen spook achterna te jagen), testte ik de
credentials direct met een paar regels Python smtplib —
op beide poorten lukte het inloggen probleemloos en de server adverteerde AUTH PLAIN
LOGIN. Dus: relay goed, Monit-config fout. De fix was één woord en één
getal:
set mailserver smtp.example.com port 465
username "..." password "..."
using ssl
Les: msmtp/STARTTLS op 587 ≠ Monit/impliciete SSL op 465. Dezelfde relay, dezelfde credentials, andere poort en TLS-modus. Kopieer de 587-instelling niet zomaar over.
🧪 Hoe ik het getest heb (op de eerlijke manier)
Een waakhond die je nooit hebt horen blaffen, is gewoon decoratie. Dus liet ik hem blaffen. Ik
stopte een veilige, niet-kritieke service (node_exporter), dwong een
onmiddellijke check af met monit validate in plaats van op de
volgende cyclus te wachten, en keek toe. Daarna startte ik de service weer om het
herstelpad te bevestigen. Dit is wat er echt in mijn inbox belandde — een storing, een
herstel en (van een tweede ronde) nog een storing:
Monit on www.apt-upgrade.me reported:
Status failed: svc_node_exporter
at Tue, 28 Jul 2026 08:33:52
Action: alert
status failed (1) -- systemd service 'node_exporter' is inactive (expected: active)
-- Monit watchdog
Monit on www.apt-upgrade.me reported:
Status succeeded: svc_node_exporter
at Tue, 28 Jul 2026 08:35:53
Action: alert
status succeeded (0) -- no output
-- Monit watchdog
Monit on www.apt-upgrade.me reported:
Status failed: svc_node_exporter
at Tue, 28 Jul 2026 08:37:04
Action: alert
status failed (1) -- systemd service 'node_exporter' is inactive (expected: active)
-- Monit watchdog
Detectie ✔️, alertmail ✔️, herstelmail ✔️. Dat “status succeeded” in het midden is de herstelmelding — het geruststellende “laat maar, hij is terug” dat je vertelt dat de lus echt sluit. 🎯
🎬 De les
Elke securitymaatregel die je draait, zou iets moeten hebben dat controleert of hij nog draait. Een firewall die leeggemaakt is, een fail2ban die niet start, een schijf die stilletjes volloopt tot 100% — die kondigen zichzelf niet aan. Op deze machine nu wel: een kleine daemon die stil blijft als alles goed is en mijn inbox pingt op het moment dat het dat niet is. De beste monitoring is het soort dat je vergeet, tot precies die ene dag dat het je redt. 🛎️ Zoals altijd is het hele ding — de Monit-role, de checks, de mailconfig, alles — openbaar en onder versiebeheer in mijn Ansible-repo: github.com/aptupgrademe/www_k3s. Steel het, verbeter het, vertel me wat ik fout deed. 🧑💻
📚 Meer in deze serie: deze blog beveiligen
- WP2Shell, een ongepatchte Docker-image en de nacht dat Claude ongevraagd mijn Nginx-config fixte 🐚
- wp2shell, een nep-Chrome en een botnet in een regenjas: wat mijn eigen access logs over me verklapten
- 🥷 Ik probeerde een avond lang in te breken in mijn eigen blog. Hij bande me. Twee keer
- Mijn blog leren aan zijn eigen uploads te snuffelen: ClamAV op WordPress (en bewijzen dat hij echt blaft)
