Wie bewaakt de bewakers? Een Monit-waakhond nadat fail2ban twee dagen stilletjes dood was

Illustratie van een Monit-waakhond die fail2ban bewaakt

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

Tijd voor een bekentenis. Een tijdje geleden ontdekte ik dat fail2ban al twee dagen dood was op mijn server en ik had geen idee. Een configbestand wees naar een logpad dat niet meer bestond, fail2ban weigerde te starten, systemd haalde zijn schouders op, en het hele ding... stond daar gewoon. Niemand bannen. In stilte. 🙈 Het enge is niet dat een service doodging — services gaan dood. Het enge is dat niets het me vertelde. Een securitymaatregel kan open falen en je zou het nooit weten tot je gaat kijken. Dus deed ik het verstandige en voegde een waakhond toe wiens enige taak het is om te merken wanneer er iets mis is en dan tegen me te schreeuwen.

🤔 Waarom Monit (en geen zelfgebakken script)

Mijn eerste ingeving was een klein bash-script op een cron-timer. Toen herinnerde ik me: dit is een opgelost probleem, en monitoring opnieuw uitvinden is precies hoe je eindigt met een waakhond die zelf stilletjes faalt. Er zijn gevestigde tools: Prometheus + Alertmanager (geweldig als je al in die wereld leeft), Icinga/Zabbix (uitstekend, en overkill voor een hobbymachine) en Monit — een piepkleine, speciaal gebouwde daemon die precies één ding goed doet: services en resources in de gaten houden, en alarm slaan (of automatisch herstarten) als ze zich misdragen. Monit won voor een blog op homelab-niveau om één reden boven alles: het slaat niet alleen alarm, het kan zichzelf herstellen. Als fail2ban doodgaat, herstart Monit het en mailt het mij. De storing van twee dagen was een hapering van twee minuten geweest plus een seintje.

📦 Vereisten & installatie

  • AlmaLinux 9 met EPEL ingeschakeld (Monit woont daar): dnf install monit — je krijgt Monit 6.0.
  • Een werkende mailrelay. Ik had msmtp al naar mijn provider gericht voor de rkhunter-/ClamAV-alerts, dus Monit kon dezelfde credentials hergebruiken.
  • Root, omdat het systeemservices, de firewall en de schijf controleert.

Het geheel is nu een Ansible-role, dus reproduceerbaar over hosts heen, maar de bewegende delen zijn maar twee bestanden: de hoofd-/etc/monitrc (daemon-instellingen

  • mailrelay) en een drop-in met checks in /etc/monit.d/.

⚙️ Wat het echt controleert

De filosofie: stil zolang het gezond is. Monit mailt alleen bij een toestandswijziging — iets gezonds begint te falen, of iets wat faalde herstelt zich. Een stille inbox betekent een gezonde machine, dus een mail van Monit is nooit ruis.

  • 🥷 fail2ban — de eregast. Automatische herstart via systemd; als het weigert op te blijven, stopt Monit met flapperen en stuurt in plaats daarvan een “ik geef het op”-alert. Precies de storing waarmee dit allemaal begon, zou nu worden opgemerkt.
  • 🔌 sshd, k3s, node_exporter, Prometheus, Grafana — alert als de systemd-unit niet actief is.
  • 🧱 Firewall — niet alleen “draait de unit”, maar “staat de input chain van nftables echt op default-drop”. Een firewall die geladen maar leeggemaakt is, is erger dan nutteloos, dus controleer ik het echte werk.
  • 📦 K3s-pods — alles wat vastzit in CrashLoopBackOff / ImagePullBackOff / OOMKilled / Error.
  • 💽 Schijf, load, geheugen — de saaie resourcedingen die servers om 3 uur ’s nachts stilletjes vermoorden.

Een uitgeklede check is prettig leesbaar:

check process fail2ban with pidfile /run/fail2ban/fail2ban.pid
    start program = "/usr/bin/systemctl start fail2ban"
    if does not exist then restart
    if 3 restarts within 5 cycles then timeout

check program firewall with path "/usr/local/sbin/monit-check-firewall.sh"
    if status != 0 then alert

Dit is het deel dat je tijd gaat besparen. Mijn werkende msmtp-setup gebruikte STARTTLS op poort 587. Dus configureerde ik Monit natuurlijk op dezelfde manier. Monit faalde prompt met:

Mail: Authentication failed -- no supported authentication methods found

Wat een leugen is, zo’n beetje. De relay ondersteunt AUTH absoluut. Het echte probleem: Monit 6 heeft geen STARTTLS-keyword. Zijn using ssl betekent impliciete SSL, waarvan de standaardpoort 465 is, niet 587. Op 587 praatte Monit plaintext, de server bood geen AUTH aan vóór STARTTLS (wat nooit gebeurde), en Monit concludeerde dat er “no supported authentication methods” waren. 🤦 Om te bewijzen dat de relay zelf in orde was (en geen spook achterna te jagen), testte ik de credentials direct met een paar regels Python smtplib — op beide poorten lukte het inloggen probleemloos en de server adverteerde AUTH PLAIN LOGIN. Dus: relay goed, Monit-config fout. De fix was één woord en één getal:

set mailserver smtp.example.com port 465
    username "..." password "..."
    using ssl

Les: msmtp/STARTTLS op 587 ≠ Monit/impliciete SSL op 465. Dezelfde relay, dezelfde credentials, andere poort en TLS-modus. Kopieer de 587-instelling niet zomaar over.

🧪 Hoe ik het getest heb (op de eerlijke manier)

Een waakhond die je nooit hebt horen blaffen, is gewoon decoratie. Dus liet ik hem blaffen. Ik stopte een veilige, niet-kritieke service (node_exporter), dwong een onmiddellijke check af met monit validate in plaats van op de volgende cyclus te wachten, en keek toe. Daarna startte ik de service weer om het herstelpad te bevestigen. Dit is wat er echt in mijn inbox belandde — een storing, een herstel en (van een tweede ronde) nog een storing:

Monit on www.apt-upgrade.me reported:

    Status failed: svc_node_exporter
    at Tue, 28 Jul 2026 08:33:52
    Action: alert

    status failed (1) -- systemd service 'node_exporter' is inactive (expected: active)

    -- Monit watchdog
Monit on www.apt-upgrade.me reported:

    Status succeeded: svc_node_exporter
    at Tue, 28 Jul 2026 08:35:53
    Action: alert

    status succeeded (0) -- no output

    -- Monit watchdog
Monit on www.apt-upgrade.me reported:

    Status failed: svc_node_exporter
    at Tue, 28 Jul 2026 08:37:04
    Action: alert

    status failed (1) -- systemd service 'node_exporter' is inactive (expected: active)

    -- Monit watchdog

Detectie ✔️, alertmail ✔️, herstelmail ✔️. Dat “status succeeded” in het midden is de herstelmelding — het geruststellende “laat maar, hij is terug” dat je vertelt dat de lus echt sluit. 🎯

🎬 De les

Elke securitymaatregel die je draait, zou iets moeten hebben dat controleert of hij nog draait. Een firewall die leeggemaakt is, een fail2ban die niet start, een schijf die stilletjes volloopt tot 100% — die kondigen zichzelf niet aan. Op deze machine nu wel: een kleine daemon die stil blijft als alles goed is en mijn inbox pingt op het moment dat het dat niet is. De beste monitoring is het soort dat je vergeet, tot precies die ene dag dat het je redt. 🛎️ Zoals altijd is het hele ding — de Monit-role, de checks, de mailconfig, alles — openbaar en onder versiebeheer in mijn Ansible-repo: github.com/aptupgrademe/www_k3s. Steel het, verbeter het, vertel me wat ik fout deed. 🧑‍💻


📚 Meer in deze serie: deze blog beveiligen

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details