Kto pilnuje strażników? Watchdog Monit po tym, jak fail2ban po cichu leżał martwy przez dwa dni

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Czas na spowiedź. Jakiś czas temu odkryłem, że fail2ban był martwy na moim serwerze od dwóch dni, a ja nie miałem o tym pojęcia. Plik konfiguracyjny wskazywał ścieżkę logu, która już nie istniała, fail2ban odmówił startu, systemd wzruszył ramionami, a całość po prostu... sobie stała. Nikogo nie banując. Po cichu. 🙈 Straszne nie jest to, że usługa padła — usługi padają. Straszne jest to, że nic mi o tym nie powiedziało. Zabezpieczenie może zawieść w stanie otwartym, a ty nigdy byś się nie dowiedział, dopóki sam nie zaczniesz szukać. Zrobiłem więc rozsądną rzecz i dodałem watchdog, którego jedynym zadaniem jest zauważyć, że coś jest nie tak, i na mnie nawrzeszczeć.
🤔 Dlaczego Monit (a nie skrypt pisany ręcznie)
Pierwszym odruchem było napisanie małego skryptu w bashu na timerze crona. Potem sobie przypomniałem: to rozwiązany problem, a wymyślanie monitoringu na nowo to prosta droga do watchdoga, który sam pada po cichu. Są uznane narzędzia: Prometheus + Alertmanager (świetne, jeśli już żyjesz w tym świecie), Icinga/Zabbix (doskonałe, i przesada dla hobbystycznej maszyny) oraz Monit — malutki daemon zbudowany w jednym celu, który robi dokładnie jedną rzecz dobrze: pilnuje usług i zasobów i alarmuje (albo automatycznie restartuje), gdy coś się psuje. Monit wygrał dla bloga klasy homelab z jednego powodu ponad wszystkie: on nie tylko alarmuje, potrafi się sam uleczyć. Jeśli fail2ban padnie, Monit go restartuje i wysyła mi maila. Dwudniowa awaria byłaby dwuminutowym mrugnięciem plus powiadomieniem.
📦 Wymagania i instalacja
- AlmaLinux 9 z włączonym EPEL (tam mieszka Monit):
dnf install monit— dostajesz Monit 6.0. - Działający relay pocztowy. Miałem już
msmtpskierowany na mojego dostawcę dla alertów rkhunter/ClamAV, więc Monit mógł użyć tych samych danych logowania. - Root, bo sprawdza usługi systemowe, firewall i dysk.
Całość jest teraz rolą Ansible, więc da się ją odtworzyć na różnych hostach, ale
ruchome części to tylko dwa pliki: główny /etc/monitrc (ustawienia daemona
- relay pocztowy) i drop-in z checkami w
/etc/monit.d/.
⚙️ Co właściwie sprawdza
Filozofia: cisza, dopóki wszystko zdrowe. Monit wysyła maila tylko przy zmianie stanu — coś zdrowego zaczyna zawodzić albo coś zawodzącego wraca do zdrowia. Cicha skrzynka oznacza zdrową maszynę, więc mail od Monita nigdy nie jest szumem.
- 🥷 fail2ban — gość honorowy. Automatyczny restart przez systemd; jeśli nie chce się utrzymać, Monit przestaje go w kółko podnosić i zamiast tego wysyła alert „poddaję się”. Dokładnie ta awaria, od której wszystko się zaczęło, zostałaby teraz wyłapana.
- 🔌 sshd, k3s, node_exporter, Prometheus, Grafana — alert, jeśli unit systemd nie jest aktywny.
- 🧱 Firewall — nie tylko „czy unit działa”, ale „czy input chain nftables naprawdę ma default-drop”. Firewall załadowany, ale wyczyszczony, jest gorszy niż bezużyteczny, więc sprawdzam rzeczywisty stan.
- 📦 Pody K3s — wszystko, co utknęło w CrashLoopBackOff / ImagePullBackOff / OOMKilled / Error.
- 💽 Dysk, load, pamięć — nudne sprawy zasobów, które po cichu zabijają serwery o 3 w nocy.
Okrojony check jest przyjemnie czytelny:
check process fail2ban with pidfile /run/fail2ban/fail2ban.pid
start program = "/usr/bin/systemctl start fail2ban"
if does not exist then restart
if 3 restarts within 5 cycles then timeout
check program firewall with path "/usr/local/sbin/monit-check-firewall.sh"
if status != 0 then alert
📧 Pułapka z mailem (dobra godzina mojego życia)
Oto część, która zaoszczędzi ci czasu. Mój działający setup msmtp używał
STARTTLS na porcie 587. Naturalnie skonfigurowałem więc Monita tak samo.
Monit natychmiast się wywalił z:
Mail: Authentication failed -- no supported authentication methods found
Co jest, powiedzmy, kłamstwem. Relay jak najbardziej obsługuje AUTH. Prawdziwy
problem: Monit 6 nie ma słowa kluczowego dla STARTTLS. Jego using
ssl oznacza SSL niejawny, którego standardowy port to 465,
a nie 587. Na 587 Monit mówił otwartym tekstem, serwer nie oferował AUTH przed
STARTTLS (który nigdy nie nastąpił), a Monit wywnioskował, że nie ma „no supported
authentication methods”. 🤦
Żeby udowodnić, że sam relay jest w porządku (i nie gonić ducha), przetestowałem
dane logowania bezpośrednio kilkoma linijkami Pythona smtplib —
na obu portach logowanie poszło gładko, a serwer ogłaszał AUTH PLAIN
LOGIN. Czyli: relay dobry, konfiguracja Monita zła. Poprawka to jedno słowo i jedna
liczba:
set mailserver smtp.example.com port 465
username "..." password "..."
using ssl
Lekcja: msmtp/STARTTLS na 587 ≠ Monit/niejawny SSL na 465. Ten sam relay, te same dane logowania, inny port i tryb TLS. Nie przenoś ustawienia z 587.
🧪 Jak to przetestowałem (uczciwie)
Watchdog, którego nie słyszałeś szczekającego, to tylko dekoracja. Więc kazałem mu szczeknąć.
Zatrzymałem bezpieczną, niekrytyczną usługę (node_exporter), wymusiłem
natychmiastowy check przez monit validate zamiast czekać na
następny cykl, i patrzyłem. Potem uruchomiłem usługę ponownie, żeby potwierdzić
ścieżkę powrotu. Oto co faktycznie wylądowało w mojej skrzynce — awaria, powrót
do zdrowia i (z drugiego podejścia) kolejna awaria:
Monit on www.apt-upgrade.me reported:
Status failed: svc_node_exporter
at Tue, 28 Jul 2026 08:33:52
Action: alert
status failed (1) -- systemd service 'node_exporter' is inactive (expected: active)
-- Monit watchdog
Monit on www.apt-upgrade.me reported:
Status succeeded: svc_node_exporter
at Tue, 28 Jul 2026 08:35:53
Action: alert
status succeeded (0) -- no output
-- Monit watchdog
Monit on www.apt-upgrade.me reported:
Status failed: svc_node_exporter
at Tue, 28 Jul 2026 08:37:04
Action: alert
status failed (1) -- systemd service 'node_exporter' is inactive (expected: active)
-- Monit watchdog
Wykrycie ✔️, mail z alertem ✔️, mail o powrocie ✔️. To „status succeeded” w środku to powiadomienie o powrocie — uspokajające „nieważne, już wróciło”, które mówi ci, że pętla naprawdę się zamyka. 🎯
🎬 Wniosek
Każde zabezpieczenie, które uruchamiasz, powinno mieć coś, co sprawdza, czy ono wciąż działa. Wyczyszczony firewall, fail2ban, który nie chce wystartować, dysk po cichu zapełniający się do 100% — te rzeczy same się nie ogłaszają. Teraz, na tej maszynie, tak: mały daemon, który milczy, gdy wszystko gra, i pinguje moją skrzynkę w chwili, gdy przestaje grać. Najlepszy monitoring to taki, o którym zapominasz, aż do tego jednego dnia, gdy cię ratuje. 🛎️ Jak zawsze całość — rola Monit, checki, konfiguracja maili, wszystko — jest publiczna i wersjonowana w moim repo Ansible: github.com/aptupgrademe/www_k3s. Ukradnij, ulepsz, powiedz mi, co zrobiłem źle. 🧑💻
📚 Więcej w tej serii: zabezpieczanie tego bloga
- WP2Shell, niezałatany obraz Dockera i noc, w której Claude bez pytania naprawił mi konfigurację Nginx 🐚
- wp2shell, fałszywy Chrome i botnet w prochowcu: co zdradziły o mnie moje własne access logi
- 🥷 Spędziłem wieczór, próbując włamać się na własnego bloga. Zbanował mnie. Dwa razy
- Uczę mojego bloga węszyć we własnych uploadach: ClamAV na WordPressie (i dowód, że naprawdę szczeka)
