Kto pilnuje strażników? Watchdog Monit po tym, jak fail2ban po cichu leżał martwy przez dwa dni

Ilustracja watchdoga Monit pilnującego fail2ban

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Czas na spowiedź. Jakiś czas temu odkryłem, że fail2ban był martwy na moim serwerze od dwóch dni, a ja nie miałem o tym pojęcia. Plik konfiguracyjny wskazywał ścieżkę logu, która już nie istniała, fail2ban odmówił startu, systemd wzruszył ramionami, a całość po prostu... sobie stała. Nikogo nie banując. Po cichu. 🙈 Straszne nie jest to, że usługa padła — usługi padają. Straszne jest to, że nic mi o tym nie powiedziało. Zabezpieczenie może zawieść w stanie otwartym, a ty nigdy byś się nie dowiedział, dopóki sam nie zaczniesz szukać. Zrobiłem więc rozsądną rzecz i dodałem watchdog, którego jedynym zadaniem jest zauważyć, że coś jest nie tak, i na mnie nawrzeszczeć.

🤔 Dlaczego Monit (a nie skrypt pisany ręcznie)

Pierwszym odruchem było napisanie małego skryptu w bashu na timerze crona. Potem sobie przypomniałem: to rozwiązany problem, a wymyślanie monitoringu na nowo to prosta droga do watchdoga, który sam pada po cichu. Są uznane narzędzia: Prometheus + Alertmanager (świetne, jeśli już żyjesz w tym świecie), Icinga/Zabbix (doskonałe, i przesada dla hobbystycznej maszyny) oraz Monit — malutki daemon zbudowany w jednym celu, który robi dokładnie jedną rzecz dobrze: pilnuje usług i zasobów i alarmuje (albo automatycznie restartuje), gdy coś się psuje. Monit wygrał dla bloga klasy homelab z jednego powodu ponad wszystkie: on nie tylko alarmuje, potrafi się sam uleczyć. Jeśli fail2ban padnie, Monit go restartuje i wysyła mi maila. Dwudniowa awaria byłaby dwuminutowym mrugnięciem plus powiadomieniem.

📦 Wymagania i instalacja

  • AlmaLinux 9 z włączonym EPEL (tam mieszka Monit): dnf install monit — dostajesz Monit 6.0.
  • Działający relay pocztowy. Miałem już msmtp skierowany na mojego dostawcę dla alertów rkhunter/ClamAV, więc Monit mógł użyć tych samych danych logowania.
  • Root, bo sprawdza usługi systemowe, firewall i dysk.

Całość jest teraz rolą Ansible, więc da się ją odtworzyć na różnych hostach, ale ruchome części to tylko dwa pliki: główny /etc/monitrc (ustawienia daemona

  • relay pocztowy) i drop-in z checkami w /etc/monit.d/.

⚙️ Co właściwie sprawdza

Filozofia: cisza, dopóki wszystko zdrowe. Monit wysyła maila tylko przy zmianie stanu — coś zdrowego zaczyna zawodzić albo coś zawodzącego wraca do zdrowia. Cicha skrzynka oznacza zdrową maszynę, więc mail od Monita nigdy nie jest szumem.

  • 🥷 fail2ban — gość honorowy. Automatyczny restart przez systemd; jeśli nie chce się utrzymać, Monit przestaje go w kółko podnosić i zamiast tego wysyła alert „poddaję się”. Dokładnie ta awaria, od której wszystko się zaczęło, zostałaby teraz wyłapana.
  • 🔌 sshd, k3s, node_exporter, Prometheus, Grafana — alert, jeśli unit systemd nie jest aktywny.
  • 🧱 Firewall — nie tylko „czy unit działa”, ale „czy input chain nftables naprawdę ma default-drop”. Firewall załadowany, ale wyczyszczony, jest gorszy niż bezużyteczny, więc sprawdzam rzeczywisty stan.
  • 📦 Pody K3s — wszystko, co utknęło w CrashLoopBackOff / ImagePullBackOff / OOMKilled / Error.
  • 💽 Dysk, load, pamięć — nudne sprawy zasobów, które po cichu zabijają serwery o 3 w nocy.

Okrojony check jest przyjemnie czytelny:

check process fail2ban with pidfile /run/fail2ban/fail2ban.pid
    start program = "/usr/bin/systemctl start fail2ban"
    if does not exist then restart
    if 3 restarts within 5 cycles then timeout

check program firewall with path "/usr/local/sbin/monit-check-firewall.sh"
    if status != 0 then alert

📧 Pułapka z mailem (dobra godzina mojego życia)

Oto część, która zaoszczędzi ci czasu. Mój działający setup msmtp używał STARTTLS na porcie 587. Naturalnie skonfigurowałem więc Monita tak samo. Monit natychmiast się wywalił z:

Mail: Authentication failed -- no supported authentication methods found

Co jest, powiedzmy, kłamstwem. Relay jak najbardziej obsługuje AUTH. Prawdziwy problem: Monit 6 nie ma słowa kluczowego dla STARTTLS. Jego using ssl oznacza SSL niejawny, którego standardowy port to 465, a nie 587. Na 587 Monit mówił otwartym tekstem, serwer nie oferował AUTH przed STARTTLS (który nigdy nie nastąpił), a Monit wywnioskował, że nie ma „no supported authentication methods”. 🤦 Żeby udowodnić, że sam relay jest w porządku (i nie gonić ducha), przetestowałem dane logowania bezpośrednio kilkoma linijkami Pythona smtplib — na obu portach logowanie poszło gładko, a serwer ogłaszał AUTH PLAIN LOGIN. Czyli: relay dobry, konfiguracja Monita zła. Poprawka to jedno słowo i jedna liczba:

set mailserver smtp.example.com port 465
    username "..." password "..."
    using ssl

Lekcja: msmtp/STARTTLS na 587 ≠ Monit/niejawny SSL na 465. Ten sam relay, te same dane logowania, inny port i tryb TLS. Nie przenoś ustawienia z 587.

🧪 Jak to przetestowałem (uczciwie)

Watchdog, którego nie słyszałeś szczekającego, to tylko dekoracja. Więc kazałem mu szczeknąć. Zatrzymałem bezpieczną, niekrytyczną usługę (node_exporter), wymusiłem natychmiastowy check przez monit validate zamiast czekać na następny cykl, i patrzyłem. Potem uruchomiłem usługę ponownie, żeby potwierdzić ścieżkę powrotu. Oto co faktycznie wylądowało w mojej skrzynce — awaria, powrót do zdrowia i (z drugiego podejścia) kolejna awaria:

Monit on www.apt-upgrade.me reported:

    Status failed: svc_node_exporter
    at Tue, 28 Jul 2026 08:33:52
    Action: alert

    status failed (1) -- systemd service 'node_exporter' is inactive (expected: active)

    -- Monit watchdog
Monit on www.apt-upgrade.me reported:

    Status succeeded: svc_node_exporter
    at Tue, 28 Jul 2026 08:35:53
    Action: alert

    status succeeded (0) -- no output

    -- Monit watchdog
Monit on www.apt-upgrade.me reported:

    Status failed: svc_node_exporter
    at Tue, 28 Jul 2026 08:37:04
    Action: alert

    status failed (1) -- systemd service 'node_exporter' is inactive (expected: active)

    -- Monit watchdog

Wykrycie ✔️, mail z alertem ✔️, mail o powrocie ✔️. To „status succeeded” w środku to powiadomienie o powrocie — uspokajające „nieważne, już wróciło”, które mówi ci, że pętla naprawdę się zamyka. 🎯

🎬 Wniosek

Każde zabezpieczenie, które uruchamiasz, powinno mieć coś, co sprawdza, czy ono wciąż działa. Wyczyszczony firewall, fail2ban, który nie chce wystartować, dysk po cichu zapełniający się do 100% — te rzeczy same się nie ogłaszają. Teraz, na tej maszynie, tak: mały daemon, który milczy, gdy wszystko gra, i pinguje moją skrzynkę w chwili, gdy przestaje grać. Najlepszy monitoring to taki, o którym zapominasz, aż do tego jednego dnia, gdy cię ratuje. 🛎️ Jak zawsze całość — rola Monit, checki, konfiguracja maili, wszystko — jest publiczna i wersjonowana w moim repo Ansible: github.com/aptupgrademe/www_k3s. Ukradnij, ulepsz, powiedz mi, co zrobiłem źle. 🧑‍💻


📚 Więcej w tej serii: zabezpieczanie tego bloga

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły