Ansible Tour, część 6: monitoring – exportery, Prometheus, Grafana i watchdog Monit

Część 6 Ansible Tour: jak płyną metryki, jak watchdog decyduje, kiedy wysłać maila, i tabela wszystkich maili alarmowych z tym, co zrobić.

Ilustracja do serii Ansible Tour

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Część 6 Ansible Tour, i ostatnia. Po platformie, aplikacjach i bezpieczeństwie ta część dotyczy tego, jak wiedzieć, co się dzieje. Seria opisuje release v3.3.0, a późniejsze zmiany są dopisane jako aktualizacje.

Serwer, którego nikt nie obserwuje, psuje się po cichu. Setup tutaj obserwuje na cztery sposoby i warto trzymać je osobno:

RodzajPytanieNarzędzie
MetrykiJak serwer radzi sobie w czasie?exportery, Prometheus, Grafana
StanyCzy coś jest zepsute w tej chwili?Monit
LogiCo się stało i dlaczego?Loki i Grafana Alloy
Oznaki życiaCzy to, co rzadko cokolwiek zgłasza, w ogóle jeszcze działa?znaczniki czasu jobów, cotygodniowy mail

Wszystkie trzymają się zasady z części 5: cisza, dopóki wszystko jest zdrowe, żeby każdy mail coś znaczył. I wszystkie wpadły w tę samą pułapkę: przez jakiś czas milczały, bo nie mogły mówić, a nie dlatego, że nic się nie działo.

Spis treści

📈 Metryki: exportery, Prometheus, Grafana

Model to pull: exportery wystawiają swoje liczby jako stronę tekstową przez HTTP, Prometheus zbiera je co 15 sekund i trzyma przez 30 dni, Grafana rysuje krzywe. Nic nie opuszcza serwera. Node exporter raportuje hosta, exporter MariaDB bazę danych, exporter PHP-FPM jako sidecar workery PHP, cAdvisor w kubelecie każdy kontener, a kube-state-metrics limity, restarty i powody zakończenia z API. Wszystko nasłuchuje tylko lokalnie albo na portach, które firewall odrzuca z zewnątrz; osiągalna jest tylko Grafana, przez ingress, z własnym logowaniem i tylko z Niemiec.

Exportery to najwyraźniejszy przykład wzorca przypiętej binarki z części 2: odczytać zainstalowaną wersję, pobrać tylko przy niezgodności z versions.yml, potem zrestartować. Pobrane archiwum w /tmp było kiedyś znacznikiem „już zainstalowane” – po każdym restarcie /tmp był pusty i każde uruchomienie pobierało od nowa. Porównanie zainstalowanej wersji z pinem to uczciwy test.

Prometheus ocenia własne reguły alertów, ale nie wysyła maili; do tego potrzebny byłby Alertmanager, którego celowo nie ma. Maile przychodzą z Grafany i Monita, a konfiguracja mówi to w pierwszych linijkach, żeby nikt nie czekał na maila, który nie może przyjść. Dopóki scrape joby nie zostały rozdzielone według stacku, każdy serwer pokazywał na stałe dwa targety jako „down” – porty drugiego stacku. Nieszkodliwe, ale to szum dokładnie tam, gdzie szukasz prawdziwych problemów.

Grafana nie ma modułu Ansible; rola rozmawia z jej HTTP API według wzorca „najpierw sprawdź, potem utwórz”, bo dwukrotne utworzenie data source tworzy dwa data source’y. Dashboardy są importowane ze stałym ID, żeby ponowny import nadpisywał zamiast kopiować. W tej roli są trzy lekcje:

  • Reguły, które nigdy nie mogły się odpalić. We wrześniu 2026 kontrola wykazała, że żadna reguła alertu nigdy się nie odpaliła – brakowało im pola condition, a ponieważ błąd ewaluacji liczył się jako „OK”, wyglądały na zielone. Od tego czasu końcowa kontrola sprawdza stan każdej reguły.
  • Dashboard, który nigdy nie pokazał żadnej liczby. Dashboard PHP-FPM 4912 z grafana.com filtrował po etykietach z własnego klastra autorów; tutaj każdy panel pozostawał pusty. Od 26 października 2026 jest to 25545, którego wszystkie zapytania zwracają tu dane. Deep dive o Grafanie opowiada obie historie.
  • Ścieżka maili, która zepsuła się po cichu. Hasło SMTP zawierało #, który rozpoczynał komentarz w konfiguracji. Od 26 października jedna reguła celowo odpala się cały czas i raz w tygodniu wysyła maila; jeśli w poniedziałek go brakuje, ścieżka maili jest zepsuta.

Od release’u v3.3.0 są też krzywe dla każdego kontenera: cAdvisor przez ServiceAccount, którego jedynym prawem jest odczyt metryk, oraz kube-state-metrics z prawami tylko do odczytu. Osobny dashboard zestawia każdy kontener z jego limitem, a cztery alerty pilnują pamięci, throttlingu, OOM kills i pętli restartów. Pułapka przy czytaniu: zapytanie sumujące po nazwie kontenera dodaje podczas rolloutu stary i nowy pod – właściwa suma jest per pod.

Wniosek: alert, który nigdy się nie odpala, i panel, który nic nie pokazuje, wyglądają dokładnie jak zdrowy serwer. Sprawdzaj ich stan zamiast ufać ciszy.

🐕 common_monit: watchdog

Monit istnieje z powodu incydentu: fail2ban padł na blogu i przez dwa dni nikt tego nie zauważył. Martwa usługa nie pojawia się jako krzywa. Monit sprawdza stany: co dwie minuty wykonuje listę checków i wysyła maila tylko wtedy, gdy któryś zmieni się z ok na błąd albo z powrotem. Ponieważ ta sama rola działa na obu stackach, najpierw pyta przez systemctl cat, jakie usługi istnieją na tym hoście, i pisze check tylko dla nich.

  • Usługi i firewall: SSH, K3s, exportery, Prometheus, Grafana; tabela firewalla z jej setami banów; czy fail2ban i sety zbanowały te same adresy.
  • Pody: crash loop, błąd image pull, OOM – krótkie stany oczekiwania podczas restartu się nie liczą.
  • Jaile fail2ban: czy każdy jail czyta plik logu, który wciąż istnieje.
  • Mail: od 26 października 2026 każdy mail, którego msmtp nie zdołał dostarczyć. Monit wysyła własne maile przez własne połączenie SMTP, żeby ten alert dotarł nawet wtedy, gdy ścieżka msmtp jest zepsuta.
  • Certyfikaty: zostało mniej niż 21 dni. Odnowienie zaczyna się przy 30 dniach; 21 oznacza, że nie udaje się od ponad tygodnia. Ten próg powstał, gdy image policy po cichu zablokowała pod challenge cert-managera i zauważono to dopiero tuż przed wygaśnięciem.
  • Backupy: zewnętrzny job backupu aktualizuje po każdym sukcesie plik na serwerze; jeśli jest starszy niż trzy dni, Monit podnosi alarm. Serwer nie widzi backupu, ale widzi, że nikt go o żadnym nie poinformował.

Czy watchdog szczeka, sprawdza na żądanie autotest: na chwilę zatrzymuje node exportera, czeka, aż Monit zgłosi awarię, i uruchamia go ponownie – prawdziwy mail z alarmem i prawdziwy mail z odwołaniem.

Wniosek: stany i metryki odpowiadają na różne pytania. To, co nie pojawia się jako krzywa, potrzebuje checku, który zgłasza tylko wtedy, gdy coś się zmienia.

🔎 Logi, podatności i oznaki życia

Od 20 października 2026 na wszystkich trzech serwerach działają dwie kolejne role. Loki i Grafana Alloy zbierają journal, logi podów, audit log i log fail2ban, przez 14 dni, z możliwością przeszukiwania obok metryk. Pięć alertów logów zgłasza zablokowany przez SELinux dostęp, błędy fail2ban, OOM kills jądra, brakujące logi oraz – od 26 października – przekroczony error budget: ponad 100 linii błędów i ostrzeżeń jednej usługi w ciągu godziny, z wyłączeniem znanego szumu. Wcześniej dwa exportery przez wiele dni pisały każdy do 240 takich linii na godzinę i nic nie podniosło alarmu. Trivy co noc skanuje wszystkie działające obrazy i wysyła maila tylko o nowych poprawialnych znaleziskach. Oba mają własne deep dives o Loki i Trivy.

Czwarty rodzaj obserwacji przyszedł na końcu. Joby, które wysyłają maila tylko przy znalezisku – AIDE, rkhunter, ClamAV, notyfikator auditd – milczą też wtedy, gdy w ogóle przestały działać; notyfikator auditd zrobił tak kiedyś przez sześć tygodni. Od 26 października 2026 każdy z tych jobów zapisuje po udanym uruchomieniu znacznik czasu, Prometheus go zbiera, a alert zgłasza każdy job, który się spóźnia. Z zewnątrz cotygodniowy skrypt sprawdza, co widzi odwiedzający: nazwy, certyfikaty, otwarte porty i to, czy ban naprawdę działa.

Wniosek: cisza jest dobrą wiadomością tylko wtedy, gdy wiesz, że nadawca wciąż żyje.

🛠️ W praktyce: kto wysyła jakie maile

OdZnaczenieCo zrobić
Rola weryfikacjiWynik po każdym uruchomieniu playbookawszystko zielone albo przejrzeć nieudane checki
Grafanakończy się jakiś zasób, job się spóźnia, PHP-FPM jest zajętyplanować, nie panikować; przy spóźnionym jobie ustalić, dlaczego się nie uruchomił
Grafana „heartbeat”raz w tygodniu, celowonic – jeśli go brakuje, ścieżka maili jest zepsuta
Monitcoś jest zepsute w tej chwilizajrzeć od razu
Lokiodmowa SELinux, błąd fail2ban, OOM, brak logów, error budgetprzeczytać pasujące linie w Explore w Grafanie
dnf-automatic, alert SSH, auditd, AIDE, rkhunter, ClamAV, Trivypatrz część 2 i część 5patrz tam
  • Dysk: patrz na nachylenie, nie na poziom. Linia rosnąca o dwa procent tygodniowo dojdzie do alertu 80 % w przewidywalnym dniu.
  • Pamięć: „used” jest zawsze wysokie z powodu cache plików; liczy się „available”.
  • PHP-FPM: gdy wszystkie workery są zajęte, żądania ustawiają się w kolejce, niezależnie od tego, jak szybki jest serwer. Dwa wczesne ostrzeżenia zgłaszają 80 % zajętych workerów i osiągnięcie max_children.

🎯 Lekcje z części 6

  • Metryki, stany, logi i oznaki życia odpowiadają na różne pytania; potrzebujesz wszystkich czterech.
  • Reguła alertu potrzebuje sprawdzonego stanu, a nie tylko definicji.
  • Najpierw sprawdź zaimportowany dashboard na własnych danych.
  • Każda ścieżka, którą wędrują alerty, sama potrzebuje regularnej oznaki życia.
  • Agreguj metryki kontenerów per pod, a nie po nazwie kontenera.

🏁 Koniec touru

To wszystkie role repozytorium, cztery playbooki, inventory i checki wokół nich. Kto przeczytał wszystkie sześć części, wie, co działa na tych serwerach, dlaczego jest tak zbudowane, co po drodze poszło nie tak i co zrobić, gdy przyjdzie mail. Taki był cel: nie żebyś skopiował ten setup, tylko żeby stał się na tyle zrozumiały, by go prowadzić – albo zbudować własny i uniknąć opisanych tu błędów.

Technologię pod rolami wyjaśniają deep dives, od SELinux i nftables, przez K3s, aż po wydajność z pomiarami. Linki w tourze wskazują na release v3.3.0, żeby nadal pokazywały kod, który opisuje tekst.

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły