Ansible Tour, część 6: monitoring – exportery, Prometheus, Grafana i watchdog Monit
Część 6 Ansible Tour: jak płyną metryki, jak watchdog decyduje, kiedy wysłać maila, i tabela wszystkich maili alarmowych z tym, co zrobić.

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Część 6 Ansible Tour, i ostatnia. Po platformie, aplikacjach i bezpieczeństwie ta część dotyczy tego, jak wiedzieć, co się dzieje. Seria opisuje release v3.3.0, a późniejsze zmiany są dopisane jako aktualizacje.
Serwer, którego nikt nie obserwuje, psuje się po cichu. Setup tutaj obserwuje na cztery sposoby i warto trzymać je osobno:
| Rodzaj | Pytanie | Narzędzie |
|---|---|---|
| Metryki | Jak serwer radzi sobie w czasie? | exportery, Prometheus, Grafana |
| Stany | Czy coś jest zepsute w tej chwili? | Monit |
| Logi | Co się stało i dlaczego? | Loki i Grafana Alloy |
| Oznaki życia | Czy to, co rzadko cokolwiek zgłasza, w ogóle jeszcze działa? | znaczniki czasu jobów, cotygodniowy mail |
Wszystkie trzymają się zasady z części 5: cisza, dopóki wszystko jest zdrowe, żeby każdy mail coś znaczył. I wszystkie wpadły w tę samą pułapkę: przez jakiś czas milczały, bo nie mogły mówić, a nie dlatego, że nic się nie działo.
Spis treści
📈 Metryki: exportery, Prometheus, Grafana
Model to pull: exportery wystawiają swoje liczby jako stronę tekstową przez HTTP, Prometheus zbiera je co 15 sekund i trzyma przez 30 dni, Grafana rysuje krzywe. Nic nie opuszcza serwera. Node exporter raportuje hosta, exporter MariaDB bazę danych, exporter PHP-FPM jako sidecar workery PHP, cAdvisor w kubelecie każdy kontener, a kube-state-metrics limity, restarty i powody zakończenia z API. Wszystko nasłuchuje tylko lokalnie albo na portach, które firewall odrzuca z zewnątrz; osiągalna jest tylko Grafana, przez ingress, z własnym logowaniem i tylko z Niemiec.
Exportery to najwyraźniejszy przykład wzorca przypiętej binarki z części 2: odczytać zainstalowaną wersję, pobrać tylko przy niezgodności z versions.yml, potem zrestartować. Pobrane archiwum w /tmp było kiedyś znacznikiem „już zainstalowane” – po każdym restarcie /tmp był pusty i każde uruchomienie pobierało od nowa. Porównanie zainstalowanej wersji z pinem to uczciwy test.
Prometheus ocenia własne reguły alertów, ale nie wysyła maili; do tego potrzebny byłby Alertmanager, którego celowo nie ma. Maile przychodzą z Grafany i Monita, a konfiguracja mówi to w pierwszych linijkach, żeby nikt nie czekał na maila, który nie może przyjść. Dopóki scrape joby nie zostały rozdzielone według stacku, każdy serwer pokazywał na stałe dwa targety jako „down” – porty drugiego stacku. Nieszkodliwe, ale to szum dokładnie tam, gdzie szukasz prawdziwych problemów.
Grafana nie ma modułu Ansible; rola rozmawia z jej HTTP API według wzorca „najpierw sprawdź, potem utwórz”, bo dwukrotne utworzenie data source tworzy dwa data source’y. Dashboardy są importowane ze stałym ID, żeby ponowny import nadpisywał zamiast kopiować. W tej roli są trzy lekcje:
- Reguły, które nigdy nie mogły się odpalić. We wrześniu 2026 kontrola wykazała, że żadna reguła alertu nigdy się nie odpaliła – brakowało im pola
condition, a ponieważ błąd ewaluacji liczył się jako „OK”, wyglądały na zielone. Od tego czasu końcowa kontrola sprawdza stan każdej reguły. - Dashboard, który nigdy nie pokazał żadnej liczby. Dashboard PHP-FPM 4912 z grafana.com filtrował po etykietach z własnego klastra autorów; tutaj każdy panel pozostawał pusty. Od 26 października 2026 jest to 25545, którego wszystkie zapytania zwracają tu dane. Deep dive o Grafanie opowiada obie historie.
- Ścieżka maili, która zepsuła się po cichu. Hasło SMTP zawierało
#, który rozpoczynał komentarz w konfiguracji. Od 26 października jedna reguła celowo odpala się cały czas i raz w tygodniu wysyła maila; jeśli w poniedziałek go brakuje, ścieżka maili jest zepsuta.
Od release’u v3.3.0 są też krzywe dla każdego kontenera: cAdvisor przez ServiceAccount, którego jedynym prawem jest odczyt metryk, oraz kube-state-metrics z prawami tylko do odczytu. Osobny dashboard zestawia każdy kontener z jego limitem, a cztery alerty pilnują pamięci, throttlingu, OOM kills i pętli restartów. Pułapka przy czytaniu: zapytanie sumujące po nazwie kontenera dodaje podczas rolloutu stary i nowy pod – właściwa suma jest per pod.
Wniosek: alert, który nigdy się nie odpala, i panel, który nic nie pokazuje, wyglądają dokładnie jak zdrowy serwer. Sprawdzaj ich stan zamiast ufać ciszy.
🐕 common_monit: watchdog
Monit istnieje z powodu incydentu: fail2ban padł na blogu i przez dwa dni nikt tego nie zauważył. Martwa usługa nie pojawia się jako krzywa. Monit sprawdza stany: co dwie minuty wykonuje listę checków i wysyła maila tylko wtedy, gdy któryś zmieni się z ok na błąd albo z powrotem. Ponieważ ta sama rola działa na obu stackach, najpierw pyta przez systemctl cat, jakie usługi istnieją na tym hoście, i pisze check tylko dla nich.
- Usługi i firewall: SSH, K3s, exportery, Prometheus, Grafana; tabela firewalla z jej setami banów; czy fail2ban i sety zbanowały te same adresy.
- Pody: crash loop, błąd image pull, OOM – krótkie stany oczekiwania podczas restartu się nie liczą.
- Jaile fail2ban: czy każdy jail czyta plik logu, który wciąż istnieje.
- Mail: od 26 października 2026 każdy mail, którego msmtp nie zdołał dostarczyć. Monit wysyła własne maile przez własne połączenie SMTP, żeby ten alert dotarł nawet wtedy, gdy ścieżka msmtp jest zepsuta.
- Certyfikaty: zostało mniej niż 21 dni. Odnowienie zaczyna się przy 30 dniach; 21 oznacza, że nie udaje się od ponad tygodnia. Ten próg powstał, gdy image policy po cichu zablokowała pod challenge cert-managera i zauważono to dopiero tuż przed wygaśnięciem.
- Backupy: zewnętrzny job backupu aktualizuje po każdym sukcesie plik na serwerze; jeśli jest starszy niż trzy dni, Monit podnosi alarm. Serwer nie widzi backupu, ale widzi, że nikt go o żadnym nie poinformował.
Czy watchdog szczeka, sprawdza na żądanie autotest: na chwilę zatrzymuje node exportera, czeka, aż Monit zgłosi awarię, i uruchamia go ponownie – prawdziwy mail z alarmem i prawdziwy mail z odwołaniem.
Wniosek: stany i metryki odpowiadają na różne pytania. To, co nie pojawia się jako krzywa, potrzebuje checku, który zgłasza tylko wtedy, gdy coś się zmienia.
🔎 Logi, podatności i oznaki życia
Od 20 października 2026 na wszystkich trzech serwerach działają dwie kolejne role. Loki i Grafana Alloy zbierają journal, logi podów, audit log i log fail2ban, przez 14 dni, z możliwością przeszukiwania obok metryk. Pięć alertów logów zgłasza zablokowany przez SELinux dostęp, błędy fail2ban, OOM kills jądra, brakujące logi oraz – od 26 października – przekroczony error budget: ponad 100 linii błędów i ostrzeżeń jednej usługi w ciągu godziny, z wyłączeniem znanego szumu. Wcześniej dwa exportery przez wiele dni pisały każdy do 240 takich linii na godzinę i nic nie podniosło alarmu. Trivy co noc skanuje wszystkie działające obrazy i wysyła maila tylko o nowych poprawialnych znaleziskach. Oba mają własne deep dives o Loki i Trivy.
Czwarty rodzaj obserwacji przyszedł na końcu. Joby, które wysyłają maila tylko przy znalezisku – AIDE, rkhunter, ClamAV, notyfikator auditd – milczą też wtedy, gdy w ogóle przestały działać; notyfikator auditd zrobił tak kiedyś przez sześć tygodni. Od 26 października 2026 każdy z tych jobów zapisuje po udanym uruchomieniu znacznik czasu, Prometheus go zbiera, a alert zgłasza każdy job, który się spóźnia. Z zewnątrz cotygodniowy skrypt sprawdza, co widzi odwiedzający: nazwy, certyfikaty, otwarte porty i to, czy ban naprawdę działa.
Wniosek: cisza jest dobrą wiadomością tylko wtedy, gdy wiesz, że nadawca wciąż żyje.
🛠️ W praktyce: kto wysyła jakie maile
| Od | Znaczenie | Co zrobić |
|---|---|---|
| Rola weryfikacji | Wynik po każdym uruchomieniu playbooka | wszystko zielone albo przejrzeć nieudane checki |
| Grafana | kończy się jakiś zasób, job się spóźnia, PHP-FPM jest zajęty | planować, nie panikować; przy spóźnionym jobie ustalić, dlaczego się nie uruchomił |
| Grafana „heartbeat” | raz w tygodniu, celowo | nic – jeśli go brakuje, ścieżka maili jest zepsuta |
| Monit | coś jest zepsute w tej chwili | zajrzeć od razu |
| Loki | odmowa SELinux, błąd fail2ban, OOM, brak logów, error budget | przeczytać pasujące linie w Explore w Grafanie |
| dnf-automatic, alert SSH, auditd, AIDE, rkhunter, ClamAV, Trivy | patrz część 2 i część 5 | patrz tam |
- Dysk: patrz na nachylenie, nie na poziom. Linia rosnąca o dwa procent tygodniowo dojdzie do alertu 80 % w przewidywalnym dniu.
- Pamięć: „used” jest zawsze wysokie z powodu cache plików; liczy się „available”.
- PHP-FPM: gdy wszystkie workery są zajęte, żądania ustawiają się w kolejce, niezależnie od tego, jak szybki jest serwer. Dwa wczesne ostrzeżenia zgłaszają 80 % zajętych workerów i osiągnięcie
max_children.
🎯 Lekcje z części 6
- Metryki, stany, logi i oznaki życia odpowiadają na różne pytania; potrzebujesz wszystkich czterech.
- Reguła alertu potrzebuje sprawdzonego stanu, a nie tylko definicji.
- Najpierw sprawdź zaimportowany dashboard na własnych danych.
- Każda ścieżka, którą wędrują alerty, sama potrzebuje regularnej oznaki życia.
- Agreguj metryki kontenerów per pod, a nie po nazwie kontenera.
🏁 Koniec touru
To wszystkie role repozytorium, cztery playbooki, inventory i checki wokół nich. Kto przeczytał wszystkie sześć części, wie, co działa na tych serwerach, dlaczego jest tak zbudowane, co po drodze poszło nie tak i co zrobić, gdy przyjdzie mail. Taki był cel: nie żebyś skopiował ten setup, tylko żeby stał się na tyle zrozumiały, by go prowadzić – albo zbudować własny i uniknąć opisanych tu błędów.
Technologię pod rolami wyjaśniają deep dives, od SELinux i nftables, przez K3s, aż po wydajność z pomiarami. Linki w tourze wskazują na release v3.3.0, żeby nadal pokazywały kod, który opisuje tekst.
