Deep Dive: Grafana i dashboardy – co znaczy każdy panel i alerty, które nigdy nie zadziałały
Dashboardy są przydatne tylko wtedy, gdy wiesz, co z nich odczytać. Co Prometheus zbiera na tych serwerach, jak czytać cztery dashboardy panel po panelu, jak działają alerty – i dlaczego ich pierwsza wersja nigdy nie mogłaby wysłać ani jednego maila.

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Deep Dive z serii wokół Ansible Tour. Tour objaśnia role, deep dive’y – technologię pod spodem: jak działa, dlaczego jest tu używana w ten sposób i co po drodze poszło nie tak.
Każdy serwer ma tu własnego Prometheusa i własną Grafanę (część 6 touru pokazuje role). Ten wpis to przewodnik po czytaniu: czym są liczby, jak wygląda normalny stan na tych maszynach, które panele mają znaczenie, gdy coś jest nie tak – i jak zbudowany jest alerting, łącznie z błędem, przez który milczał tygodniami.
Spis treści
🧭 Jak działają Prometheus i Grafana
Pull, szeregi czasowe, labele
Exportery to małe programy, które wystawiają liczby przez HTTP – node exporter dla hosta, mysqld_exporter dla MariaDB, php-fpm_exporter dla PHP, cAdvisor kubeleta dla kontenerów, kube-state-metrics dla obiektów Kubernetesa. Prometheus pobiera je (“scrape’uje”) co 15 sekund i zapisuje każdą liczbę jako szereg czasowy, identyfikowany nazwą i labelami, np. container="nextcloud-fpm". Grafana pyta Prometheusa w jego języku zapytań PromQL i rysuje odpowiedź.
Trzy funkcje, które pokrywają większość paneli
rate(x[5m]): przyrost licznika na sekundę, uśredniony z pięciu minut – żądania na sekundę, sekundy CPU na sekundę (= rdzenie).increase(x[1h]): o ile licznik urósł w ciągu godziny – restarty, OOM kille, okresy z throttlingiem.max_over_time(…[7d])isum by (…): najgorsza wartość w okresie oraz sumowanie szeregów po wybranych labelach. Przy tym drugim zdarza się najwięcej błędów odczytu (patrz niżej).
Alerting bez Alertmanagera
Grafana sama ewaluuje reguły alertów: zapytanie (A), próg (B), czas trwania (“przez 5 minut”). Jeśli warunek utrzymuje się wystarczająco długo, wysyła maila do contact pointu. Dla jednego administratora i trzech serwerów zastępuje to osobny Alertmanager.
🛡️ Dlaczego to tu jest
- Trendy zamiast chwil. 30 dni historii odpowiada na pytania “od kiedy?” i “czy to normalne?”, czego
topnigdy nie potrafi. - Jedno miejsce na host, bazę danych, PHP, kontenery – a od października 2026 także logi obok nich (Loki).
- Otwarte i standardowe. Prometheus i Grafana to język monitoringu Kubernetesa; dla każdego exportera istnieją już dashboardy.
🔧 Co robi to repozytorium
| Element | Szczegóły |
|---|---|
| Prometheus | common_prometheus: interwał scrape’u 15 s, retencja 30 dni, nasłuchuje na 127.0.0.1; 5 scrape jobów na serwer, ~7500 szeregów, 0,5–0,8 GB na dysku |
| Grafana | common_grafana: pakiet z repozytorium Grafany, za ingressem pod /grafana, port 3000 otwarty tylko dla samego node’a; poziom logów warn |
| Źródła danych | Prometheus i Loki, tworzone przez API ze stałymi UID-ami |
| Dashboardy | 1860 Node Exporter Full, 7362 MySQL Overview, 25545 PHP-FPM (4912 do 26 października 2026) plus własny “Container-Ressourcen” |
| Alerty | 17 reguł dla metryk i 5 reguł dla logów, jeden mailowy contact point |
| Hardening | własna domena SELinux dla Grafany, Prometheusa i exporterów; logowanie do Grafany chronione jailem fail2ban i własną blokadą Grafany |
Wszystko jest provisionowane przez HTTP API Grafany małymi skryptami w Pythonie, które Ansible zapisuje i uruchamia. Dashboardy są importowane ze stałymi UID-ami, więc linki i zakładki przetrwają ponowny import; dashboard 1860 dostaje dodatkowo poprawione zmienne, bo API importu zostawia jego źródło danych i zmienne node/job niezainicjalizowane, a każdy panel przy pierwszym otwarciu pokazywał “No data”.
📊 Czytanie dashboardów
Node Exporter Full (1860) – host
| Panel | Normalnie tutaj | Przyjrzyj się, gdy |
|---|---|---|
| CPU Busy | średnio 5 % (blog), 9 % i 16 % (Nextcloud); 95. percentyl poniżej 30 % | stale powyżej 70 % – wtedy “CPU Basic” pokaże, czy to user, system czy iowait |
| Sys Load | poniżej liczby rdzeni, krótkie szczyty trochę powyżej (reboot, nocne skany) | powyżej liczby rdzeni dłużej niż kilka minut |
| RAM Used | średnio 16–32 %, maksymalnie 39 % | rośnie przez dni i nie spada – wyciek, nie obciążenie |
| SWAP Used | prawie zero | stale rośnie |
| Root FS Used | wyraźnie poniżej 80 % | alert odpala przy 80 % |
| Disk IOps / Read/Write | krótkie szczyty w nocy (skany, reboot) | wysokie iowait razem z dużym I/O w ciągu dnia |
| Network Traffic | niski, skoki od uploadów i backupów | stały ruch wychodzący, którego nikt nie potrafi wyjaśnić |
Jeden wzorzec powtarza się każdej nocy: kilkuminutowa luka około 03:30. To nie awaria, tylko zaplanowany reboot po aktualizacjach; luka o innej porze jest warta uwagi. A większy serwer Nextcloud pokazuje dla samego K3s kilkukrotnie więcej czasu CPU niż blog, przy tej samej pracy – to cecha generacji jego procesora, wyjaśniona w deep dive o K3s, a nie błąd konfiguracji.
MySQL Overview (7362) – baza danych
| Panel | Normalnie tutaj | Przyjrzyj się, gdy |
|---|---|---|
| MySQL Connections | kilka, szczyty 6–15 | blisko max_connections (50) |
| MySQL Questions / Queries | dziesiątki na sekundę, podąża za porą dnia | skok bez większej liczby użytkowników |
| InnoDB Buffer Pool | duża część nieużywana, hit rate > 99 % | wolnych stron prawie zero i rosną odczyty z dysku |
| Temporary Objects | trochę tymczasowych tabel na dysku (kolumny TEXT) | tabele na dysku rosną szybciej niż zapytania |
| Slow Queries | 0 | cokolwiek powyżej zera – wtedy slow log powie, które |
PHP-FPM (25545) – workery
| Panel | Normalnie tutaj | Przyjrzyj się, gdy |
|---|---|---|
| Active / idle processes | kilka aktywnych, większość bezczynna | aktywnych blisko max_children |
| Listen queue | 0 | cokolwiek powyżej zera dłużej niż minutę |
| Max children reached | 0 | rośnie – pula jest za mała |
| Slow requests | 0 | rośnie – log poda wskaże skrypt |
Dashboard, który nigdy nie pokazał liczby
Do 26 października 2026 ta sekcja opisywała dashboard 4912 – a każdy z jego paneli pokazywał N/A. 4912 powstał dla klastra samych autorów exportera: każde zapytanie filtruje po labelach takich jak app, hip_new i kubernetes_namespace, które istnieją tylko tam. Tutaj zmienne na górze zostawały puste, a razem z nimi każdy panel, podczas gdy alerty, które pytają o metryki bezpośrednio, cały czas działały. Od tamtej pory serwery używają 25545: te same metryki, filtrowane tylko po job i instance, a każde jego zapytanie zwraca dane na wszystkich trzech serwerach. Zaimportowany dashboard to kod, który ktoś napisał pod własny setup; zanim odczytasz pusty panel jako “nic się nie dzieje”, warto sprawdzić, czy jego zapytania w ogóle cokolwiek tu zwracają.
Container-Ressourcen – własny dashboard
Osiem paneli na namespace: CPU i pamięć jako udział w limicie kontenera, throttling CPU, bezwzględne rdzenie i working set, restarty i OOM kille na godzinę, ostatni powód zakończenia na kontener oraz skonfigurowane limits i requests. Odpowiada na jedyne pytanie, na które inne dashboardy nie odpowiedzą: czy kontener jest hamowany przez własny limit, podczas gdy host ma zapas? Throttling na poziomie kilku procent jest normalny dla PHP z nagłymi skokami; kontener, który siedzi powyżej 50 % throttlingu, to ten, który powinien dostać więcej CPU.
Błąd odczytu
Podczas pisania deep dive’a o wydajności zapytanie dla kontenera PHP bloga pokazało szczyt pamięci 940 MiB przy limicie 1 GiB. Zsumowało ono wszystkie szeregi o tej nazwie kontenera – podczas rolloutu stary i nowy pod się nakładają, a po restarcie cAdvisor przez chwilę raportuje stary i nowy cgroup. Prawdziwy szczyt pojedynczego poda wynosił 538 MiB. Panele, które robią sum by (namespace, pod, container), jak własny dashboard, są bezpieczne; sum tylko po nazwie kontenera – nie.
🚨 Alerty – i dlaczego milczały
| Alert | Odpala, gdy (przez 5 min) |
|---|---|
| Disk root / disk data | ponad 80 % zajęte |
| Memory | ponad 90 % zajęte |
| CPU load | ponad 85 % obciążenia |
| Node down | node exporter nie odpowiada |
| Container memory | kontener powyżej 90 % swojego limitu pamięci |
| Container throttling | ponad 50 % okresów CPU z throttlingiem |
| Container OOM / crash loop | OOM kill albo więcej niż 2 restarty w 15 minut |
| Trivy stale / failed | brak skanu podatności przez 36 godzin albo ostatni skan się nie powiódł |
| PHP-FPM | żądania czekają w kolejce; wszystkie workery zajęte; ponad 80 % zajętych |
| Collector | collector node exportera nie zwraca danych |
| Heartbeat mail path | zawsze – jeden mail na tydzień i host |
| Periodic job | job (AIDE, rkhunter, ClamAV …) nie zgłosił się dłużej, niż wolno |
| Logs (Loki) | odmowa SELinux w trybie enforcing, błąd fail2ban, OOM jądra, brak jakichkolwiek logów, przekroczony error budget |
We wrześniu 2026 kontrola na większym serwerze Nextcloud wykazała, że żadna z tych reguł nigdy nie zadziałała – nie dlatego, że nic się nie działo, tylko dlatego, że nie mogły. Reguły utworzono przez API bez pola condition, które wskazuje zapytanie decydujące o alercie. Grafana przy każdej ewaluacji logowała “condition must not be empty”, a reguły miały ustawione execErrState: OK, co każdy błąd ewaluacji zamieniało w “wszystko w porządku”. Dwa ustawienia, każde z osobna rozsądne, razem sprawiały, że alerting wyglądał na zdrowy, choć był martwy. Od tamtej pory każda reguła ma condition: "B". Lekcja: po zmianie sprawdź stan każdej reguły w Grafanie – “Normal” bez błędu ewaluacji – zamiast traktować brak maili jako dowód.
Jedna luka zostaje celowo: noDataState i execErrState nadal mają wartość OK, żeby restart Prometheusa nie wysyłał tuzina maili. Gdyby sam Prometheus stanął, każda reguła po cichu zostałaby zielona. Ten przypadek jest pokryty spoza Grafany: Monit pilnuje Prometheusa, Grafany, exporterów node i MySQL, Loki i Alloy i wysyła maila, gdy któryś z nich stanie.
Od 26 października 2026 dwie reguły zamykają tę lukę z drugiej strony. Jedna celowo odpala cały czas i raz w tygodniu wysyła maila; jeśli w poniedziałek go brakuje, ścieżka mailowa jest zepsuta. Druga zgłasza, gdy periodyczny job, taki jak AIDE czy rkhunter, przestaje odnawiać swój timestamp. To, czy sam Prometheus działa, nadal sprawdza Monit.
Wniosek: Alert, który nigdy nie odpala, jest albo zbędny, albo zepsuty. Jedyny sposób, żeby to rozróżnić, to raz go wyzwolić – albo sprawdzić jego stan w Grafanie, zamiast ufać brakowi maili.
- Zmiana progu oznacza zmianę w roli i uruchomienie playbooka; zmiana zrobiona w interfejsie webowym zostałaby nadpisana przy następnym uruchomieniu, i tak ma być.
- Nowy panel, który ma zostać, trafia do JSON-a dashboardu w repozytorium (własny dashboard) – w przypadku importowanych dashboardów społeczności kopia z własnym UID-em.
- Backupy: wszystko, co ważne – źródła danych, dashboardy, reguły alertów – jest odtwarzane z repozytorium. Same metryki nie są backupowane; 30 dni historii to świadomie wybrany horyzont.
🆘 Ściąga: objaw → polecenie
Krótka wersja tego artykułu na moment, gdy coś jest nie tak. Uruchamiaj na hoście jako root; <…> to placeholdery.
| Objaw | Polecenie |
|---|---|
| Grafana lub Prometheus niedostępne | systemctl status grafana-server prometheusjournalctl -u grafana-server --since -1h |
| 403 na /grafana | # country filter in the ingress: is the address in the list?nft get element inet filter ssh_geo4 '{ <ip> }' |
| Wykres jest pusty | curl -s http://127.0.0.1:9090/api/v1/targets | jq '.data.activeTargets[] | {job: .labels.job, health}' |
| Zapytaj Prometheusa bezpośrednio | curl -s --get http://127.0.0.1:9090/api/v1/query --data-urlencode 'query=up' | jq '.data.result' |
| Brak maili z alertami, choć coś jest nie tak | # Grafana → Alerting → Alert rules: state "Error" or "No data"?journalctl -u grafana-server | grep -i alert | tail |
| Sam Prometheus stanął | monit status svc_prometheus # Monit mails, Grafana cannot |
| Próg lub dashboard zmieniony w interfejsie webowym | # overwritten by the next playbook run - change it in the role |
🎯 Lekcje
- Obok każdego panelu powinna stać normalna wartość dla tego serwera.
- Agreguj metryki kontenerów po podzie, nie po nazwie kontenera.
- Zaimportowany dashboard najpierw sprawdź pod kątem własnych labeli.
- Reguły alertów potrzebują
condition; sprawdza się ich stan, a nie brak maili. - Heartbeat pokazuje, że sama ścieżka alertów działa.
⚖️ Alternatywy – i dlaczego Grafana + Prometheus
| Opcja | Mocna strona | Dlaczego nie tutaj |
|---|---|---|
| Netdata | Zero konfiguracji, rozdzielczość co sekundę | Per host, domyślnie krótka historia, słabiej pasuje do metryk Kubernetesa. |
| Zabbix / Icinga | Klasyczny monitoring oparty na checkach, dojrzały alerting | Checki mówią “działa albo nie”, a nie “ile i od kiedy”; metryki kontenerów wymagają dodatkowej pracy. Icinga była testowana w labie. |
| Chmurowe usługi monitoringu | Nic do utrzymywania | Metryki opuszczają serwer; koszty za host i za szereg. |
| Prometheus + Grafana | Standard dla Kubernetesa, model pull, otwarte, dashboardy dla każdego exportera | Wybrane. |
Dashboard to zestaw pytań, które zadał ktoś inny. Przydatne są tu te, których normalny stan jest znany – dlatego ten wpis podaje “normalnie tutaj” obok każdego panelu. A alerting jest tylko tak dobry jak jego ostatni test: najważniejsza linijka w tym wpisie to ta o regułach, które tygodniami wyglądały na zielone, nie mogąc nigdy zadziałać.
