Deep Dive: Grafana i dashboardy – co znaczy każdy panel i alerty, które nigdy nie zadziałały

Dashboardy są przydatne tylko wtedy, gdy wiesz, co z nich odczytać. Co Prometheus zbiera na tych serwerach, jak czytać cztery dashboardy panel po panelu, jak działają alerty – i dlaczego ich pierwsza wersja nigdy nie mogłaby wysłać ani jednego maila.

Ilustracja do serii Deep Dive

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Deep Dive z serii wokół Ansible Tour. Tour objaśnia role, deep dive’y – technologię pod spodem: jak działa, dlaczego jest tu używana w ten sposób i co po drodze poszło nie tak.

Każdy serwer ma tu własnego Prometheusa i własną Grafanę (część 6 touru pokazuje role). Ten wpis to przewodnik po czytaniu: czym są liczby, jak wygląda normalny stan na tych maszynach, które panele mają znaczenie, gdy coś jest nie tak – i jak zbudowany jest alerting, łącznie z błędem, przez który milczał tygodniami.

Spis treści

🧭 Jak działają Prometheus i Grafana

Pull, szeregi czasowe, labele

Exportery to małe programy, które wystawiają liczby przez HTTP – node exporter dla hosta, mysqld_exporter dla MariaDB, php-fpm_exporter dla PHP, cAdvisor kubeleta dla kontenerów, kube-state-metrics dla obiektów Kubernetesa. Prometheus pobiera je (“scrape’uje”) co 15 sekund i zapisuje każdą liczbę jako szereg czasowy, identyfikowany nazwą i labelami, np. container="nextcloud-fpm". Grafana pyta Prometheusa w jego języku zapytań PromQL i rysuje odpowiedź.

Trzy funkcje, które pokrywają większość paneli

  • rate(x[5m]): przyrost licznika na sekundę, uśredniony z pięciu minut – żądania na sekundę, sekundy CPU na sekundę (= rdzenie).
  • increase(x[1h]): o ile licznik urósł w ciągu godziny – restarty, OOM kille, okresy z throttlingiem.
  • max_over_time(…[7d]) i sum by (…): najgorsza wartość w okresie oraz sumowanie szeregów po wybranych labelach. Przy tym drugim zdarza się najwięcej błędów odczytu (patrz niżej).

Alerting bez Alertmanagera

Grafana sama ewaluuje reguły alertów: zapytanie (A), próg (B), czas trwania (“przez 5 minut”). Jeśli warunek utrzymuje się wystarczająco długo, wysyła maila do contact pointu. Dla jednego administratora i trzech serwerów zastępuje to osobny Alertmanager.

🛡️ Dlaczego to tu jest

  • Trendy zamiast chwil. 30 dni historii odpowiada na pytania “od kiedy?” i “czy to normalne?”, czego top nigdy nie potrafi.
  • Jedno miejsce na host, bazę danych, PHP, kontenery – a od października 2026 także logi obok nich (Loki).
  • Otwarte i standardowe. Prometheus i Grafana to język monitoringu Kubernetesa; dla każdego exportera istnieją już dashboardy.

🔧 Co robi to repozytorium

ElementSzczegóły
Prometheuscommon_prometheus: interwał scrape’u 15 s, retencja 30 dni, nasłuchuje na 127.0.0.1; 5 scrape jobów na serwer, ~7500 szeregów, 0,5–0,8 GB na dysku
Grafanacommon_grafana: pakiet z repozytorium Grafany, za ingressem pod /grafana, port 3000 otwarty tylko dla samego node’a; poziom logów warn
Źródła danychPrometheus i Loki, tworzone przez API ze stałymi UID-ami
Dashboardy1860 Node Exporter Full, 7362 MySQL Overview, 25545 PHP-FPM (4912 do 26 października 2026) plus własny “Container-Ressourcen”
Alerty17 reguł dla metryk i 5 reguł dla logów, jeden mailowy contact point
Hardeningwłasna domena SELinux dla Grafany, Prometheusa i exporterów; logowanie do Grafany chronione jailem fail2ban i własną blokadą Grafany

Wszystko jest provisionowane przez HTTP API Grafany małymi skryptami w Pythonie, które Ansible zapisuje i uruchamia. Dashboardy są importowane ze stałymi UID-ami, więc linki i zakładki przetrwają ponowny import; dashboard 1860 dostaje dodatkowo poprawione zmienne, bo API importu zostawia jego źródło danych i zmienne node/job niezainicjalizowane, a każdy panel przy pierwszym otwarciu pokazywał “No data”.

📊 Czytanie dashboardów

Node Exporter Full (1860) – host

PanelNormalnie tutajPrzyjrzyj się, gdy
CPU Busyśrednio 5 % (blog), 9 % i 16 % (Nextcloud); 95. percentyl poniżej 30 %stale powyżej 70 % – wtedy “CPU Basic” pokaże, czy to user, system czy iowait
Sys Loadponiżej liczby rdzeni, krótkie szczyty trochę powyżej (reboot, nocne skany)powyżej liczby rdzeni dłużej niż kilka minut
RAM Usedśrednio 16–32 %, maksymalnie 39 %rośnie przez dni i nie spada – wyciek, nie obciążenie
SWAP Usedprawie zerostale rośnie
Root FS Usedwyraźnie poniżej 80 %alert odpala przy 80 %
Disk IOps / Read/Writekrótkie szczyty w nocy (skany, reboot)wysokie iowait razem z dużym I/O w ciągu dnia
Network Trafficniski, skoki od uploadów i backupówstały ruch wychodzący, którego nikt nie potrafi wyjaśnić

Jeden wzorzec powtarza się każdej nocy: kilkuminutowa luka około 03:30. To nie awaria, tylko zaplanowany reboot po aktualizacjach; luka o innej porze jest warta uwagi. A większy serwer Nextcloud pokazuje dla samego K3s kilkukrotnie więcej czasu CPU niż blog, przy tej samej pracy – to cecha generacji jego procesora, wyjaśniona w deep dive o K3s, a nie błąd konfiguracji.

MySQL Overview (7362) – baza danych

PanelNormalnie tutajPrzyjrzyj się, gdy
MySQL Connectionskilka, szczyty 6–15blisko max_connections (50)
MySQL Questions / Queriesdziesiątki na sekundę, podąża za porą dniaskok bez większej liczby użytkowników
InnoDB Buffer Poolduża część nieużywana, hit rate > 99 %wolnych stron prawie zero i rosną odczyty z dysku
Temporary Objectstrochę tymczasowych tabel na dysku (kolumny TEXT)tabele na dysku rosną szybciej niż zapytania
Slow Queries0cokolwiek powyżej zera – wtedy slow log powie, które

PHP-FPM (25545) – workery

PanelNormalnie tutajPrzyjrzyj się, gdy
Active / idle processeskilka aktywnych, większość bezczynnaaktywnych blisko max_children
Listen queue0cokolwiek powyżej zera dłużej niż minutę
Max children reached0rośnie – pula jest za mała
Slow requests0rośnie – log poda wskaże skrypt

Dashboard, który nigdy nie pokazał liczby

Do 26 października 2026 ta sekcja opisywała dashboard 4912 – a każdy z jego paneli pokazywał N/A. 4912 powstał dla klastra samych autorów exportera: każde zapytanie filtruje po labelach takich jak app, hip_new i kubernetes_namespace, które istnieją tylko tam. Tutaj zmienne na górze zostawały puste, a razem z nimi każdy panel, podczas gdy alerty, które pytają o metryki bezpośrednio, cały czas działały. Od tamtej pory serwery używają 25545: te same metryki, filtrowane tylko po job i instance, a każde jego zapytanie zwraca dane na wszystkich trzech serwerach. Zaimportowany dashboard to kod, który ktoś napisał pod własny setup; zanim odczytasz pusty panel jako “nic się nie dzieje”, warto sprawdzić, czy jego zapytania w ogóle cokolwiek tu zwracają.

Container-Ressourcen – własny dashboard

Osiem paneli na namespace: CPU i pamięć jako udział w limicie kontenera, throttling CPU, bezwzględne rdzenie i working set, restarty i OOM kille na godzinę, ostatni powód zakończenia na kontener oraz skonfigurowane limits i requests. Odpowiada na jedyne pytanie, na które inne dashboardy nie odpowiedzą: czy kontener jest hamowany przez własny limit, podczas gdy host ma zapas? Throttling na poziomie kilku procent jest normalny dla PHP z nagłymi skokami; kontener, który siedzi powyżej 50 % throttlingu, to ten, który powinien dostać więcej CPU.

Błąd odczytu

Podczas pisania deep dive’a o wydajności zapytanie dla kontenera PHP bloga pokazało szczyt pamięci 940 MiB przy limicie 1 GiB. Zsumowało ono wszystkie szeregi o tej nazwie kontenera – podczas rolloutu stary i nowy pod się nakładają, a po restarcie cAdvisor przez chwilę raportuje stary i nowy cgroup. Prawdziwy szczyt pojedynczego poda wynosił 538 MiB. Panele, które robią sum by (namespace, pod, container), jak własny dashboard, są bezpieczne; sum tylko po nazwie kontenera – nie.

🚨 Alerty – i dlaczego milczały

AlertOdpala, gdy (przez 5 min)
Disk root / disk dataponad 80 % zajęte
Memoryponad 90 % zajęte
CPU loadponad 85 % obciążenia
Node downnode exporter nie odpowiada
Container memorykontener powyżej 90 % swojego limitu pamięci
Container throttlingponad 50 % okresów CPU z throttlingiem
Container OOM / crash loopOOM kill albo więcej niż 2 restarty w 15 minut
Trivy stale / failedbrak skanu podatności przez 36 godzin albo ostatni skan się nie powiódł
PHP-FPMżądania czekają w kolejce; wszystkie workery zajęte; ponad 80 % zajętych
Collectorcollector node exportera nie zwraca danych
Heartbeat mail pathzawsze – jeden mail na tydzień i host
Periodic jobjob (AIDE, rkhunter, ClamAV …) nie zgłosił się dłużej, niż wolno
Logs (Loki)odmowa SELinux w trybie enforcing, błąd fail2ban, OOM jądra, brak jakichkolwiek logów, przekroczony error budget

We wrześniu 2026 kontrola na większym serwerze Nextcloud wykazała, że żadna z tych reguł nigdy nie zadziałała – nie dlatego, że nic się nie działo, tylko dlatego, że nie mogły. Reguły utworzono przez API bez pola condition, które wskazuje zapytanie decydujące o alercie. Grafana przy każdej ewaluacji logowała “condition must not be empty”, a reguły miały ustawione execErrState: OK, co każdy błąd ewaluacji zamieniało w “wszystko w porządku”. Dwa ustawienia, każde z osobna rozsądne, razem sprawiały, że alerting wyglądał na zdrowy, choć był martwy. Od tamtej pory każda reguła ma condition: "B". Lekcja: po zmianie sprawdź stan każdej reguły w Grafanie – “Normal” bez błędu ewaluacji – zamiast traktować brak maili jako dowód.

Jedna luka zostaje celowo: noDataState i execErrState nadal mają wartość OK, żeby restart Prometheusa nie wysyłał tuzina maili. Gdyby sam Prometheus stanął, każda reguła po cichu zostałaby zielona. Ten przypadek jest pokryty spoza Grafany: Monit pilnuje Prometheusa, Grafany, exporterów node i MySQL, Loki i Alloy i wysyła maila, gdy któryś z nich stanie.

Od 26 października 2026 dwie reguły zamykają tę lukę z drugiej strony. Jedna celowo odpala cały czas i raz w tygodniu wysyła maila; jeśli w poniedziałek go brakuje, ścieżka mailowa jest zepsuta. Druga zgłasza, gdy periodyczny job, taki jak AIDE czy rkhunter, przestaje odnawiać swój timestamp. To, czy sam Prometheus działa, nadal sprawdza Monit.

Wniosek: Alert, który nigdy nie odpala, jest albo zbędny, albo zepsuty. Jedyny sposób, żeby to rozróżnić, to raz go wyzwolić – albo sprawdzić jego stan w Grafanie, zamiast ufać brakowi maili.

  • Zmiana progu oznacza zmianę w roli i uruchomienie playbooka; zmiana zrobiona w interfejsie webowym zostałaby nadpisana przy następnym uruchomieniu, i tak ma być.
  • Nowy panel, który ma zostać, trafia do JSON-a dashboardu w repozytorium (własny dashboard) – w przypadku importowanych dashboardów społeczności kopia z własnym UID-em.
  • Backupy: wszystko, co ważne – źródła danych, dashboardy, reguły alertów – jest odtwarzane z repozytorium. Same metryki nie są backupowane; 30 dni historii to świadomie wybrany horyzont.

🆘 Ściąga: objaw → polecenie

Krótka wersja tego artykułu na moment, gdy coś jest nie tak. Uruchamiaj na hoście jako root; <…> to placeholdery.

ObjawPolecenie
Grafana lub Prometheus niedostępnesystemctl status grafana-server prometheus
journalctl -u grafana-server --since -1h
403 na /grafana# country filter in the ingress: is the address in the list?
nft get element inet filter ssh_geo4 '{ <ip> }'
Wykres jest pustycurl -s http://127.0.0.1:9090/api/v1/targets | jq '.data.activeTargets[] | {job: .labels.job, health}'
Zapytaj Prometheusa bezpośredniocurl -s --get http://127.0.0.1:9090/api/v1/query --data-urlencode 'query=up' | jq '.data.result'
Brak maili z alertami, choć coś jest nie tak# Grafana → Alerting → Alert rules: state "Error" or "No data"?
journalctl -u grafana-server | grep -i alert | tail
Sam Prometheus stanąłmonit status svc_prometheus # Monit mails, Grafana cannot
Próg lub dashboard zmieniony w interfejsie webowym# overwritten by the next playbook run - change it in the role

🎯 Lekcje

  • Obok każdego panelu powinna stać normalna wartość dla tego serwera.
  • Agreguj metryki kontenerów po podzie, nie po nazwie kontenera.
  • Zaimportowany dashboard najpierw sprawdź pod kątem własnych labeli.
  • Reguły alertów potrzebują condition; sprawdza się ich stan, a nie brak maili.
  • Heartbeat pokazuje, że sama ścieżka alertów działa.

⚖️ Alternatywy – i dlaczego Grafana + Prometheus

OpcjaMocna stronaDlaczego nie tutaj
NetdataZero konfiguracji, rozdzielczość co sekundęPer host, domyślnie krótka historia, słabiej pasuje do metryk Kubernetesa.
Zabbix / IcingaKlasyczny monitoring oparty na checkach, dojrzały alertingChecki mówią “działa albo nie”, a nie “ile i od kiedy”; metryki kontenerów wymagają dodatkowej pracy. Icinga była testowana w labie.
Chmurowe usługi monitoringuNic do utrzymywaniaMetryki opuszczają serwer; koszty za host i za szereg.
Prometheus + GrafanaStandard dla Kubernetesa, model pull, otwarte, dashboardy dla każdego exporteraWybrane.

Dashboard to zestaw pytań, które zadał ktoś inny. Przydatne są tu te, których normalny stan jest znany – dlatego ten wpis podaje “normalnie tutaj” obok każdego panelu. A alerting jest tylko tak dobry jak jego ostatni test: najważniejsza linijka w tym wpisie to ta o regułach, które tygodniami wyglądały na zielone, nie mogąc nigdy zadziałać.

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły