Deep Dive: Grafana e le dashboard – cosa significa ogni pannello, e allarmi che non sono mai scattati

Le dashboard servono solo se sai cosa leggerci. Cosa raccoglie Prometheus su questi server, come leggere le quattro dashboard pannello per pannello, come funzionano gli allarmi – e perché la loro prima versione non avrebbe mai potuto inviare nemmeno una mail.

Illustrazione per la serie Deep Dive

🌐 Anche in: English · Deutsch · Français · Español · Português · Nederlands · Polski

Deep Dive della serie intorno all’Ansible Tour. Il tour spiega i ruoli, i deep dive la tecnologia sottostante: come funziona, perché qui è usata in questo modo e cosa è andato storto lungo la strada.

Ogni server qui ha il suo Prometheus e il suo Grafana (la parte 6 del tour mostra i ruoli). Questo post è la guida alla lettura: cosa sono i numeri, com’è la normalità su queste macchine, quali pannelli contano quando qualcosa non va – e come è costruito il sistema di allarmi, compreso l’errore che l’ha tenuto muto per settimane.

Indice

🧭 Come funzionano Prometheus e Grafana

Pull, serie temporali, label

Gli exporter sono piccoli programmi che espongono numeri via HTTP – il node exporter per l’host, mysqld_exporter per MariaDB, php-fpm_exporter per PHP, il cAdvisor del kubelet per i container, kube-state-metrics per gli oggetti Kubernetes. Prometheus li va a prendere (“scrape”) ogni 15 secondi e memorizza ogni numero come serie temporale, identificata da un nome e da label come container="nextcloud-fpm". Grafana interroga Prometheus nel suo linguaggio di query PromQL e disegna la risposta.

Tre funzioni che coprono la maggior parte dei pannelli

  • rate(x[5m]): incremento al secondo di un contatore, mediato su cinque minuti – richieste al secondo, secondi di CPU al secondo (= core).
  • increase(x[1h]): di quanto è cresciuto un contatore in un’ora – riavvii, OOM kill, periodi di throttling.
  • max_over_time(…[7d]) e sum by (…): il valore peggiore in un periodo, e la somma di serie lungo label scelte. La seconda è dove avviene la maggior parte degli errori di lettura (vedi sotto).

Allarmi senza Alertmanager

Grafana valuta da solo le regole di allarme: una query (A), una soglia (B), una durata (“per 5 minuti”). Se la condizione persiste abbastanza a lungo, invia una mail al contact point. Per un amministratore e tre server questo sostituisce un Alertmanager separato.

🛡️ Perché è qui

  • Tendenze invece di istanti. 30 giorni di storico rispondono a “da quando?” e “è normale?”, cosa che top non può mai fare.
  • Un unico posto per host, database, PHP, container – e, da ottobre 2026, i log accanto (Loki).
  • Aperto e standard. Prometheus e Grafana sono la lingua del monitoraggio Kubernetes; esistono già dashboard per ogni exporter.

🔧 Cosa fa questo repository

ParteDettaglio
Prometheuscommon_prometheus: intervallo di scrape 15 s, retention 30 giorni, in ascolto su 127.0.0.1; 5 job di scrape per server, ~7.500 serie, 0,5–0,8 GB su disco
Grafanacommon_grafana: pacchetto dal repository Grafana, dietro l’ingress sotto /grafana, porta 3000 aperta solo per il nodo stesso; livello di log warn
Data sourcePrometheus e Loki, creati tramite API con UID fissi
Dashboard1860 Node Exporter Full, 7362 MySQL Overview, 25545 PHP-FPM (4912 fino al 26 ottobre 2026), più la propria “Container-Ressourcen”
Allarmi17 regole sulle metriche e 5 regole sui log, un contact point mail
Hardeningdominio SELinux proprio per Grafana, Prometheus e gli exporter; login di Grafana protetto da una jail fail2ban e dal blocco proprio di Grafana

Tutto viene configurato tramite l’API HTTP di Grafana da piccoli script Python che Ansible scrive ed esegue. Le dashboard vengono importate con UID fissi, così link e segnalibri sopravvivono a una reimportazione; alla dashboard 1860 vengono inoltre corrette le variabili, perché l’API di import lascia non inizializzate la sua data source e le variabili node/job, e al primo accesso ogni pannello mostrava “No data”.

📊 Leggere le dashboard

Node Exporter Full (1860) – l’host

PannelloNormale quiGuarda meglio quando
CPU Busyin media 5 % (blog), 9 % e 16 % (Nextcloud); 95° percentile sotto il 30 %stabilmente sopra il 70 % – allora “CPU Basic” mostra se è user, system o iowait
Sys Loadsotto il numero di core, brevi picchi leggermente sopra (reboot, scansioni notturne)sopra il numero di core per più di qualche minuto
RAM Used16–32 % in media, al massimo 39 %sale per giorni senza riscendere – un leak, non carico
SWAP Usedvicino a zerocresce costantemente
Root FS Usedben sotto l'80 %l’allarme scatta all'80 %
Disk IOps / Read/Writebrevi picchi di notte (scansioni, reboot)iowait alto insieme a I/O alto durante il giorno
Network Trafficbasso, picchi da upload e backuptraffico in uscita costante che nessuno sa spiegare

Uno schema si ripete ogni notte: un buco di qualche minuto intorno alle 03:30. Non è un’interruzione, ma il reboot pianificato dopo gli aggiornamenti; un buco in qualsiasi altro orario merita un’occhiata. E il server Nextcloud più grande mostra un tempo di CPU per K3s stesso diverse volte superiore a quello del blog, per lo stesso lavoro – una caratteristica della sua generazione di processore, spiegata nel deep dive su K3s, non un errore di configurazione.

MySQL Overview (7362) – il database

PannelloNormale quiGuarda meglio quando
MySQL Connectionsuna manciata, picchi 6–15vicino a max_connections (50)
MySQL Questions / Queriesdecine al secondo, segue l’andamento della giornataun salto senza più utenti
InnoDB Buffer Poolbuona parte inutilizzata, hit rate > 99 %pagine libere vicino a zero e letture da disco in aumento
Temporary Objectsqualche tabella temporanea su disco (colonne TEXT)tabelle su disco che crescono più in fretta delle query
Slow Queries0qualsiasi valore sopra zero – allora lo slow log dice quale

PHP-FPM (25545) – i worker

PannelloNormale quiGuarda meglio quando
Active / idle processespochi attivi, la maggior parte idleattivi vicino a max_children
Listen queue0qualsiasi valore sopra zero per più di un minuto
Max children reached0aumenta – il pool è troppo piccolo
Slow requests0aumenta – il log del pod nomina lo script

La dashboard che non ha mai mostrato un numero

Fino al 26 ottobre 2026 questa sezione descriveva la dashboard 4912 – e ognuno dei suoi pannelli mostrava N/A. La 4912 era stata costruita per il cluster degli autori stessi dell’exporter: ogni query filtra su label come app, hip_new e kubernetes_namespace che esistono solo lì. Qui le variabili in alto restavano vuote, e con loro ogni pannello, mentre gli allarmi, che interrogano direttamente le metriche, hanno sempre funzionato. Da allora i server usano la 25545: le stesse metriche, filtrate solo per job e instance, e ognuna delle sue query restituisce dati su tutti e tre i server. Una dashboard importata è codice che qualcuno ha scritto per il proprio setup; prima di leggere un pannello vuoto come “non succede niente”, vale la pena controllare che le sue query restituiscano qualcosa qui.

Container-Ressourcen – la dashboard propria

Otto pannelli per namespace: CPU e memoria come quota del limite del container, throttling della CPU, core assoluti e working set, riavvii e OOM kill per ora, l’ultimo motivo di terminazione per container, e i limiti e le request configurati. Risponde all’unica domanda a cui le altre dashboard non sanno rispondere: un container è frenato dal proprio limite mentre l’host ha spazio? Un throttling di qualche percento è normale per PHP, che lavora a raffiche; un container che resta sopra il 50 % di throttling è quello a cui dare più CPU.

L’errore di lettura

Mentre scrivevo il deep dive sulle prestazioni, una query per il container PHP del blog mostrava un picco di memoria di 940 MiB contro un limite di 1 GiB. Aveva sommato tutte le serie con quel nome di container – durante un rollout il pod vecchio e quello nuovo si sovrappongono, e dopo un riavvio cAdvisor riporta brevemente il cgroup vecchio e quello nuovo. Il vero picco di un singolo pod era 538 MiB. I pannelli che fanno sum by (namespace, pod, container), come la dashboard propria, sono sicuri; una sum sul solo nome del container no.

🚨 Allarmi – e perché erano muti

AllarmeScatta quando (per 5 min)
Disk root / disk datapiù dell'80 % occupato
Memorypiù del 90 % occupato
CPU loadpiù dell'85 % occupata
Node downil node exporter non risponde
Container memoryun container sopra il 90 % del suo limite di memoria
Container throttlingpiù del 50 % dei periodi di CPU in throttling
Container OOM / crash loopun OOM kill, o più di 2 riavvii in 15 minuti
Trivy stale / failednessuna scansione delle vulnerabilità da 36 ore, o l’ultima scansione è fallita
PHP-FPMrichieste in attesa in coda; tutti i worker occupati; più dell'80 % occupati
Collectorun collector del node exporter non restituisce dati
Heartbeat mail pathsempre – una mail a settimana per host
Periodic jobun job (AIDE, rkhunter, ClamAV …) non si è fatto sentire per più del tempo consentito
Logs (Loki)denial SELinux in modalità enforcing, errore di fail2ban, OOM del kernel, nessun log, error budget superato

A settembre 2026 un controllo sul server Nextcloud più grande ha mostrato che nessuna di queste regole era mai scattata – non perché non fosse successo niente, ma perché non potevano. Le regole erano state create tramite API senza il campo condition, che indica la query che decide l’allarme. Grafana registrava “condition must not be empty” a ogni valutazione, e le regole erano impostate su execErrState: OK, che trasformava ogni errore di valutazione in “tutto a posto”. Due impostazioni, ognuna ragionevole di per sé, insieme facevano sembrare sano il sistema di allarmi mentre era morto. Da allora ogni regola indica condition: "B". La lezione: dopo una modifica, controlla lo stato di ogni regola in Grafana – “Normal” senza errore di valutazione – invece di prendere l’assenza di mail come prova.

Una lacuna resta per scelta: noDataState e execErrState sono ancora OK, così un riavvio di Prometheus non manda una dozzina di mail. Se Prometheus stesso si fermasse, ogni regola resterebbe silenziosamente verde. Questo caso è coperto da fuori Grafana: Monit sorveglia Prometheus, Grafana, il node exporter e l’exporter MySQL, Loki e Alloy, e manda una mail se uno di loro si ferma.

Dal 26 ottobre 2026 due regole chiudono questa lacuna dall’altro lato. Una scatta di proposito tutto il tempo e manda una mail una volta a settimana; se il lunedì manca, il percorso delle mail è rotto. L’altra segnala quando un job periodico come AIDE o rkhunter smette di rinnovare il suo timestamp. Che Prometheus stesso giri viene ancora controllato da Monit.

La lezione: Un allarme che non scatta mai è o inutile o rotto. L’unico modo per capirlo è farlo scattare una volta – o controllarne lo stato in Grafana invece di fidarsi dell’assenza di mail.

  • Cambiare una soglia significa cambiarla nel ruolo ed eseguire il playbook; una modifica fatta nell’interfaccia web verrebbe sovrascritta dall’esecuzione successiva, ed è voluto.
  • Un nuovo pannello che deve restare va nel JSON della dashboard nel repository (la dashboard propria) – per le dashboard importate dalla community, una copia con un UID proprio.
  • Backup: tutto ciò che conta – data source, dashboard, regole di allarme – viene ricreato dal repository. Le metriche stesse non vengono salvate; 30 giorni di storico sono l’orizzonte voluto.

🆘 Cheat sheet: sintomo → comando

La versione breve di questo articolo per il momento in cui qualcosa non va. Da eseguire sull’host come root; <…> sono segnaposto.

SintomoComando
Grafana o Prometheus non raggiungibilisystemctl status grafana-server prometheus
journalctl -u grafana-server --since -1h
403 su /grafana# country filter in the ingress: is the address in the list?
nft get element inet filter ssh_geo4 '{ <ip> }'
Un grafico è vuotocurl -s http://127.0.0.1:9090/api/v1/targets | jq '.data.activeTargets[] | {job: .labels.job, health}'
Interrogare direttamente Prometheuscurl -s --get http://127.0.0.1:9090/api/v1/query --data-urlencode 'query=up' | jq '.data.result'
Nessuna mail di allarme, anche se qualcosa non va# Grafana → Alerting → Alert rules: state "Error" or "No data"?
journalctl -u grafana-server | grep -i alert | tail
Prometheus stesso si è fermatomonit status svc_prometheus # Monit mails, Grafana cannot
Soglia o dashboard modificata nell’interfaccia web# overwritten by the next playbook run - change it in the role

🎯 Le lezioni

  • Accanto a ogni pannello va il valore normale per quel server.
  • Aggrega le metriche dei container per pod, non per nome del container.
  • Verifica prima una dashboard importata rispetto alle tue label.
  • Le regole di allarme hanno bisogno di una condition; ciò che si controlla è il loro stato, non l’assenza di mail.
  • Un heartbeat dimostra che il percorso degli allarmi stesso funziona.

⚖️ Alternative – e perché Grafana + Prometheus

OpzionePunto di forzaPerché non qui
NetdataNessuna configurazione, risoluzione al secondoPer singolo host, storico breve di default, meno adatto alle metriche Kubernetes.
Zabbix / IcingaMonitoraggio classico basato su check, allarmi maturiI check dicono “su o giù”, non “quanto e da quando”; le metriche dei container richiedono lavoro extra. Icinga è stato testato in un laboratorio.
Servizi di monitoraggio cloudNiente da gestireLe metriche lasciano il server; costi per host e per serie.
Prometheus + GrafanaStandard per Kubernetes, modello pull, aperto, dashboard per ogni exporterScelto.

Una dashboard è un insieme di domande che ha posto qualcun altro. Quelle utili qui sono quelle di cui si conosce lo stato normale – ed è per questo che questo post riporta “normale qui” accanto a ogni pannello. E un sistema di allarmi vale quanto il suo ultimo test: la riga più importante di questo post è quella sulle regole che per settimane sono sembrate verdi senza mai poter scattare.

Alcuni testi e immagini di questo sito sono creati con l’aiuto dell’IA o generati dall’IA. Dettagli