Deep Dive: Grafana e le dashboard – cosa significa ogni pannello, e allarmi che non sono mai scattati
Le dashboard servono solo se sai cosa leggerci. Cosa raccoglie Prometheus su questi server, come leggere le quattro dashboard pannello per pannello, come funzionano gli allarmi – e perché la loro prima versione non avrebbe mai potuto inviare nemmeno una mail.

🌐 Anche in: English · Deutsch · Français · Español · Português · Nederlands · Polski
Deep Dive della serie intorno all’Ansible Tour. Il tour spiega i ruoli, i deep dive la tecnologia sottostante: come funziona, perché qui è usata in questo modo e cosa è andato storto lungo la strada.
Ogni server qui ha il suo Prometheus e il suo Grafana (la parte 6 del tour mostra i ruoli). Questo post è la guida alla lettura: cosa sono i numeri, com’è la normalità su queste macchine, quali pannelli contano quando qualcosa non va – e come è costruito il sistema di allarmi, compreso l’errore che l’ha tenuto muto per settimane.
Indice
🧭 Come funzionano Prometheus e Grafana
Pull, serie temporali, label
Gli exporter sono piccoli programmi che espongono numeri via HTTP – il node exporter per l’host, mysqld_exporter per MariaDB, php-fpm_exporter per PHP, il cAdvisor del kubelet per i container, kube-state-metrics per gli oggetti Kubernetes. Prometheus li va a prendere (“scrape”) ogni 15 secondi e memorizza ogni numero come serie temporale, identificata da un nome e da label come container="nextcloud-fpm". Grafana interroga Prometheus nel suo linguaggio di query PromQL e disegna la risposta.
Tre funzioni che coprono la maggior parte dei pannelli
rate(x[5m]): incremento al secondo di un contatore, mediato su cinque minuti – richieste al secondo, secondi di CPU al secondo (= core).increase(x[1h]): di quanto è cresciuto un contatore in un’ora – riavvii, OOM kill, periodi di throttling.max_over_time(…[7d])esum by (…): il valore peggiore in un periodo, e la somma di serie lungo label scelte. La seconda è dove avviene la maggior parte degli errori di lettura (vedi sotto).
Allarmi senza Alertmanager
Grafana valuta da solo le regole di allarme: una query (A), una soglia (B), una durata (“per 5 minuti”). Se la condizione persiste abbastanza a lungo, invia una mail al contact point. Per un amministratore e tre server questo sostituisce un Alertmanager separato.
🛡️ Perché è qui
- Tendenze invece di istanti. 30 giorni di storico rispondono a “da quando?” e “è normale?”, cosa che
topnon può mai fare. - Un unico posto per host, database, PHP, container – e, da ottobre 2026, i log accanto (Loki).
- Aperto e standard. Prometheus e Grafana sono la lingua del monitoraggio Kubernetes; esistono già dashboard per ogni exporter.
🔧 Cosa fa questo repository
| Parte | Dettaglio |
|---|---|
| Prometheus | common_prometheus: intervallo di scrape 15 s, retention 30 giorni, in ascolto su 127.0.0.1; 5 job di scrape per server, ~7.500 serie, 0,5–0,8 GB su disco |
| Grafana | common_grafana: pacchetto dal repository Grafana, dietro l’ingress sotto /grafana, porta 3000 aperta solo per il nodo stesso; livello di log warn |
| Data source | Prometheus e Loki, creati tramite API con UID fissi |
| Dashboard | 1860 Node Exporter Full, 7362 MySQL Overview, 25545 PHP-FPM (4912 fino al 26 ottobre 2026), più la propria “Container-Ressourcen” |
| Allarmi | 17 regole sulle metriche e 5 regole sui log, un contact point mail |
| Hardening | dominio SELinux proprio per Grafana, Prometheus e gli exporter; login di Grafana protetto da una jail fail2ban e dal blocco proprio di Grafana |
Tutto viene configurato tramite l’API HTTP di Grafana da piccoli script Python che Ansible scrive ed esegue. Le dashboard vengono importate con UID fissi, così link e segnalibri sopravvivono a una reimportazione; alla dashboard 1860 vengono inoltre corrette le variabili, perché l’API di import lascia non inizializzate la sua data source e le variabili node/job, e al primo accesso ogni pannello mostrava “No data”.
📊 Leggere le dashboard
Node Exporter Full (1860) – l’host
| Pannello | Normale qui | Guarda meglio quando |
|---|---|---|
| CPU Busy | in media 5 % (blog), 9 % e 16 % (Nextcloud); 95° percentile sotto il 30 % | stabilmente sopra il 70 % – allora “CPU Basic” mostra se è user, system o iowait |
| Sys Load | sotto il numero di core, brevi picchi leggermente sopra (reboot, scansioni notturne) | sopra il numero di core per più di qualche minuto |
| RAM Used | 16–32 % in media, al massimo 39 % | sale per giorni senza riscendere – un leak, non carico |
| SWAP Used | vicino a zero | cresce costantemente |
| Root FS Used | ben sotto l'80 % | l’allarme scatta all'80 % |
| Disk IOps / Read/Write | brevi picchi di notte (scansioni, reboot) | iowait alto insieme a I/O alto durante il giorno |
| Network Traffic | basso, picchi da upload e backup | traffico in uscita costante che nessuno sa spiegare |
Uno schema si ripete ogni notte: un buco di qualche minuto intorno alle 03:30. Non è un’interruzione, ma il reboot pianificato dopo gli aggiornamenti; un buco in qualsiasi altro orario merita un’occhiata. E il server Nextcloud più grande mostra un tempo di CPU per K3s stesso diverse volte superiore a quello del blog, per lo stesso lavoro – una caratteristica della sua generazione di processore, spiegata nel deep dive su K3s, non un errore di configurazione.
MySQL Overview (7362) – il database
| Pannello | Normale qui | Guarda meglio quando |
|---|---|---|
| MySQL Connections | una manciata, picchi 6–15 | vicino a max_connections (50) |
| MySQL Questions / Queries | decine al secondo, segue l’andamento della giornata | un salto senza più utenti |
| InnoDB Buffer Pool | buona parte inutilizzata, hit rate > 99 % | pagine libere vicino a zero e letture da disco in aumento |
| Temporary Objects | qualche tabella temporanea su disco (colonne TEXT) | tabelle su disco che crescono più in fretta delle query |
| Slow Queries | 0 | qualsiasi valore sopra zero – allora lo slow log dice quale |
PHP-FPM (25545) – i worker
| Pannello | Normale qui | Guarda meglio quando |
|---|---|---|
| Active / idle processes | pochi attivi, la maggior parte idle | attivi vicino a max_children |
| Listen queue | 0 | qualsiasi valore sopra zero per più di un minuto |
| Max children reached | 0 | aumenta – il pool è troppo piccolo |
| Slow requests | 0 | aumenta – il log del pod nomina lo script |
La dashboard che non ha mai mostrato un numero
Fino al 26 ottobre 2026 questa sezione descriveva la dashboard 4912 – e ognuno dei suoi pannelli mostrava N/A. La 4912 era stata costruita per il cluster degli autori stessi dell’exporter: ogni query filtra su label come app, hip_new e kubernetes_namespace che esistono solo lì. Qui le variabili in alto restavano vuote, e con loro ogni pannello, mentre gli allarmi, che interrogano direttamente le metriche, hanno sempre funzionato. Da allora i server usano la 25545: le stesse metriche, filtrate solo per job e instance, e ognuna delle sue query restituisce dati su tutti e tre i server. Una dashboard importata è codice che qualcuno ha scritto per il proprio setup; prima di leggere un pannello vuoto come “non succede niente”, vale la pena controllare che le sue query restituiscano qualcosa qui.
Container-Ressourcen – la dashboard propria
Otto pannelli per namespace: CPU e memoria come quota del limite del container, throttling della CPU, core assoluti e working set, riavvii e OOM kill per ora, l’ultimo motivo di terminazione per container, e i limiti e le request configurati. Risponde all’unica domanda a cui le altre dashboard non sanno rispondere: un container è frenato dal proprio limite mentre l’host ha spazio? Un throttling di qualche percento è normale per PHP, che lavora a raffiche; un container che resta sopra il 50 % di throttling è quello a cui dare più CPU.
L’errore di lettura
Mentre scrivevo il deep dive sulle prestazioni, una query per il container PHP del blog mostrava un picco di memoria di 940 MiB contro un limite di 1 GiB. Aveva sommato tutte le serie con quel nome di container – durante un rollout il pod vecchio e quello nuovo si sovrappongono, e dopo un riavvio cAdvisor riporta brevemente il cgroup vecchio e quello nuovo. Il vero picco di un singolo pod era 538 MiB. I pannelli che fanno sum by (namespace, pod, container), come la dashboard propria, sono sicuri; una sum sul solo nome del container no.
🚨 Allarmi – e perché erano muti
| Allarme | Scatta quando (per 5 min) |
|---|---|
| Disk root / disk data | più dell'80 % occupato |
| Memory | più del 90 % occupato |
| CPU load | più dell'85 % occupata |
| Node down | il node exporter non risponde |
| Container memory | un container sopra il 90 % del suo limite di memoria |
| Container throttling | più del 50 % dei periodi di CPU in throttling |
| Container OOM / crash loop | un OOM kill, o più di 2 riavvii in 15 minuti |
| Trivy stale / failed | nessuna scansione delle vulnerabilità da 36 ore, o l’ultima scansione è fallita |
| PHP-FPM | richieste in attesa in coda; tutti i worker occupati; più dell'80 % occupati |
| Collector | un collector del node exporter non restituisce dati |
| Heartbeat mail path | sempre – una mail a settimana per host |
| Periodic job | un job (AIDE, rkhunter, ClamAV …) non si è fatto sentire per più del tempo consentito |
| Logs (Loki) | denial SELinux in modalità enforcing, errore di fail2ban, OOM del kernel, nessun log, error budget superato |
A settembre 2026 un controllo sul server Nextcloud più grande ha mostrato che nessuna di queste regole era mai scattata – non perché non fosse successo niente, ma perché non potevano. Le regole erano state create tramite API senza il campo condition, che indica la query che decide l’allarme. Grafana registrava “condition must not be empty” a ogni valutazione, e le regole erano impostate su execErrState: OK, che trasformava ogni errore di valutazione in “tutto a posto”. Due impostazioni, ognuna ragionevole di per sé, insieme facevano sembrare sano il sistema di allarmi mentre era morto. Da allora ogni regola indica condition: "B". La lezione: dopo una modifica, controlla lo stato di ogni regola in Grafana – “Normal” senza errore di valutazione – invece di prendere l’assenza di mail come prova.
Una lacuna resta per scelta: noDataState e execErrState sono ancora OK, così un riavvio di Prometheus non manda una dozzina di mail. Se Prometheus stesso si fermasse, ogni regola resterebbe silenziosamente verde. Questo caso è coperto da fuori Grafana: Monit sorveglia Prometheus, Grafana, il node exporter e l’exporter MySQL, Loki e Alloy, e manda una mail se uno di loro si ferma.
Dal 26 ottobre 2026 due regole chiudono questa lacuna dall’altro lato. Una scatta di proposito tutto il tempo e manda una mail una volta a settimana; se il lunedì manca, il percorso delle mail è rotto. L’altra segnala quando un job periodico come AIDE o rkhunter smette di rinnovare il suo timestamp. Che Prometheus stesso giri viene ancora controllato da Monit.
La lezione: Un allarme che non scatta mai è o inutile o rotto. L’unico modo per capirlo è farlo scattare una volta – o controllarne lo stato in Grafana invece di fidarsi dell’assenza di mail.
- Cambiare una soglia significa cambiarla nel ruolo ed eseguire il playbook; una modifica fatta nell’interfaccia web verrebbe sovrascritta dall’esecuzione successiva, ed è voluto.
- Un nuovo pannello che deve restare va nel JSON della dashboard nel repository (la dashboard propria) – per le dashboard importate dalla community, una copia con un UID proprio.
- Backup: tutto ciò che conta – data source, dashboard, regole di allarme – viene ricreato dal repository. Le metriche stesse non vengono salvate; 30 giorni di storico sono l’orizzonte voluto.
🆘 Cheat sheet: sintomo → comando
La versione breve di questo articolo per il momento in cui qualcosa non va. Da eseguire sull’host come root; <…> sono segnaposto.
| Sintomo | Comando |
|---|---|
| Grafana o Prometheus non raggiungibili | systemctl status grafana-server prometheusjournalctl -u grafana-server --since -1h |
| 403 su /grafana | # country filter in the ingress: is the address in the list?nft get element inet filter ssh_geo4 '{ <ip> }' |
| Un grafico è vuoto | curl -s http://127.0.0.1:9090/api/v1/targets | jq '.data.activeTargets[] | {job: .labels.job, health}' |
| Interrogare direttamente Prometheus | curl -s --get http://127.0.0.1:9090/api/v1/query --data-urlencode 'query=up' | jq '.data.result' |
| Nessuna mail di allarme, anche se qualcosa non va | # Grafana → Alerting → Alert rules: state "Error" or "No data"?journalctl -u grafana-server | grep -i alert | tail |
| Prometheus stesso si è fermato | monit status svc_prometheus # Monit mails, Grafana cannot |
| Soglia o dashboard modificata nell’interfaccia web | # overwritten by the next playbook run - change it in the role |
🎯 Le lezioni
- Accanto a ogni pannello va il valore normale per quel server.
- Aggrega le metriche dei container per pod, non per nome del container.
- Verifica prima una dashboard importata rispetto alle tue label.
- Le regole di allarme hanno bisogno di una
condition; ciò che si controlla è il loro stato, non l’assenza di mail. - Un heartbeat dimostra che il percorso degli allarmi stesso funziona.
⚖️ Alternative – e perché Grafana + Prometheus
| Opzione | Punto di forza | Perché non qui |
|---|---|---|
| Netdata | Nessuna configurazione, risoluzione al secondo | Per singolo host, storico breve di default, meno adatto alle metriche Kubernetes. |
| Zabbix / Icinga | Monitoraggio classico basato su check, allarmi maturi | I check dicono “su o giù”, non “quanto e da quando”; le metriche dei container richiedono lavoro extra. Icinga è stato testato in un laboratorio. |
| Servizi di monitoraggio cloud | Niente da gestire | Le metriche lasciano il server; costi per host e per serie. |
| Prometheus + Grafana | Standard per Kubernetes, modello pull, aperto, dashboard per ogni exporter | Scelto. |
Una dashboard è un insieme di domande che ha posto qualcun altro. Quelle utili qui sono quelle di cui si conosce lo stato normale – ed è per questo che questo post riporta “normale qui” accanto a ogni pannello. E un sistema di allarmi vale quanto il suo ultimo test: la riga più importante di questo post è quella sulle regole che per settimane sono sembrate verdi senza mai poter scattare.
