L'Ansible Tour, parte 6: monitoraggio – exporter, Prometheus, Grafana e un watchdog Monit

Parte 6 dell'Ansible Tour: come scorrono le metriche, come il watchdog decide quando mandare una mail e una tabella di ogni mail di allarme con cosa fare.

Illustrazione per la serie Ansible Tour

🌐 Anche in: English · Deutsch · Français · Español · Português · Nederlands · Polski

Parte 6 dell’Ansible Tour, e l’ultima. Dopo la piattaforma, le applicazioni e la sicurezza, questa parte riguarda il sapere cosa succede. La serie descrive la release v3.3.0, con le modifiche successive aggiunte come aggiornamenti.

Un server che nessuno osserva si guasta in silenzio. Il setup qui osserva in quattro modi, ed è utile tenerli separati:

TipoDomandaStrumento
MetricheCome sta il server nel tempo?exporter, Prometheus, Grafana
StatiC’è qualcosa di rotto in questo momento?Monit
LogCosa è successo, e perché?Loki e Grafana Alloy
Segni di vitaCiò che riporta raramente qualcosa gira ancora?timestamp dei job, una mail settimanale

Tutti seguono la regola della parte 5: silenzio finché tutto è sano, così che ogni mail significhi qualcosa. E tutti sono caduti nella stessa trappola: per un po’ sono rimasti in silenzio perché non potevano parlare, non perché non succedeva nulla.

Indice

📈 Metriche: exporter, Prometheus, Grafana

Il modello è pull: gli exporter offrono i loro numeri come pagina di testo via HTTP, Prometheus li raccoglie ogni 15 secondi e li conserva per 30 giorni, Grafana disegna le curve. Niente lascia il server. Il node exporter riporta l’host, un exporter MariaDB il database, un exporter PHP-FPM come sidecar i worker PHP, cAdvisor nel kubelet ogni container, e kube-state-metrics limiti, riavvii e motivi di terminazione dall’API. Tutto ascolta solo in locale o su porte che il firewall scarta dall’esterno; solo Grafana è raggiungibile, attraverso l’ingress, con un proprio login e solo dalla Germania.

Gli exporter sono l’esempio più chiaro del pattern dei binari fissati della parte 2: leggere la versione installata, scaricare solo in caso di discrepanza con versions.yml, poi riavviare. L’archivio scaricato in /tmp faceva da segnale per “già installato” – dopo ogni riavvio /tmp era vuota, e ogni run scaricava di nuovo. Confrontare la versione installata con il pin è il test onesto.

Prometheus valuta le sue regole di alert ma non manda mail; servirebbe Alertmanager, che volutamente manca. Le mail arrivano da Grafana e Monit, e la configurazione lo dice nelle sue prime righe, così che nessuno aspetti una mail che non può arrivare. Finché i job di scrape non sono stati separati per stack, ogni server mostrava due target permanentemente “down” – le porte dell’altro stack. Innocuo, ma rumore proprio dove cerchi i problemi veri.

Grafana non ha un modulo Ansible; il ruolo parla con la sua API HTTP con il pattern “prima verifica, poi crea”, perché creare due volte una data source crea due data source. Le dashboard vengono importate con un ID fisso, così che una reimportazione sovrascriva invece di copiare. In questo ruolo ci sono tre lezioni:

  • Regole che non potevano mai scattare. A settembre 2026 un controllo ha mostrato che nessuna regola di alert era mai scattata – mancava il campo condition, e poiché un errore di valutazione contava come “OK”, sembravano verdi. Da allora il controllo finale verifica lo stato di ogni regola.
  • Una dashboard che non ha mai mostrato un numero. La dashboard PHP-FPM 4912 di grafana.com filtrava su label del cluster dei suoi autori; qui ogni pannello restava vuoto. Dal 26 ottobre 2026 è la 25545, le cui query restituiscono tutte dati qui. Il deep dive su Grafana racconta entrambe le storie.
  • Un percorso mail che si è rotto in silenzio. La password SMTP conteneva un #, che faceva iniziare un commento nella configurazione. Dal 26 ottobre una regola scatta di proposito tutto il tempo e manda una mail una volta alla settimana; se il lunedì manca, il percorso mail è rotto.

Dalla release v3.3.0 ci sono curve anche per container: cAdvisor attraverso un ServiceAccount il cui unico diritto è leggere le metriche, e kube-state-metrics con diritti di sola lettura. Una dashboard dedicata confronta ogni container con il suo limite, e quattro alert osservano memoria, throttling, OOM kill e loop di riavvio. Una trappola nella lettura: una query che somma sul nome del container addiziona il pod vecchio e quello nuovo durante un rollout – la somma giusta è per pod.

Il succo: un alert che non scatta mai e un pannello che non mostra nulla sembrano esattamente un server sano. Verifica il loro stato invece di fidarti del silenzio.

🐕 common_monit: il cane da guardia

Monit esiste a causa di un incidente: sul blog fail2ban era morto, e per due giorni nessuno se n’è accorto. Un servizio morto non compare come curva. Monit controlla stati: ogni due minuti esegue una lista di controlli, e manda una mail solo quando uno passa da ok a fallito o viceversa. Poiché lo stesso ruolo gira su entrambi gli stack, prima chiede con systemctl cat quali servizi esistono su questo host e scrive un controllo solo per quelli.

  • Servizi e firewall: SSH, K3s, gli exporter, Prometheus, Grafana; la tabella del firewall con i suoi set dei ban; se fail2ban e i set hanno bannato gli stessi indirizzi.
  • Pod: crash loop, errore di pull dell’immagine, OOM – brevi stati di attesa durante un riavvio non contano.
  • Jail di fail2ban: se ogni jail legge un file di log che esiste ancora.
  • Mail: dal 26 ottobre 2026, ogni mail che msmtp non è riuscito a consegnare. Monit manda le sue mail tramite una propria connessione SMTP, così che questo alert passi anche quando il percorso di msmtp è rotto.
  • Certificati: meno di 21 giorni rimasti. Il rinnovo parte a 30 giorni; 21 significa che fallisce da oltre una settimana. Questa soglia è nata quando una image policy ha bloccato silenziosamente il pod di challenge di cert-manager e ce ne si è accorti solo poco prima della scadenza.
  • Backup: il job di backup esterno aggiorna un file sul server dopo ogni successo; se è più vecchio di tre giorni, Monit dà l’allarme. Il server non può vedere il backup, ma può vedere che nessuno gliene ha parlato.

Se il cane da guardia abbaia lo verifica un self-test su richiesta: ferma brevemente il node exporter, aspetta che Monit segnali il guasto e lo riavvia – una mail di allarme vera e una mail di cessato allarme vera.

Il succo: stati e metriche rispondono a domande diverse. Ciò che non si vede come curva ha bisogno di un controllo che riporti solo quando qualcosa cambia.

🔎 Log, vulnerabilità e segni di vita

Dal 20 ottobre 2026 girano su tutti e tre i server altri due ruoli. Loki e Grafana Alloy raccolgono il journal, i log dei pod, l’audit log e il log di fail2ban, per 14 giorni, ricercabili accanto alle metriche. Cinque alert sui log segnalano un accesso SELinux bloccato, errori di fail2ban, OOM kill del kernel, log mancanti e – dal 26 ottobre – un error budget superato: più di 100 righe di errore e warning di un servizio in un’ora, rumore noto escluso. Prima di allora, due exporter avevano scritto per giorni fino a 240 righe del genere all’ora ciascuno senza che nulla desse l’allarme. Trivy scansiona ogni notte tutte le immagini in esecuzione e manda per mail solo i nuovi finding correggibili. Entrambi hanno i loro deep dive su Loki e Trivy.

Il quarto tipo di osservazione è arrivato per ultimo. I job che mandano una mail solo in caso di finding – AIDE, rkhunter, ClamAV, il notificatore di auditd – tacciono anche quando non girano più affatto; il notificatore di auditd una volta l’ha fatto per sei settimane. Dal 26 ottobre 2026 ognuno di questi job scrive un timestamp dopo un run riuscito, Prometheus lo raccoglie, e un alert segnala ogni job in ritardo. Dall’esterno, uno script settimanale verifica ciò che vede un visitatore: nomi, certificati, porte aperte, e se un ban ha davvero effetto.

Il succo: il silenzio è una buona notizia solo se sai che il mittente è ancora vivo.

🛠️ In esercizio: chi manda cosa

DaSignificatoCosa fare
Ruolo di verificaRisultato dopo ogni run del playbooktutto verde, oppure guarda i controlli falliti
Grafanauna risorsa sta finendo, un job è in ritardo, PHP-FPM è occupatopianifica, niente panico; per un job in ritardo, scopri perché non ha girato
Grafana “heartbeat”una volta alla settimana, di propositoniente – se manca, il percorso mail è rotto
Monitqualcosa è rotto in questo momentoguarda subito
Lokidenial SELinux, errore di fail2ban, OOM, nessun log, error budgetleggi le righe corrispondenti in Explore di Grafana
dnf-automatic, alert SSH, auditd, AIDE, rkhunter, ClamAV, Trivyvedi parte 2 e parte 5vedi lì
  • Disco: guarda la pendenza, non il livello. Una linea che sale del due per cento alla settimana raggiunge l’alert dell'80 % in un giorno prevedibile.
  • Memoria: “used” è sempre alto per via della cache dei file; ciò che conta è “available”.
  • PHP-FPM: quando tutti i worker sono occupati, le richieste si accodano, per quanto veloce sia il server. Due preallarmi segnalano l'80 % di worker occupati e il raggiungimento di max_children.

🎯 Le lezioni della parte 6

  • Metriche, stati, log e segni di vita rispondono a domande diverse; servono tutti e quattro.
  • Una regola di alert ha bisogno di uno stato verificato, non solo di una definizione.
  • Verifica prima una dashboard importata con i tuoi dati.
  • Ogni percorso su cui viaggiano gli alert ha bisogno a sua volta di un segno di vita regolare.
  • Aggrega le metriche dei container per pod, non per nome del container.

🏁 La fine del tour

Questi sono tutti i ruoli del repository, i quattro playbook, l’inventory e i controlli attorno. Chi ha letto tutte e sei le parti sa cosa gira su questi server, perché è costruito così, cosa è andato storto lungo la strada e cosa fare quando arriva una mail. Era questo l’obiettivo: non che tu copi questo setup, ma che diventi abbastanza comprensibile da farlo girare – o da costruirne uno tuo evitando gli errori annotati qui.

La tecnologia sotto i ruoli è spiegata nei deep dive, da SELinux e nftables passando per K3s fino alla performance con le misure. I link del tour puntano alla release v3.3.0, così che continuino a mostrare il codice descritto dal testo.

Alcuni testi e immagini di questo sito sono creati con l’aiuto dell’IA o generati dall’IA. Dettagli