Secondo addendum: ZED controlla la salute del mio pool, non il suo girovita

Illustrazione di un pool di storage ZFS che si riempie

🌐 Anche in: English · Deutsch · Français · Español · Português · Nederlands · Polski

Un post breve, e una conseguenza diretta di quello sugli snapshot. Con gli snapshot giornalieri è arrivato su questo NAS qualcosa che prima non c’era: una cosa che cresce da sola, in silenzio, per sempre, senza che nessuno gliel’abbia chiesto. Così sono andato a cercare cosa mi avrebbe avvisato quando il pool avesse cominciato a riempirsi. La risposta è stata un po’ imbarazzante.

Indice

🔍 ZED ha le sue opinioni, ma non su questo

ZED gira. È configurato. È esattamente quello che ho sistemato nell’ultimo addendum, e la correzione regge:

$ systemctl is-active zed
active

$ grep ZED_EMAIL_ADDR /etc/zfs/zed.d/zed.rc
ZED_EMAIL_ADDR="you@example.com"

Il problema è a cosa serve ZED. Reagisce a eventi — un disco che sparisce, errori di checksum, uno scrub che finisce, un vdev che degrada. Cose che succedono in un momento preciso e hanno un prima e un dopo evidenti. Un pool che si riempie lentamente non è niente di tutto questo. Non c’è nessun evento. Nessuna singola scrittura supera una soglia che ZFS ritenga degna di essere annunciata. La capacità sale piano piano, e ZED — correttamente, per come è progettato — non dice proprio niente. L’ultima volta l’allarme esisteva ma non riusciva a raggiungere nessuno. Questa volta l’allarme non c’è proprio.

🧊 Perché “cancella qualcosa e basta” non è più la via d’uscita di una volta

Su ext4 un disco pieno è fastidioso. Su ZFS è peggio, per due motivi che si sommano. Primo, le prestazioni in scrittura peggiorano sensibilmente quando superi più o meno l'80% — l’allocatore deve faticare di più per trovare spazio contiguo, e si vede. Secondo, ed è questo che frega la gente: cancellare file può fallire su un pool completamente pieno, perché anche cancellare è una scrittura. Rimuovere un file significa aggiornare i metadati, e con il copy-on-write aggiornare i metadati significa allocare un blocco. Niente blocchi liberi, niente cancellazione. Ora aggiungi sopra gli snapshot. Come spiegato nel post sugli snapshot, cancellare un file ancora referenziato da uno snapshot non libera esattamente nulla:

storage/demo   USED: 200M   REFER: 128K

REFER è quello che c’è nella directory live: praticamente vuota. USED è quello che il dataset occupa davvero, perché uno snapshot tiene stretti i blocchi. Quindi la mossa di recupero istintiva — liberare spazio cancellando roba — non ti porta da nessuna parte su un dataset con snapshot, e su un pool davvero pieno potrebbe non andare nemmeno in porto. Una combinazione che è meglio non scoprire dal vivo.

🛠️ Cinque righe e un timer

Il check in sé non ha niente di speciale, ed è proprio questo il punto:

#!/bin/bash
# /usr/local/sbin/zfs-capacity-check.sh
set -euo pipefail
WARN="${1:-80}"

RECIPIENT="$(grep -hE '^ZED_EMAIL_ADDR=' /etc/zfs/zed.d/zed.rc 2>/dev/null 
\
    | head -1 | cut -d= -f2- | tr -d '"' | xargs)"
[ -n "$RECIPIENT" ] || exit 0

problems=""
while read -r pool cap; do
    num="${cap%\%}"
    [ "$num" -ge "$WARN" ] || continue
    problems="${problems}Pool '${pool}' is ${cap} full (threshold: ${WARN}%).
"
done < <(zpool list -H -o name,capacity)

[ -n "$problems" ] || exit 0
# ... assemble report, pipe into mail ...

Due piccole decisioni che vale la pena nominare. Il destinatario viene letto da zed.rc invece di essere hardcoded. Su questa macchina c’è già esattamente un posto in cui è configurato “chi viene avvisato quando lo storage fa i capricci”, e aggiungerne un secondo è il modo in cui i due divergeranno in silenzio fra sei mesi. E la mail non dice solo “il pool è pieno”. Elenca gli snapshot più grandi, perché su una macchina ZFS con snapshot automatici quella è di gran lunga la risposta a “dov’è finito il mio spazio” — e il messaggio che arriva alle 3 di notte dovrebbe contenere la risposta, non solo la domanda. Il timer ha la stessa forma di quelli degli snapshot: giornaliero, Persistent=true, ritardo casuale.

✅ Testare la cosa che dovrebbe avvisarmi

L’ultimo addendum si chiudeva con un componente il cui unico compito era lanciare un allarme, e che falliva in silenzio. Non ci ricasco una seconda volta. Quindi, invece di fidarmi di un check che riporta correttamente “tutto a posto” su un pool al 49%, ho abbassato la soglia finché non ha dovuto scattare:

$ /usr/local/sbin/zfs-capacity-check.sh 40
$ tail -2 /var/log/msmtp.log
Sep 02 21:19:09 host=smtp.strato.de ... recipients=you@example.com
                smtpstatus=250 exitcode=EX_OK
Sep 11 14:47:14 host=smtp.strato.de ... recipients=you@example.com
                mailsize=861 smtpstatus=250 exitcode=EX_OK

Mail accettata, 250, EX_OK. L’intera catena funziona: script, mail, msmtp, Strato, consegnata. E guarda la riga sopra. 2 settembre — è il messaggio di test di ZED dell’addendum precedente, proprio lì nello stesso log. Due percorsi di allerta, a nove giorni di distanza, entrambi verificati nello stesso modo, per lo stesso motivo.

Il succo

Uno strumento di monitoraggio ti avvisa dei guasti che è stato costruito per immaginare. ZED immagina dischi che muoiono, ed è eccellente in questo. Non immagina il tuo pool che si riempie dolcemente nell’arco di diciotto mesi, perché quello non è un evento — è l’assenza di un evento. Ed è questa la parte scomoda del monitoraggio in generale: quello che copre lo decide chi l’ha scritto, e quello che non copre produce esattamente lo stesso output di quando va tutto bene. Silenzio. Vale la pena chiedersi ogni tanto cosa il tuo monitoraggio è strutturalmente incapace di dirti. Non cosa non riesce a segnalare — cosa non è mai stato progettato per notare.


📚 Altro in questa serie: il NAS RAIDZ1

Alcuni testi e immagini di questo sito sono creati con l’aiuto dell’IA o generati dall’IA. Dettagli