Tweede aanvulling: ZED let op de gezondheid van mijn pool, niet op zijn taille

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
Een korte, en een direct gevolg van de post over snapshots. Met dagelijkse snapshots kwam er iets op deze NAS dat er eerder niet was: iets dat vanzelf groeit, stilletjes, voor altijd, zonder dat iemand erom vraagt. Dus ging ik op zoek naar wat me zou vertellen wanneer de pool begon vol te lopen. Het antwoord was licht gênant.
Inhoud
🔍 ZED heeft meningen, maar niet hierover
ZED draait. Hij is geconfigureerd. Precies dat heb ik in de vorige aanvulling gerepareerd, en die reparatie houdt stand:
$ systemctl is-active zed
active
$ grep ZED_EMAIL_ADDR /etc/zfs/zed.d/zed.rc
ZED_EMAIL_ADDR="you@example.com"
Het probleem is waarvoor ZED bedoeld is. Hij reageert op events — een schijf die uitvalt, checksumfouten, een scrub die klaar is, een vdev die degradeert. Dingen die op een bepaald moment gebeuren en een duidelijk ervoor en erna hebben. Een pool die langzaam volloopt, is niets daarvan. Er is geen event. Geen enkele write gaat over een grens die ZFS het melden waard vindt. De capaciteit kruipt gewoon omhoog, en ZED — terecht, volgens zijn eigen ontwerp — zegt helemaal niets. Vorige keer bestond het alarm en kon het niemand bereiken. Deze keer is er om te beginnen geen alarm.
🧊 Waarom “gewoon iets weggooien” niet meer de nooduitgang is die het was
Op ext4 is een volle schijf vervelend. Op ZFS is het erger, om twee redenen die elkaar versterken. Ten eerste zakken de schrijfprestaties flink in zodra je voorbij ongeveer 80% bent — de allocator moet harder werken om aaneengesloten ruimte te vinden, en dat merk je. Ten tweede, en dit is degene waar mensen in trappen: bestanden verwijderen kan mislukken op een volledig volle pool, omdat verwijderen zelf een write is. Een bestand weghalen betekent metadata bijwerken, en copy-on-write betekent dat metadata bijwerken een blok alloceren betekent. Geen vrije blokken, geen delete. Leg daar nu snapshots bovenop. Zoals in de snapshot-post uitgelegd, maakt het verwijderen van een bestand waar een snapshot nog naar verwijst precies niets vrij:
storage/demo USED: 200M REFER: 128K
REFER is wat er in de live directory staat: praktisch leeg. USED is wat de dataset echt in beslag neemt, omdat een snapshot de blokken vasthoudt.
Dus de instinctieve reddingsactie — ruimte vrijmaken door dingen te verwijderen — brengt je op een dataset met snapshots nergens, en wordt op een echt volle pool misschien niet eens uitgevoerd. Een combinatie die je liever niet live ontdekt.
🛠️ Vijf regels en een timer
De check zelf is onopvallend, en dat is precies de bedoeling:
#!/bin/bash
# /usr/local/sbin/zfs-capacity-check.sh
set -euo pipefail
WARN="${1:-80}"
RECIPIENT="$(grep -hE '^ZED_EMAIL_ADDR=' /etc/zfs/zed.d/zed.rc 2>/dev/null
\
| head -1 | cut -d= -f2- | tr -d '"' | xargs)"
[ -n "$RECIPIENT" ] || exit 0
problems=""
while read -r pool cap; do
num="${cap%\%}"
[ "$num" -ge "$WARN" ] || continue
problems="${problems}Pool '${pool}' is ${cap} full (threshold: ${WARN}%).
"
done < <(zpool list -H -o name,capacity)
[ -n "$problems" ] || exit 0
# ... assemble report, pipe into mail ...
Twee kleine beslissingen die het noemen waard zijn.
De ontvanger wordt uit zed.rc gelezen in plaats van hardcoded. Er is op deze machine al precies één plek waar “wie hoort het als de storage zich misdraagt” is ingesteld, en een tweede toevoegen is hoe die twee over zes maanden stilletjes uit elkaar lopen.
En de mail zegt niet alleen “pool is vol”. Hij somt de grootste snapshots op, omdat op een ZFS-machine met automatische snapshots dat verreweg het antwoord is op “waar is mijn ruimte gebleven” — en het bericht dat om 3 uur ’s nachts binnenkomt, moet het antwoord bevatten, niet alleen de vraag.
De timer heeft dezelfde vorm als die voor de snapshots: dagelijks, Persistent=true, willekeurige vertraging.
✅ Het ding testen dat me moet waarschuwen
De vorige aanvulling eindigde met een component waarvan de hele taak was alarm slaan, en dat stilletjes faalde. Daar loop ik geen twee keer in. Dus in plaats van te vertrouwen op een check die bij een pool op 49% terecht “niets aan de hand” meldt, verlaagde ik de drempel tot hij wel moest afgaan:
$ /usr/local/sbin/zfs-capacity-check.sh 40
$ tail -2 /var/log/msmtp.log
Sep 02 21:19:09 host=smtp.strato.de ... recipients=you@example.com
smtpstatus=250 exitcode=EX_OK
Sep 11 14:47:14 host=smtp.strato.de ... recipients=you@example.com
mailsize=861 smtpstatus=250 exitcode=EX_OK
Mail geaccepteerd, 250, EX_OK. De hele keten werkt: script, mail, msmtp, Strato, afgeleverd.
En kijk naar de regel erboven. 2 september — dat is het ZED-testbericht uit de vorige aanvulling, gewoon in dezelfde log. Twee alertpaden, negen dagen uit elkaar, allebei op dezelfde manier geverifieerd, om dezelfde reden.
De les
Een monitoringtool vertelt je over de storingen die hij bedacht is om zich voor te stellen. ZED stelt zich stervende schijven voor, en daar is hij uitstekend in. Hij stelt zich niet voor dat je pool in achttien maanden rustig volloopt, want dat is geen event — het is de afwezigheid ervan. En dat is het ongemakkelijke aan monitoring in het algemeen: wat hij dekt, wordt bepaald door wie hem schreef, en wat hij niet dekt, levert precies dezelfde output op als wanneer alles in orde is. Stilte. Het is de moeite waard om af en toe te vragen wat je monitoring je structureel niet kan vertellen. Niet wat hij verzuimt te melden — wat hij nooit ontworpen is om op te merken.
📚 Meer in deze serie: de RAIDZ1-NAS
- Een RAIDZ1-NAS bouwen op Debian 13 met OpenZFS: datasets, compressie en de leugens die dd me vertelde
- Aanvulling RAIDZ1-NAS: hoe scrub en trim echt worden ingepland — en het alarm dat er niet was
- Iedereen lachen — we maken een snapshot! Van rdiff-backup naar ZFS op de RAIDZ1-NAS
- Twee dingen die mijn SSD’s misten: TRIM na BitLocker, en een schrijfcache die mijn HPE-server stilletjes uitzette
