Drugi dodatek: ZED pilnuje zdrowia mojej puli, nie jej talii

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Krótki wpis i bezpośrednia konsekwencja wpisu o snapshotach. Dodanie codziennych snapshotów wprowadziło na tym NAS-ie coś, czego wcześniej nie było: coś, co rośnie samo, po cichu, w nieskończoność, choć nikt o to nie prosił. Poszedłem więc szukać czegoś, co powie mi, kiedy pula zacznie się zapełniać. Odpowiedź była lekko żenująca.
Spis treści
🔍 ZED ma zdanie, ale nie na ten temat
ZED działa. Jest skonfigurowany. Dokładnie to naprawiłem w poprzednim dodatku i ta poprawka się trzyma:
$ systemctl is-active zed
active
$ grep ZED_EMAIL_ADDR /etc/zfs/zed.d/zed.rc
ZED_EMAIL_ADDR="you@example.com"
Problem polega na tym, do czego ZED służy. Reaguje na zdarzenia — wypadający dysk, błędy sum kontrolnych, zakończony scrub, degradujący się vdev. Rzeczy, które dzieją się w konkretnym momencie i mają oczywiste “przed” i “po”. Powoli zapełniająca się pula nie jest żadną z nich. Nie ma zdarzenia. Żaden pojedynczy zapis nie przekracza granicy, którą ZFS uznałby za wartą ogłoszenia. Zajętość po prostu pełznie w górę, a ZED — słusznie, zgodnie ze swoim projektem — nie mówi zupełnie nic. Ostatnim razem alarm istniał i nie mógł do nikogo dotrzeć. Tym razem alarmu w ogóle nie ma.
🧊 Dlaczego “po prostu coś usuń” nie jest już wyjściem awaryjnym, jakim bywało
Na ext4 pełny dysk jest irytujący. Na ZFS jest gorzej, z dwóch powodów, które się nawzajem potęgują. Po pierwsze, wydajność zapisu wyraźnie spada, gdy przekroczysz mniej więcej 80% — alokator musi się bardziej napracować, żeby znaleźć ciągłe miejsce, i to widać. Po drugie, i to jest ten, na którym ludzie się łapią: usuwanie plików może się nie udać na całkowicie pełnej puli, bo usuwanie samo w sobie jest zapisem. Usunięcie pliku oznacza aktualizację metadanych, a copy-on-write oznacza, że aktualizacja metadanych oznacza alokację bloku. Brak wolnych bloków, brak usuwania. A teraz dołóż do tego snapshoty. Jak pokazałem we wpisie o snapshotach, usunięcie pliku, do którego snapshot wciąż się odwołuje, nie zwalnia dokładnie niczego:
storage/demo USED: 200M REFER: 128K
REFER to to, co jest w żywym katalogu: praktycznie pusto. USED to to, ile dataset faktycznie zajmuje, bo snapshot trzyma bloki.
Więc instynktowny ruch ratunkowy — zwolnić miejsce, usuwając rzeczy — na datasecie ze snapshotami nic nie daje, a na naprawdę pełnej puli może się nawet nie wykonać. Taką kombinację lepiej odkryć nie na produkcji.
🛠️ Pięć linijek i timer
Sam check jest nijaki i właśnie o to chodzi:
#!/bin/bash
# /usr/local/sbin/zfs-capacity-check.sh
set -euo pipefail
WARN="${1:-80}"
RECIPIENT="$(grep -hE '^ZED_EMAIL_ADDR=' /etc/zfs/zed.d/zed.rc 2>/dev/null
\
| head -1 | cut -d= -f2- | tr -d '"' | xargs)"
[ -n "$RECIPIENT" ] || exit 0
problems=""
while read -r pool cap; do
num="${cap%\%}"
[ "$num" -ge "$WARN" ] || continue
problems="${problems}Pool '${pool}' is ${cap} full (threshold: ${WARN}%).
"
done < <(zpool list -H -o name,capacity)
[ -n "$problems" ] || exit 0
# ... assemble report, pipe into mail ...
Dwie drobne decyzje, które warto nazwać.
Odbiorca jest odczytywany z zed.rc, a nie wpisany na sztywno. Na tej maszynie jest już dokładnie jedno miejsce, w którym skonfigurowano, “kto się dowiaduje, gdy pamięć masowa źle się zachowuje”, a dodanie drugiego to sposób, żeby za pół roku te dwa po cichu się rozjechały.
A mail nie mówi tylko “pula jest pełna”. Wymienia największe snapshoty, bo na maszynie z ZFS i automatycznymi snapshotami to zdecydowanie najczęstsza odpowiedź na pytanie “gdzie się podziało moje miejsce” — a wiadomość, która przychodzi o 3 w nocy, powinna zawierać odpowiedź, nie tylko pytanie.
Timer ma ten sam kształt co te od snapshotów: codziennie, Persistent=true, losowe opóźnienie.
✅ Testowanie tego, co ma mnie ostrzegać
Poprzedni dodatek skończył się na komponencie, którego całą robotą było podnoszenie alarmu, a który po cichu zawodził. Drugi raz w to nie wejdę. Zamiast więc ufać checkowi, który przy puli zapełnionej w 49% słusznie zgłasza “wszystko w porządku”, obniżyłem próg, aż musiał zadziałać:
$ /usr/local/sbin/zfs-capacity-check.sh 40
$ tail -2 /var/log/msmtp.log
Sep 02 21:19:09 host=smtp.strato.de ... recipients=you@example.com
smtpstatus=250 exitcode=EX_OK
Sep 11 14:47:14 host=smtp.strato.de ... recipients=you@example.com
mailsize=861 smtpstatus=250 exitcode=EX_OK
Mail przyjęty, 250, EX_OK. Cały łańcuch działa: skrypt, mail, msmtp, Strato, dostarczone.
I spójrz na linijkę wyżej. 2 września — to wiadomość testowa ZED z poprzedniego dodatku, w tym samym logu. Dwie ścieżki alertów, dziewięć dni odstępu, obie zweryfikowane w ten sam sposób, z tego samego powodu.
Wniosek
Narzędzie do monitoringu mówi ci o awariach, które zostało zbudowane, żeby sobie wyobrazić. ZED wyobraża sobie umierające dyski i jest w tym znakomity. Nie wyobraża sobie, że twoja pula łagodnie zapełnia się przez osiemnaście miesięcy, bo to nie jest zdarzenie — to brak zdarzenia. I to jest niewygodna strona monitoringu w ogóle: to, co pokrywa, decyduje ten, kto go napisał, a to, czego nie pokrywa, daje dokładnie taki sam wynik jak sytuacja, w której wszystko jest w porządku. Ciszę. Warto czasem zapytać, czego twój monitoring jest strukturalnie niezdolny ci powiedzieć. Nie czego nie zgłasza — czego nigdy nie zaprojektowano, żeby zauważył.
📚 Więcej w tej serii: NAS z RAIDZ1
- Budowa NAS-a z RAIDZ1 na Debianie 13 z OpenZFS: datasety, kompresja i kłamstwa, które opowiedział mi dd
- Dodatek do NAS-a z RAIDZ1: jak naprawdę planowane są scrub i trim — i alert, którego nie było
- Uśmiech, robimy snapshot! Przejście z rdiff-backup na ZFS na NAS-ie z RAIDZ1
- Dwie rzeczy, których brakowało moim SSD: TRIM po BitLockerze i cache zapisu, który mój serwer HPE po cichu wyłączył
