Drugi dodatek: ZED pilnuje zdrowia mojej puli, nie jej talii

Ilustracja zapełniającej się puli pamięci ZFS

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Krótki wpis i bezpośrednia konsekwencja wpisu o snapshotach. Dodanie codziennych snapshotów wprowadziło na tym NAS-ie coś, czego wcześniej nie było: coś, co rośnie samo, po cichu, w nieskończoność, choć nikt o to nie prosił. Poszedłem więc szukać czegoś, co powie mi, kiedy pula zacznie się zapełniać. Odpowiedź była lekko żenująca.

Spis treści

🔍 ZED ma zdanie, ale nie na ten temat

ZED działa. Jest skonfigurowany. Dokładnie to naprawiłem w poprzednim dodatku i ta poprawka się trzyma:

$ systemctl is-active zed
active

$ grep ZED_EMAIL_ADDR /etc/zfs/zed.d/zed.rc
ZED_EMAIL_ADDR="you@example.com"

Problem polega na tym, do czego ZED służy. Reaguje na zdarzenia — wypadający dysk, błędy sum kontrolnych, zakończony scrub, degradujący się vdev. Rzeczy, które dzieją się w konkretnym momencie i mają oczywiste “przed” i “po”. Powoli zapełniająca się pula nie jest żadną z nich. Nie ma zdarzenia. Żaden pojedynczy zapis nie przekracza granicy, którą ZFS uznałby za wartą ogłoszenia. Zajętość po prostu pełznie w górę, a ZED — słusznie, zgodnie ze swoim projektem — nie mówi zupełnie nic. Ostatnim razem alarm istniał i nie mógł do nikogo dotrzeć. Tym razem alarmu w ogóle nie ma.

🧊 Dlaczego “po prostu coś usuń” nie jest już wyjściem awaryjnym, jakim bywało

Na ext4 pełny dysk jest irytujący. Na ZFS jest gorzej, z dwóch powodów, które się nawzajem potęgują. Po pierwsze, wydajność zapisu wyraźnie spada, gdy przekroczysz mniej więcej 80% — alokator musi się bardziej napracować, żeby znaleźć ciągłe miejsce, i to widać. Po drugie, i to jest ten, na którym ludzie się łapią: usuwanie plików może się nie udać na całkowicie pełnej puli, bo usuwanie samo w sobie jest zapisem. Usunięcie pliku oznacza aktualizację metadanych, a copy-on-write oznacza, że aktualizacja metadanych oznacza alokację bloku. Brak wolnych bloków, brak usuwania. A teraz dołóż do tego snapshoty. Jak pokazałem we wpisie o snapshotach, usunięcie pliku, do którego snapshot wciąż się odwołuje, nie zwalnia dokładnie niczego:

storage/demo   USED: 200M   REFER: 128K

REFER to to, co jest w żywym katalogu: praktycznie pusto. USED to to, ile dataset faktycznie zajmuje, bo snapshot trzyma bloki. Więc instynktowny ruch ratunkowy — zwolnić miejsce, usuwając rzeczy — na datasecie ze snapshotami nic nie daje, a na naprawdę pełnej puli może się nawet nie wykonać. Taką kombinację lepiej odkryć nie na produkcji.

🛠️ Pięć linijek i timer

Sam check jest nijaki i właśnie o to chodzi:

#!/bin/bash
# /usr/local/sbin/zfs-capacity-check.sh
set -euo pipefail
WARN="${1:-80}"

RECIPIENT="$(grep -hE '^ZED_EMAIL_ADDR=' /etc/zfs/zed.d/zed.rc 2>/dev/null 
\
    | head -1 | cut -d= -f2- | tr -d '"' | xargs)"
[ -n "$RECIPIENT" ] || exit 0

problems=""
while read -r pool cap; do
    num="${cap%\%}"
    [ "$num" -ge "$WARN" ] || continue
    problems="${problems}Pool '${pool}' is ${cap} full (threshold: ${WARN}%).
"
done < <(zpool list -H -o name,capacity)

[ -n "$problems" ] || exit 0
# ... assemble report, pipe into mail ...

Dwie drobne decyzje, które warto nazwać. Odbiorca jest odczytywany z zed.rc, a nie wpisany na sztywno. Na tej maszynie jest już dokładnie jedno miejsce, w którym skonfigurowano, “kto się dowiaduje, gdy pamięć masowa źle się zachowuje”, a dodanie drugiego to sposób, żeby za pół roku te dwa po cichu się rozjechały. A mail nie mówi tylko “pula jest pełna”. Wymienia największe snapshoty, bo na maszynie z ZFS i automatycznymi snapshotami to zdecydowanie najczęstsza odpowiedź na pytanie “gdzie się podziało moje miejsce” — a wiadomość, która przychodzi o 3 w nocy, powinna zawierać odpowiedź, nie tylko pytanie. Timer ma ten sam kształt co te od snapshotów: codziennie, Persistent=true, losowe opóźnienie.

✅ Testowanie tego, co ma mnie ostrzegać

Poprzedni dodatek skończył się na komponencie, którego całą robotą było podnoszenie alarmu, a który po cichu zawodził. Drugi raz w to nie wejdę. Zamiast więc ufać checkowi, który przy puli zapełnionej w 49% słusznie zgłasza “wszystko w porządku”, obniżyłem próg, aż musiał zadziałać:

$ /usr/local/sbin/zfs-capacity-check.sh 40
$ tail -2 /var/log/msmtp.log
Sep 02 21:19:09 host=smtp.strato.de ... recipients=you@example.com
                smtpstatus=250 exitcode=EX_OK
Sep 11 14:47:14 host=smtp.strato.de ... recipients=you@example.com
                mailsize=861 smtpstatus=250 exitcode=EX_OK

Mail przyjęty, 250, EX_OK. Cały łańcuch działa: skrypt, mail, msmtp, Strato, dostarczone. I spójrz na linijkę wyżej. 2 września — to wiadomość testowa ZED z poprzedniego dodatku, w tym samym logu. Dwie ścieżki alertów, dziewięć dni odstępu, obie zweryfikowane w ten sam sposób, z tego samego powodu.

Wniosek

Narzędzie do monitoringu mówi ci o awariach, które zostało zbudowane, żeby sobie wyobrazić. ZED wyobraża sobie umierające dyski i jest w tym znakomity. Nie wyobraża sobie, że twoja pula łagodnie zapełnia się przez osiemnaście miesięcy, bo to nie jest zdarzenie — to brak zdarzenia. I to jest niewygodna strona monitoringu w ogóle: to, co pokrywa, decyduje ten, kto go napisał, a to, czego nie pokrywa, daje dokładnie taki sam wynik jak sytuacja, w której wszystko jest w porządku. Ciszę. Warto czasem zapytać, czego twój monitoring jest strukturalnie niezdolny ci powiedzieć. Nie czego nie zgłasza — czego nigdy nie zaprojektowano, żeby zauważył.


📚 Więcej w tej serii: NAS z RAIDZ1

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły