Dodatek do NAS-a RAIDZ1: jak naprawdę planowane są scrub i trim — i alert, którego nie było

Ilustracja planowania scrub i trim w OpenZFS

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Krótka kontynuacja budowy NAS-a RAIDZ1. Ściągawka w tamtym wpisie dała ci zpool scrub storage jako polecenie, które możesz uruchomić. Nie odpowiedziała natomiast, czy coś uruchamia je za ciebie — i, skoro scrub ma sens tylko wtedy, gdy faktycznie dowiesz się, że coś znalazł, czy system cię o tym informuje. Obie odpowiedzi okazały się ciekawsze niż „tak, oczywiście”.

Spis treści

🔍 Scrub i trim, po jednym akapicie

zpool scrub czyta każdy zaalokowany blok w puli i sprawdza go z zapisaną sumą kontrolną. Niezgodność — bit, który gdzieś na fizycznym nośniku po cichu się przestawił — jest odtwarzana z parzystości RAIDZ i automatycznie zapisywana na nowo. To cały mechanizm, który czyni ZFS odpornym na problem cichego bit rotu, któremu pierwotny wpis poświęcił kilka akapitów: nie chodzi o to, że uszkodzenie nie może się zdarzyć, tylko o to, że scrub zamienia „uszkodzenie, którego nikt nigdy nie zauważy” w „uszkodzenie naprawione, zanim ktokolwiek je zauważy”. zpool trim dotyczy SSD. Mówi firmware’owi dysku, których bloków ZFS przestał używać (usunięte pliki, nadpisane dane), żeby SSD mógł z wyprzedzeniem wyczyścić i przygotować to miejsce, zamiast gorączkowo robić to w trakcie zapisu. Pomijaj to wystarczająco długo, a wydajność zapisu po cichu spada, w miarę jak dyskowi kończą się wstępnie wyczyszczone bloki — SSD-owy odpowiednik niewynoszenia śmieci i dziwienia się, czemu w kuchni pracuje się coraz wolniej. Żadne z nich nie ma sensu jako jednorazowa akcja. Cały sens polega na tym, że działają według harmonogramu.

📅 Kto właściwie pociąga za spust

Poszedłem poszukać odpowiedzi, zamiast ją zakładać, i dobrze zrobiłem — oczywiste miejsce okazało się złym. OpenZFS na Debianie dostarcza dwa mechanizmy planowania obok siebie, a tylko jeden z nich cokolwiek robił:

$ systemctl list-unit-files | grep zfs-scrub
zfs-scrub-monthly@.timer   disabled   enabled
zfs-scrub-weekly@.timer    disabled   enabled

Oba disabled. Gdybym się tu zatrzymał, uczciwa odpowiedź brzmiałaby „nie, nic tego nie uruchamia”. Ale zfsutils-linux instaluje też zwykły plik crona, niezależny od tych timerów, i ten jest aktywny:

# /etc/cron.d/zfsutils-linux

# TRIM the first Sunday of every month.
24 0 1-7 * * root if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/trim ]; then /usr/lib/zfs-linux/trim; fi

# Scrub the second Sunday of every month.
24 0 8-14 * * root if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/scrub ]; then /usr/lib/zfs-linux/scrub; fi

Trim w pierwszą niedzielę, scrub w drugą, oba o 00:24. Wywoływany skrypt /usr/lib/zfs-linux/scrub też nie jest ślepym zpool scrub $everything — przechodzi przez każdą pulę, sprawdza, czy jej stan to ONLINE, i dla każdej puli czyta zdefiniowaną przez użytkownika właściwość org.debian:periodic-scrub, żeby zdecydować, czy ją uwzględnić:

$ zfs get -H -o value org.debian:periodic-scrub storage
-

- oznacza nieustawioną, co skrypt traktuje jako auto — scrub się odbywa. Ustawienie jej na disable dla danej puli wyłączyłoby tę pulę bez dotykania samego zadania crona, co jest schludniejszym pokrętłem niż edycja skryptu. Sedno: zainstalowane są dwa systemy planowania, włączony jest tylko starszy, oparty na cronie, a faktyczna decyzja per pula to właściwość, a nie wpisana na sztywno nazwa puli. Niczego z tego nie da się odkryć przez zpool status — trzeba bezpośrednio sprawdzić systemctl, /etc/cron.d i właściwość, co dokładnie zrobiłem, gdy ktoś zadał mi bardzo rozsądne pytanie: „czy to jest naprawdę zautomatyzowane, czy tylko pokazałeś mi ręczne polecenie?” Nawiasem mówiąc, raz w miesiącu to tu właściwy interwał — to są SSD, a cotygodniowy scrub to raczej domyślne ustawienie z ery HDD, które na flashu głównie dodaje zużycia bez dodatkowej korzyści.

🔔 Czy coś cię ostrzega, gdy scrub znajdzie problem?

To jest część, która naprawdę mnie zaskoczyła. Infrastruktura do ostrzegania istnieje, jest zainstalowana i działa:

$ systemctl status zfs-zed
● zfs-zed.service - ZFS Event Daemon (zed)
     Active: active (running)

ZED (ZFS Event Daemon) obserwuje zdarzenia puli — zakończenie scruba, ukończony resilver, zmianę stanu urządzenia — a jego konfiguracja nawet wskazuje odbiorcę:

# /etc/zfs/zed.d/zed.rc
ZED_EMAIL_ADDR="root"
ZED_NOTIFY_INTERVAL_SECS=3600

Wygląda na skonfigurowane. I jest skonfigurowane — z punktu widzenia samego ZED. Ale faktyczny mechanizm dostarczania, zakopany w zed-functions.sh, jest mało efektowny:

: "${ZED_EMAIL_PROG:="mail"}"

zed_notify_email wywołuje binarkę, która dosłownie nazywa się mail. A na tej maszynie:

$ which mail mailx msmtp
$

Nic. Ani mailutils, ani msmtp, żadnego MTA. zpool create nigdy nie ciągnie go jako zależności, więc jeśli osobno nie pomyślisz o instalacji dostarczania poczty, ZED ma odbiorcę i żadnego sposobu, żeby do niego dotrzeć. Zedlet scrub_finish-notify.sh przy następnym scrubie odpaliłby się poprawnie, zbudował wiadomość, przekazał ją do zed_notify_email, który spróbowałby uruchomić mail, dostałby „command not found” i poległ — po cichu, z perspektywy kogoś, kto czeka na prawdziwy e-mail. journalctl -u zed będzie zawierał ten błąd, jeśli zajrzysz. Nic go nie wyciągnie na wierzch, jeśli nie zajrzysz. Chcę się przy tym na chwilę zatrzymać, bo to naprawdę dobra puenta: cały pierwszy wpis był o systemie plików, który nie pozwala, by uszkodzenie przeszło niezauważone — sumy kontrolne zamiast ślepego zaufania, samonaprawa zamiast cichej awarii. A warstwa nad nim, której jedynym zadaniem jest powiedzieć człowiekowi, że ta maszyneria wykonała swoją pracę, sama zawodziła dokładnie w ten cichy sposób, któremu ZFS miał zapobiegać. Wniosek z poprzedniego wpisu uogólnia się dalej, niż się spodziewałem: „po cichu wyglądające na OK” to cecha infrastruktury, nie tylko dysków.

🛠️ Naprawa, na serio

Luka to tylko brakujący MTA, a nie błędna konfiguracja ZED, więc naprawa to naprawdę trzy kroki: zainstalować klienta poczty, skierować go na relay, powiedzieć ZED, do kogo ma pisać.

apt-get install -y msmtp msmtp-mta bsd-mailx

msmtp-mta linkuje msmtp jako /usr/sbin/sendmail, czyli dokładnie to, co mail/mailx — a więc i ZED — wywołują pod spodem. Ten homelab ma już działający relay wychodzący (Strato, używany gdzie indziej do powiadomień z innych hostów), więc skierowałem /etc/msmtprc na to samo konto, zamiast stawiać coś nowego:

# /etc/msmtprc — root-owned, chmod 600 (it holds a password)
defaults
auth           on
tls            on
tls_starttls   on
logfile        /var/log/msmtp.log

account        homelab
host           smtp.strato.de
port           587
from           homelab@apt-upgrade.me
user           homelab@apt-upgrade.me
password       ██████████████████

account default : homelab

Zaraz potem chown root:root /etc/msmtprc && chmod 600 /etc/msmtprc — ten plik zawiera hasło otwartym tekstem, a zfs-zed.service i tak działa jako root, więc dostęp tylko dla roota jest zarówno poprawny, jak i wystarczający. To samo dla pliku logu. Potem właściwy cel całego ćwiczenia — powiedzieć ZED, żeby przestał adresować pocztę do lokalnego konta root, którego nikt nigdy nie przeczyta, i wysyłał ją tam, gdzie naprawdę ją zobaczę:

sed -i 's/^ZED_EMAIL_ADDR=.*/ZED_EMAIL_ADDR="you@example.com"/' /etc/zfs/zed.d/zed.rc
systemctl restart zfs-zed

Żadnych aliasów, żadnego lokalnego spoola poczty, żadnej reguły przekierowania do pilnowania — ZED_EMAIL_ADDR to dosłownie odbiorca, z którym wywoływany jest mail, więc skierowanie go wprost na prawdziwą skrzynkę jest prostsze niż uruchomienie najpierw lokalnego dostarczania i nakładanie na to przekierowania.

✅ Działanie potwierdzone

Zamiast czekać do drugiej niedzieli miesiąca, żeby sprawdzić, czy cokolwiek z tego działa, wysłałem ręczny test dokładnie tą samą ścieżką, której używa ZED — mail, który prowadzi do msmtp, który uwierzytelnia się w Strato:

$ echo "This is a test message from the storage NAS (192.168.10.x) confirming that
msmtp + ZED mail delivery is now working via the Strato relay." | 
\
  mail -s "ZFS ZED delivery check - storage NAS" you@example.com

$ tail -1 /var/log/msmtp.log
host=smtp.strato.de tls=on auth=on user=homelab@apt-upgrade.me from=homelab@apt-upgrade.me
recipients=you@example.com mailsize=436 smtpstatus=250
smtpmsg='250 2.0.0 OK queued with id 990330282JJ9ENX' exitcode=EX_OK

smtpstatus=250 / exitcode=EX_OK oznacza, że Strato przyjęło wiadomość do doręczenia — to wersja wydarzeń od strony msmtp. Strona skrzynki potwierdziła to kilka sekund później:

From:    homelab@apt-upgrade.me
To:      you@example.com
Subject: ZFS ZED delivery check - storage NAS
Date:    Wed, 2 Sep 2026 21:19

This is a test message from the storage NAS (192.168.10.x) confirming that
msmtp + ZED mail delivery is now working via the Strato relay.

Od początku do końca, od relaya do skrzynki, w mniej więcej tyle czasu, ile zajęło przeczytanie linii logu. Tak wygląda cała naprawa zweryfikowana — nie „powinno już działać”, tylko prawdziwy e-mail, który naprawdę dotarł. Drobiazg, ale warto powiedzieć to wprost: naprawa nie polega tu tak naprawdę na „zainstaluj msmtp”. Polega na zauważeniu, że komponent, którego całym zadaniem jest podnoszenie alarmu, może zawieść równie cicho jak rzecz, której ma pilnować — i że jedynym sposobem, by wiedzieć, że naprawdę działa, jest go wyzwolić i sprawdzić, a nie przeczytać konfigurację i założyć.


📚 Więcej w tej serii: NAS RAIDZ1

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły