Dwie rzeczy, których brakowało moim SSD: TRIM po BitLockerze i cache zapisu, który mój serwer HPE po cichu wyłączył

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
HP3, mój HPE MicroServer Gen10 Plus v2, znów działa na Debianie 13 z OpenZFS. Dlaczego znowu porzucił Windowsa, to historia na inny wpis. Ten jest o przywracaniu danych po tym wszystkim i o ustawieniu, które ukrywało się na widoku przez dwa systemy operacyjne i dwa wpisy na blogu.
Plan był nudny, tak jak powinno być przy przywracaniu: świeża pula RAIDZ1 na tych samych trzech dyskach SSD WD Red SA500, datasety dla każdego użytkownika, a potem około 1,7 TB skopiowane z powrotem z dysku USB przez rsync. Ten sam schemat co zawsze: ja podejmuję decyzje, mój współadmin AI (Claude) wykonuje polecenia i pilnuje liczb. I to właśnie liczby zaczęły wyglądać podejrzanie.
Spis treści
🐌 Siedem megabajtów na sekundę. Na SSD.
Kopiowanie wlokło się z prędkością 25–35 MB/s. Szacowany czas: około szesnastu godzin. Nawet drobiazgi typu zfs create czy zpool status wisiały całymi minutami, czekając, aż kolejna transaction group skończy się synchronizować. Wtedy zpool iostat -l pokazał prawdziwy problem:
$ zpool iostat -vl storage 5 1
bandwidth total_wait disk_wait
read write read write read write
storage 3.42K 22.7M 1ms 233ms 1ms 65ms
raidz1-0 3.42K 22.7M 1ms 233ms 1ms 65ms
ata-WD_Red_SA500_..._00458 1.14K 7.57M 1ms 262ms 1ms 68ms
ata-WD_Red_SA500_..._01387 1.14K 7.58M 1ms 258ms 1ms 72ms
ata-WD_Red_SA500_..._02050 1.14K 7.58M 1ms 181ms 1ms 57ms
$ cat /proc/pressure/io
some avg10=94.05 avg60=90.06 avg300=80.24
full avg10=88.82 avg60=84.62 avg300=75.87
Około 7,5 MB/s na dysk przy 65 ms opóźnienia, a maszyna spędzała mniej więcej 90 % czasu na czekaniu na I/O. To dyski SATA SSD z deklarowanym zapisem sekwencyjnym grubo powyżej 500 MB/s. 65 ms to terytorium talerzowych dysków. Właściwie gorzej: przyzwoity HDD radzi sobie lepiej.
🕵️ Podejrzany numer jeden: TRIM, a ja już to przerabiałem
TRIM był pierwszym podejrzanym, i to nie tylko teoretycznie. Raz już mnie ugryzł. Kiedy pierwszy raz przenosiłem te SSD z Windowsa na Linuksa, zainstalowałem Debiana na dyskach, które wcześniej były zaszyfrowane BitLockerem. Liczby były równie fatalne jak teraz, a wtedy pomógł TRIM. Więc kiedy wróciły te same objawy, odezwało się déjà vu.
Dlaczego BitLocker i SSD to tak zła kombinacja przy reinstalacji, wynika z tego, jak SSD widzi świat. Nie ma pojęcia, czym jest plik. Zna tylko bloki logiczne, a blok jest „w użyciu” od chwili, gdy cokolwiek zostanie do niego zapisane, aż do momentu, gdy ktoś wprost powie „ten możesz zapomnieć”. Tym kimś jest TRIM (albo discard w terminologii Linuksa). System plików wysyła go, kiedy usuwa pliki. Świeży mkfs czy zpool create na starych danych niekoniecznie robi to dla całego dysku.
BitLocker sprawia, że jest najgorzej, jak tylko się da. Zaszyfrowane dane są nie do odróżnienia od losowego szumu, więc w dysku nie ma czego kompresować ani deduplikować. A gdy wolumen był już zaszyfrowany i przez jakiś czas zapisywany, duża część flasha zawiera coś, co SSD musi traktować jako cenne dane. Potem czyszczę dysk nowym systemem. Tablica partycji jest nowa, system plików jest nowy, ale nikt nie mówi SSD, że wszystkie te stare bloki to teraz śmieci. Z jego punktu widzenia dysk jest wciąż pełny.
To boli, bo flasha nie da się nadpisać w miejscu. Zapisuje się go stronami, a kasuje znacznie większymi blokami. Dysk, który uważa się za pełny, nie ma już wcześniej skasowanych bloków. Przy każdym nowym zapisie jego garbage collector musi najpierw znaleźć blok, skopiować gdzie indziej wciąż „ważne” strony (stary zaszyfrowany szum), skasować blok i dopiero wtedy zapisać nowe dane. Jeden zapis hosta zamienia się w kilka wewnętrznych (write amplification). Przepustowość się załamuje, opóźnienia eksplodują, a do tego dysk szybciej się zużywa.
Właściwy sposób, który zapisuję, żeby przyszły ja naprawdę go zastosował: zanim oddasz używane SSD nowemu systemowi plików, zrób na nich pełny discard. To niszczy wszystko na dysku i właśnie o to chodzi:
# Before zpool create / mkfs — irreversibly wipes the drive!
blkdiscard /dev/disk/by-id/ata-WD_Red_SA500_2.5_2TB_...
# Check that the drive supports TRIM at all (non-zero DISC-GRAN/DISC-MAX):
lsblk --discard /dev/sdX
Na bezczynnym SATA SSD blkdiscard dla całego dysku trwa zwykle od kilku sekund do kilku minut. Zrobienie tego później przez zpool trim na działającej puli też działa. ZFS odrzuca tylko miejsce, którego nie używa. Ale to wolniejsze, konkuruje z prawdziwym I/O i pomaga dopiero od chwili, gdy ruszy.
Jest też trzecia opcja, którą zauważyłem dopiero później, grzebiąc w BIOS-ie w poszukiwaniu czegoś innego (patrz niżej): HPE RBSU ma wbudowane SATA Secure Erase i SATA Sanitize. To firmware’owa wersja tego samego pomysłu. Dysk sam wyrzuca wszystko, łącznie z własnymi tablicami mapowania, i wraca świeży jak pierwszego dnia, z każdym blokiem wolnym. Dla SSD, które i tak mają zostać wyczyszczone, to chyba najczystszy możliwy reset, a do tego nie wymaga działającego systemu. To samo ostrzeżenie, większymi literami: to całkowicie kasuje dysk.
Tym razem pominąłem ten krok, więc w środku przywracania odpaliliśmy pełny zpool trim storage. Czterdzieści minut później był na 2 %, a kopiowanie ledwo przyspieszyło. TRIM był częścią problemu, ale nie tą częścią, która zamieniła SSD w stacje dyskietek. Coś bardziej podstawowego też było nie tak. A kiedy już wiesz, co to było, TRIM pełzający na 2 % też zaczyna mieć sens.
💡 Podejrzany numer dwa: jedno słowo w sysfs
$ for d in sda sdb sdc sdd; do echo "$d $(cat /sys/block/$d/queue/write_cache)"; done
sda write through
sdb write through
sdc write through
sdd write through
$ hdparm -W /dev/disk/by-id/ata-WD_Red_SA500_2.5_2TB_...
write-caching = 0 (off)
Write through. Własny cache zapisu dysków był wyłączony. Każdy SSD ma mały bufor DRAM: przyjmuje przychodzące zapisy, mówi „gotowe”, a potem zapisuje je do flasha dużymi, wydajnymi porcjami. Bez niego dysk musi dokończyć każdy pojedynczy zapis na samym flashu, zanim odpowie. Dla SSD to mniej więcej najgorszy możliwy tryb pracy, bo flash zapisuje się dużymi stronami, a kasuje jeszcze większymi blokami. Mnóstwo małych, osobnych zapisów oznacza powolne zapisy i dodatkowe zużycie.
Kto go wyłączył? Nie Debian, on tego ustawienia nie rusza. Odpowiedź daje log jądra, dwie sekundy po włączeniu zasilania, na długo zanim cokolwiek w userspace się uruchomiło:
$ dmesg | grep -i "write cache"
[ 2.101312] sd 2:0:0:0: [sda] Write cache: disabled, read cache: enabled
[ 2.101316] sd 3:0:0:0: [sdc] Write cache: disabled, read cache: enabled
[ 2.101332] sd 5:0:0:0: [sdd] Write cache: disabled, read cache: enabled
[ 2.101407] sd 4:0:0:0: [sdb] Write cache: disabled, read cache: enabled
[ 3.644946] sd 6:0:0:0: [sde] Write cache: enabled, read cache: enabled ← USB stick
[ 530.822448] sd 7:0:0:0: [sdf] Write cache: enabled, read cache: enabled ← USB disk
Wszystkie cztery wewnętrzne SSD SATA startują jako disabled, a oba urządzenia USB jako enabled. Dyski SATA wychodzą z fabryki z włączonym cache zapisu, więc coś go wyłącza podczas POST, a tym czymś jest firmware serwera. HPE najwyraźniej domyślnie ustawia „cache zapisu dysku wyłączony” dla dysków SATA i, jak się okazało, nie pozwala tego zmienić (więcej o tym niżej). Dowody wskazują jednoznacznie na platformę, nie na Linuksa.
⚡ Jedno polecenie później
$ for d in /dev/disk/by-id/ata-WD_Red_SA500_2.5_2TB_*[0-9]; do hdparm -W1 "$d"; done
setting drive write-caching to 1 (on)
write-caching = 1 (on)
...
| Cache zapisu wyłączony | Cache zapisu włączony | |
|---|---|---|
| Przepustowość przywracania rsync | 25–35 MB/s | 85–95 MB/s |
| Presja I/O (PSI, some avg60) | ~90 % | ~30–45 % |
| Szacowany czas przywracania | ~16 godzin | ~6 godzin |
| Wąskie gardło | dyski SSD | dysk USB 2,5", z którego kopiowałem |
Na żywo, w trakcie kopiowania, bez restartu. SSD przestały być problemem i zaczęły czekać na przenośny dysk USB. Po zakończeniu przywracania zrobiłem jeszcze czysty benchmark.
📊 Czysty benchmark: te same dyski, jeden przełącznik
Gdy przywracanie się skończyło, a pula znów była bezczynna (około 1,3 TB zajęte, TRIM wciąż wstrzymany), uruchomiłem te same testy dd co w pierwotnym wpisie o NAS-ie, dwa razy: raz z ponownie wyłączonym cache zapisu dysków, raz z włączonym. Tym razem potraktowałem lekcje z tamtego wpisu poważnie: osobny dataset testowy z compression=off, plik 1 GiB losowych danych serwowany z RAM-u (/dev/shm), żeby /dev/urandom nie stał się wąskim gardłem, fsync na końcu i odczyty z O_DIRECT, żeby ARC nie podkoloryzował wyników odczytu.
zfs create -o compression=off storage/bench
head -c 1G /dev/urandom > /dev/shm/rand.bin
dd if=/dev/shm/rand.bin of=/storage/bench/t bs=1M conv=fsync # buffered + fsync
dd if=/dev/shm/rand.bin of=/storage/bench/t bs=1M oflag=direct conv=fsync # O_DIRECT
dd if=/dev/shm/rand.bin of=/storage/bench/t4k bs=4k count=5000 oflag=direct,dsync
dd if=/storage/bench/t of=/dev/null bs=1M iflag=direct # read
| Test | Cache zapisu wyłączony | Cache zapisu włączony | Krotność |
|---|---|---|---|
| Zapis sekwencyjny 1M, buffered + fsync | 8 MB/s | 547 MB/s | ~68× |
| Zapis sekwencyjny 1M, O_DIRECT | 2 MB/s | 239 MB/s | ~120× |
| Zapis 4K, O_DIRECT + dsync | 292 kB/s | 334 kB/s | ~1× |
| Odczyt sekwencyjny 1M, O_DIRECT | 972 MB/s | 865 MB/s | – |
Dwa megabajty na sekundę. Na SSD. Pierwsza próba używała pliku 4 GiB, jak w pierwotnym wpisie. Z wyłączonym cache osiągnęła 3 MB/s i trwałaby grubo ponad pół godziny, więc zmniejszyłem plik do 1 GiB. To już samo w sobie jest wynikiem.
Co tak naprawdę mówi tabela:
- Zapisy rosną 70- do 120-krotnie. To już nie jest zysk z tuningu. To różnica między „zepsute” a „działa”.
- Odczyty się nie zmieniają. Oczywiście, że nie, to cache zapisu. Mała różnica to szum między przebiegami.
- Synchroniczne zapisy 4K w ogóle się nie poprawiają i tak ma być. Przy
dsynckażdy zapis 4K kończy się cache flushem, więc cache jest opróżniany tak szybko, jak się zapełnia. Przy obciążeniach z dużą ilością synchronicznych zapisów (bazy danych, NFS z sync, VM-ki) odpowiedzią nie jest cache dysku. Jest nią osobne urządzenie logu dla ZFS (SLOG) albo SSD z ochroną przed utratą zasilania. Cache zapisu to nie magia. Po prostu nie pozwala dyskowi wykonywać każdego zapisu w najtrudniejszy możliwy sposób. - W porównaniu z pierwotnym wpisem (138 MB/s buffered, 15,4 MB/s O_DIRECT) wyniki bez cache są dziś jeszcze gorsze. Podejrzewam, że to działa drugi problem z tego wpisu: wtedy dyski były świeże, tym razem były pełne starych danych BitLockera, a TRIM jeszcze nie przeszedł. Dwóch rzeczy brakowało i każda pogarsza drugą.
🔙 Część, w której czytam ponownie własnego bloga
Teraz ten lekko wstydliwy fragment. To te same trzy SSD w tej samej maszynie, o których pisałem już dwa razy. Za każdym razem liczby mówiły mi dokładnie to, i za każdym razem znalazłem wiarygodne wyjaśnienie i poszedłem dalej.
Pierwsza wpadka: Budowa NAS-a RAIDZ1 na Debianie 13 z OpenZFS. Zmierzyłem 138 MB/s przy zapisach buffered i 15,4 MB/s z O_DIRECT, mniej więcej dziewięć razy wolniej. Napisałem nawet, że „zaskoczyło mnie to na tyle, że sprawdziłem to dwa, trzy razy”. Potem wytłumaczyłem to grupowaniem transaction groups w ZFS: zapisy buffered są łączone w zapisy pełnych stripe’ów, O_DIRECT to omija. Ta część jest prawdziwa. Ale to wyjaśnienie było zbyt wygodne. Przy wyłączonym cache dysku każdy niezgrupowany zapis musi czekać na sam flash i to właśnie zamienia „trochę wolniej” w „dziewięć razy wolniej”. Nawet „dobry” wynik zasługiwał na drugie spojrzenie: 138 MB/s na trzech SSD SATA to nic wielkiego.
Druga wpadka: Na razie dość YAML-a, po stronie Windowsa. Parzystość Storage Spaces na tych samych dyskach: 88 MiB/s zapisu sekwencyjnego, 461 IOPS zapisu losowego i opóźnienie w 99. percentylu powyżej sekundy. Zwaliłem winę na parzystość: „Odczyty są świetne. Zapisy to… parzystość”. Koszt read-modify-write przy parzystości jest prawdziwy. Ale uruchomiłem też DiskSpd z -Sh, co celowo wyłącza cache zapisu dysku na czas testu. Benchmark mierzył „bez cache zapisu” z założenia, a tak się składa, że dokładnie tak serwer działał na co dzień. Najgorszy przypadek i codzienna rzeczywistość były tym samym, a ja nigdy nie zapytałem dlaczego.
Dwa systemy operacyjne, dwa benchmarki, dwa rozsądnie brzmiące wyjaśnienia, jedno ustawienie, którego nikt nie sprawdził. Lekcja nie brzmi „benchmarki kłamią”. Brzmi tak: porównywałem liczby z moimi oczekiwaniami wobec oprogramowania, a nigdy z kartą katalogową sprzętu. Zapis 15 MB/s na SSD powinien być czerwoną flagą bez względu na to, jaki system plików na nim siedzi.
🛡️ Czy włączenie go jest bezpieczne?
To oczywiste pytanie: skoro HPE go wyłącza, może jest ku temu powód.
Powód jest, ale tutaj w większości nie ma zastosowania. Cache dysku to ulotny RAM. Gdy zniknie zasilanie, to, co w nim jest, a nie trafiło jeszcze na flash, przepada. Enterprise’owe SSD mają na to kondensatory („power-loss protection”), konsumenckie i NAS-owe SSD zwykle nie. Do tego klasyczny serwer HPE używa kontrolera RAID Smart Array z własnym cache podtrzymywanym bateryjnie. W takiej konstrukcji cache dysku jest w najlepszym razie zbędny, a w najgorszym stanowi ryzyko, więc wyłączenie go to wybór zachowawczy. Dla producenta, który nie wie, jakiego systemu, systemu plików czy kontrolera użyjesz, „wyłączony” to bezpieczny domyślny wybór.
Na nowoczesnym systemie plików cache zapisu jest bezpieczny, bo system plików mówi dyskowi, kiedy dane muszą trafić na trwały nośnik. W każdym istotnym momencie ZFS, ext4 i NTFS wysyłają cache flush i niczego nie uznają za zapisane, dopóki dysk tego nie potwierdzi. ZFS jest do tego copy-on-write, więc po awarii zostajesz albo z ostatnim spójnym stanem, albo z nowym, nigdy z mieszanką. Jedyne realne zagrożenie to dysk, który potwierdza flushe, których nigdy nie wykonał (tani, podejrzany firmware), albo w Windowsie zaznaczenie „Turn off Windows write-cache buffer flushing on the device”. To pole naprawdę jest checkboxem „lubię żyć niebezpiecznie”.
A w moim przypadku wszystkie trzy serwery HP i tak stoją za UPS-em. Na liście rzeczy do zrobienia zostało jeszcze to, żeby HP3 porządnie się wyłączał, gdy bateria się kończy (NUT). UPS, który się rozładuje, podczas gdy serwer dalej pisze, tylko odracza zanik zasilania.
💾 SSD, HDD i pecet pod twoim biurkiem
- SSD cierpią najbardziej. Flash zapisuje się stronami, a kasuje blokami. Bez cache dysk nie może zbierać małych zapisów, więc każdy kosztuje więcej czasu i więcej zużycia. Tak dochodzi się do 7,5 MB/s.
- HDD też tracą, głównie przy zapisach losowych, bo dysk nie może już zmieniać kolejności żądań, żeby zminimalizować ruch głowic. Zapisy sekwencyjne cierpią mniej.
- Zwykłe pecety prawie zawsze są w porządku. Konsumenckie BIOS-y tego ustawienia nie ruszają, a Windows zostawia „Enable write caching on the device” włączone dla dysków wewnętrznych. Mój jump host, zwykła płyta desktopowa, pokazuje
write backzarówno dla dysku HDD 8 TB, jak i dla SSD NVMe. NVMe też ma ulotny cache zapisu, sterowany przez system, domyślnie włączony. - Dyski USB w Windowsie to wyjątek, który pewnie już odczułeś. Domyślnie mają „Quick removal”, przy którym Windows po swojej stronie rezygnuje z cache write-back, żebyś mógł wyrwać pendrive’a bez wysuwania. To jeden z powodów, dla których duże kopiowanie na USB często wydaje się w Windowsie wolniejsze niż w Linuksie.
Sprawdź sam:
# Linux
cat /sys/block/*/queue/write_cache
dmesg | grep -i "write cache"
hdparm -W /dev/sdX # SATA
# Windows (PowerShell)
Get-PhysicalDisk | Get-StorageAdvancedProperty # IsDeviceCacheEnabled, IsPowerProtected
🔧 Żeby zostało na stałe
hdparm -W1 jest ulotne: dysk resetuje je przy następnym cyklu zasilania, a firmware i tak wyłącza cache przy każdym starcie. Więc poprawka też musi się wykonywać przy każdym starcie. Na razie jest to reguła udev:
# /etc/udev/rules.d/69-ssd-write-cache.rules
# HPE firmware disables the SATA SSD write cache at boot (write through).
# ZFS and ext4 issue cache flushes, so enabling it is safe.
ACTION=="add|change", KERNEL=="sd[a-z]", SUBSYSTEM=="block", ENV{ID_BUS}=="ata", \
ATTR{queue/rotational}=="0", RUN+="/usr/sbin/hdparm -W1 /dev/%k"
Dotyczy tylko wewnętrznych, nierotacyjnych dysków ATA, więc SSD z systemem też ją dostaje, a urządzenia USB zostają w spokoju.
Czy BIOS nie byłby lepszym miejscem? Teoretycznie tak: ustawienie firmware’u obowiązuje, zanim załaduje się jakikolwiek system, przetrwa reinstalację i obejmuje też instalatory i systemy ratunkowe. Więc zrestartowałem do RBSU (F9) i zacząłem szukać. W System Configuration → BIOS/Platform Configuration → Storage Options → SATA Controller Options na MicroServerze Gen10 Plus v2 są dokładnie trzy pozycje:
- Embedded SATA Configuration: SATA AHCI Support
- SATA Secure Erase
- SATA Sanitize
I tyle. Żadnego „Drive Write Cache”, w opcjach wydajności też nic. W trybie AHCI firmware wyłącza cache i nie daje żadnej możliwości zmiany. (Kontrolery Smart Array mają co prawda „Physical Drive Write Cache Policy”, ale przełączenie tej maszyny w tryb RAID, żeby dostać ten przełącznik, ukryłoby dyski przed Linuksem i zabrało ze sobą pulę ZFS. Odpada.) Więc reguła udev nie jest pasem bezpieczeństwa obok prawdziwej poprawki. Ona jest poprawką, stosowaną przez system przy każdym starcie, bo nic innego tego nie zrobi.
Co oznacza też, że musi być częścią instalacji, a nie czymś, o czym przypominasz sobie później. Jeśli przy następnej reinstalacji zapomnę o tym jednym pliku, wrócę do 7,5 MB/s, i pewnie do kolejnego wpisu na blogu.
Dwa pozostałe serwery HP niemal na pewno mają to samo ustawienie domyślne. Przyjdzie na nie kolej, gdy zdecyduję, co z nimi będzie.
🎯 Wnioski
Napisałem dwa wpisy pełne starannych benchmarków: dane kompresowalne kontra niekompresowalne, ARC kontra page cache, wypełnione zerami pliki testowe DiskSpd. To były dobre lekcje i wszystkie dotyczyły oprogramowania, które mnie okłamywało. A w tym czasie sprzęt był całkowicie szczery: jedno słowo w sysfs, jedna linia w dmesg i lekcja o TRIM, którą raz już odrobiłem po instalacji z BitLockerem i natychmiast zapomniałem. Nigdy nie spojrzałem.
Następnym razem, gdy jakaś liczba będzie wyglądać dziwnie, pierwsze pytanie nie brzmi „jak mój system plików to wyjaśnia?”. Brzmi: „co ten sprzęt powinien robić?”. SSD SATA przy 15 MB/s to nie ciekawa osobliwość systemu plików. To ustawienie albo brakujący TRIM, a w moim przypadku jedno i drugie. 🔍💾
Moja checklista przy ponownym używaniu SSD w serwerze, od teraz:
- Najpierw discard.
blkdiscardna każdym używanym SSD przed utworzeniem puli (albo SATA Secure Erase / Sanitize w BIOS-ie), zwłaszcza jeśli był na nim BitLocker lub inne szyfrowanie całego dysku. - Dołącz regułę udev do instalacji na maszynach HPE w trybie AHCI. BIOS tego za ciebie nie naprawi.
- Sprawdź cache zapisu.
dmesg | grep -i "write cache"i/sys/block/*/queue/write_cache. Oczekuj „write back”. - Porównuj z kartą katalogową, a nie ze swoimi oczekiwaniami wobec systemu plików.
- Dopiero potem benchmark, z niekompresowalnymi danymi, na bezczynnej puli.
📚 Więcej z tej serii: NAS RAIDZ1
- Budowa NAS-a RAIDZ1 na Debianie 13 z OpenZFS: datasety, kompresja i kłamstwa, które opowiedział mi dd
- Uzupełnienie do NAS-a RAIDZ1: jak naprawdę planowane są scrub i trim — i alert, którego nie było
- Uśmiech, robimy snapshot! Przesiadka z rdiff-backup na ZFS w NAS-ie RAIDZ1
- Drugie uzupełnienie: ZED pilnuje zdrowia mojej puli, nie jej talii
