Twee dingen die mijn SSD's misten: TRIM na BitLocker, en een schrijfcache die mijn HPE-server stilletjes uitzette

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
HP3, mijn HPE MicroServer Gen10 Plus v2, draait weer Debian 13 met OpenZFS. Waarom hij Windows weer verliet, is een verhaal voor een andere post. Deze gaat over de restore daarna, en over een instelling die zich vol in het zicht verstopte, twee besturingssystemen en twee blogposts lang.
Het plan was saai, zoals een restore hoort te zijn: een vers RAIDZ1-pool over dezelfde drie WD Red SA500-SSD’s, datasets per gebruiker, en dan zo’n 1,7 TB terugkopiëren van een USB-schijf met rsync. Dezelfde werkwijze als altijd: ik neem de beslissingen, mijn AI-co-admin (Claude) voert de commando’s uit en houdt de cijfers in de gaten. En juist die cijfers begonnen er verkeerd uit te zien.
Inhoud
🐌 Zeven megabyte per seconde. Per SSD.
De kopie kroop met 25 tot 35 MB/s. De schatting: ongeveer zestien uur. Zelfs kleine dingen als zfs create of zpool status hingen minutenlang, wachtend tot de volgende transaction group klaar was met syncen. Toen liet zpool iostat -l het echte probleem zien:
$ zpool iostat -vl storage 5 1
bandwidth total_wait disk_wait
read write read write read write
storage 3.42K 22.7M 1ms 233ms 1ms 65ms
raidz1-0 3.42K 22.7M 1ms 233ms 1ms 65ms
ata-WD_Red_SA500_..._00458 1.14K 7.57M 1ms 262ms 1ms 68ms
ata-WD_Red_SA500_..._01387 1.14K 7.58M 1ms 258ms 1ms 72ms
ata-WD_Red_SA500_..._02050 1.14K 7.58M 1ms 181ms 1ms 57ms
$ cat /proc/pressure/io
some avg10=94.05 avg60=90.06 avg300=80.24
full avg10=88.82 avg60=84.62 avg300=75.87
Ongeveer 7,5 MB/s per schijf bij 65 ms disklatentie, terwijl de machine zo’n 90 % van de tijd op I/O wachtte. Dit zijn SATA-SSD’s die gespecificeerd zijn voor ruim 500 MB/s sequentieel schrijven. 65 ms is draaiende-schijventerrein. Erger nog: een fatsoenlijke HDD doet het beter.
🕵️ Verdachte nummer één: TRIM, en daar was ik al eens geweest
TRIM was de eerste verdachte, en niet alleen in theorie. Ik was er al eens door gebeten. Toen ik deze SSD’s voor het eerst van Windows naar Linux verhuisde, installeerde ik Debian op schijven die met BitLocker versleuteld waren geweest. De cijfers waren net zo beroerd als nu, en die keer was een TRIM de oplossing. Dus toen dezelfde symptomen terugkwamen, sloeg het déjà vu toe.
Waarom BitLocker en SSD’s zo’n slechte combinatie zijn bij een herinstallatie, komt neer op hoe een SSD de wereld ziet. Hij heeft geen idee wat een bestand is. Hij kent alleen logische blokken, en een blok is “in gebruik” vanaf het moment dat er iets naartoe geschreven wordt tot iemand expliciet zegt “deze mag je vergeten”. Die iemand is TRIM (of discard in Linux-termen). Een bestandssysteem stuurt het als het bestanden verwijdert. Een verse mkfs of zpool create bovenop oude data doet dat niet per se voor de hele schijf.
BitLocker maakt dit zo erg als het maar kan. Versleutelde data is niet te onderscheiden van willekeurige ruis, dus er valt binnen de schijf niets te comprimeren of te dedupliceren. En als een volume eenmaal versleuteld is en een tijdje beschreven, bevat een groot deel van het flashgeheugen wat de SSD als kostbare data moet behandelen. Dan wis ik de schijf met een nieuw OS. De partitietabel is nieuw, het bestandssysteem is nieuw, maar niemand vertelt de SSD dat al die oude blokken nu afval zijn. Vanuit zijn standpunt is de schijf nog steeds vol.
Dat doet pijn, omdat flash niet ter plekke overschreven kan worden. Het wordt in pagina’s geschreven en in veel grotere blokken gewist. Een schijf die denkt dat hij vol is, heeft geen vooraf gewiste blokken meer. Voor elke nieuwe schrijfactie moet zijn garbage collector eerst een blok vinden, de nog “geldige” pagina’s (de oude versleutelde ruis) ergens anders heen kopiëren, het blok wissen en pas dan de nieuwe data schrijven. Eén schrijfactie van de host wordt er intern meerdere (write amplification). De doorvoer stort in, de latentie explodeert, en de schijf slijt er ook nog sneller door.
De juiste aanpak, die ik opschrijf zodat toekomstige ik het ook echt doet: voordat je gebruikte SSD’s aan een nieuw bestandssysteem geeft, discard je ze volledig. Dit vernietigt alles op de schijf, en dat is precies de bedoeling:
# Before zpool create / mkfs — irreversibly wipes the drive!
blkdiscard /dev/disk/by-id/ata-WD_Red_SA500_2.5_2TB_...
# Check that the drive supports TRIM at all (non-zero DISC-GRAN/DISC-MAX):
lsblk --discard /dev/sdX
Op een idle SATA-SSD duurt blkdiscard voor de hele schijf meestal seconden tot een paar minuten. Het achteraf doen met zpool trim op een actieve pool werkt ook. ZFS discardt alleen de ruimte die het niet gebruikt. Maar het is trager, concurreert met echte I/O en helpt pas vanaf het moment dat het draait.
Er is een derde optie die ik pas later opmerkte, toen ik in het BIOS naar iets anders zocht (zie hieronder): de HPE RBSU heeft SATA Secure Erase en SATA Sanitize ingebouwd. Dat is de firmwareversie van hetzelfde idee. De schijf gooit zelf alles weg, inclusief zijn eigen mappingtabellen, en komt zo vers terug als op dag één, met elk blok vrij. Voor SSD’s die toch gewist gaan worden, is dat misschien wel de schoonste reset die er is, en er is geen draaiend OS voor nodig. Zelfde waarschuwing, in grotere letters: het wist de schijf volledig.
Deze keer had ik die stap overgeslagen, dus startten we midden in de restore een volledige zpool trim storage. Veertig minuten later stond die op 2 %, en de kopie was nauwelijks sneller. TRIM was deel van het probleem, maar niet het deel dat SSD’s in floppydrives veranderde. Er was ook iets fundamentelers mis. En als je weet wat het was, begint een TRIM die op 2 % voortsukkelt ook logisch te worden.
💡 Verdachte nummer twee: één woord in sysfs
$ for d in sda sdb sdc sdd; do echo "$d $(cat /sys/block/$d/queue/write_cache)"; done
sda write through
sdb write through
sdc write through
sdd write through
$ hdparm -W /dev/disk/by-id/ata-WD_Red_SA500_2.5_2TB_...
write-caching = 0 (off)
Write through. De eigen schrijfcache van de schijven stond uit. Elke SSD heeft een kleine DRAM-buffer: die neemt binnenkomende schrijfacties aan, zegt “klaar” en schrijft ze daarna in grote, efficiënte brokken naar flash. Zonder die buffer moet de schijf elke afzonderlijke schrijfactie op de flash zelf afronden voordat hij terugmeldt. Voor een SSD is dat ongeveer de slechtst denkbare manier van werken, want flash wordt in grote pagina’s geschreven en in nog grotere blokken gewist. Veel kleine, losse schrijfacties betekenen traag schrijven en extra slijtage.
Wie had hem uitgezet? Debian niet, dat raakt die instelling niet aan. Het kernellog geeft het antwoord, twee seconden na het aanzetten, lang voordat er ook maar iets in userspace gedraaid heeft:
$ dmesg | grep -i "write cache"
[ 2.101312] sd 2:0:0:0: [sda] Write cache: disabled, read cache: enabled
[ 2.101316] sd 3:0:0:0: [sdc] Write cache: disabled, read cache: enabled
[ 2.101332] sd 5:0:0:0: [sdd] Write cache: disabled, read cache: enabled
[ 2.101407] sd 4:0:0:0: [sdb] Write cache: disabled, read cache: enabled
[ 3.644946] sd 6:0:0:0: [sde] Write cache: enabled, read cache: enabled ← USB stick
[ 530.822448] sd 7:0:0:0: [sdf] Write cache: enabled, read cache: enabled ← USB disk
Alle vier de interne SATA-SSD’s komen op als disabled, terwijl beide USB-apparaten opkomen als enabled. SATA-schijven worden geleverd met de schrijfcache aan, dus iets zet hem tijdens de POST uit, en dat iets is de firmware van de server. HPE gebruikt blijkbaar standaard “drive write cache uit” voor SATA-schijven, en zoals bleek, laat het je dat niet veranderen (daarover hieronder meer). Het bewijs wijst duidelijk naar het platform, niet naar Linux.
⚡ Eén commando later
$ for d in /dev/disk/by-id/ata-WD_Red_SA500_2.5_2TB_*[0-9]; do hdparm -W1 "$d"; done
setting drive write-caching to 1 (on)
write-caching = 1 (on)
...
| Schrijfcache uit | Schrijfcache aan | |
|---|---|---|
| Doorvoer rsync-restore | 25–35 MB/s | 85–95 MB/s |
| I/O-druk (PSI, some avg60) | ~90 % | ~30–45 % |
| Geschatte restoretijd | ~16 uur | ~6 uur |
| Bottleneck | de SSD’s | de 2,5"-USB-schijf waarvan ik kopieerde |
Live, midden in de kopie, zonder reboot. De SSD’s gingen van het probleem zijn naar wachten op een draagbare USB-harde schijf. Toen de restore klaar was, heb ik ook nog een schone benchmark gedraaid.
📊 De schone benchmark: dezelfde schijven, één schakelaar
Nadat de restore klaar was en de pool weer idle was (ongeveer 1,3 TB in gebruik, TRIM nog gepauzeerd), draaide ik dezelfde dd-tests als in de oorspronkelijke NAS-post, twee keer: één keer met de schrijfcache van de schijven weer uit, één keer met hem aan. Deze keer nam ik de lessen uit die post serieus: een aparte testdataset met compression=off, een bestand van 1 GiB met willekeurige data vanuit RAM (/dev/shm) zodat /dev/urandom niet de bottleneck kan worden, fsync aan het einde, en O_DIRECT-reads zodat ARC de leescijfers niet kan opsmukken.
zfs create -o compression=off storage/bench
head -c 1G /dev/urandom > /dev/shm/rand.bin
dd if=/dev/shm/rand.bin of=/storage/bench/t bs=1M conv=fsync # buffered + fsync
dd if=/dev/shm/rand.bin of=/storage/bench/t bs=1M oflag=direct conv=fsync # O_DIRECT
dd if=/dev/shm/rand.bin of=/storage/bench/t4k bs=4k count=5000 oflag=direct,dsync
dd if=/storage/bench/t of=/dev/null bs=1M iflag=direct # read
| Test | Schrijfcache uit | Schrijfcache aan | Factor |
|---|---|---|---|
| Sequentieel schrijven 1M, buffered + fsync | 8 MB/s | 547 MB/s | ~68× |
| Sequentieel schrijven 1M, O_DIRECT | 2 MB/s | 239 MB/s | ~120× |
| 4K schrijven, O_DIRECT + dsync | 292 kB/s | 334 kB/s | ~1× |
| Sequentieel lezen 1M, O_DIRECT | 972 MB/s | 865 MB/s | – |
Twee megabyte per seconde. Op SSD’s. De eerste poging gebruikte een bestand van 4 GiB, zoals in de oorspronkelijke post. Met de cache uit haalde die 3 MB/s en zou ruim een half uur hebben geduurd, dus ik heb het teruggebracht naar 1 GiB. Dat is op zich al een resultaat.
Wat de tabel eigenlijk zegt:
- Schrijven gaat met een factor 70 tot 120 omhoog. Dat is geen tuningwinst meer. Dat is het verschil tussen “kapot” en “werkt”.
- Lezen verandert niet. Natuurlijk niet, het is een schrijfcache. Het kleine verschil is ruis tussen runs.
- Synchrone 4K-schrijfacties worden helemaal niet beter, en dat klopt. Met
dsynceindigt elke 4K-schrijfactie in een cache flush, dus de cache wordt net zo snel geleegd als hij volloopt. Voor sync-zware workloads (databases, NFS met sync, VM’s) is het antwoord niet de schijfcache. Het is een apart logapparaat voor ZFS (SLOG) of SSD’s met power-loss protection. De schrijfcache is geen magie. Hij voorkomt alleen dat de schijf elke schrijfactie op de moeilijkst denkbare manier doet. - Vergeleken met de oorspronkelijke post (138 MB/s buffered, 15,4 MB/s O_DIRECT) zijn de cijfers met cache uit vandaag nog slechter. Ik vermoed dat het tweede probleem uit deze post daar aan het werk is: toen waren de schijven vers, deze keer zaten ze vol oude BitLocker-data en had de TRIM nog niet gedraaid. Twee dingen die ontbraken, en het een maakt het ander erger.
🔙 Het deel waarin ik mijn eigen blog herlees
Nu het ietwat gênante stuk. Dit zijn dezelfde drie SSD’s in dezelfde machine waarover ik al twee keer geschreven heb. Beide keren vertelden de cijfers me precies dit, en beide keren vond ik een aannemelijke verklaring en ging ik verder.
Eerste misser: Een RAIDZ1-NAS bouwen op Debian 13 met OpenZFS. Ik mat 138 MB/s buffered schrijven en 15,4 MB/s met O_DIRECT, ruwweg negen keer trager. Ik schreef zelfs dat het me “genoeg verraste om het twee, drie keer te controleren”. Daarna verklaarde ik het met het batchen van transaction groups in ZFS: buffered writes worden samengevoegd tot full-stripe writes, O_DIRECT slaat dat over. Dat deel klopt. Maar de verklaring was te comfortabel. Met de schijfcache uit moet elke niet-gebatchte schrijfactie op de flash zelf wachten, en dát maakt van “wat trager” “negen keer trager”. Zelfs het “goede” getal verdiende een tweede blik: 138 MB/s over drie SATA-SSD’s is niet geweldig.
Tweede misser: Genoeg YAML voor nu, aan de Windows-kant. Storage Spaces-pariteit op dezelfde schijven: 88 MiB/s sequentieel schrijven, 461 random-write-IOPS en een latentie op het 99e percentiel van meer dan een seconde. Ik gaf de pariteit de schuld: “Lezen is geweldig. Schrijven is… pariteit.” De read-modify-write-kosten van pariteit zijn echt. Maar ik draaide DiskSpd ook met -Sh, wat de schrijfcache van de schijf voor de test bewust uitschakelt. De benchmark mat “geen schrijfcache” by design, en zo draaide de server toevallig ook elke dag. Het worstcasescenario en de dagelijkse realiteit waren hetzelfde, en ik heb nooit gevraagd waarom.
Twee besturingssystemen, twee benchmarks, twee redelijk klinkende verklaringen, één instelling die niemand controleerde. De les is niet “benchmarks liegen”. Het is dat ik de cijfers vergeleek met mijn verwachtingen van de software en nooit met de datasheet van de hardware. Een schrijfsnelheid van 15 MB/s op een SSD had een rode vlag moeten zijn, welk bestandssysteem er ook bovenop zat.
🛡️ Is het veilig om hem aan te zetten?
Dat is de voor de hand liggende vraag: als HPE hem uitzet, is daar misschien een reden voor.
Er is een reden, en die geldt hier grotendeels niet. De schijfcache is vluchtig RAM. Als de stroom wegvalt, is alles wat erin zit en nog niet op flash staat weg. Enterprise-SSD’s hebben daar condensatoren voor (“power-loss protection”), consumenten- en NAS-SSD’s meestal niet. Bovendien gebruikt een klassieke HPE-server een Smart Array-RAID-controller met een eigen cache met batterijbackup. In dat ontwerp is de schijfcache op zijn best overbodig en op zijn slechtst een risico, dus uitzetten is de conservatieve keuze. Voor een leverancier die niet weet welk OS, bestandssysteem of welke controller je gaat gebruiken, is “uit” de veilige standaard.
Op een modern bestandssysteem is een schrijfcache veilig, omdat het bestandssysteem de schijf vertelt wanneer data op stabiele opslag moet staan. Op elk moment dat ertoe doet, sturen ZFS, ext4 en NTFS een cache flush en beschouwen ze niets als vastgelegd tot de schijf het bevestigt. ZFS is daarbovenop copy-on-write, dus een crash laat je achter met óf de laatste consistente toestand óf de nieuwe, nooit een mengsel. Het enige echte gevaar is een schijf die flushes bevestigt die hij nooit heeft uitgevoerd (goedkope, dubieuze firmware), of op Windows het vinkje “Turn off Windows write-cache buffer flushing on the device”. Dat vakje is echt het “ik leef graag gevaarlijk”-vinkje.
En in mijn geval hangen alle drie de HP-servers toch al achter een UPS. Wat nog op de to-dolijst staat, is HP3 netjes laten afsluiten als de batterij bijna leeg is (NUT). Een UPS die leegloopt terwijl de server blijft schrijven, stelt de stroomuitval alleen maar uit.
💾 SSD’s, HDD’s en de pc onder je bureau
- SSD’s lijden het meest. Flash wordt in pagina’s geschreven en in blokken gewist. Zonder cache kan de schijf kleine schrijfacties niet verzamelen, dus elke actie kost meer tijd en meer slijtage. Zo kom je op 7,5 MB/s.
- HDD’s verliezen ook, vooral bij random writes, omdat de schijf verzoeken niet meer kan herschikken om koppenbeweging te minimaliseren. Sequentieel schrijven lijdt minder.
- Gewone desktop-pc’s zitten bijna altijd goed. Consumenten-BIOSen laten de instelling met rust, en Windows laat “Enable write caching on the device” aan voor interne schijven. Mijn jump host, een gewoon desktopbord, meldt
write backvoor zowel zijn 8 TB-HDD als zijn NVMe-SSD. NVMe heeft ook een vluchtige schrijfcache, en die wordt door het OS bestuurd, standaard aan. - USB-schijven op Windows zijn de uitzondering die je waarschijnlijk al gevoeld hebt. Die staan standaard op “Quick removal”, waarbij Windows aan zijn kant de write-back-caching overslaat zodat je de stick eruit kunt trekken zonder hem uit te werpen. Dat is één reden waarom grote kopieën naar USB op Windows vaak trager aanvoelen dan op Linux.
Controleer het zelf:
# Linux
cat /sys/block/*/queue/write_cache
dmesg | grep -i "write cache"
hdparm -W /dev/sdX # SATA
# Windows (PowerShell)
Get-PhysicalDisk | Get-StorageAdvancedProperty # IsDeviceCacheEnabled, IsPowerProtected
🔧 Zorgen dat het blijft
hdparm -W1 is vluchtig: de schijf zet het bij de volgende stroomcyclus terug, en de firmware zet het bij elke boot weer uit. Dus de fix moet ook bij elke boot gebeuren. Voorlopig is dat een udev-regel:
# /etc/udev/rules.d/69-ssd-write-cache.rules
# HPE firmware disables the SATA SSD write cache at boot (write through).
# ZFS and ext4 issue cache flushes, so enabling it is safe.
ACTION=="add|change", KERNEL=="sd[a-z]", SUBSYSTEM=="block", ENV{ID_BUS}=="ata", \
ATTR{queue/rotational}=="0", RUN+="/usr/sbin/hdparm -W1 /dev/%k"
Die raakt alleen interne, niet-roterende ATA-schijven, dus de OS-SSD krijgt het ook en USB-apparaten blijven ongemoeid.
Zou het BIOS niet de betere plek zijn? In theorie wel: een firmware-instelling geldt voordat er een OS laadt, overleeft een herinstallatie en dekt ook installers en rescuesystemen. Dus ik rebootte naar de RBSU (F9) en ging zoeken. Onder System Configuration → BIOS/Platform Configuration → Storage Options → SATA Controller Options staan op de MicroServer Gen10 Plus v2 precies drie items:
- Embedded SATA Configuration: SATA AHCI Support
- SATA Secure Erase
- SATA Sanitize
Dat is alles. Geen “Drive Write Cache”, ook niets bij de prestatie-opties. In AHCI-modus zet de firmware de cache uit en geeft je geen enkele manier om dat te veranderen. (Smart Array-controllers hebben wel een “Physical Drive Write Cache Policy”, maar deze machine in een RAID-modus zetten om die knop te krijgen, zou de schijven voor Linux verbergen en de ZFS-pool meenemen. Geen optie.) Dus de udev-regel is geen veiligheidsgordel naast de echte fix. Hij is de fix, bij elke boot door het OS toegepast, omdat niets anders het doet.
Wat ook betekent dat hij onderdeel van de build moet zijn, niet iets waar je achteraf aan denkt. Als de volgende herinstallatie dit ene bestand vergeet, zit ik weer op 7,5 MB/s, en waarschijnlijk op nog een blogpost.
De andere twee HP-servers hebben vrijwel zeker dezelfde standaard. Die zijn als volgende aan de beurt zodra ik besloten heb wat er met ze gebeurt.
🎯 Conclusie
Ik schreef twee posts vol zorgvuldige benchmarks: comprimeerbare versus niet-comprimeerbare data, ARC versus page cache, de met nullen gevulde testbestanden van DiskSpd. Het waren goede lessen, en ze gingen allemaal over software die tegen me loog. Ondertussen was de hardware volkomen eerlijk: één woord in sysfs, één regel in dmesg, en een TRIM-les die ik na de BitLocker-installatie al eens geleerd had en prompt vergeten was. Ik heb nooit gekeken.
De volgende keer dat een getal vreemd oogt, is de eerste vraag niet “hoe verklaart mijn bestandssysteem dit?” Het is “wat hoort deze hardware te doen?” Een SATA-SSD op 15 MB/s is geen interessante eigenaardigheid van het bestandssysteem. Het is een instelling, of een ontbrekende TRIM, of in mijn geval allebei. 🔍💾
Mijn checklist voor het hergebruiken van SSD’s in een server, vanaf nu:
- Eerst discarden.
blkdiscardop elke gebruikte SSD voordat je de pool aanmaakt (of gebruik SATA Secure Erase / Sanitize in het BIOS), zeker als er BitLocker of andere full-disk-encryptie op stond. - Lever de udev-regel mee met de installatie op HPE-machines in AHCI-modus. Het BIOS lost het niet voor je op.
- Controleer de schrijfcache.
dmesg | grep -i "write cache"en/sys/block/*/queue/write_cache. Verwacht “write back”. - Vergelijk met de datasheet, niet met je verwachtingen van het bestandssysteem.
- Pas dan benchmarken, met niet-comprimeerbare data, op een idle pool.
📚 Meer in deze serie: de RAIDZ1-NAS
- Een RAIDZ1-NAS bouwen op Debian 13 met OpenZFS: datasets, compressie en de leugens die dd me vertelde
- RAIDZ1-NAS-addendum: hoe scrub en trim echt ingepland worden — en de alert die er niet was
- Allemaal lachen — we maken een snapshot! Van rdiff-backup naar ZFS op de RAIDZ1-NAS
- Tweede addendum: ZED let op de gezondheid van mijn pool, niet op zijn taille
