Duas coisas que faltavam nos meus SSDs: TRIM depois do BitLocker e um cache de escrita que meu servidor HPE desligou em silêncio

Ilustração do artigo sobre velocidade: um caracol lento

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski

O HP3, meu HPE MicroServer Gen10 Plus v2, voltou para o Debian 13 com OpenZFS. Por que ele saiu do Windows de novo é história para outro post. Este aqui é sobre a restauração depois disso, e sobre uma configuração que estava escondida à vista de todos por dois sistemas operacionais e dois posts no blog.

O plano era chato, do jeito que restaurações devem ser: um pool RAIDZ1 novo sobre os mesmos três SSDs WD Red SA500, datasets por usuário e depois cerca de 1,7 TB copiados de volta de um disco USB com rsync. O mesmo fluxo de sempre: eu tomo as decisões, meu co-admin de IA (Claude) executa os comandos e fica de olho nos números. E foram justamente os números que começaram a parecer errados.

Índice

🐌 Sete megabytes por segundo. Por SSD.

A cópia se arrastava a 25 a 35 MB/s. A estimativa dizia umas dezesseis horas. Até coisas pequenas como zfs create ou zpool status travavam por minutos, esperando o próximo transaction group terminar de sincronizar. Aí o zpool iostat -l mostrou o problema real:

$ zpool iostat -vl storage 5 1
                                  bandwidth      total_wait    disk_wait
                                  read  write    read  write   read  write
storage                          3.42K  22.7M     1ms  233ms    1ms   65ms
  raidz1-0                       3.42K  22.7M     1ms  233ms    1ms   65ms
    ata-WD_Red_SA500_..._00458   1.14K  7.57M     1ms  262ms    1ms   68ms
    ata-WD_Red_SA500_..._01387   1.14K  7.58M     1ms  258ms    1ms   72ms
    ata-WD_Red_SA500_..._02050   1.14K  7.58M     1ms  181ms    1ms   57ms

$ cat /proc/pressure/io
some avg10=94.05 avg60=90.06 avg300=80.24
full avg10=88.82 avg60=84.62 avg300=75.87

Cerca de 7,5 MB/s por disco com 65 ms de latência, e a máquina passando uns 90 % do tempo esperando I/O. São SSDs SATA especificados para bem mais de 500 MB/s em escrita sequencial. 65 ms é território de disco giratório. Pior, na verdade: um HDD decente faz melhor que isso.

🕵️ Suspeito número um: TRIM, e eu já tinha passado por isso

O TRIM foi o primeiro suspeito, e não só na teoria. Eu já tinha levado uma mordida dele uma vez. Quando migrei esses SSDs do Windows para o Linux pela primeira vez, instalei o Debian sobre discos que tinham sido criptografados com BitLocker. Os números eram tão horríveis quanto agora, e daquela vez a solução foi um TRIM. Então, quando os mesmos sintomas voltaram, bateu o déjà vu.

Por que BitLocker e SSDs são uma combinação tão ruim na hora de reinstalar tem a ver com a forma como um SSD enxerga o mundo. Ele não faz ideia do que é um arquivo. Ele só conhece blocos lógicos, e um bloco está “em uso” desde o momento em que algo é escrito nele até que alguém diga explicitamente “pode esquecer esse aqui”. Esse alguém é o TRIM (ou discard, no vocabulário do Linux). Um sistema de arquivos o envia quando apaga arquivos. Um mkfs ou zpool create novo por cima de dados antigos não necessariamente faz isso para o disco inteiro.

O BitLocker deixa isso o pior possível. Dados criptografados são indistinguíveis de ruído aleatório, então não há nada para comprimir ou deduplicar dentro do disco. E depois que um volume foi criptografado e usado por um tempo, boa parte da flash guarda o que o SSD precisa tratar como dados preciosos. Aí eu apago o disco com um sistema novo. A tabela de partições é nova, o sistema de arquivos é novo, mas ninguém avisa o SSD que todos aqueles blocos antigos agora são lixo. Do ponto de vista dele, o disco está ainda cheio.

Isso dói porque a flash não pode ser sobrescrita no lugar. Ela é escrita em páginas e apagada em blocos bem maiores. Um disco que acha que está cheio não tem mais blocos pré-apagados. Para cada nova escrita, o garbage collector primeiro precisa encontrar um bloco, copiar as páginas ainda “válidas” (o velho ruído criptografado) para outro lugar, apagar o bloco e só então escrever os dados novos. Uma escrita do host vira várias internas (write amplification). O throughput despenca, a latência explode e, de quebra, o disco se desgasta mais rápido.

O jeito certo, que estou anotando para que o eu do futuro realmente faça: antes de entregar SSDs usados a um novo sistema de arquivos, faça discard neles por completo. Isso destrói tudo no disco, e é exatamente essa a ideia:

# Before zpool create / mkfs — irreversibly wipes the drive!
blkdiscard /dev/disk/by-id/ata-WD_Red_SA500_2.5_2TB_...

# Check that the drive supports TRIM at all (non-zero DISC-GRAN/DISC-MAX):
lsblk --discard /dev/sdX

Num SSD SATA ocioso, o blkdiscard costuma levar de segundos a alguns minutos para o disco inteiro. Fazer isso depois com zpool trim num pool em uso também funciona. O ZFS só descarta o espaço que não usa. Mas é mais lento, compete com o I/O real e só ajuda a partir do momento em que roda.

Existe uma terceira opção que só percebi depois, fuçando o BIOS atrás de outra coisa (veja abaixo): o HPE RBSU traz SATA Secure Erase e SATA Sanitize embutidos. São a versão em firmware da mesma ideia. O próprio disco joga tudo fora, inclusive suas tabelas de mapeamento, e volta novinho como no primeiro dia, com todos os blocos livres. Para SSDs que vão ser apagados de qualquer jeito, é provavelmente o reset mais limpo que existe, e não precisa de sistema operacional rodando. Mesmo aviso, em letras maiores: isso apaga o disco por completo.

Desta vez eu tinha pulado essa etapa, então iniciamos um zpool trim storage completo no meio da restauração. Quarenta minutos depois estava em 2 %, e a cópia mal tinha ficado mais rápida. O TRIM era parte do problema, mas não era a parte que transformava SSDs em disquetes. Havia também algo mais básico errado. E quando você sabe o que era, um TRIM se arrastando a 2 % também começa a fazer sentido.

💡 Suspeito número dois: uma palavra no sysfs

$ for d in sda sdb sdc sdd; do echo "$d $(cat /sys/block/$d/queue/write_cache)"; done
sda write through
sdb write through
sdc write through
sdd write through

$ hdparm -W /dev/disk/by-id/ata-WD_Red_SA500_2.5_2TB_...
 write-caching =  0 (off)

Write through. O cache de escrita dos próprios discos estava desligado. Todo SSD tem um pequeno buffer de DRAM: ele recebe as escritas, diz “pronto” e depois as grava na flash em pedaços grandes e eficientes. Sem ele, o disco precisa terminar cada escrita na própria flash antes de responder. Para um SSD, essa é mais ou menos a pior forma de trabalhar, porque a flash é escrita em páginas grandes e apagada em blocos maiores ainda. Muitas escritas pequenas e separadas significam escritas lentas e desgaste extra.

Quem desligou? O Debian não foi, ele não mexe nessa configuração. O log do kernel responde, dois segundos depois de ligar, muito antes de qualquer coisa no userspace rodar:

$ dmesg | grep -i "write cache"
[    2.101312] sd 2:0:0:0: [sda] Write cache: disabled, read cache: enabled
[    2.101316] sd 3:0:0:0: [sdc] Write cache: disabled, read cache: enabled
[    2.101332] sd 5:0:0:0: [sdd] Write cache: disabled, read cache: enabled
[    2.101407] sd 4:0:0:0: [sdb] Write cache: disabled, read cache: enabled
[    3.644946] sd 6:0:0:0: [sde] Write cache: enabled, read cache: enabled   ← USB stick
[  530.822448] sd 7:0:0:0: [sdf] Write cache: enabled, read cache: enabled   ← USB disk

Todos os quatro SSDs SATA internos sobem como disabled, enquanto os dois dispositivos USB sobem como enabled. Discos SATA saem de fábrica com o cache de escrita ligado, então algo o desliga durante o POST, e esse algo é o firmware do servidor. Aparentemente a HPE tem como padrão “cache de escrita do disco desligado” para discos SATA e, como se viu, não deixa você mudar isso (mais sobre isso abaixo). As evidências apontam claramente para a plataforma, não para o Linux.

⚡ Um comando depois

$ for d in /dev/disk/by-id/ata-WD_Red_SA500_2.5_2TB_*[0-9]; do hdparm -W1 "$d"; done
 setting drive write-caching to 1 (on)
 write-caching =  1 (on)
 ...
Cache de escrita desligadoCache de escrita ligado
Throughput da restauração com rsync25–35 MB/s85–95 MB/s
Pressão de I/O (PSI, some avg60)~90 %~30–45 %
Tempo estimado da restauração~16 horas~6 horas
Gargaloos SSDso disco USB de 2,5" de onde eu estava copiando

Ao vivo, no meio da cópia, sem reboot. Os SSDs deixaram de ser o problema e passaram a esperar por um HD USB portátil. Terminada a restauração, rodei também um benchmark limpo.

📊 O benchmark limpo: mesmos discos, uma chave

Depois que a restauração terminou e o pool ficou ocioso de novo (cerca de 1,3 TB em uso, TRIM ainda pausado), rodei os mesmos testes com dd do post original do NAS, duas vezes: uma com o cache de escrita do disco desligado de novo, outra com ele ligado. Desta vez levei a sério as lições daquele post: um dataset de teste dedicado com compression=off, um arquivo de 1 GiB de dados aleatórios servido da RAM (/dev/shm) para que o /dev/urandom não vire gargalo, fsync no final e leituras com O_DIRECT para que o ARC não maquie os números de leitura.

zfs create -o compression=off storage/bench
head -c 1G /dev/urandom > /dev/shm/rand.bin

dd if=/dev/shm/rand.bin of=/storage/bench/t bs=1M conv=fsync                 # buffered + fsync
dd if=/dev/shm/rand.bin of=/storage/bench/t bs=1M oflag=direct conv=fsync    # O_DIRECT
dd if=/dev/shm/rand.bin of=/storage/bench/t4k bs=4k count=5000 oflag=direct,dsync
dd if=/storage/bench/t of=/dev/null bs=1M iflag=direct                       # read
TesteCache de escrita desligadoCache de escrita ligadoFator
Escrita sequencial 1M, buffered + fsync8 MB/s547 MB/s~68×
Escrita sequencial 1M, O_DIRECT2 MB/s239 MB/s~120×
Escrita 4K, O_DIRECT + dsync292 kB/s334 kB/s~1×
Leitura sequencial 1M, O_DIRECT972 MB/s865 MB/s–

Dois megabytes por segundo. Em SSDs. A primeira tentativa usou um arquivo de 4 GiB como no post original. Com o cache desligado, chegou a 3 MB/s e levaria bem mais de meia hora, então reduzi para 1 GiB. Isso já é um resultado por si só.

O que a tabela realmente diz:

  • As escritas sobem por um fator de 70 a 120. Isso já não é ganho de tuning. É a diferença entre “quebrado” e “funcionando”.
  • As leituras não mudam. Claro que não, é um cache de escrita. A pequena diferença é ruído de uma execução para outra.
  • Escritas síncronas de 4K não melhoram nada, e isso está correto. Com dsync, cada escrita de 4K termina num cache flush, então o cache é esvaziado tão rápido quanto enche. Para cargas com muito sync (bancos de dados, NFS com sync, VMs), a resposta não é o cache do disco. É um dispositivo de log separado para o ZFS (SLOG) ou SSDs com proteção contra queda de energia. O cache de escrita não é mágica. Ele só impede o disco de fazer cada escrita do jeito mais difícil possível.
  • Comparado ao post original (138 MB/s buffered, 15,4 MB/s com O_DIRECT), os números com cache desligado estão ainda piores hoje. Suspeito que seja o segundo problema deste post em ação: naquela época os discos eram novos, desta vez estavam cheios de dados antigos do BitLocker e o TRIM ainda não tinha rodado. Duas coisas faltando, e cada uma piora a outra.

🔙 A parte em que releio meu próprio blog

Aqui vem a parte meio constrangedora. São os mesmos três SSDs na mesma máquina sobre os quais já escrevi duas vezes. Nas duas vezes os números estavam me dizendo exatamente isso, e nas duas vezes achei uma explicação plausível e segui em frente.

Primeiro erro: Montando um NAS RAIDZ1 no Debian 13 com OpenZFS. Medi 138 MB/s em escritas buffered e 15,4 MB/s com O_DIRECT, umas nove vezes mais lento. Cheguei a escrever que aquilo “me surpreendeu o bastante para conferir duas, três vezes”. Depois expliquei com o agrupamento dos transaction groups do ZFS: escritas buffered são juntadas em escritas de stripe completo, O_DIRECT pula isso. Essa parte é verdade. Mas a explicação era confortável demais. Com o cache do disco desligado, cada escrita não agrupada precisa esperar pela própria flash, e é isso que transforma “um pouco mais lento” em “nove vezes mais lento”. Até o número “bom” merecia uma segunda olhada: 138 MB/s distribuídos em três SSDs SATA não é grande coisa.

Segundo erro: Chega de YAML por enquanto, do lado do Windows. Paridade do Storage Spaces nos mesmos discos: 88 MiB/s de escrita sequencial, 461 IOPS de escrita aleatória e uma latência no percentil 99 de mais de um segundo. Culpei a paridade: “As leituras são ótimas. As escritas são… paridade.” O custo de read-modify-write da paridade é real. Mas eu também rodei o DiskSpd com -Sh, que desativa de propósito o cache de escrita do disco para o teste. O benchmark mediu “sem cache de escrita” por definição, e por acaso era exatamente assim que o servidor rodava todo dia. O pior caso e a realidade do dia a dia eram a mesma coisa, e eu nunca perguntei por quê.

Dois sistemas operacionais, dois benchmarks, duas explicações que soavam razoáveis, uma configuração que ninguém verificou. A lição não é “benchmarks mentem”. É que comparei os números com minhas expectativas sobre o software e nunca com o datasheet do hardware. Uma escrita de 15 MB/s num SSD deveria ter sido um sinal de alerta, não importa qual sistema de arquivos estivesse por cima.

🛡️ É seguro ligar?

Essa é a pergunta óbvia: se a HPE desliga, talvez exista um motivo.

Existe um motivo, e na maior parte ele não se aplica aqui. O cache do disco é RAM volátil. Se a energia cair, o que estiver nele e ainda não estiver na flash se perde. SSDs enterprise têm capacitores para isso (“power-loss protection”); SSDs de consumo e de NAS geralmente não. Além disso, um servidor HPE clássico usa uma controladora RAID Smart Array com seu próprio cache com bateria. Nesse desenho, o cache do disco é redundante no melhor caso e um risco no pior, então desligá-lo é a escolha conservadora. Para um fabricante que não sabe qual sistema, sistema de arquivos ou controladora você vai usar, “desligado” é o padrão seguro.

Num sistema de arquivos moderno, o cache de escrita é seguro porque o sistema de arquivos avisa o disco quando os dados precisam estar em armazenamento estável. Em todo ponto que importa, ZFS, ext4 e NTFS enviam um cache flush e não consideram nada gravado até o disco confirmar. O ZFS ainda é copy-on-write, então um crash deixa você com o último estado consistente ou com o novo, nunca com uma mistura. O único perigo real é um disco que confirma flushes que nunca fez (firmware barato e duvidoso) ou, no Windows, marcar “Turn off Windows write-cache buffer flushing on the device”. Essa caixinha é mesmo a opção “eu gosto de viver perigosamente”.

E no meu caso os três servidores HP estão atrás de um nobreak de qualquer forma. O que ainda está na lista de pendências é fazer o HP3 desligar de forma limpa quando a bateria estiver acabando (NUT). Um nobreak que descarrega enquanto o servidor continua escrevendo só adia a queda de energia.

💾 SSDs, HDDs e o PC debaixo da sua mesa

  • SSDs são os que mais sofrem. A flash é escrita em páginas e apagada em blocos. Sem cache, o disco não consegue juntar escritas pequenas, então cada uma custa mais tempo e mais desgaste. É assim que se chega a 7,5 MB/s.
  • HDDs também perdem, principalmente em escritas aleatórias, porque o disco não consegue mais reordenar as requisições para minimizar o movimento da cabeça. Escritas sequenciais sofrem menos.
  • PCs desktop normais quase sempre estão de boa. BIOS de consumo não mexem nessa configuração, e o Windows deixa “Enable write caching on the device” ligado para discos internos. Meu jump host, uma placa de desktop comum, mostra write back tanto para o HDD de 8 TB quanto para o SSD NVMe. O NVMe também tem um cache de escrita volátil, e quem o controla é o sistema operacional, ligado por padrão.
  • Discos USB no Windows são a exceção que você provavelmente já sentiu na pele. O padrão é “Quick removal”, em que o Windows dispensa o cache write-back do lado dele para você poder arrancar o pendrive sem ejetar. Esse é um dos motivos pelos quais cópias grandes para USB costumam parecer mais lentas no Windows do que no Linux.

Confira você mesmo:

# Linux
cat /sys/block/*/queue/write_cache
dmesg | grep -i "write cache"
hdparm -W /dev/sdX                      # SATA

# Windows (PowerShell)
Get-PhysicalDisk | Get-StorageAdvancedProperty   # IsDeviceCacheEnabled, IsPowerProtected

🔧 Fazendo a configuração persistir

O hdparm -W1 é volátil: o disco o reseta no próximo ciclo de energia, e o firmware o desliga de novo a cada boot. Então a correção precisa acontecer a cada boot também. Por enquanto, isso é uma regra udev:

# /etc/udev/rules.d/69-ssd-write-cache.rules
# HPE firmware disables the SATA SSD write cache at boot (write through).
# ZFS and ext4 issue cache flushes, so enabling it is safe.
ACTION=="add|change", KERNEL=="sd[a-z]", SUBSYSTEM=="block", ENV{ID_BUS}=="ata", \
  ATTR{queue/rotational}=="0", RUN+="/usr/sbin/hdparm -W1 /dev/%k"

Ela só mexe em discos ATA internos e não rotacionais, então o SSD do sistema também recebe a configuração e os dispositivos USB ficam de fora.

O BIOS não seria o lugar melhor? Em teoria, sim: uma configuração de firmware vale antes de qualquer sistema carregar, sobrevive a uma reinstalação e cobre também instaladores e sistemas de resgate. Então reiniciei no RBSU (F9) e fui procurar. Em System Configuration → BIOS/Platform Configuration → Storage Options → SATA Controller Options no MicroServer Gen10 Plus v2 há exatamente três entradas:

  • Embedded SATA Configuration: SATA AHCI Support
  • SATA Secure Erase
  • SATA Sanitize

Só isso. Nada de “Drive Write Cache”, nada nas opções de desempenho também. Em modo AHCI o firmware desliga o cache e não dá nenhum jeito de mudar isso. (Controladoras Smart Array têm uma “Physical Drive Write Cache Policy”, mas colocar esta máquina num modo RAID para ganhar essa opção esconderia os discos do Linux e levaria o pool ZFS junto. Fora de questão.) Então a regra udev não é um cinto de segurança ao lado da correção de verdade. Ela é a correção, aplicada pelo sistema a cada boot, porque nada mais vai fazer isso.

O que também significa que ela precisa fazer parte da instalação, não ser algo lembrado depois. Se a próxima reinstalação esquecer esse único arquivo, voltamos aos 7,5 MB/s, e provavelmente a mais um post no blog.

Os outros dois servidores HP quase certamente têm o mesmo padrão. Eles são os próximos assim que eu decidir o que vai acontecer com eles.

🎯 Conclusão

Escrevi dois posts cheios de benchmarks cuidadosos: dados compressíveis versus incompressíveis, ARC versus page cache, os arquivos de teste cheios de zeros do DiskSpd. Foram boas lições, e todas eram sobre o software mentindo para mim. Enquanto isso, o hardware estava sendo totalmente honesto: uma palavra no sysfs, uma linha no dmesg e uma lição de TRIM que eu já tinha aprendido uma vez depois da instalação com BitLocker e prontamente esquecido. Eu nunca olhei.

Da próxima vez que um número parecer estranho, a primeira pergunta não é “como meu sistema de arquivos explica isso?”. É “o que esse hardware deveria fazer?”. Um SSD SATA a 15 MB/s não é uma peculiaridade interessante do sistema de arquivos. É uma configuração, ou um TRIM que faltou, ou, no meu caso, as duas coisas. 🔍💾

Meu checklist para reaproveitar SSDs num servidor daqui para frente:

  1. Discard primeiro. blkdiscard em todo SSD usado antes de criar o pool (ou use o SATA Secure Erase / Sanitize do BIOS), principalmente se BitLocker ou qualquer outra criptografia de disco inteiro esteve nele.
  2. Inclua a regra udev na instalação em máquinas HPE em modo AHCI. O BIOS não vai resolver isso por você.
  3. Verifique o cache de escrita. dmesg | grep -i "write cache" e /sys/block/*/queue/write_cache. Espere “write back”.
  4. Compare com o datasheet, não com suas expectativas sobre o sistema de arquivos.
  5. Só então faça benchmark, com dados incompressíveis, num pool ocioso.

📚 Mais nesta série: o NAS RAIDZ1

Alguns textos e imagens deste site foram criados com a ajuda de IA ou gerados por IA. Detalhes