Reconstrução do homelab 2026: esperar para ver – um crash de servidor, um advisory sem saída e meu novo suspeito número um

Ilustração da caça a um crash de servidor no homelab

🌐 Também em: English · Deutsch · Français · Español · Italiano · Nederlands · Polski

🚨 Nada te acorda tanto quanto um e-mail do iLO às 20:30 dizendo que um servidor acabou de cair. Este post é a história de perseguir esse crash toca do coelho abaixo — de uma entrada assustadora no log de hardware, passando por um advisory de bug real da HPE que acabou sendo um beco sem saída, até o que agora é meu principal suspeito de verdade: um daemon de gerenciamento desatualizado conversando silenciosamente exatamente com o chip que falhou.

Índice

📧 O e-mail

O iLO não faz sutileza. O assunto era “CRITICAL” e o corpo continha duas entradas seguidas do Integrated Management Log, ambas com o mesmo segundo no timestamp:

EVENT: Uncorrectable PCI Express Error Detected. [UNKNOWN] 0
(Segment 0x0, Bus 0x1, Device 0x0, Function 0x2).
Uncorrectable Error Status: 0x14000
ACTION: Update the firmware of the failing device. If the issue persists, replace the device.

EVENT: Unrecoverable I/O Error has occurred. System Firmware will log
additional details in a separate IML message entry if possible.

Tradução para quem nunca ficou encarando códigos de PCIe Advanced Error Reporting: algo no barramento PCI Express gerou um erro tão grave que o próprio hardware não conseguiu corrigir, e a máquina simplesmente... parou de responder. Um dos meus três nós Proxmox tinha caído de cara silenciosamente durante a noite. 💀

🔍 Encontrando o chip de verdade

“Bus 1, Device 0, Function 2” não diz muito sozinho, então em vez de chutar fui direto ao inventário de hardware do próprio servidor via a API Redfish do iLO. Todo dispositivo PCI embarcado nessa máquina informa seu endereço exato de Bus/Device/Function:

BCM 5720 NIC port 1    -> Bus 2, Dev 0, Func 0
BCM 5720 NIC port 2    -> Bus 2, Dev 0, Func 1
Embedded SATA Ctrl     -> Bus 0, Dev 23, Func 0
Embedded Video Ctrl    -> Bus 1, Dev 0, Func 1   <-- same Bus+Device as the fault

A Function 2 nesse endereço não aparece listada separadamente, mas fica bem ao lado da controladora de vídeo embarcada — que, nesta geração de ProLiant, na verdade é implementada dentro do próprio chip iLO 5, não numa GPU separada. Então o dispositivo com falha é alguma função do próprio silício do iLO conversando com o host via PCIe. Não é “o iLO morreu” (afinal, ele estava todo animado me mandando e-mail sobre o próprio log de crash) — é mais como se o link PCIe interno entre o iLO e o resto do sistema tivesse tido um mau momento. 🧩

📋 O advisory da HPE que batia perfeitamente (quase)

Uma busca rápida trouxe um advisory da HPE que não poderia combinar melhor nem se eu mesmo o tivesse escrito: “HPE ProLiant DL20/ML30 Gen10 Plus and ProLiant MicroServer Gen10 Plus v2 - Server May Experience ‘Uncorrectable PCI Express Error Detected’ Events.” Mesma família de servidores, mesmo código de erro (0x14000), mesmo endereço PCI. O advisory descreve um bug documentado no firmware do System ROM (BIOS) e lista como correção um update do ROM. Caso encerrado, certo? 🎉 Só que: eu conferi. BIOS, iLO e o firmware da controladora de vídeo embarcada já estavam todos nas versões públicas mais recentes. A correção “é só atualizar o firmware” não se aplica aqui — eu já a tenho, ou pelo menos o que a HPE publica atualmente como mais recente. Então ou essa errata específica não foi totalmente esmagada pelo firmware atual, ou algo completamente diferente está acontecendo. Um relatório de bug que bate como no livro e não resolve nada quando você segue o próprio conselho dele é um tipo especial de frustração. 🤷

🕵️ Entra o amsd — meu atual suspeito número um

Aqui a coisa ficou interessante. A HPE entrega um daemon de userspace chamado AMS (Agentless Management Service, amsd) que roda no SO do host e alimenta o iLO com telemetria de hardware — velocidade das ventoinhas, temperaturas, dados de saúde. E, crucialmente, ele faz isso por um canal interno que passa pelo mesmo link PCIe embarcado do chip que acabou de falhar. Acontece que essa máquina em particular estava rodando o amsd 3.6.0, um build compilado explicitamente para Debian 12 — enquanto o Proxmox VE (que é o que de fato boota no metal) é Debian 13. Uma incompatibilidade de versão, rodando silenciosamente por cerca de uma semana antes do crash, cutucando ativamente exatamente a interface de hardware que falhou. Essa é uma coincidência genuinamente suspeita. 🔦 Desde que descobri isso, atualizei o amsd para o build atual nativo de Debian 13 (4.7.0) nos três hosts, por precaução.

⚖️ Sendo honesto sobre o que eu realmente não sei

Eu adoraria terminar este post com “e com certeza era isso”. Não posso, em sã consciência. Meus outros dois servidores — hardware idêntico, BIOS idêntico, firmware idêntico — também estavam rodando o mesmo amsd desatualizado, compilado para Debian 12, exatamente na mesma época, e nenhum deles caiu. Então essa não é uma história limpa de “driver antigo = crash garantido”. Minha melhor teoria de trabalho agora é que se trata de uma combinação de dois meio-culpados: uma errata de plataforma da HPE conhecida, mas aparentemente não totalmente corrigida, possivelmente com mais chance de disparar por causa de um daemon com versão incompatível martelando o mesmo link PCIe — nenhum dos dois sozinho sendo suficiente, os dois juntos sendo azar. O que é, irritantemente, exatamente o tipo de bug intermitente próximo do hardware que nunca te dá um momento satisfatório de “aha, achei”. 🎯❌ O que me resta fazer: ficar de olho no IML para qualquer repetição, manter daqui para frente o firmware e os daemons de gerenciamento de todos os hosts atualizados, e torcer em silêncio para que isso tenha sido um soluço elétrico isolado e não o primeiro sinal de um chip morrendo devagar. 🤞 Se acontecer de novo, é aí que “abrir um chamado no suporte da HPE” deixa de ser opcional.


📚 Mais nesta série: Reconstrução do homelab 2026

Alguns textos e imagens deste site foram criados com a ajuda de IA ou gerados por IA. Detalhes