Homelab Rebuild 2026: aspettare e vedere – un crash del server, un advisory senza uscita e il mio nuovo sospettato numero uno

🌐 Anche in: English · Deutsch · Français · Español · Português · Nederlands · Polski
🚨 Niente ti sveglia come una mail dell’iLO alle 20:30 che ti dice che un server è appena crollato. Questo post è la storia di come ho inseguito quel crash in una tana del bianconiglio — da una voce di log hardware dall’aspetto spaventoso, attraverso un vero advisory di bug di HPE che si è rivelato un vicolo cieco, fino a quello che ora è il mio vero sospettato principale: un demone di gestione obsoleto che parlava in silenzio proprio con il chip che ha ceduto.
Indice
📧 La mail
L’iLO non fa sottigliezze. L’oggetto era “CRITICAL” e il corpo conteneva due voci consecutive dell’Integrated Management Log, entrambe con lo stesso secondo come timestamp:
EVENT: Uncorrectable PCI Express Error Detected. [UNKNOWN] 0
(Segment 0x0, Bus 0x1, Device 0x0, Function 0x2).
Uncorrectable Error Status: 0x14000
ACTION: Update the firmware of the failing device. If the issue persists, replace the device.
EVENT: Unrecoverable I/O Error has occurred. System Firmware will log
additional details in a separate IML message entry if possible.
Traduzione per chi non ha mai fissato i codici del PCIe Advanced Error Reporting: qualcosa sul bus PCI Express ha generato un errore così grave che l’hardware stesso non è riuscito a correggerlo, e la macchina ha semplicemente... smesso di rispondere. Uno dei miei tre nodi Proxmox aveva fatto in silenzio una faccia a terra durante la notte. 💀
🔍 Trovare il chip vero e proprio
“Bus 1, Device 0, Function 2” da solo non dice molto, quindi invece di tirare a indovinare sono andato dritto all’inventario hardware del server tramite l’API Redfish dell’iLO. Ogni dispositivo PCI integrato in questa macchina riporta il suo esatto indirizzo Bus/Device/Function:
BCM 5720 NIC port 1 -> Bus 2, Dev 0, Func 0
BCM 5720 NIC port 2 -> Bus 2, Dev 0, Func 1
Embedded SATA Ctrl -> Bus 0, Dev 23, Func 0
Embedded Video Ctrl -> Bus 1, Dev 0, Func 1 <-- same Bus+Device as the fault
La Function 2 a quell’indirizzo non è elencata separatamente, ma sta proprio accanto al controller video integrato — che, in questa generazione di ProLiant, è in realtà implementato dentro il chip iLO 5 stesso, non come GPU separata. Quindi il dispositivo guasto è qualche funzione del silicio dell’iLO che parla con l’host via PCIe. Non “l’iLO è morto” (dopotutto mi mandava allegramente mail sul proprio log del crash) — più che altro il collegamento PCIe interno tra l’iLO e il resto del sistema ha avuto un brutto momento. 🧩
📋 L’advisory HPE che combaciava alla perfezione (quasi)
Una rapida ricerca ha fatto saltare fuori un advisory HPE che non avrebbe potuto combaciare meglio nemmeno se l’avessi scritto io: “HPE ProLiant DL20/ML30 Gen10 Plus and ProLiant MicroServer Gen10 Plus v2 - Server May Experience ‘Uncorrectable PCI Express Error Detected’ Events.” Stessa famiglia di server, stesso codice di errore (0x14000), stesso indirizzo PCI. L’advisory descrive un bug documentato del firmware System ROM (BIOS) e indica come soluzione un aggiornamento della ROM. Caso chiuso, giusto? 🎉
Peccato che: ho controllato. BIOS, iLO e firmware del controller video integrato erano già tutti all’ultima versione pubblicamente disponibile. La soluzione “aggiorna il firmware e basta” qui non si applica — ce l’ho già, o almeno ho ciò che HPE pubblica attualmente come ultima versione. Quindi o questo specifico erratum non viene del tutto eliminato dal firmware attuale, o sta succedendo qualcosa di completamente diverso. Una segnalazione di bug che combacia da manuale ma non si risolve seguendo i suoi stessi consigli è un tipo tutto suo di frustrazione. 🤷
🕵️ Entra in scena amsd — il mio attuale sospettato principale
È qui che si è fatto interessante. HPE fornisce un demone in userspace chiamato AMS (Agentless Management Service, amsd) che gira sul sistema operativo dell’host e rimanda all’iLO la telemetria hardware — velocità delle ventole, temperature, dati di salute. Punto cruciale: lo fa tramite un canale interno che passa per lo stesso collegamento PCIe integrato del chip che ha appena avuto il guasto.
È emerso che questa macchina in particolare faceva girare amsd 3.6.0, una build compilata esplicitamente per Debian 12 — mentre Proxmox VE (quello che si avvia davvero sul metallo) è Debian 13. Un disallineamento di versione, in esecuzione silenziosa da circa una settimana prima del crash, che stuzzicava attivamente proprio l’interfaccia hardware che ha ceduto. È una coincidenza davvero sospetta. 🔦
Da quando l’ho scoperto, per precauzione ho aggiornato amsd alla build attuale nativa per Debian 13 (4.7.0) su tutti e tre gli host.
⚖️ Essere onesti su ciò che in realtà non so
Mi piacerebbe chiudere questo post con “ed era sicuramente quello”. Non posso, in buona coscienza. Gli altri miei due server — hardware identico, BIOS identico, firmware identico — facevano anche loro girare lo stesso amsd obsoleto compilato per Debian 12 esattamente nello stesso periodo, e nessuno dei due si è bloccato. Quindi non è una storia pulita del tipo “driver vecchio = crash garantito”. La mia migliore ipotesi di lavoro in questo momento è che si tratti di una combinazione di due mezzi colpevoli: un erratum noto ma a quanto pare non del tutto risolto della piattaforma HPE, forse reso più probabile da un demone con versione sbagliata che martella lo stesso collegamento PCIe — nessuno dei due sufficiente da solo, entrambi insieme sfortunati. Il che è, fastidiosamente, esattamente il tipo di bug intermittente vicino all’hardware che non ti regala mai un soddisfacente momento “aha, trovato”. 🎯❌
Quello che mi resta da fare: tenere d’occhio l’IML per eventuali ripetizioni, mantenere d’ora in poi aggiornati firmware e demoni di gestione di ogni host, e sperare in silenzio che sia stato un singhiozzo elettrico isolato e non il primo segno di un chip che muore lentamente. 🤞 Se succede di nuovo, quello è il punto in cui “aprire un caso di supporto HPE” smette di essere facoltativo.
📚 Altro in questa serie: Homelab Rebuild 2026
- Homelab Rebuild 2026 — dall’homelab a un mini datacenter
- Homelab Rebuild 2026 — costruire il cluster Proxmox e provisionarlo con Terraform
- Homelab Rebuild 2026 — Active Directory, riciclaggio via Pi-hole e una lettera di unità che si rifiuta di esistere
- Homelab Rebuild 2026 — GitLab, una VM seme e la calma prima della tempesta Kubernetes
