Homelab-herbouw 2026: afwachten – een servercrash, een doodlopende advisory en mijn nieuwe hoofdverdachte

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
🚨 Niets maakt je zo wakker als een iLO-mail om 20:30 die je vertelt dat er net een server omgevallen is. Deze post is het verhaal van hoe ik die crash door een konijnenhol achtervolgde — van een eng uitziende entry in het hardwarelog, via een echte HPE-bugadvisory die doodliep, tot wat nu mijn echte hoofdverdachte is: een verouderde management-daemon die stilletjes praat met precies de chip die faalde.
Inhoud
📧 De mail
iLO doet niet aan subtiel. De onderwerpregel was “CRITICAL” en de body bevatte twee opeenvolgende entries uit het Integrated Management Log, allebei met hetzelfde tijdstempel tot op de seconde:
EVENT: Uncorrectable PCI Express Error Detected. [UNKNOWN] 0
(Segment 0x0, Bus 0x1, Device 0x0, Function 0x2).
Uncorrectable Error Status: 0x14000
ACTION: Update the firmware of the failing device. If the issue persists, replace the device.
EVENT: Unrecoverable I/O Error has occurred. System Firmware will log
additional details in a separate IML message entry if possible.
Vertaling voor wie nog nooit naar PCIe Advanced Error Reporting-codes heeft zitten staren: iets op de PCI Express-bus gooide een fout die zo erg was dat de hardware hem zelf niet kon corrigeren, en de machine reageerde gewoon... niet meer. Een van mijn drie Proxmox-nodes was ’s nachts stilletjes plat op zijn gezicht gegaan. 💀
🔍 De echte chip vinden
“Bus 1, Device 0, Function 2” zegt op zichzelf niet veel, dus in plaats van te gokken ging ik rechtstreeks naar de eigen hardware-inventaris van de server via de Redfish-API van iLO. Elk ingebouwd PCI-apparaat op deze machine meldt zijn exacte Bus/Device/Function-adres:
BCM 5720 NIC port 1 -> Bus 2, Dev 0, Func 0
BCM 5720 NIC port 2 -> Bus 2, Dev 0, Func 1
Embedded SATA Ctrl -> Bus 0, Dev 23, Func 0
Embedded Video Ctrl -> Bus 1, Dev 0, Func 1 <-- same Bus+Device as the fault
Function 2 op dat adres staat niet apart vermeld, maar zit vlak naast de ingebouwde videocontroller — die bij deze generatie ProLiant eigenlijk in de iLO 5-chip zelf is geïmplementeerd, niet als aparte GPU. Het falende apparaat is dus een functie van iLO’s eigen silicium die via PCIe met de host praat. Niet “iLO is dood” (hij mailde me tenslotte vrolijk over zijn eigen crashlog) — meer alsof de interne PCIe-link tussen iLO en de rest van het systeem een slecht moment had. 🧩
📋 De HPE-advisory die perfect paste (bijna)
Een snelle zoektocht leverde een HPE-advisory op die niet beter had kunnen passen als ik hem zelf had geschreven: “HPE ProLiant DL20/ML30 Gen10 Plus and ProLiant MicroServer Gen10 Plus v2 - Server May Experience ‘Uncorrectable PCI Express Error Detected’ Events.” Zelfde serverfamilie, zelfde foutcode (0x14000), zelfde PCI-adres. De advisory beschrijft een gedocumenteerde bug in de firmware van de System ROM (BIOS) en noemt een ROM-update als fix. Zaak gesloten, toch? 🎉
Alleen: ik heb het gecontroleerd. BIOS, iLO en de firmware van de ingebouwde videocontroller stonden allemaal al op de nieuwste publiek beschikbare versies. De fix “update gewoon de firmware” geldt hier niet — die heb ik al, of in elk geval wat HPE op dit moment als nieuwste publiceert. Dus óf deze specifieke erratum is met de huidige firmware niet helemaal platgeslagen, óf er speelt iets heel anders. Een bugrapport dat als uit het boekje past en niets oplost als je zijn eigen advies opvolgt, is een speciaal soort frustrerend. 🤷
🕵️ Daar is amsd — mijn huidige hoofdverdachte
Hier werd het interessant. HPE levert een userspace-daemon genaamd AMS (Agentless Management Service, amsd) die op het host-OS draait en hardwaretelemetrie — fansnelheden, temperaturen, gezondheidsdata — terugvoert naar iLO. Cruciaal: dat doet hij via een intern kanaal dat over dezelfde ingebouwde PCIe-link loopt als de chip die net faalde.
Wat bleek: deze specifieke machine draaide amsd 3.6.0, een build die expliciet voor Debian 12 gecompileerd is — terwijl Proxmox VE (wat echt op het metaal boot) Debian 13 is. Een versiemismatch, die al ongeveer een week vóór de crash stilletjes draaide en actief porde in precies de hardware-interface die faalde. Dat is een oprecht verdacht toeval. 🔦
Sinds ik dit ontdekte, heb ik amsd uit voorzorg op alle drie de hosts bijgewerkt naar de actuele, Debian 13-native build (4.7.0).
⚖️ Eerlijk zijn over wat ik eigenlijk niet weet
Ik zou deze post graag eindigen met “en dat was het absoluut”. Dat kan ik met een gerust geweten niet. Mijn andere twee servers — identieke hardware, identieke BIOS, identieke firmware — draaiden op precies hetzelfde moment ook dezelfde verouderde, voor Debian 12 gebouwde amsd, en geen van beide crashte. Dit is dus geen net verhaal van “oude driver = gegarandeerde crash”. Mijn beste werktheorie op dit moment is dat het een combinatie is van twee halve schuldigen: een bekende maar blijkbaar niet volledig opgeloste HPE-platform-erratum, die mogelijk vaker wordt getriggerd door een daemon met een niet-passende versie die op dezelfde PCIe-link hamert — geen van beide alleen genoeg, samen gewoon pech. Wat, irritant genoeg, precies het soort intermitterende, hardware-nabije bug is die je nooit een bevredigend “aha, gevonden”-moment geeft. 🎯❌
Wat me te doen blijft: het IML in de gaten houden voor een herhaling, de firmware en management-daemons van elke host voortaan actueel houden, en stilletjes hopen dat dit een eenmalig elektrisch hikje was en niet het eerste teken van een chip die langzaam sterft. 🤞 Als het opnieuw gebeurt, is dat het punt waarop “een supportcase bij HPE openen” niet meer optioneel is.
📚 Meer in deze serie: Homelab-herbouw 2026
- Homelab-herbouw 2026 — van homelab naar mini-datacenter
- Homelab-herbouw 2026 — het Proxmox-cluster bouwen en provisionen met Terraform
- Homelab-herbouw 2026 — Active Directory, Pi-hole-witwassen en een stationsletter die weigert te bestaan
- Homelab-herbouw 2026 — GitLab, een seed-VM en de stilte voor de Kubernetes-storm
