Przebudowa homelabu 2026: poczekamy, zobaczymy – awaria serwera, ślepy zaułek w advisory i mój nowy główny podejrzany

Ilustracja tropienia awarii serwera w homelabie

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

🚨 Nic tak nie budzi jak mail z iLO o 20:30 z informacją, że serwer właśnie się przewrócił. Ten wpis to historia pogoni za tą awarią w głąb króliczej nory — od groźnie wyglądającego wpisu w logu sprzętowym, przez prawdziwe advisory HPE o błędzie, które okazało się ślepym zaułkiem, aż do mojego obecnego faktycznego głównego podejrzanego: przestarzałego demona zarządzającego, który po cichu rozmawia dokładnie z tym układem, który zawiódł.

Spis treści

📧 Mail

iLO nie bawi się w subtelności. Temat brzmiał „CRITICAL”, a treść zawierała dwa następujące po sobie wpisy z Integrated Management Log, oba z tym samym znacznikiem czasu co do sekundy:

EVENT: Uncorrectable PCI Express Error Detected. [UNKNOWN] 0
(Segment 0x0, Bus 0x1, Device 0x0, Function 0x2).
Uncorrectable Error Status: 0x14000
ACTION: Update the firmware of the failing device. If the issue persists, replace the device.

EVENT: Unrecoverable I/O Error has occurred. System Firmware will log
additional details in a separate IML message entry if possible.

Tłumaczenie dla tych, którzy nigdy nie wpatrywali się w kody PCIe Advanced Error Reporting: coś na szynie PCI Express rzuciło błąd tak poważny, że sam sprzęt nie potrafił go skorygować, a maszyna po prostu... przestała odpowiadać. Jeden z moich trzech węzłów Proxmox w nocy po cichu zaliczył glebę. 💀

🔍 Szukanie właściwego układu

„Bus 1, Device 0, Function 2” samo w sobie niewiele mówi, więc zamiast zgadywać, poszedłem prosto do inwentarza sprzętu samego serwera przez API Redfish w iLO. Każde wbudowane urządzenie PCI w tej maszynie podaje swój dokładny adres Bus/Device/Function:

BCM 5720 NIC port 1    -> Bus 2, Dev 0, Func 0
BCM 5720 NIC port 2    -> Bus 2, Dev 0, Func 1
Embedded SATA Ctrl     -> Bus 0, Dev 23, Func 0
Embedded Video Ctrl    -> Bus 1, Dev 0, Func 1   <-- same Bus+Device as the fault

Function 2 pod tym adresem nie jest wymieniona osobno, ale leży tuż obok wbudowanego kontrolera wideo — który w tej generacji ProLiantów jest w rzeczywistości zaimplementowany wewnątrz samego układu iLO 5, a nie jako osobne GPU. Zawodzące urządzenie to więc jakaś funkcja własnego krzemu iLO, rozmawiająca z hostem przez PCIe. Nie „iLO nie żyje” (w końcu radośnie wysyłał mi maile o własnym logu awarii) — raczej wewnętrzne łącze PCIe między iLO a resztą systemu miało gorszą chwilę. 🧩

📋 Advisory HPE, które pasowało idealnie (prawie)

Szybkie wyszukiwanie wyrzuciło advisory HPE, które nie mogłoby pasować lepiej, nawet gdybym sam je napisał: „HPE ProLiant DL20/ML30 Gen10 Plus and ProLiant MicroServer Gen10 Plus v2 - Server May Experience ‘Uncorrectable PCI Express Error Detected’ Events.” Ta sama rodzina serwerów, ten sam kod błędu (0x14000), ten sam adres PCI. Advisory opisuje udokumentowany błąd w firmware System ROM (BIOS) i jako poprawkę podaje aktualizację ROM-u. Sprawa zamknięta, prawda? 🎉 Tyle że: sprawdziłem. BIOS, iLO i firmware wbudowanego kontrolera wideo były już w najnowszych publicznie dostępnych wersjach. Poprawka „po prostu zaktualizuj firmware” tu nie ma zastosowania — już ją mam, a przynajmniej to, co HPE obecnie publikuje jako najnowsze. Więc albo ta konkretna errata nie została w pełni zgnieciona przez obecny firmware, albo dzieje się coś zupełnie innego. Raport o błędzie pasujący jak z podręcznika, który nic nie rozwiązuje, gdy postępujesz zgodnie z jego własną radą, to szczególny rodzaj frustracji. 🤷

🕵️ Wchodzi amsd — mój obecny główny podejrzany

Tu zrobiło się ciekawie. HPE dostarcza demona w przestrzeni użytkownika o nazwie AMS (Agentless Management Service, amsd), który działa w systemie hosta i przekazuje do iLO telemetrię sprzętową — prędkości wentylatorów, temperatury, dane o stanie zdrowia. Co kluczowe, robi to wewnętrznym kanałem, który biegnie tym samym wbudowanym łączem PCIe co układ, który właśnie zawiódł. Okazało się, że ta konkretna maszyna działała na amsd 3.6.0, buildzie skompilowanym wprost dla Debiana 12 — podczas gdy Proxmox VE (który faktycznie startuje na sprzęcie) to Debian 13. Niezgodność wersji, działająca po cichu przez mniej więcej tydzień przed awarią i aktywnie szturchająca dokładnie ten interfejs sprzętowy, który zawiódł. To naprawdę podejrzany zbieg okoliczności. 🔦 Od kiedy to odkryłem, zaktualizowałem amsd na wszystkich trzech hostach do aktualnego, natywnego dla Debiana 13 buildu (4.7.0) — profilaktycznie.

⚖️ Uczciwie o tym, czego tak naprawdę nie wiem

Chętnie zakończyłbym ten wpis zdaniem „i to na pewno było to”. Z czystym sumieniem nie mogę. Moje dwa pozostałe serwery — identyczny sprzęt, identyczny BIOS, identyczny firmware — w dokładnie tym samym czasie też działały na tym samym przestarzałym, zbudowanym dla Debiana 12 amsd, i żaden z nich nie padł. To więc nie jest czysta historia typu „stary sterownik = gwarantowana awaria”. Moja najlepsza robocza teoria na teraz to połączenie dwóch półwinowajców: znanej, ale najwyraźniej nie w pełni naprawionej erraty platformy HPE, którą być może łatwiej wyzwolić przez demona z niepasującą wersją, młócącego to samo łącze PCIe — żaden z nich sam nie wystarcza, oba razem to pech. Co jest, irytująco, dokładnie tym rodzajem sporadycznego, okołosprzętowego błędu, który nigdy nie daje ci satysfakcjonującego momentu „aha, mam cię”. 🎯❌ Co mi zostaje: obserwować IML pod kątem powtórki, od teraz trzymać firmware i demony zarządzające na każdym hoście aktualne, i po cichu mieć nadzieję, że to była jednorazowa elektryczna czkawka, a nie pierwszy znak powoli umierającego układu. 🤞 Jeśli to się powtórzy, to jest moment, w którym „otwórz zgłoszenie w supporcie HPE” przestaje być opcjonalne.


📚 Więcej z tej serii: Przebudowa homelabu 2026

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły