De iLO kent de temperatuur, maar niet die van gisteren: een warmtegeschiedenis voor mijn homelab-rack

Open homelab-rack tijdens de SSD-upgrade en het stofzuigen

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

Het begon met een simpele vraag op een luie middag: hoe warm zijn mijn drie servers eigenlijk? De iLO antwoordde meteen: aanzuiglucht 22 tot 25 °C, fans stationair op 6 %, alles groen. Mooi. Toen de vervolgvraag: en tijdens de hittegolf in juli? Stilte. De iLO 5 toont temperaturen en fans alleen live. Geen geschiedenis, geen grafiek, geen “afgelopen dinsdag”. Dus heb ik er een gebouwd, en die staat op GitHub: aptupgrademe/ilo-thermal.

Dezelfde werkwijze als altijd: ik stel de vragen en neem de beslissingen, mijn AI-co-admin (Claude) leest de iLO’s uit via Redfish, schrijft de code en controleert elk getal dubbel voordat hij erop vertrouwt. Dat laatste bleek belangrijker dan verwacht.

Inhoud

🌡️ Eerste blik: welke sensor betekent echt iets?

Een iLO 5 op een DL20 Gen10 Plus biedt zo’n twaalf temperatuursensoren. Niet allemaal zijn ze nuttig, en twee ervan liegen.

SensorHP1HP2HP3Oordeel
01-Inlet Ambient24 °C25 °C22 °CDegene die ertoe doet: lucht die voorin wordt aangezogen
BMC (iLO-chip)69 °C71 °C77 °CZiet er eng uit, is het niet: chip warmt zichzelf op, limiet 110 °C
CPU 140 °C40 °C40 °C🤨 identiek op alle drie, bij 0 % en 11 % belasting
AHCI HD Max40 °C40 °C40 °C🤨 zelfde verhaal

Drie servers, verschillende belasting, overal precies 40 °C? Dat rook naar een placeholder, dus hebben we de schijven vanuit Windows via SMART gecontroleerd: 31 tot 35 °C. De iLO kan schijven die niet van HPE zijn gewoon niet uitlezen en vult een constante in. Les één: controleer een sensor voordat je er alerting op bouwt.

🗺️ De sensorkaart: voorkant is y = 1, achterkant is de hoogste y

De volgende vraag was de interessante: zou ik een warmteophoping achter het rack überhaupt merken? Deze modellen hebben geen uitblaassensor. Maar de Redfish van HPE vertelt je waar elke sensor zit: Oem.Hpe.LocationXmm en LocationYmm vormen een raster waarin y = 1 de luchtinlaat voorin is en de hoogste y helemaal achterin; x is de positie over de breedte. Ondanks de “mm” in de naam zijn dit rastercellen, geen millimeters: de waarden lopen maar van ongeveer 1 tot 14 op een server van 43 cm breed. Hoe diep het raster gaat, hangt af van het model: bij de DL20’s is de achterste rij y = 13–14, bij de compactere MicroServer eindigt het raster bij y = 13. Achterin zitten twee soorten sensoren:

  • Chipsensoren (BMC, LOM-netwerkchip): gedomineerd door hun eigen warmte, nutteloos voor de luchtstroom.
  • Luchtzonesensoren (BMC Zone, PCI 1 Zone): ze meten de lucht om zich heen, met weinig zelfopwarming. BMC Zone stond op HP2 op 28 °C, slechts 3 °C boven zijn inlaat. Dat is mijn vervanger voor een uitblaassensor.

En hier zit het belangrijkste inzicht: de temperatuur achterin alleen zegt niets, want die volgt de ruimte. Een warme middag tilt voor- en achterkant op. Wat een ophoping verraadt, is het verschil. Als achter-min-voor groeit van de gebruikelijke +3 °C terwijl de inlaat en de belasting gelijk blijven, komt de warme lucht er niet uit. De tweede vroege indicator: fans die opschroeven terwijl de inlaat niet warmer is.

📍 Locatie, locatie, locatie: vier graden van boven naar beneden

De eerste uren geschiedenis maakten al één ding duidelijk: waar een server in het rack zit, telt zwaarder dan welke server het is. Zelfde ruimte, zelfde rack, zelfde idle-belasting, en toch verschilt de aanzuiglucht meerdere graden, consequent, bij elke meting:

ServerPositieInlaat (gem.)BereikAchterzone (gem.)
HP2 (DL20 Gen10 Plus)bovenin het rack25.9 °C25–26 °C28.9 °C
HP1 (DL20 Gen10 Plus)midden23.9 °C23–24 °C26.9 °C
HP3 (MicroServer Gen10 Plus v2)bijna onderin21.9 °C21–22 °C25.9 °C

33 metingen in de eerste vijf uur van een rustige avond; alle fans op hun minimum van 6–8 %.

Van onder naar boven klimt de inlaat in keurige stappen van twee graden: 21.9 → 23.9 → 25.9 °C. Dat is vier graden tussen de server bijna onderin en die bovenin, met niets dan hoogte ertussen. De natuurkunde is simpel: warme lucht stijgt. De uitblaaslucht van alles eronder verzamelt zich bovenin het rack en de bovenste server ademt een deel daarvan weer in, vooral als de bovenkant van het rack dicht is of de ruimte erboven krap. Merk op dat het verschil van achter naar voor op alle drie de machines dezelfde +3–4 °C is. De servers zelf gedragen zich identiek; het is de lucht die ze krijgen die verschilt.

Waarom dat ertoe doet:

  • De bovenste server raakt elke limiet als eerste. Op een zomermiddag van 30 °C zit HP3 nog comfortabel terwijl HP2 al op de deur van de waarschuwingsdrempel klopt. Plan voor de warmste plek, niet voor het gemiddelde.
  • Vergelijk elke server met zichzelf. Een vast “normaal” voor het hele rack zou HP2 permanent als verdacht markeren. Daarom gebruiken de alertregels de eigen mediaan van 7 dagen per server.
  • Plaatsing is een gratis tuningknop. Zet de machine die het warmst draait of het belangrijkst is onderaan, sluit ongebruikte rack-units af met blindplaten zodat uitblaaslucht niet stiekem terug naar voren kan, en geef de bovenkant van het rack ruimte om te ademen.

Bekentenis: ik heb dit onderschat. Toen de servers het rack in gingen, was de plaatsingsstrategie, laten we zeggen, “waar er nog een gat vrij was”. De natuurkunde van luchtstroming had geen stemrecht. Als het rack ooit opnieuw wordt ingedeeld, gaan de servers zo laag mogelijk, samen gestapeld onderin, waar de lucht het koelst is.

De bovenste plek heeft trouwens al de juiste huurder: de switch. Volgens de datasheet is die gespecificeerd voor stabiele werking bij aanzienlijk hogere omgevingstemperaturen dan de servers, dus kan hij veel beter tegen de warme lucht daarboven dan een ProLiant. De vuistregel die ik eraan overhoud: de warmste plek gaat naar het apparaat dat het best tegen warmte kan, niet naar wie als laatste binnenkwam.

Onschuldig in september. Maar nu weet ik precies welke server ik in augustus in de gaten moet houden, en heb ik de cijfers om te bewijzen of een heringedeeld rack echt helpt.

🧰 Het script: met opzet saai

ilo_thermal.py is één Python-bestand, alleen de standaardbibliotheek. Geen pip, geen requests, geen matplotlib, niets wat bij de volgende distro-upgrade kan breken. Elke 10 minuten draait cron het:

  1. Verzamelen: één read-only Redfish-GET per iLO voor de thermische data. Het script verbindt via IP, maar controleert het TLS-certificaat tegen mijn eigen root-CA én de naam op het certificaat, omdat de jump host de AD-DNS niet gebruikt. Ja, de homelab-PKI uit een eerdere post betaalt zich weer uit.
  2. Opslaan: alles gaat in SQLite. Grofweg 100–150 MB voor drie servers en 400 dagen, een vol jaar om mee te vergelijken.
  3. Evalueren: de alertregels hieronder.
  4. Rapporteren: één op zichzelf staand HTML-bestand met de grafieken.

🚨 Wanneer slaat hij alarm?

RegelTrigger
Inlaatlimiet≥ 30 °C waarschuwing, ≥ 35 °C kritiek (HPE specificeert deze machines voor 35 °C omgevingstemperatuur)
Temperatuursprong+4 °C binnen een uur: kapotte airco, dichte deur, een elektrische kachel die iemand “even daar had neergezet”
Warmteophoping achterinverschil achter-min-voor ≥ de mediaan van 7 dagen + 5 °C en ≥ 8 °C
Fans zonder redenfans 20 punten boven normaal terwijl de inlaat niet warmer is: geblokkeerde luchtstroom of stof
Sensor niet gezondeen sensor of fan die niet OK meldt
iLO onbereikbaardrie mislukte polls op rij

“Normaal” is altijd de eigen mediaan van de server over de laatste zeven dagen, dus de warmere plek van HP2 bovenin telt niet als afwijking. Het is HP2’s normaal. Die baseline-regels worden pas actief na een dag geschiedenis; een verse installatie gaat je niet oppiepen vanwege ruis. Alerts hebben een toestand: één mail als het begint, een herinnering elke 12 uur en een “opgelost”-mail aan het eind. Geen tapijtbombardement op je inbox.

😴 De collector slaapt, de iLO niet

Nu het addertje: mijn jump host staat niet 24/7 aan. Pollen werkt alleen zolang hij draait, en omdat de iLO geen temperatuurgeschiedenis bijhoudt, zijn de uren dat hij uit stond gewoon weg. Het rapport toont ze eerlijk als gaten in plaats van een misleidende rechte lijn door de nacht te trekken.

Maar de iLO houdt wél iets bij: het Integrated Management Log. Elke hardwaregebeurtenis (oververhitting, fanstoring, stroomuitval, geheugen- of PCIe-fouten) wordt daar met tijdstempel opgeslagen, of er nu iemand kijkt of niet. Dus onthoudt het script per iLO het hoogste EventNumber dat het heeft gezien, en een @reboot-regel in cron draait het twee minuten na het opstarten. Alles wat nieuwer is, wordt gemeld met zijn oorspronkelijke tijdstempel.

Om het te testen hebben we de cursor van HP2 teruggezet. Het script diepte prompt een Uncorrectable PCI Express Error van 23 juli op die niemand ooit had opgemerkt:

IML HP2 CRIT: iLO log 2026-07-23 20:29:31 UTC [PCI Bus]: Uncorrectable PCI Express Error Detected.
              (Segment 0x0, Bus 0x1, Device 0x0, Function 0x2)

Eenmalig, nooit herhaald, maar precies het soort ding waar je van wilt weten. Twee details houden dit behapbaar: de eerste run zet alleen de cursor, zodat je niet het hele levensverhaal van je servers in de eerste mail krijgt. En de IML-klasse Network wordt standaard genegeerd, omdat HPE elke link-down als “Critical” logt, en dat gebeurt bij elke patch-reboot. (Tijdens het graven liet het IML ook zien dat alle drie de servers op 26 september op exact dezelfde seconde hun netwerklink verloren, 90 seconden lang. Dat zijn niet drie servers die falen, dat is één switch die herstart.)

📈 Het rapport

ilo-thermal-rapport: grafieken van aanzuiglucht, verschil achter-min-voor en fans voor drie servers over zeven dagen, met een waarschuwingsbanner voor een gesimuleerde warmteophoping bij HP2
Het rapport met een week synthetische demodata, inclusief een gesimuleerde ophoping achter HP2. De echte geschiedenis begint net.
  • Drie grafieken: aanzuiglucht (met de waarschuwingslijn), verschil achter-min-voor, fans. Eén meetwaarde per grafiek, geen misdaden met dubbele assen.
  • Tijdsbereiken 24 u / 7 / 30 / 90 dagen, hover-tooltips met alle servers op dat moment, gaten waar de collector uit stond.
  • Statustegels, een alertbanner en de alertgeschiedenis, inclusief ingehaalde IML-meldingen.
  • Licht en donker thema, één HTML-bestand, geen externe afhankelijkheden. Open het lokaal of zet het op een share.

📦 Pak het

Alles staat in de repo: github.com/aptupgrademe/ilo-thermal. Volledige documentatie in het Engels, Duits, Frans en Spaans: installatie, een read-only iLO-account (het Login-recht is alles wat het nodig heeft), elke configuratiesleutel, elke alertregel, troubleshooting en hoe je de twee sensornaampatronen aanpast aan andere ProLiant-modellen. Het rapport en de alerts spreken Engels of Duits.

git clone https://github.com/aptupgrademe/ilo-thermal.git ~/ilo-thermal
cd ~/ilo-thermal
cp ilo_thermal.conf.example ilo_thermal.conf && chmod 600 ilo_thermal.conf
# edit: iLO account, CA file, hosts, optional SMTP
./ilo_thermal.py collect && ./ilo_thermal.py report

# crontab
*/10 * * * * $HOME/ilo-thermal/run.sh
@reboot      sleep 120; $HOME/ilo-thermal/run.sh

⚠️ Disclaimer

Dit is een hobbyproject, gepubliceerd as is onder de MIT-licentie. Ik aanvaard geen aansprakelijkheid voor de correcte werking, voor gemiste of valse alerts, of voor enige schade aan hardware, data of wat dan ook als gevolg van het gebruik. Het vervangt niet de eigen thermische bescherming van je servers of een professioneel monitoringsysteem. Controleer de waarden altijd in de iLO voordat je erop handelt. Getest op iLO 5 met DL20 Gen10 Plus en MicroServer Gen10 Plus v2; al het andere is voor jouw rekening.

🎯 Conclusie

De iLO is een fantastische momentopname en een vreselijk geheugen. Een halve middag maakte van de momentopname een geschiedenis, en leerde me onderweg dat twee van mijn sensoren fictie rapporteren, dat de bovenkant van het rack altijd de warme plek is (vier graden warmer, in mijn geval) en dat de echte uitblaasindicator een verschil is, geen temperatuur. Nu is het herfst en is alles saai en groen. Volgende zomer heb ik een jaar aan data om mee te vergelijken. Daar draait het om. 🌡️📉

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details