Tien nginx-lekken, een update die nooit kwam en release notes die niet klopten

Golem meldt een kritiek nginx-lek en ik denk: „Er draait toch elke nacht dnf-automatic.” Eén blik op de server laat zien: mijn nginx was al weken niet bijgewerkt – en het was niet de enige dienst.

Strip: in een gang van het datacenter laadt een vriendelijke onderhoudsrobot alleen pakketten met een rode „SECURITY”-stempel op zijn lopende band; een groen oplichtend pakket zonder stempel ligt vergeten op de grond, met een klein konijn ernaast; de man houdt geschrokken een krant met uitroeptekens vast en wijst ernaar

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

In het kort: Op 18 november heeft nginx tien beveiligingslekken gedicht, waaronder geheugencorruptie in HTTP/2 en een fout in HTTP/3. Mijn blog draaide toen nog op de kwetsbare versie 1.31.8 – hoewel dnf-automatic elke nacht beveiligingsupdates installeert. De reden: dnf-automatic installeert bij mij alleen wat een repository uitdrukkelijk als beveiligingsupdate markeert, en de nginx-repository markeert helemaal niets. Hetzelfde gold voor Grafana, voor een Rancher-pakket en voor MariaDB. Nu haalt een kleine nachtelijke job alle updates uit precies deze vendor-repo’s. Op de Nextclouds heb ik HTTP/2 een halve dag uitgezet en gewacht op een gecorrigeerde ingress-controller – die er in werkelijkheid allang was. Waarom ik dat over het hoofd zag, lees je verderop.

Inhoud

📰 De aanleiding: een krantenkop

Op vrijdagochtend stond bij Golem (artikel alleen in het Duits): miljoenen webservers in gevaar, nginx-lek maakt code-uitvoering zonder inloggen mogelijk. Mijn eerste reactie was ontspannen. Mijn blog draait op nginx, maar de server installeert elke nacht met dnf-automatic beveiligingsupdates. Wat kan er nou gebeuren?

Toen ben ik gaan kijken. Op nginx.org stonden tien nieuwe beveiligingsadviezen, allemaal met dezelfde grens: kwetsbaar tot en met 1.31.8, opgelost in 1.31.9 (mainline) en 1.30.7 (stable). Drie daarvan raakten precies wat mijn blog gebruikt:

LekErnstraakt mij, omdat …
Geheugencorruptie in de HTTP/2-flow controlhoogde blog HTTP/2 spreekt
Use-after-free in HTTP/3middelde blog HTTP/3 spreekt
Oneindige lus bij het lezen via TLS 1.3hoogelke verbinding TLS 1.3 gebruikt

Het pakket stond al twee dagen in de repository. Geïnstalleerd was het niet.

🔍 De oorzaak: „alleen beveiligingsupdates” betekent „alleen gemarkeerde beveiligingsupdates”

dnf-automatic draait bij mij met upgrade_type = security. Dat klinkt verstandig: ’s nachts alleen wat lekken dicht, al het andere doe ik bewust zelf. Maar hoe weet dnf wat een beveiligingsupdate is?

Uit de metadata van de repository. De AlmaLinux-repo’s leveren een bestand mee dat updateinfo heet, waarin elke update is ingedeeld als security, bugfix of enhancement. dnf-automatic leest dit bestand en installeert alleen wat daar als security staat.

De repository van nginx.org heeft dit bestand niet. Ik heb het gecontroleerd: in de metadata staan alleen de pakketlijsten, geen updateinfo. Voor dnf is daarmee geen enkele nginx-update een beveiligingsupdate, ook niet die met tien gedichte lekken. Hij wacht gewoon tot iemand met de hand dnf upgrade uitvoert.

In mijn eigen documentatie stond: „nginx, Grafana en alle andere systeempakketten komen uit hun repository’s en worden door dnf-automatic bijgewerkt.” Goed bedoeld, en fout.

🧹 Niet alleen nginx

Toen de oorzaak duidelijk was, heb ik alle repository’s op mijn servers gecontroleerd die niet van AlmaLinux zelf komen:

RepositoryServerupdateinfo
nginx.org (mainline)Blogontbreekt
GrafanaBlog en Nextcloudsontbreekt
Rancher (k3s-selinux)Nextcloudsontbreekt
MariaDB CommunityNextcloudsontbreekt

Vier vendor-repo’s, geen enkele met beveiligingsmarkering. Al deze pakketten waren pas bij de volgende handmatige update aan de beurt geweest – ook de database.

🛠️ De oplossing: een job alleen voor vendor-repo’s

Eerst het acute probleem: nginx op de blog via Ansible naar 1.31.9 gebracht, herstart, gecontroleerd. Omdat HTTP/3 bij mij al eens haperde na een herstart, heb ik daarna 60 verzoeken via HTTP/3 gedaan: 60 van de 60 geslaagd.

Dan de blijvende oplossing. De vendors publiceren hun beveiligingsfixes als heel gewone nieuwe versies. Dus haalt een klein script, update-vendor-repos, elke nacht alle updates uit precies deze repository’s – en uit geen enkele andere:

dnf -y -q --disablerepo='*' --enablerepo="nginx-mainline,grafana" \
    --setopt=install_weak_deps=False upgrade

Welke repo’s dat zijn, staat in een Ansible-variabele per server. De job draait om 02:15, dus na het nachtelijke dnf-automatic-venster en vóór twee dingen die er al waren: om 03:45 herstart een script alle diensten die nog oude programmacode in het geheugen hebben, en om 04:00 neemt AIDE de gewijzigde bestanden op in zijn referentie. Er komt alleen een mail als er iets is bijgewerkt of als er een fout optrad, en een heartbeat meldt het wanneer de job blijft hangen.

Bij MariaDB heb ik even getwijfeld: een automatische database-update betekent een nachtelijke herstart van de database. De repository legt de reeks vast (10.11), dus er komen alleen patchversies. En om kwart voor vier ’s nachts gebruikt niemand de Nextclouds van de verenigingen. Dus MariaDB doet mee.

De voor de hand liggende andere oplossing was geweest om dnf-automatic op upgrade_type = default te zetten: dan komt elke nacht elke update binnen, hoe die ook gemarkeerd is. Technisch is dat één regel, en de herstarts om 03:30 en 03:45 bestaan al. Toch heb ik dat niet gedaan. Dan komen ’s nachts ook gewone bugfixes en nieuwe functies ongevraagd binnen, en de sprong naar een nieuwe AlmaLinux-minorversie betekent honderden pakketten in één keer. Op de Nextclouds kunnen de kernel, container-selinux of netwerkpakketten K3s uit balans brengen – en als dat gebeurt, dan om half vier als niemand kijkt, niet op de updatedag als ik ernaast zit. Daar komen pakketten bij waarvan Ansible bewust de versie vastlegt en die ’s nachts gewoon zouden doorschuiven. De gerichte job voor de leveranciersrepo’s dicht het gat zonder dat ik die bijwerkingen erbij krijg.

🧩 En de Nextclouds?

De Nextclouds draaien op Kubernetes, en daar zit nginx op twee plekken in containers:

  • De ingress-controller, die de verbindingen vanuit het internet aanneemt. Hij brengt zijn eigen nginx mee, en de vendor had op het moment van het lek nog geen versie met nginx 1.31.9 uitgebracht – ook de nieuwste uitgave van dezelfde dag bevatte nog 1.31.8. Dacht ik tenminste. Als tijdelijke oplossing heb ik HTTP/2 op de ingress uitgezet: daarmee is het ernstigste van de tien lekken, de geheugencorruptie in de HTTP/2-flow control, van buitenaf niet meer bereikbaar. Browsers en sync-clients merken daar nauwelijks iets van, ze vallen stilletjes terug op HTTP/1.1. HTTP/3 stond daar sowieso uit. Een klein script zou elke twee uur bij GitHub navragen of de vendor bij was. ’s Avonds draaide toen controller 5.8.0 met nginx 1.31.9 op beide Nextclouds, en HTTP/2 stond weer aan – daarover zo meer.
  • De nginx in de Nextcloud-pod. Die is alleen van binnenuit bereikbaar, via gewoon HTTP – de HTTP/2-, HTTP/3- en TLS-fouten komen daar helemaal niet aan. Bijgewerkt heb ik hem toch, van 1.30.6 naar 1.30.7.

Het waakhondscript draait op mijn thuisserver, niet op de Nextclouds zelf. Het leest de release notes van de laatste tien controllerversies op GitHub en zoekt daarin de meegeleverde nginx-versie. De kern is een paar regels Python, alleen met de standaardbibliotheek:

FIXED = ((1, 31, 9), (1, 30, 7))      # eerste gerepareerde mainline / stable

def fixed(v):
    v = tuple(int(x) for x in v.split("."))
    return v >= FIXED[0] or (v[:2] == FIXED[1][:2] and v >= FIXED[1])

rels = json.loads(get("https://api.github.com/repos/nginx/kubernetes-ingress/releases?per_page=10"))
for r in rels:
    if r.get("draft") or r.get("prerelease"):
        continue
    vers = re.findall(r"NGINX (?:OSS )?(?:to )?(1\.3[0-9]\.[0-9]+)", r.get("body") or "", re.I)
    if any(fixed(v) for v in vers):
        print(f"GEREPAREERD: controller {r['tag_name']} bevat nginx {vers[0]}")
        sys.exit(0)
sys.exit(1)                            # nog niet

Een klein shellscript eromheen stuurt bij de eerste treffer precies één mail en onthoudt dat in een bestand, zodat er niet elke twee uur hetzelfde bericht komt. Het ontvangstadres staat alleen in de crontab-regel, niet in het script:

# crontab -e  (als gewone gebruiker, geen root nodig)
7 */2 * * * WATCH_MAIL_TO=du@example.org $HOME/nginx-ingress-watch/run.sh

Zulke waakhonden zijn bij mij bewust wegwerpgereedschap voor precies één vraag. Deze hier had echter nooit aangeslagen. Het script is niet verkeerd geprogrammeerd, het stelt de verkeerde vraag.

⏱️ Bijwerking: wat kost de terugval naar HTTP/1.1?

Omdat een end-to-end-test elk uur een echt bezoek aan beide Nextclouds brengt – inloggen, een Word-document in Collabora openen, uitloggen –, kon ik meten wat het uitzetten van HTTP/2 in de praktijk betekent. Met HTTP/1.1 moet de browser de vele kleine bestanden van de interface via meerdere verbindingen ophalen, in plaats van ze gebundeld over één verbinding te sturen.

HTTP/2 stond op 20 november van ongeveer 14:55 tot 20:40 uur uit. De test meet de duur van de hele doorloop en, als belangrijkste waarde, de tijd tot Collabora het document toont:

met HTTP/2 (vooraf)alleen HTTP/1.1 (7 runs)Inschatting
sofie, hele doorloop10,2–11,0 s10,8–11,5 songeveer +0,5 s, zo’n 5 %
sofie, document geladen2,9–3,2 s3,0–3,4 snauwelijks meetbaar
cvjm, hele doorloop12,9–25,2 s18,1–44,5 ssterke spreiding
cvjm, document geladen3,7–6,5 s4,0–13,2 ssterke spreiding

Bij sofie, waar nauwelijks iemand werkt, is het verschil klein: ruim vijf procent voor de hele doorloop, bij het document zelf bijna niets. Bij cvjm zijn de cijfers niet netjes toe te wijzen. Al de laatste run met HTTP/2 ’s ochtends duurde 25 seconden, en de uitschieter van 44 seconden in de middag valt in de tijd waarin daar verenigingsleden werken. De run om 20 uur, nog met HTTP/1.1, was met 4 seconden voor het document weer net zo snel als daarvoor. Voor een paar uur was HTTP/1.1 dus een acceptabele prijs – op de lange termijn had ik het toch niet zo willen laten.

🤦 Mijn denkfout: release notes zijn geen inventaris

’s Avonds heb ik nog eens overwogen de controller gewoon zelf te bouwen, met nginx 1.31.9. De broncode is open, dus heb ik hem op de stand van versie 5.8.0 gedownload. In de eerste regel van de Dockerfile stond:

ARG NGINX_OSS_VERSION=1.31.9

Niet 1.31.8, zoals in de release notes. Dus heb ik de kant-en-klare, officiële image opgehaald en erin gekeken:

podman run --rm --entrypoint nginx docker.io/nginx/nginx-ingress:5.8.0 -v
# nginx version: nginx/1.31.9

De gecorrigeerde controller was dus sinds 18 november gepubliceerd, als containerimage en als Helm-chart 2.9.0. In de release notes staat de regel „Update NGINX to 1.31.8” – dat was een eerdere pull request. De verhoging naar 1.31.9 kwam pas vlak voor de release, in een verzamelcommit met de naam „security hardening and minor bug fixes”. Die staat ook wel in de notes, maar met geen woord over het feit dat hij nginx bijwerkt.

Mijn fout was dat ik de release notes als bewijs nam. Ze zijn een samenvatting die iemand met de hand bijhoudt, geen inventaris van de image. De vraag „Welke nginx-versie zit er in de controller?” had ik aan de image moeten stellen, niet aan de tekst erboven. Mijn waakhondscript maakt dezelfde fout, alleen geautomatiseerd: het doorzoekt de release notes en had tot de volgende versie gewacht, misschien wekenlang.

De oplossing was uiteindelijk één enkele regel: Helm-chart van 2.8.0 naar 2.9.0 verhogen en HTTP/2 weer aanzetten. Eerst sofie, dan cvjm, daarna telkens een echte end-to-end-test met inloggen en een Word-document in Collabora. Beide liepen goed, en beide Nextclouds spreken weer HTTP/2.

Daarna heb ik het bewakingsscript omgebouwd. De tweede versie vraagt niet meer de release notes, maar het bouwrecept van de image: in elke release-tag staat een Dockerfile, en één regel daarin zegt welke nginx-versie in de image komt. De image hoeft daarvoor niet eens gedownload te worden:

RAW = "https://raw.githubusercontent.com/nginx/kubernetes-ingress/{tag}/build/Dockerfile"

m = re.search(r"^ARG NGINX_OSS_VERSION=(\S+)", get(RAW.format(tag=tag)), re.M)
built = m.group(1)
if fixed(built):
    sys.exit(0)

De uitvoer laat zwart op wit de tegenspraak zien die ik over het hoofd had gezien:

v5.8.0   2026-11-18  image: nginx 1.31.9   (release notes: 1.31.8)
v5.7.1   2026-11-05  image: nginx 1.31.8   (release notes: 1.31.8)
v5.7.0   2026-10-14  image: nginx 1.31.7   (release notes: -)

🎯 Conclusie: vertrouwen is goed, controleren is beter

  • „Automatische beveiligingsupdates” gelden alleen voor repo’s die beveiligingsupdates ook markeren. Voor elke externe repo loont een blik in de metadata: ontbreekt updateinfo, dan komt daar ’s nachts niets binnen.
  • De gevaarlijkste lekken zitten vaak juist in de externe repo’s. nginx, database, monitoring – dat zijn de diensten die je bewust uit vendor-repo’s haalt, omdat ze actueler moeten zijn.
  • Een krantenkop is een goede aanleiding om je eigen aannames te toetsen. Zonder het Golem-artikel was het lek pas bij de volgende handmatige update opgevallen.
  • Release notes zijn geen inventaris. Of een lek in een image gedicht is, vertelt alleen de image zelf: nginx -v in de container kost tien seconden.
  • Documentatie kan fout zijn, ook je eigen. De zin „wordt door dnf-automatic bijgewerkt” stond maandenlang in mijn beheerdocumentatie en voelde goed.

📚 Gerelateerde berichten:

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details