Zehn nginx-Lücken, ein Update, das nie kam, und Release Notes, die nicht stimmten

Golem meldet eine kritische nginx-Lücke, ich denke: „Läuft doch jede Nacht dnf-automatic.“ Ein Blick auf den Server zeigt: Mein nginx war seit Wochen nicht aktualisiert worden – und es war nicht der einzige Dienst.

Comic: Im Rechenzentrums-Gang lädt ein freundlicher Wartungsroboter nur Pakete mit rotem „SECURITY“-Stempel auf sein Förderband; ein grün leuchtendes Paket ohne Stempel liegt vergessen auf dem Boden, ein kleiner Hase daneben; der Mann hält entsetzt eine Zeitung mit Ausrufezeichen und zeigt darauf

🌐 Auch auf: English · Français · Español · Italiano · Português · Nederlands · Polski

Kurz gesagt: Am 18. November hat nginx zehn Sicherheitslücken geschlossen, darunter eine Speicherbeschädigung in HTTP/2 und einen Fehler in HTTP/3. Mein Blog lief da noch auf der verwundbaren Version 1.31.8 – obwohl dnf-automatic jede Nacht Sicherheitsupdates einspielt. Der Grund: dnf-automatic installiert bei mir nur, was ein Repository ausdrücklich als Sicherheitsupdate markiert, und das nginx-Repository markiert gar nichts. Dasselbe galt für Grafana, für ein Rancher-Paket und für MariaDB. Jetzt holt ein kleiner nächtlicher Job alle Updates genau aus diesen Hersteller-Repos. Auf den Nextclouds habe ich HTTP/2 einen halben Tag lang abgeschaltet und auf einen korrigierten Ingress-Controller gewartet – der war in Wahrheit längst da. Warum ich das übersehen habe, steht weiter unten.

Inhaltsverzeichnis

📰 Der Auslöser: eine Schlagzeile

Am Freitagmorgen stand bei Golem: Millionen Webserver gefährdet, nginx-Lücke erlaubt Codeausführung ohne Anmeldung. Meine erste Reaktion war entspannt. Mein Blog läuft auf nginx, aber der Server spielt jede Nacht mit dnf-automatic Sicherheitsupdates ein. Was soll da passieren?

Dann habe ich nachgesehen. Auf nginx.org standen zehn neue Sicherheitshinweise, alle mit derselben Grenze: verwundbar bis 1.31.8, behoben in 1.31.9 (Mainline) und 1.30.7 (Stable). Drei davon trafen genau das, was mein Blog benutzt:

LückeSchwerebetrifft mich, weil …
Speicherbeschädigung in der HTTP/2-Flusskontrollehochder Blog HTTP/2 spricht
Use-after-free in HTTP/3mittelder Blog HTTP/3 spricht
Endlosschleife beim Lesen über TLS 1.3hochjede Verbindung TLS 1.3 nutzt

Das Paket lag seit zwei Tagen im Repository. Installiert war es nicht.

🔍 Die Ursache: „nur Sicherheitsupdates“ heißt „nur markierte Sicherheitsupdates“

dnf-automatic läuft bei mir mit upgrade_type = security. Das klingt vernünftig: nachts nur das, was Lücken schließt, alles andere mache ich bewusst selbst. Woher weiß dnf aber, was ein Sicherheitsupdate ist?

Aus den Metadaten des Repositorys. Die AlmaLinux-Repos liefern eine Datei namens updateinfo mit, in der jedes Update als security, bugfix oder enhancement eingestuft ist. dnf-automatic liest diese Datei und installiert nur, was dort als security steht.

Das Repository von nginx.org hat diese Datei nicht. Ich habe nachgesehen: In den Metadaten stehen nur die Paketlisten, kein updateinfo. Für dnf ist damit kein einziges nginx-Update ein Sicherheitsupdate, auch nicht das mit zehn geschlossenen Lücken. Es wartet einfach, bis jemand von Hand dnf upgrade aufruft.

In meiner eigenen Doku stand: „nginx, Grafana und alle anderen Systempakete kommen aus ihren Repositorys und werden von dnf-automatic aktualisiert.“ Das war gut gemeint und falsch.

🧹 Nicht nur nginx

Als die Ursache klar war, habe ich alle Repositorys auf meinen Servern geprüft, die nicht von AlmaLinux selbst kommen:

RepositoryServerupdateinfo
nginx.org (Mainline)Blogfehlt
GrafanaBlog und Nextcloudsfehlt
Rancher (k3s-selinux)Nextcloudsfehlt
MariaDB CommunityNextcloudsfehlt

Vier Hersteller-Repos, keins mit Sicherheitsmarkierung. Alle diese Pakete wären erst beim nächsten manuellen Update dran gewesen – auch die Datenbank.

🛠️ Die Lösung: ein Job nur für Hersteller-Repos

Erst das Akute: nginx auf dem Blog per Ansible auf 1.31.9 gehoben, neu gestartet, geprüft. Weil HTTP/3 bei mir schon einmal nach einem Neustart gehakt hat, habe ich danach 60 Abrufe über HTTP/3 gemacht: 60 von 60 erfolgreich.

Dann die dauerhafte Lösung. Die Hersteller veröffentlichen ihre Sicherheitsfixes als ganz normale neue Versionen. Also nimmt ein kleines Skript, update-vendor-repos, jede Nacht alle Updates aus genau diesen Repositorys – und aus keinem anderen:

dnf -y -q --disablerepo='*' --enablerepo="nginx-mainline,grafana" \
    --setopt=install_weak_deps=False upgrade

Welche Repos das sind, steht in einer Ansible-Variable pro Server. Der Job läuft um 02:15, also nach dem nächtlichen dnf-automatic-Fenster und vor zwei Dingen, die es schon gab: Um 03:45 startet ein Skript alle Dienste neu, die noch alten Programmcode im Speicher haben, und um 04:00 übernimmt AIDE die geänderten Dateien in seine Referenz. Eine Mail kommt nur, wenn etwas aktualisiert wurde oder ein Fehler auftrat, und ein Heartbeat meldet, wenn der Job stehen bleibt.

Bei MariaDB habe ich kurz gezögert: Ein automatisches Datenbank-Update bedeutet einen nächtlichen Neustart der Datenbank. Das Repository legt die Serie fest (10.11), es kommen also nur Patch-Versionen. Und nachts um Viertel vor vier benutzt niemand die Nextclouds der Vereine. Also ist MariaDB mit dabei.

Naheliegend wäre auch die andere Lösung gewesen: dnf-automatic einfach auf upgrade_type = default stellen, dann kommt jede Nacht jedes Update, egal wie es markiert ist. Technisch ist das eine einzige Zeile, und die Neustarts um 03:30 und 03:45 gäbe es schon. Ich habe mich trotzdem dagegen entschieden. Dann kommen nachts auch reine Fehlerbehebungen und neue Funktionen ungefragt, und beim Sprung auf eine neue AlmaLinux-Unterversion sind das auf einen Schlag Hunderte Pakete. Auf den Nextclouds können Kernel, container-selinux oder Netzwerk-Pakete K3s aus dem Tritt bringen – und wenn das passiert, dann um halb vier, wenn keiner zuschaut, statt am Update-Tag, wenn ich danebensitze. Dazu kämen Pakete, deren Version Ansible bewusst festlegt und die nachts einfach weiterlaufen würden. Der gezielte Job für die Hersteller-Repos schließt die Lücke, ohne mir diese Nebenwirkungen einzuhandeln.

🧩 Und die Nextclouds?

Die Nextclouds laufen auf Kubernetes, dort steckt nginx an zwei Stellen in Containern:

  • Der Ingress-Controller, der die Verbindungen aus dem Internet annimmt. Er bringt seinen eigenen nginx mit, und der Hersteller hatte zum Zeitpunkt der Lücke noch keine Version mit nginx 1.31.9 veröffentlicht – auch die neueste Ausgabe vom selben Tag enthielt noch 1.31.8. Dachte ich jedenfalls. Als vorübergehende Lösung habe ich HTTP/2 am Ingress abgeschaltet: Damit ist die schwerste der zehn Lücken, die Speicherbeschädigung in der HTTP/2-Flusskontrolle, von außen nicht mehr erreichbar. Browser und Sync-Clients merken davon kaum etwas, sie fallen still auf HTTP/1.1 zurück. HTTP/3 war dort ohnehin aus. Ein kleines Skript sollte alle zwei Stunden bei GitHub nachfragen, ob der Hersteller nachgezogen hat. Am Abend lief dann der Controller 5.8.0 mit nginx 1.31.9 auf beiden Nextclouds, und HTTP/2 war wieder an – dazu gleich mehr.
  • Der nginx im Nextcloud-Pod. Er ist nur von innen erreichbar, über einfaches HTTP – die HTTP/2-, HTTP/3- und TLS-Fehler kommen dort gar nicht an. Aktualisiert habe ich ihn trotzdem, von 1.30.6 auf 1.30.7.

Das Wächter-Skript läuft auf meinem Heimserver, nicht auf den Nextclouds selbst. Es liest die Release Notes der letzten zehn Controller-Versionen auf GitHub und sucht darin die mitgelieferte nginx-Version. Der Kern sind wenige Zeilen Python, nur mit der Standardbibliothek:

FIXED = ((1, 31, 9), (1, 30, 7))      # erste korrigierte Mainline / Stable

def fixed(v):
    v = tuple(int(x) for x in v.split("."))
    return v >= FIXED[0] or (v[:2] == FIXED[1][:2] and v >= FIXED[1])

rels = json.loads(get("https://api.github.com/repos/nginx/kubernetes-ingress/releases?per_page=10"))
for r in rels:
    if r.get("draft") or r.get("prerelease"):
        continue
    vers = re.findall(r"NGINX (?:OSS )?(?:to )?(1\.3[0-9]\.[0-9]+)", r.get("body") or "", re.I)
    if any(fixed(v) for v in vers):
        print(f"KORRIGIERT: Controller {r['tag_name']} bringt nginx {vers[0]} mit")
        sys.exit(0)
sys.exit(1)                            # noch nicht

Ein kleines Shell-Skript drumherum schickt beim ersten Treffer genau eine Mail und merkt sich das in einer Datei, damit nicht alle zwei Stunden dieselbe Nachricht kommt. Die Empfängeradresse steht nur im Crontab-Eintrag, nicht im Skript:

# crontab -e  (als normaler Benutzer, kein root nötig)
7 */2 * * * WATCH_MAIL_TO=du@example.org $HOME/nginx-ingress-watch/run.sh

Solche Wächter sind bei mir bewusst Wegwerf-Werkzeuge für genau eine Frage. Dieser hier hätte allerdings nie angeschlagen. Das Skript ist nicht falsch programmiert, es stellt die falsche Frage.

⏱️ Nebenwirkung: Was kostet der Rückfall auf HTTP/1.1?

Weil ein End-to-End-Test jede Stunde einen echten Besuch in beiden Nextclouds macht – anmelden, ein Word-Dokument in Collabora öffnen, abmelden –, konnte ich messen, was das Abschalten von HTTP/2 im Alltag bedeutet. Mit HTTP/1.1 muss der Browser die vielen kleinen Dateien der Oberfläche über mehrere Verbindungen holen, statt sie gebündelt über eine zu schicken.

HTTP/2 war am 20. November von etwa 14:55 bis 20:40 Uhr aus. Der Test misst die Dauer des ganzen Durchlaufs und, als wichtigsten Wert, die Zeit, bis Collabora das Dokument zeigt:

mit HTTP/2 (vorher)nur HTTP/1.1 (7 Läufe)Einschätzung
sofie, ganzer Durchlauf10,2–11,0 s10,8–11,5 setwa +0,5 s, rund 5 %
sofie, Dokument geladen2,9–3,2 s3,0–3,4 skaum messbar
cvjm, ganzer Durchlauf12,9–25,2 s18,1–44,5 sstreut stark
cvjm, Dokument geladen3,7–6,5 s4,0–13,2 sstreut stark

Bei sofie, wo kaum jemand arbeitet, ist der Unterschied klein: gut fünf Prozent für den ganzen Durchlauf, beim Dokument selbst fast nichts. Bei cvjm lassen sich die Zahlen nicht sauber zuordnen. Schon der letzte Lauf mit HTTP/2 am Morgen dauerte 25 Sekunden, und der Ausreißer mit 44 Sekunden am Nachmittag fällt in die Zeit, in der dort Vereinsmitglieder arbeiten. Der Lauf um 20 Uhr, noch mit HTTP/1.1, war mit 4 Sekunden für das Dokument wieder so schnell wie vorher. Für ein paar Stunden war HTTP/1.1 also ein vertretbarer Preis – auf Dauer hätte ich es trotzdem nicht so lassen wollen.

🤦 Mein Denkfehler: Release Notes sind keine Inventur

Am Abend habe ich noch einmal überlegt, den Controller einfach selbst zu bauen, mit nginx 1.31.9. Der Quellcode ist offen, also habe ich ihn auf dem Stand von Version 5.8.0 heruntergeladen. In der ersten Zeile des Dockerfiles stand:

ARG NGINX_OSS_VERSION=1.31.9

Nicht 1.31.8, wie in den Release Notes. Also habe ich das fertige, offizielle Image geholt und hineingeschaut:

podman run --rm --entrypoint nginx docker.io/nginx/nginx-ingress:5.8.0 -v
# nginx version: nginx/1.31.9

Der korrigierte Controller war also seit dem 18. November veröffentlicht, als Container-Image und als Helm-Chart 2.9.0. In den Release Notes steht die Zeile „Update NGINX to 1.31.8“ – das war ein früherer Pull Request. Die Anhebung auf 1.31.9 kam erst kurz vor der Veröffentlichung, in einem Sammel-Commit namens „security hardening and minor bug fixes“. Der steht zwar auch in den Notes, aber kein Wort darüber, dass er nginx aktualisiert.

Mein Fehler war, die Release Notes als Beweis zu nehmen. Sie sind eine Zusammenfassung, die jemand von Hand pflegt, keine Inventur des Images. Die Frage „Welche nginx-Version steckt im Controller?“ hätte ich dem Image stellen müssen, nicht dem Text darüber. Mein Wächter-Skript hat denselben Fehler, nur automatisiert: Es durchsucht die Release Notes und hätte bis zur nächsten Version gewartet, vielleicht wochenlang.

Die Lösung war am Ende eine einzige Zeile: Helm-Chart von 2.8.0 auf 2.9.0 anheben und HTTP/2 wieder einschalten. Erst sofie, dann cvjm, danach je ein echter End-to-End-Test mit Anmeldung und Word-Dokument in Collabora. Beides lief, und beide Nextclouds sprechen wieder HTTP/2.

Den Wächter habe ich danach umgebaut. Die zweite Fassung fragt nicht mehr die Release Notes, sondern das Bau-Rezept des Images: In jedem Release-Tag liegt ein Dockerfile, und dort steht in einer Zeile, welche nginx-Version hineinkommt. Das Image muss dafür nicht einmal heruntergeladen werden:

RAW = "https://raw.githubusercontent.com/nginx/kubernetes-ingress/{tag}/build/Dockerfile"

m = re.search(r"^ARG NGINX_OSS_VERSION=(\S+)", get(RAW.format(tag=tag)), re.M)
built = m.group(1)
if fixed(built):
    sys.exit(0)

Die Ausgabe zeigt den Widerspruch, den ich übersehen hatte, schwarz auf weiß:

v5.8.0   2026-11-18  image: nginx 1.31.9   (release notes: 1.31.8)
v5.7.1   2026-11-05  image: nginx 1.31.8   (release notes: 1.31.8)
v5.7.0   2026-10-14  image: nginx 1.31.7   (release notes: -)

🎯 Fazit: Vertrauen ist gut, nachsehen ist besser

  • „Automatische Sicherheitsupdates“ gelten nur für Repos, die Sicherheitsupdates auch markieren. Für jedes Fremd-Repo lohnt ein Blick in die Metadaten: Fehlt updateinfo, kommt dort nachts nichts an.
  • Die gefährlichsten Lücken liegen oft genau in den Fremd-Repos. nginx, Datenbank, Monitoring – das sind die Dienste, die man bewusst aus Hersteller-Repos holt, weil sie aktueller sein sollen.
  • Eine Schlagzeile ist ein guter Anlass, die eigenen Annahmen zu prüfen. Ohne den Golem-Artikel wäre die Lücke erst beim nächsten manuellen Update aufgefallen.
  • Release Notes sind keine Inventur. Ob eine Lücke in einem Image geschlossen ist, sagt nur das Image selbst: nginx -v im Container dauert zehn Sekunden.
  • Doku kann falsch sein, auch die eigene. Der Satz „wird von dnf-automatic aktualisiert“ stand monatelang in meiner Betriebsdoku und hat sich gut angefühlt.

📚 Verwandte Beiträge:

Einige Texte und Bilder auf dieser Seite sind KI-gestützt oder KI-generiert. Details