Dziesięć luk w nginx, aktualizacja, która nigdy nie przyszła, i błędne release notes

Golem donosi o krytycznej luce w nginx, a ja myślę: „Przecież co noc chodzi dnf-automatic”. Jedno spojrzenie na serwer pokazuje: mój nginx nie był aktualizowany od tygodni – i nie była to jedyna usługa.

Komiks: w korytarzu centrum danych przyjazny robot serwisowy ładuje na swój taśmociąg tylko paczki z czerwoną pieczątką „SECURITY”; zielono świecąca paczka bez pieczątki leży zapomniana na podłodze, obok niej mały królik; mężczyzna z przerażeniem trzyma gazetę z wykrzyknikami i wskazuje na nią

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

W skrócie: 18 listopada nginx załatał dziesięć luk bezpieczeństwa, w tym uszkodzenie pamięci w HTTP/2 i błąd w HTTP/3. Mój blog działał wtedy jeszcze na podatnej wersji 1.31.8 – choć dnf-automatic co noc instaluje aktualizacje bezpieczeństwa. Powód: dnf-automatic instaluje u mnie tylko to, co repozytorium wyraźnie oznaczy jako aktualizację bezpieczeństwa, a repozytorium nginx nie oznacza niczego. To samo dotyczyło Grafany, jednego pakietu Ranchera i MariaDB. Teraz mały nocny job pobiera wszystkie aktualizacje dokładnie z tych repozytoriów producentów. Na Nextcloudach na pół dnia wyłączyłem HTTP/2 i czekałem na poprawiony kontroler Ingress – który w rzeczywistości był dostępny od dawna. Dlaczego to przeoczyłem, przeczytasz niżej.

Spis treści

📰 Wyzwalacz: nagłówek

W piątek rano Golem (artykuł tylko po niemiecku) pisał: miliony serwerów WWW zagrożone, luka w nginx pozwala na wykonanie kodu bez logowania. Moja pierwsza reakcja była spokojna. Mój blog działa na nginx, ale serwer co noc instaluje aktualizacje bezpieczeństwa przez dnf-automatic. Co mogłoby się stać?

Potem sprawdziłem. Na nginx.org wisiało dziesięć nowych komunikatów bezpieczeństwa, wszystkie z tą samą granicą: podatne do 1.31.8, poprawione w 1.31.9 (mainline) i 1.30.7 (stable). Trzy z nich trafiały dokładnie w to, czego używa mój blog:

LukaWagadotyczy mnie, bo …
Uszkodzenie pamięci w kontroli przepływu HTTP/2wysokablog mówi HTTP/2
Use-after-free w HTTP/3średniablog mówi HTTP/3
Nieskończona pętla przy odczycie przez TLS 1.3wysokakażde połączenie używa TLS 1.3

Pakiet leżał w repozytorium od dwóch dni. Zainstalowany nie był.

🔍 Przyczyna: „tylko aktualizacje bezpieczeństwa” znaczy „tylko oznaczone aktualizacje bezpieczeństwa”

dnf-automatic działa u mnie z upgrade_type = security. Brzmi rozsądnie: w nocy tylko to, co łata luki, a całą resztę robię świadomie sam. Ale skąd dnf wie, co jest aktualizacją bezpieczeństwa?

Z metadanych repozytorium. Repozytoria AlmaLinux dostarczają plik o nazwie updateinfo, w którym każda aktualizacja jest sklasyfikowana jako security, bugfix albo enhancement. dnf-automatic czyta ten plik i instaluje tylko to, co jest tam oznaczone jako security.

Repozytorium nginx.org nie ma tego pliku. Sprawdziłem: w metadanych są tylko listy pakietów, żadnego updateinfo. Dla dnf żadna aktualizacja nginx nie jest więc aktualizacją bezpieczeństwa, nawet ta z dziesięcioma załatanymi lukami. Po prostu czeka, aż ktoś ręcznie wywoła dnf upgrade.

W mojej własnej dokumentacji stało: „nginx, Grafana i wszystkie inne pakiety systemowe pochodzą ze swoich repozytoriów i są aktualizowane przez dnf-automatic”. W dobrej wierze, i nieprawda.

🧹 Nie tylko nginx

Kiedy przyczyna była jasna, sprawdziłem na swoich serwerach wszystkie repozytoria, które nie pochodzą od samego AlmaLinux:

RepozytoriumSerwerupdateinfo
nginx.org (mainline)Blogbrak
GrafanaBlog i Nextcloudybrak
Rancher (k3s-selinux)Nextcloudybrak
MariaDB CommunityNextcloudybrak

Cztery repozytoria producentów, żadne z oznaczeniami bezpieczeństwa. Wszystkie te pakiety doczekałyby się aktualizacji dopiero przy następnym ręcznym update’cie – także baza danych.

🛠️ Rozwiązanie: job tylko dla repozytoriów producentów

Najpierw to, co pilne: nginx na blogu podniesiony przez Ansible do 1.31.9, zrestartowany, sprawdzony. Ponieważ HTTP/3 już raz mi się zaciął po restarcie, zrobiłem potem 60 pobrań przez HTTP/3: 60 z 60 udanych.

Potem rozwiązanie na stałe. Producenci publikują swoje poprawki bezpieczeństwa jako zupełnie zwyczajne nowe wersje. Dlatego mały skrypt, update-vendor-repos, co noc pobiera wszystkie aktualizacje dokładnie z tych repozytoriów – i z żadnego innego:

dnf -y -q --disablerepo='*' --enablerepo="nginx-mainline,grafana" \
    --setopt=install_weak_deps=False upgrade

Które to repozytoria, określa zmienna Ansible dla każdego serwera. Job działa o 02:15, czyli po nocnym oknie dnf-automatic i przed dwiema rzeczami, które już istniały: o 03:45 skrypt restartuje wszystkie usługi, które mają jeszcze w pamięci stary kod programu, a o 04:00 AIDE przyjmuje zmienione pliki do swojej bazy referencyjnej. Mail przychodzi tylko wtedy, gdy coś zostało zaktualizowane albo wystąpił błąd, a heartbeat zgłasza, gdy job stanie.

Przy MariaDB chwilę się wahałem: automatyczna aktualizacja bazy danych oznacza nocny restart bazy. Repozytorium ustala serię (10.11), więc przychodzą tylko wersje z poprawkami. A za kwadrans czwarta w nocy nikt nie korzysta z Nextcloudów stowarzyszeń. Więc MariaDB też jest w zestawie.

Oczywistym innym rozwiązaniem byłoby ustawienie dnf-automatic na upgrade_type = default: wtedy co noc przychodzi każda aktualizacja, niezależnie od oznaczenia. Technicznie to jedna linijka, a restarty o 03:30 i 03:45 już istnieją. Mimo to zrezygnowałem. W nocy bez pytania przychodziłyby też zwykłe poprawki błędów i nowe funkcje, a przejście na nową wersję podrzędną AlmaLinux to setki pakietów naraz. Na Nextcloudach jądro, container-selinux albo pakiety sieciowe mogą wytrącić K3s z równowagi – a jeśli tak się stanie, to o wpół do czwartej, kiedy nikt nie patrzy, a nie w dzień aktualizacji, kiedy siedzę obok. Do tego dochodzą pakiety, których wersję Ansible celowo ustala, a które w nocy po prostu poszłyby dalej. Ukierunkowany job dla repozytoriów producentów zamyka lukę bez tych skutków ubocznych.

🧩 A Nextcloudy?

Nextcloudy działają na Kubernetesie, a tam nginx siedzi w kontenerach w dwóch miejscach:

  • Kontroler Ingress, który przyjmuje połączenia z internetu. Przynosi własnego nginx, a producent w chwili ujawnienia luki nie wydał jeszcze wersji z nginx 1.31.9 – nawet najnowsze wydanie z tego samego dnia zawierało jeszcze 1.31.8. Tak przynajmniej myślałem. Jako rozwiązanie tymczasowe wyłączyłem HTTP/2 na Ingressie: dzięki temu najpoważniejsza z dziesięciu luk, uszkodzenie pamięci w kontroli przepływu HTTP/2, nie jest już osiągalna z zewnątrz. Przeglądarki i klienty synchronizacji prawie tego nie zauważają, po cichu wracają do HTTP/1.1. HTTP/3 i tak był tam wyłączony. Mały skrypt miał co dwie godziny pytać GitHub, czy producent nadrobił zaległości. Wieczorem na obu Nextcloudach działał już kontroler 5.8.0 z nginx 1.31.9, a HTTP/2 był z powrotem włączony – o tym za chwilę.
  • nginx w podzie Nextclouda. Jest osiągalny tylko od środka, przez zwykłe HTTP – błędy HTTP/2, HTTP/3 i TLS w ogóle tam nie docierają. Mimo to go zaktualizowałem, z 1.30.6 do 1.30.7.

Skrypt-strażnik działa na moim serwerze domowym, nie na samych Nextcloudach. Czyta release notes ostatnich dziesięciu wersji kontrolera na GitHubie i szuka w nich dołączonej wersji nginx. Rdzeń to kilka linijek Pythona, tylko z biblioteką standardową:

FIXED = ((1, 31, 9), (1, 30, 7))      # pierwsza poprawiona mainline / stable

def fixed(v):
    v = tuple(int(x) for x in v.split("."))
    return v >= FIXED[0] or (v[:2] == FIXED[1][:2] and v >= FIXED[1])

rels = json.loads(get("https://api.github.com/repos/nginx/kubernetes-ingress/releases?per_page=10"))
for r in rels:
    if r.get("draft") or r.get("prerelease"):
        continue
    vers = re.findall(r"NGINX (?:OSS )?(?:to )?(1\.3[0-9]\.[0-9]+)", r.get("body") or "", re.I)
    if any(fixed(v) for v in vers):
        print(f"NAPRAWIONE: kontroler {r['tag_name']} zawiera nginx {vers[0]}")
        sys.exit(0)
sys.exit(1)                            # jeszcze nie

Mały skrypt powłoki wokół niego wysyła przy pierwszym trafieniu dokładnie jeden mail i zapamiętuje to w pliku, żeby ta sama wiadomość nie przychodziła co dwie godziny. Adres odbiorcy jest tylko we wpisie crontaba, nie w skrypcie:

# crontab -e  (jako zwykły użytkownik, bez roota)
7 */2 * * * WATCH_MAIL_TO=du@example.org $HOME/nginx-ingress-watch/run.sh

Takie strażniki są u mnie świadomie narzędziami jednorazowego użytku do dokładnie jednego pytania. Ten jednak nigdy by się nie odezwał. Skrypt nie jest źle napisany, on zadaje złe pytanie.

⏱️ Efekt uboczny: ile kosztuje powrót do HTTP/1.1?

Ponieważ test end-to-end co godzinę robi prawdziwą wizytę w obu Nextcloudach – logowanie, otwarcie dokumentu Word w Collabora, wylogowanie – mogłem zmierzyć, co wyłączenie HTTP/2 oznacza na co dzień. Z HTTP/1.1 przeglądarka musi pobierać wiele małych plików interfejsu przez kilka połączeń, zamiast przesyłać je zbiorczo przez jedno.

HTTP/2 był wyłączony 20 listopada mniej więcej od 14:55 do 20:40. Test mierzy czas całego przebiegu i, jako najważniejszą wartość, czas do momentu, gdy Collabora pokaże dokument:

z HTTP/2 (wcześniej)tylko HTTP/1.1 (7 przebiegów)Ocena
sofie, cały przebieg10,2–11,0 s10,8–11,5 sok. +0,5 s, około 5 %
sofie, dokument załadowany2,9–3,2 s3,0–3,4 sledwo mierzalne
cvjm, cały przebieg12,9–25,2 s18,1–44,5 sduży rozrzut
cvjm, dokument załadowany3,7–6,5 s4,0–13,2 sduży rozrzut

Na sofie, gdzie prawie nikt nie pracuje, różnica jest mała: nieco ponad pięć procent dla całego przebiegu, przy samym dokumencie prawie nic. Na cvjm liczb nie da się czysto przypisać. Już ostatni przebieg z HTTP/2 rano trwał 25 sekund, a odstający wynik 44 sekund po południu przypada na czas, w którym pracują tam członkowie stowarzyszenia. Przebieg o 20:00, jeszcze z HTTP/1.1, z 4 sekundami do dokumentu był znów tak szybki jak wcześniej. Przez kilka godzin HTTP/1.1 był więc akceptowalną ceną – na dłuższą metę i tak nie chciałbym tego tak zostawić.

🤦 Mój błąd w rozumowaniu: release notes to nie inwentaryzacja

Wieczorem jeszcze raz rozważałem, czy po prostu nie zbudować kontrolera samemu, z nginx 1.31.9. Kod źródłowy jest otwarty, więc pobrałem go w stanie wersji 5.8.0. W pierwszej linii Dockerfile’a stało:

ARG NGINX_OSS_VERSION=1.31.9

Nie 1.31.8, jak w release notes. Pobrałem więc gotowy, oficjalny obraz i zajrzałem do środka:

podman run --rm --entrypoint nginx docker.io/nginx/nginx-ingress:5.8.0 -v
# nginx version: nginx/1.31.9

Poprawiony kontroler był więc opublikowany od 18 listopada, jako obraz kontenera i jako Helm chart 2.9.0. W release notes jest linijka „Update NGINX to 1.31.8” – to był wcześniejszy pull request. Podniesienie do 1.31.9 przyszło dopiero tuż przed wydaniem, w zbiorczym commicie o nazwie „security hardening and minor bug fixes”. On też jest w notes, ale ani słowa o tym, że aktualizuje nginx.

Moim błędem było potraktowanie release notes jako dowodu. To podsumowanie, które ktoś utrzymuje ręcznie, a nie inwentaryzacja obrazu. Pytanie „Która wersja nginx siedzi w kontrolerze?” powinienem był zadać obrazowi, a nie tekstowi nad nim. Mój skrypt-strażnik popełnia ten sam błąd, tylko zautomatyzowany: przeszukuje release notes i czekałby do następnej wersji, może tygodniami.

Rozwiązaniem okazała się w końcu jedna jedyna linijka: podnieść Helm chart z 2.8.0 do 2.9.0 i z powrotem włączyć HTTP/2. Najpierw sofie, potem cvjm, a po każdym prawdziwy test end-to-end z logowaniem i dokumentem Word w Collabora. Oba przeszły, i oba Nextcloudy znów mówią HTTP/2.

Potem przebudowałem skrypt-strażnika. Druga wersja nie pyta już release notes, tylko przepis budowania obrazu: w każdym tagu wydania leży Dockerfile, a jedna jego linijka mówi, która wersja nginx trafia do obrazu. Nie trzeba nawet pobierać obrazu:

RAW = "https://raw.githubusercontent.com/nginx/kubernetes-ingress/{tag}/build/Dockerfile"

m = re.search(r"^ARG NGINX_OSS_VERSION=(\S+)", get(RAW.format(tag=tag)), re.M)
built = m.group(1)
if fixed(built):
    sys.exit(0)

Wynik pokazuje czarno na białym sprzeczność, którą przeoczyłem:

v5.8.0   2026-11-18  image: nginx 1.31.9   (release notes: 1.31.8)
v5.7.1   2026-11-05  image: nginx 1.31.8   (release notes: 1.31.8)
v5.7.0   2026-10-14  image: nginx 1.31.7   (release notes: -)

🎯 Podsumowanie: ufać dobrze, sprawdzać lepiej

  • „Automatyczne aktualizacje bezpieczeństwa” działają tylko dla repozytoriów, które takie aktualizacje faktycznie oznaczają. Przy każdym obcym repozytorium warto zajrzeć do metadanych: jeśli brakuje updateinfo, w nocy nic stamtąd nie przyjdzie.
  • Najgroźniejsze luki często siedzą właśnie w obcych repozytoriach. nginx, baza danych, monitoring – to usługi, które świadomie bierze się z repozytoriów producentów, bo mają być bardziej aktualne.
  • Nagłówek w wiadomościach to dobry pretekst, żeby sprawdzić własne założenia. Bez artykułu na Golemie luka wyszłaby na jaw dopiero przy następnej ręcznej aktualizacji.
  • Release notes to nie inwentaryzacja. Czy luka w obrazie jest załatana, mówi tylko sam obraz: nginx -v w kontenerze zajmuje dziesięć sekund.
  • Dokumentacja może się mylić, także twoja własna. Zdanie „jest aktualizowany przez dnf-automatic” przez miesiące stało w mojej dokumentacji operacyjnej i dawało dobre samopoczucie.

📚 Powiązane wpisy:

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły