HTTP/3 dla mojego bloga i Nextclouda: jeden przełącznik, dwa ukryte hamulce i co pokazują pomiary

HTTP/3 na moim ingressie Kubernetes: jak działa bez oficjalnej opcji, co go na początku spowalniało – i dlaczego po jednym dniu wyłączyłem go z powrotem z powodu wiszących połączeń.

HTTP/3 wyłączony

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Aktualizacja z 6 listopada 2026: HTTP/3 znowu tu działa, z nginx mainline i quic_bpf. Cała historia jest we wpisie o migracji.

Aktualizacja, 4 listopada 2026: HTTP/3 jest znowu wyłączony na wszystkich moich serwerach. Powód znajdziesz na końcu tego wpisu.

Wielu użytkowników moich instancji Nextcloud korzysta z telefonów. Dokładnie do tego stworzono HTTP/3: działa na QUIC zamiast TCP, potrzebuje o jeden round trip mniej do zestawienia połączenia, lepiej radzi sobie z utratą pakietów i potrafi utrzymać połączenie, gdy telefon przełącza się z Wi-Fi na dane komórkowe. Moim celem nie było jednak „mieć HTTP/3”, tylko: HTTP/3 tylko wtedy, gdy mierzalnie pomaga – większa przepustowość albo stabilniejsze połączenie w słabej sieci.

Ten wpis opisuje, jak go włączyłem, jak udowadniam, że naprawdę działa – oraz dwa hamulce, przez które HTTP/3 był na początku wyraźnie wolniejszy niż HTTP/2.

Spis treści

🧒 Dla osób spoza IT: czym jest HTTP – i skąd nagle UDP?

HTTP to język między przeglądarką a serwerem WWW. Przeglądarka prosi „daj mi tę stronę”, serwer ją wysyła. Każdy obrazek, każdy tekst i każdy plik w Nextcloud podróżuje tą drogą. Ale HTTP określa tylko, co jest mówione. Tym, jak dane przechodzą przez sieć, zajmuje się warstwa niżej – i są na to dwie metody:

TCPUDP
PorównanieList polecony: odbiór jest potwierdzany, zgubione przesyłki są wysyłane ponowniePocztówka: wyślij i idź dalej, bez potwierdzenia
Kolejnośćzawsze dociera we właściwej kolejnościbrak gwarancji
Zestawienie połączenianajpierw handshake, co zajmuje czasbrak, startuje od razu
Przy utracie pakietówwszystko za nim czeka na brakujący kawałeksam UDP tego nie zauważa
Typowe zastosowaniastrony WWW (dotąd), e-mail, plikiDNS, wideorozmowy, gry

HTTP/1.1 i HTTP/2 działają na TCP. Tylko HTTP/3 działa na UDP – dokładniej na QUIC, który siedzi na UDP i sam dba o niezawodność: w QUIC też nic się nie gubi, on po prostu sprytniej retransmituje.

Po co ten wysiłek? Jeśli przy HTTP/2 zgubi się jeden pakiet, to przez TCP czekają na niego wszystkie pliki strony. Przy HTTP/3 czeka tylko dotknięty plik. Połączenie TCP jest poza tym przywiązane do adresu IP: gdy telefon przechodzi z Wi-Fi na dane komórkowe, zrywa się. QUIC ma własny identyfikator połączenia i może działać dalej. To dokładnie te sytuacje, w których jest telefon w drodze.

Wniosek: HTTP/3 to nie nowy internet, tylko ta sama treść na transporcie, który lepiej radzi sobie ze słabymi sieciami.

🔌 Kontroler nie potrafi – jego nginx tak

Moim ingressem jest NGINX Ingress Controller od F5. Nie ma on żadnej opcji dla HTTP/3: żadnego przełącznika, żadnego klucza w ConfigMap, nic w release notes. Rzut oka do działającego poda pokazuje jednak, że dołączony nginx 1.31.7 jest zbudowany z --with-http_v3_module, razem z OpenSSL 3.5, pierwszym wydaniem OpenSSL obsługującym QUIC po stronie serwera. A ponieważ kontroler działa z hostNetwork, nginx może bezpośrednio otworzyć UDP 443.

Idzie to więc przez snippety, których już używam:

# server-snippets of the main site (once per address):
listen 443 quic reuseport rcvbuf=4m sndbuf=4m;
listen [::]:443 quic reuseport rcvbuf=4m sndbuf=4m;

# http-snippets of the controller:
map $scheme $http3_alt_svc {
    https   'h3=":443"; ma=604800';
    default "";
}
http3_stream_buffer_size 1m;
quic_gso on;

# next to the other security headers (location-snippets):
add_header Alt-Svc $http3_alt_svc always;
  • reuseport tylko raz na adres: nginx dopuszcza tę opcję w jednej linii listen na adres i port. Dlatego jest tylko w bloku server głównej strony, a wszystkie inne hosty współdzielą te sockety.
  • Alt-Svc tylko przez HTTPS: ten nagłówek informuje przeglądarki, że jest HTTP/3. map ustawia go tylko dla HTTPS; na porcie 80 wartość pozostaje pusta i wtedy nginx w ogóle nie wysyła nagłówka.
  • Alt-Svc obok pozostałych nagłówków: nginx nie dziedziczy add_header, gdy location ustawia własne nagłówki. Moje nagłówki bezpieczeństwa siedzą w location snippets – więc Alt-Svc też musi tam trafić.
  • Firewall: UDP 443 przychodzący dla IPv4 i IPv6. Wychodzący nie potrzebuje reguły; odpowiedzi są dla conntracka „established”.

Wszystko wisi na jednym przełączniku na host (ingress_http3_enabled), domyślnie wyłączonym. Najpierw włączyłem bloga, potem mniejszego Nextclouda. Przed właściwym uruchomieniem sprawdziłem nowe linie przez nginx -t na kopii konfiguracji wewnątrz poda.

Wniosek: „nieobsługiwane” czasem znaczy tylko „nie ma przełącznika”. nginx -V pokazuje, co binarka naprawdę potrafi.

🤔 Dlaczego tak długo myślałem, że HTTP/3 jest niemożliwy

Sprawdzałem to już raz wcześniej, w sierpniu – z wynikiem „niemożliwe”. Tak też od tamtej pory mówił komentarz w moim szablonie firewalla. Wtedy sprawdziłem dwie rzeczy: czy kontroler ma opcję dla HTTP/3? Nie. Czy serwer odpowiada przez HTTP/3? Nie, oczywiście, że nie – nie było listenera QUIC.

Czego nie sprawdziłem: czy nginx kontrolera w ogóle zawiera ten moduł. Wniosek „brak opcji, więc brak wsparcia” był zbyt pochopny. Czy ówczesny obraz miał już moduł, dziś nie da się ustalić – obecny go ma, razem z wersją OpenSSL obsługującą QUIC po stronie serwera. Dopiero pytanie „co potrafi binarka?” zamiast „co oferuje konfiguracja?” doprowadziło do innej odpowiedzi.

Wniosek: „niemożliwe” zasługuje na datę i uzasadnienie – i na drugie sprawdzenie, gdy oprogramowanie się zmieni.

✅ Jak zobaczyć, że HTTP/3 naprawdę działa

Strona, która się ładuje, nic nie mówi o protokole. Po każdym włączeniu robiłem te testy:

curl -sI --http2 https://www.apt-upgrade.me/ | grep -i alt-svc
alt-svc: h3=":443"; ma=604800

curl -s --http3-only -o /dev/null -w '%{http_code} h%{http_version}\n' https://www.apt-upgrade.me/
200 h3
  • Wymuszony HTTP/3 przez curl --http3-only na każdej ważnej ścieżce: strona główna, logowanie, status.php Nextclouda, API OCS, WebDAV, Collabora – wszędzie oczekiwana odpowiedź przez h3.
  • Ta sama treść: duży plik JavaScript pobrany przez HTTP/2 i HTTP/3 – identyczna suma kontrolna SHA-256. Nagłówki odpowiedzi też są takie same.
  • Strona serwera: ss -ulnp pokazuje jeden socket UDP na workera nginx na porcie 443, IPv4 i IPv6; access log pokazuje żądania z HTTP/3.0.
  • Z zewnątrz: http3check.net potwierdza QUIC w wersji 1 i HTTP/3, testowane przez IPv6 – czego z domu w ogóle nie mogę przetestować.
  • Bezpieczeństwo bez zmian: filtry fail2ban łapią linie logowania z HTTP/3.0 tak samo jak z HTTP/2.0. 0-RTT early data pozostaje wyłączone, więc nikt nie może odtworzyć formularza logowania.

Mała pułapka: mój pierwszy test fail2ban się nie powiódł – z ręcznie napisaną linią logu w złym formacie. Z prawdziwą linią z logu, w której podmieniłem tylko protokół, filtr zadziałał od razu.

Wniosek: dowód potrzebuje kilku perspektyw – klienta, serwera, kogoś trzeciego z zewnątrz i twoich własnych narzędzi bezpieczeństwa.

🐢 Hamulec 1: 64 KB na round trip

Małe żądania były przez HTTP/3 od razu tak samo szybkie albo szybsze. Potem przyszedł test z dużym plikiem: 5,7 MB zajęło 0,18 sekundy przez HTTP/2 i 0,99 sekundy przez HTTP/3 – ponad pięć razy dłużej.

Klient prawie nie używał CPU; czekał. Rachunek doprowadził do przyczyny: domyślnie nginx buforuje tylko 64 KB na strumień QUIC (http3_stream_buffer_size). Więcej strumień nie może mieć w locie. 64 KB na round trip przy 11 ms to dokładnie zmierzone 5,8 MB/s. Na łączu komórkowym z 50 ms byłoby to około 1,3 MB/s – HTTP/3 spowolniłby więc moich użytkowników w drodze.

Z buforem 1 MB pobierania przez HTTP/3 szły z prędkością 27–31 MB/s, na poziomie HTTP/2.

Wniosek: nowy protokół przynosi nowe wartości domyślne. Jeden test z dużym plikiem wystarczył, żeby znaleźć hamulec – dlatego należy on do każdego testu akceptacyjnego.

🧺 Hamulec 2: bufor socketu, który się przepełnia

Potem drugi kierunek: upload 20 MB. HTTP/3 osiągnął średnio 7,8 MB/s, HTTP/2 11,9 MB/s – a w tym czasie serwer naliczył 284 odrzucone pakiety UDP (RcvbufErrors w /proc/net/snmp).

Powód tkwi w różnicy względem TCP. Przy TCP kernel sam zarządza przepływem i buforami. QUIC natomiast działa w aplikacji, na UDP: każdy pakiet czeka w buforze odbiorczym socketu, aż nginx go odbierze. Domyślnie Linux daje socketowi najwyżej 208 KB – szybki upload to zapełnia, a kernel wyrzuca kolejne pakiety. QUIC musi je wysłać ponownie i sam się hamuje.

Poprawka ma dwie części:

  • Podnieść limit kernela: net.core.rmem_max i net.core.wmem_max do 7,5 MB – wartość zalecana przez implementacje QUIC. To podnosi tylko sufit; wszystkie inne sockety zachowują swoje wartości domyślne.
  • Zażądać buforów: listenery QUIC same proszą o większe bufory przez rcvbuf=4m sndbuf=4m. Kernel wewnętrznie podwaja tę wartość; ss -m pokazuje wtedy 8 MB na socket.

Potem: 0 odrzuconych pakietów, a uploady przez HTTP/3 były na poziomie HTTP/2 – pozostałe wahania pochodziły z mojego własnego uplinku.

Wniosek: jeśli puszczasz UDP z dużą przepustowością, musisz znać swoje bufory socketów. Kernel liczy odrzucone pakiety – wystarczy spojrzeć.

📊 Pomiary

Mierzyłem z mojego homelabu curlem, 15 świeżych połączeń na wartość (mediana). Blog jest dalej (około 42 ms na round trip), Nextcloud bliżej (około 11 ms).

PomiarHTTP/2HTTP/3
Blog: połączenie + szyfrowanie gotowe96 ms58 ms
Blog: pierwszy bajt strony głównej139 ms104 ms
Blog: cała strona główna268 ms227 ms
Nextcloud: połączenie + szyfrowanie gotowe31 ms27 ms
Nextcloud: pobieranie 5,7 MB, domyślny bufor34 MB/s5,8 MB/s
Nextcloud: pobieranie 5,7 MB, bufor strumienia 1 MB28 MB/s30 MB/s
Nextcloud: upload 20 MB, bufor socketu 208 KB11,9 MB/s7,8 MB/s
Nextcloud: upload 20 MB, bufor socketu 8 MB15,1 MB/s13,0 MB/s
Nextcloud: upload 100 MB, bufor socketu 8 MB8,7 MB/s7,7 MB/s
Collabora: żądanie discovery (47 KB)55–72 ms57 ms

Przy 100 MB mój własny uplink ogranicza oba protokoły jednakowo, bez odrzuconych pakietów. Większych pobrań nie dało się przetestować bez konta użytkownika: największy publicznie dostępny plik na Nextcloudzie to plik skryptu o rozmiarze 5,7 MB. Collabora edytuje dokumenty przez WebSockety, które nadal działają na TCP – jedyne, co da się tam zmierzyć, to żądanie discovery.

Zysk przy zestawianiu połączenia to jeden round trip: TCP i TLS potrzebują dwóch, QUIC robi oba w jednym. Dla bloga przy 42 ms to około 40 ms na każde nowe połączenie; dla bliskiego Nextclouda prawie nic. W sieciach komórkowych z 50 do 100 ms zysk jest odpowiednio większy.

Wniosek: HTTP/3 oszczędza głównie czas oczekiwania, nie przepustowość. Im dalej jest użytkownik, tym bardziej pomaga.

🔧 Pozostałe pokrętła

  • quic_gso on: nginx przekazuje kernelowi kilka pakietów QUIC naraz zamiast jednego na wywołanie. To oszczędza CPU przy wysyłaniu; moje wirtualne karty sieciowe robią to programowo, co i tak pomaga. Włączone.
  • Alt-Svc na 7 dni zamiast 1: powracający odwiedzający dłużej startują od razu na HTTP/3. Jeśli HTTP/3 zostanie później wyłączony, każda przeglądarka traci najwyżej jedną próbę – sama wraca do HTTP/2. Ustawione.
  • quic_bpf: dba o to, żeby pakiety połączenia po zmianie sieci trafiały do właściwego workera nginx. W tym celu nginx musi załadować program eBPF, co wymaga dodatkowych uprawnień (CAP_BPF, CAP_NET_ADMIN) – akurat w kontenerze, który jest wystawiony do internetu i celowo ma jedną jedyną capability. Niewłączone: jeśli migracja się nie uda, telefon po prostu łączy się ponownie, z QUIC w jednym round tripie.
  • 0-RTT (ssl_early_data): zaoszczędziłoby kolejny round trip przy powracających połączeniach, ale takie żądania można odtworzyć – łącznie z logowaniami. Zostaje wyłączone.

Wniosek: każde pokrętło ma swoją cenę. Co kosztuje mało, zostaje włączone; co osłabia hardening, zostaje wyłączone, nawet jeśli na papierze wygląda na szybsze.

🔤 Odkrycie przy okazji: fonty, które gzip powiększał

To nie ma bezpośrednio związku z HTTP/3, ale zauważyłem to przy pomiarach wydajności. Pliki fontów WOFF2 są skompresowane z założenia, więc zawierają już spakowane dane. Moja konfiguracja nginx nadal miała font/woff2 na liście typów plików, które dodatkowo dostają gzip.

Zmierzone na blogu: z 18 652 bajtów zrobiło się 18 680 bajtów. Serwer wykonał pracę, a plik urósł o 28 bajtów. Usunąłem więc ten wpis zarówno dla bloga, jak i dla Nextclouda; tekst, CSS i JavaScript nadal są kompresowane. Pliki ZIP i obrazy nigdy nie były na liście. To nie jest odczuwalny zysk prędkości, tylko jedna bezsensowna robota mniej.

gzip_types
    text/plain text/css text/xml text/javascript
    application/javascript application/json application/xml
    application/rss+xml image/svg+xml;      # font/woff2 removed

Wniosek: kompresowanie czegoś, co już jest skompresowane, kosztuje czas CPU i nic nie daje. Takim listom warto przyjrzeć się drugi raz, nawet gdy wszystko działa.

🧭 Od pierwszej wizyty: rekord HTTPS w DNS

Alt-Svc ma jedną wadę: przeglądarka dowiaduje się o HTTP/3 dopiero z pierwszej odpowiedzi. Sama pierwsza wizyta zawsze idzie więc przez HTTP/2. Osobny rekord DNS typu HTTPS (RFC 9460) to naprawia: już podczas rozwiązywania nazwy mówi przeglądarce, jakimi protokołami mówi serwer.

# DNS zone (example): HTTPS record, priority 1, "." = same name
www.example.org.   3600  IN  HTTPS  1 . alpn="h3,h2"

# check it:
dig +short HTTPS www.example.org
1 . alpn="h3,h2"

1 to priorytet, kropka oznacza „ta sama nazwa”, a alpn wymienia protokoły w preferowanej kolejności. Celowo pomijam IP hints – trzeba by je aktualizować przy każdej zmianie adresu. Chrome, Firefox i Safari korzystają z tego rekordu. Nie każdy panel zarządzania DNS oferuje ten typ, więc warto to sprawdzić, zanim zaczniesz się zastanawiać, dlaczego go brakuje.

Tak jest właśnie u mnie: zarządzanie DNS u mojego dostawcy oferuje tylko rekordy A, AAAA, CNAME, MX, NS, TXT i SRV – rekordu HTTPS nie mogę tam ustawić. Nie da się go też zasymulować; przeglądarki używają tylko prawdziwego typu. Blog został więc przy Alt-Svc: pierwsza wizyta szła przez HTTP/2, każda kolejna przez siedem dni od razu przez HTTP/3. Zmiana dostawcy DNS tylko z tego powodu nie byłaby dla mnie warta zachodu.

Wniosek: serwer może tylko zaoferować HTTP/3. To, czy przeglądarka użyje go już przy pierwszej wizycie, zależy od DNS.

📱 Co to daje moim użytkownikom – a czego nie

  • Przeglądarki na telefonach: największy zysk – szybsze zestawienie, brak zatrzymania wszystkich żądań, gdy zgubi się jeden pakiet, a połączenie przeżywa przełączenie między Wi-Fi a danymi komórkowymi.
  • Aplikacja Nextcloud na iPhonie: iOS sam używa HTTP/3, gdy tylko serwer ogłosi go przez Alt-Svc. Log to potwierdza, patrz niżej.
  • Aplikacja na Androida i klient desktopowy: według logu na razie nie mówią HTTP/3, patrz niżej.
  • Collabora i notify_push: działają przez WebSockety. nginx nie obsługuje WebSocketów przez HTTP/3, więc te połączenia zostają na HTTP/1.1 przez TCP – to działa, tylko bez korzyści.

Czego nie mogłem stąd zmierzyć, to zachowanie w słabej sieci. To byłby następny test: z telefonem w miejscu ze słabym zasięgiem, HTTP/3 włączony i wyłączony dla porównania.

Wniosek: bądź uczciwy co do tego, kto korzysta. Aktualizacja protokołu pomaga tylko tym klientom, którzy nim mówią.

📈 Pierwsze liczby: 13 godzin w logu

Pierwsze spojrzenie w access logi, od wczorajszego wieczoru do dzisiejszego ranka – czyli głównie w nocy, przy odpowiednio małym ruchu. Liczone są tylko przeglądarki i aplikacje Nextcloud; boty, skrypty i moje własne testy są wyłączone.

SerwerŻądaniaHTTP/3HTTP/2HTTP/1.1
Blog203312,3 %67,0 %20,7 %
Duży Nextcloud156045,6 %23,5 %30,9 %
Mały Nextcloud1930 %43,0 %57,0 %
Razem378625,4 %47,8 %26,8 %

Przez HTTP/3 nie było w tym czasie ani jednego błędu serwera (5xx) i tylko jedno przerwanie po stronie klienta na 962 żądania. Kernel nie odrzucił żadnego pakietu UDP.

📲 Kto potrafi HTTP/3 – a kto naprawdę go używa?

Kolumna „Potrafi” pochodzi z dokumentacji (caniuse), kolumna „W logu” z moich serwerów:

KlientPotrafiW logu: udział HTTP/3Żądania
Aplikacja Nextcloud iPhonetak, przez system iOS88,1 %748
Firefox desktoptak, od wersji 8864,4 %399
Chrome Androidtak14,0 %301
Safari macOStak, od wersji 164,8 %83
Chrome desktoptak, od wersji 870 %1295
Safari iPhonetak, od iOS 160 %312
Edgetak, od wersji 870 %111
Aplikacja Nextcloud Androidnie w logu0 %210
Klient desktopowy Nextcloudnie w logu0 % (wszystko HTTP/1.1)321

Wyróżnia się aplikacja na iPhone’a: mówi HTTP/3, choć nikt niczego nie konfiguruje, bo iOS załatwia to w systemie. Aplikacja na Androida i klient desktopowy w ogóle go nie używają. Na Androidzie to prawdopodobnie kwestia biblioteki sieciowej: OkHttp, szeroko rozpowszechniony na Androidzie, sam z siebie nie obsługuje HTTP/3. Czy dokładnie to blokuje aplikację, nie sprawdzałem w jej kodzie źródłowym.

0 % dla Chrome desktop i Safari na iPhonie trzeba czytać ostrożnie. Wiele żądań z tymi identyfikatorami pochodzi od botów udających przeglądarki – prawdziwy Chrome praktycznie nigdy nie mówi HTTP/1.1 przez HTTPS. Poza tym przeglądarka dowiaduje się o HTTP/3 dopiero z pierwszej odpowiedzi i potem zostaje na otwartym połączeniu. Kto więc czyta tylko jeden artykuł, zostaje na HTTP/2. Wersja mobilna pokazuje, że Chrome w zasadzie działa.

Wniosek: wsparcie na papierze mówi niewiele. Dopiero log pokazuje, kto naprawdę mówi danym protokołem – a u mnie to przede wszystkim aplikacja na iPhone’a.

📅 Stan i perspektywy

3 listopada HTTP/3 działał na wszystkich trzech serwerach: na blogu i obu instancjach Nextcloud. Drugiego Nextclouda odebrałem tymi samymi testami co pierwszego, a drift check wszędzie zgłasza changed=0 – serwery dokładnie odpowiadają kodowi w publicznym repozytorium.

Planowałem po tygodniu przyjrzeć się trzem rzeczom:

  • Użycie: jaki odsetek żądań w access logu przychodzi przez HTTP/3.0 – w podziale na przeglądarki, aplikacje Nextcloud i klientów synchronizacji?
  • Błędy: czy przez HTTP/3 jest więcej odpowiedzi z błędem albo przerwanych uploadów niż przez HTTP/2?
  • Praktyka: jak zachowuje się Nextcloud na telefonie ze słabym zasięgiem, z HTTP/3 i bez niego?

Do tego nie doszło: dzień później znowu wyłączyłem HTTP/3, więc ocena i osobny wpis odpadają. Powód jest w aktualizacji na końcu. Zgodnie z planem powrót kosztował jeden przełącznik i jedno uruchomienie playbooka.

🎯 Wnioski

  1. Najpierw sprawdź, co potrafi binarka – „brak opcji” nie znaczy „brak modułu”.
  2. Testuj dużymi plikami, w obu kierunkach – małe żądania ukrywają każdy hamulec przepustowości.
  3. Bufory UDP są częścią QUIC – RcvbufErrors pokazują, czy kernel odrzuca pakiety.
  4. Testuj prawdziwymi liniami logu – ręcznie napisany przykład testuje tylko przykład.
  5. Włączaj, bo pomaga – zmierzone, nie założone, i z przełącznikiem, który można cofnąć.

🔄 Aktualizacja, 4 listopada 2026: HTTP/3 znowu wyłączony

W skrócie: dzień po tym wpisie znalazłem prawdziwy błąd. Pobierania przez HTTP/3 na dużym Nextcloudzie zawieszały się w około 11 % przebiegów. Przyczyna jest znaleziona i potwierdzona testem kontrolnym. Dlatego znowu wyłączyłem HTTP/3, na obu Nextcloudach, a tego samego wieczoru także na blogu. Stabilność i niezawodność są dla mnie ważniejsze niż nowy protokół, którego korzyści nie udało mi się dotąd zmierzyć.

Jak to się objawiło. Właściwie chciałem sprawdzić, czy jeszcze większy bufor strumienia pomaga. Powtórzyłem więc pomiar z dużo większą liczbą przebiegów i nagle pojedyncze przebiegi stały na 0 MB/s. curl zgłaszał HTTP/3 stream 0 reset by server, a log serwera pokazywał przerwanie po 60 sekundach. Przez HTTP/2 nie zdarzyło się to ani razu. Dzień wcześniej tego nie zauważyłem: zrobiłem tylko 8 przebiegów pobierania, a wyzwalacz pojawił się prawdopodobnie dopiero później.

Fałszywy trop. Zawieszenia uderzająco często następowały dokładnie przy 523 559 bajtach. Z prawdopodobnie 729 bajtami protokołu na wierzchu daje to dokładnie 512 KiB, początkowe okno stosu QUIC w OpenSSL, którego używa mój curl. W przechwyconym ruchu serwer przestawał wysyłać po 0,37 sekundy i obie strony milkły. Na początku uznałem to za problem klienta testowego i tak to też zanotowałem. To był błąd. Test kontrolny z dwiema kolejnymi implementacjami QUIC pokazał to:

KlientDuży NextcloudMały Nextcloud
curl z OpenSSL15 ze 117 wisi0 z 32
curl z quiche3 z 400 z 40
aioquic3 z 400 z 25

Trzech różnych klientów zawiesza się więc tylko na jednym z dwóch serwerów. To wskazywało na serwer, nie na klienta.

Przyczyna. Na dużym Nextcloudzie działał stary worker nginx, którego nie powinno już tam być:

$ ps -eo args | grep 'shutting down'
nginx: worker process is shutting down

Ten stan jest początkowo normalny. Gdy nginx się przeładowuje, startują nowe workery, a stare kończą trwające połączenia. Tutaj przeładowanie było częścią zwykłego rolloutu. Ale stary worker trzymał websocket klienta do notify_push, usługi push Nextclouda. Takie połączenie samo się nie kończy, a ja nie ustawiłem żadnego limitu czasu. Worker działałby więc prawdopodobnie w nieskończoność.

Przy TCP to nie szkodzi, bo każde połączenie ma własny socket. Przy QUIC wszystkie połączenia współdzielą sockety UDP. Stary worker trzymał te sockety otwarte i najwyraźniej mógł też przechwytywać pakiety przeznaczone dla nowych workerów. To pasuje do liczb: przy 8 workerach powinno trafiać mniej więcej 1 na 8 połączeń, a ja zmierzyłem 21 ze 197, czyli około 11 %. Przebieg wydedukowałem najpierw z pomiarów. Jeden z deweloperów nginx opisuje ten sam mechanizm w Issue #1399 i go odtworzył.

Dowód. Zakończyłem tylko tego jednego starego workera i powtórzyłem wszystko. Wynik: 0 z 200 przebiegów się zawiesza, u wszystkich trzech klientów, wobec 21 ze 197 wcześniej. Mały Nextcloud i blog nie miały takiego workera i też nie wykazywały zawieszeń; na blogu było to 0 ze 120 żądań przez HTTP/3.

Gdzie leży wina? HTTP/3 nie jest zasadniczo niezgodny z moim setupem; bez starego workera wszystko działało czysto. Problem to znana słabość nginx przy przeładowaniach, opisana w issue #425. Issue zamknięto w październiku, a według changelogu nginx 1.31.7, którego używam, obsługuje przeładowania z QUIC, ale tylko z quic_bpf. To celowo pominąłem. Mój setup dokłada swoje: kontroler F5 nie ma własnej opcji HTTP/3, włączyłem go sam przez snippety, a notify_push utrzymuje stare workery przy życiu.

Co sprawdziłem i odrzuciłem:

  • Nowszy Ingress Controller: już używam najnowszej wersji, 5.7.0. Aktualizacji nie ma.
  • quic_bpf: własne rozwiązanie nginx, ale strona bezpieczeństwa obecnie mi nie odpowiada. Kontener ingressu działa bez roota i może bindować tylko niskie porty, takie jak 443. Z quic_bpf potrzebowałby też CAP_BPF i CAP_NET_ADMIN, bo nginx ładuje w tym celu program eBPF do kernela. Ten kontener jest wystawiony bezpośrednio do internetu i działa w sieci hosta. Ktoś, kto się do niego włamie, mógłby przez CAP_NET_ADMIN zmienić także ustawienia sieciowe serwera. Za korzyść, której dotąd nie zdołałem zmierzyć, to dla mnie zbyt zła wymiana.
  • worker-shutdown-timeout: kończy stare workery po ustalonym czasie. Do tego momentu błąd zostaje, a potem przerywa też trwające duże pobierania i uploady. Na Nextcloudzie to zła wymiana. Przetestowałem to dla bloga, więcej o tym niżej.
  • Kernel albo nftables: kernel nie zna „starych” workerów, a oba workery współdzielą ten sam socket. Żadna reguła firewalla nie rozdzieli między nimi pakietów. Skrypt, który na chwilę blokuje UDP 443, byłby tylko kolejnym elementem, który może zawieść.

Czy atakujący może to wykorzystać? Nie widzę w tym użytecznego ataku. QUIC jest szyfrowany i nie mam żadnych przesłanek, że jakiekolwiek dane stają się widoczne. Skutkiem są wiszące połączenia, czyli czysto problem dostępności. Przeładowań nie da się też wywołać z zewnątrz; zdarzają się tylko podczas moich rolloutów i zaplanowanych zadań. To nie jest gwarancja, ale z wyłączonym HTTP/3 ta droga i tak jest zamknięta. Googlebot, nawiasem mówiąc, nie był dotknięty: przez ostatnie 24 godziny przychodził tylko przez HTTP/1.1.

Czego nie wiem: ilu prawdziwych użytkowników było dotkniętych tego jednego dnia. Log pokazuje przez HTTP/3 prawie żadnych przerwań, ale nie ma w nim czasów odpowiedzi. Zawieszenie, które później jednak się zakończyło, byłoby tam niewidoczne. To „prawie żadnych” nie oznacza więc też, że można odetchnąć. Otwarte jest również, jak szybko wracają klienci, którzy wciąż pamiętają HTTP/3: moja przeglądarka otworzyła Nextclouda normalnie, a curl z zapamiętanym wpisem wisiał 30 sekund. Odpowiedź dla aplikacji iOS jest teraz dość jasna. Sam jej nie używam i mogę tylko liczyć: w ciągu 20 godzin od wyłączenia wróciło 7 urządzeń iOS, bez żadnej interwencji, a przejrzany przeze mnie log nie pokazał przerwań ani błędów serwera. Żadne z urządzeń, które były aktywne w ciągu trzech dni przed wyłączeniem, od tego czasu nie zniknęło. Kolejnych siedem urządzeń, które milczały już ponad trzy dni przed wyłączeniem, jeszcze się nie odezwało; czy są po prostu rzadko używane, log nie jest w stanie pokazać. Alt-Svc: clear nie był dotąd potrzebny. Obserwuję to do 12 listopada.

Stan po rolloucie:

# All hosts
ingress_http3_enabled: false
  • Oba Nextcloudy: HTTP/3 wyłączony. Zależą od nich pliki robocze i synchronizacja, i właśnie tam żyją długie połączenia.
  • Blog: tutaj HTTP/3 też jest teraz wyłączony. Na początku chciałem go zostawić z 5-minutowym limitem dla starych workerów, bo transfery są tam krótkie. Test wypadł dobrze: z celowo utworzonym starym workerem 8 z 55 żądań przez HTTP/3 się zawiesiło. Po około 5 minutach zniknął, a potem zawiesiło się 0 ze 110. Celowo powolny upload został zgodnie z oczekiwaniami przerwany. Mimo to nie przekonało mnie to całkowicie: błąd trwa, dopóki limit nie upłynie, a w PR #503 inny administrator zgłasza, na starszej wersji, starego workera, którego limit nie zakończył.
  • Co dalej: zapytałem w nginx Issue #1937, czy planowane jest rozwiązanie bez dodatkowych uprawnień quic_bpf, i czekam na odpowiedź. W cotygodniowych raportach aktualizacji obserwuję też, czy F5 zacznie oficjalnie wspierać HTTP/3 albo czy nginx rozwiąże przeładowania bez quic_bpf. Przełącznik zostaje: mogę w każdej chwili znowu włączyć HTTP/3.

Co z tego wynoszę:

  1. Osiem przebiegów niczego nie dowodzi. Błąd, który trafia co dziewiąty przebieg, łatwo się prześlizguje. Mierz niezawodność wieloma przebiegami, nie tylko prędkość.
  2. Sprawdzaj pierwsze wyjaśnienie. 512 KiB pasowało zadziwiająco dobrze, a i tak prowadziło w złą stronę. Pokazał to dopiero drugi i trzeci klient.
  3. Mierz ponownie po każdym przeładowaniu. Błąd nie pojawił się przy włączaniu, tylko podczas późniejszego, całkowicie zwyczajnego rolloutu.
  4. Przełącznik jest na wagę złota. Ponieważ HTTP/3 wisi na jednym przełączniku na serwer, odwrót jest mały i w każdej chwili odwracalny.
  5. Nowe nie znaczy lepsze. Bez mierzalnej korzyści niezawodność liczy się bardziej.
Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły