Przenosiny Nextclouda z bare metal na K3s: pełna próba generalna i ile mnie kosztowała w commitach

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Zbliża się migracja, wokół której krążę już od jakiegoś czasu. Instancja Nextcloud, którą administruję, wciąż działa jako zwykła natywna instalacja — pakiety, serwer WWW, PHP-FPM, wszystko zarządzane ręcznie na jednej maszynie. Przenosi się na stack K3s, który buduję w Ansible.
Szczera przyczyna przenosin jest taka, że natywna instalacja się zestarzała. Wciąż działa, ale nazbierała dekadę drobnych decyzji, których nikt nie zapisał, a każda aktualizacja to wydarzenie, a nie rutyna. Od strony K3s liczę na nudniejszy rodzaj aktualizacji: wersja Nextclouda i wersja każdego kontenera przypięte w kodzie Ansible, tak że aktualizacja staje się zmienionym tagiem w pliku, który mogę przejrzeć, wdrożyć dwa razy w ten sam sposób i cofnąć, jeśli coś pójdzie źle. Aplikacja i dane lądują w naprawdę oddzielnych miejscach, a nie przemieszane w jednym drzewie. A Collabora staje się osobnym kontenerem, który rozmawia z Nextcloudem przez zdefiniowany interfejs, zamiast być wpleciony w tę samą instalację — o jedną rzecz mniej, która się psuje, bo dwie aplikacje dzielą runtime.
Nic z tego nie jest zgadywaniem i to główny powód, dla którego się na to decyduję. Ten blog działa na tym samym stacku K3s już od pewnego czasu, a jego aktualizowanie okazało się dokładnie tak nudne, jak liczyłem: zmień tag kontenera, uruchom playbook jeszcze raz, gotowe. Ponieważ playbook jest idempotentny, ponowne uruchomienie to żadne wydarzenie — to ta sama operacja, niezależnie od tego, czy serwer jest świeży, w połowie skonfigurowany, czy już poprawny, a to usuwa większość powodów do wahania przed uruchomieniem. Wszystko inne, co ten blog po drodze nazbierał — hardening, monitoring, obsługa ingressu i certyfikatów, tuning wydajności, drobne poprawki, z których każda kosztowała wieczór — to kod, który mogę po prostu skierować na stronę Nextclouda. Tym właściwie jest ta migracja: wykorzystaniem tego, czego nauczył mnie projekt o niskiej stawce, w projekcie, który naprawdę się liczy.
Zanim zrobię to instancji z prawdziwymi użytkownikami, najpierw przeprowadziłem całość od początku do końca na serwerze jednorazowym: przywrócić dane, przywrócić bazę danych, przejść ścieżkę wersji, popsuć różne rzeczy, dowiedzieć się dlaczego. Trzydzieści sześć plików i tysiąc sto linii zmian później kod Ansible jest wyraźnie lepszy niż na starcie.
Wszystko jest na GitHubie — playbooki, role, hardening, weryfikacja. Zwłaszcza strona Nextclouda dostała ostatnio dużo uwagi.
Tak naprawdę chcę jednak pisać nie o poprawkach, tylko o kształcie problemów.
Spis treści
🎭 Wszystko psuło się, udając coś innego
Żaden z tych problemów się nie zapowiedział. Każdy przyszedł przebrany za inny, bardziej prawdopodobny problem — zwykle taki, który kazałby mi szukać w zupełnie złym miejscu.
Instalacja pakietu padła z błędem uprawnień, który nie miał nic wspólnego z uprawnieniami. chmod: Operation not permitted, jako root, ze wszystkimi capabilities, na normalnie zamontowanym systemie plików. Sprawdziłem wszystko, na co wskazywał komunikat, i wszystko było w porządku. Prawdziwą przyczyną była dyrektywa hardeningu systemd na demonie SSH — RestrictSUIDSGID=yes — której filtr seccomp dziedziczy każdy proces potomny sshd. Czyli każda sesja SSH i każde polecenie, które Ansible przez nią uruchamia.
To lekcja warta zapamiętania: hardening sshd to nie jest hardening na poziomie usługi. sshd to fabryka procesów dla sesji interaktywnych, więc wszystko, co tam ograniczysz, ograniczasz dla każdego człowieka i każdego narzędzia, które wchodzi tymi drzwiami. Przez jakiś czas szczerze podejrzewałem, że to dostawca hostingu coś zablokował.
Uruchomienie playbooka „zawisło” na kroku firewalla. Bez błędu, bez timeoutu, po prostu cisza przez kilka minut. Rola przestawia SSH na niestandardowy port i włącza nftables — na tym samym połączeniu, które właśnie rekonfiguruje. Nowy ruleset akceptuje nawiązane połączenia, co brzmi kompletnie, tyle że gdy nftables startuje po raz pierwszy, conntrack nie ma żadnego wpisu o połączeniu, które istniało wcześniej. Sesja nie pasowała więc do żadnej reguły, a jej pakiety były po prostu odrzucane. Nie odrzucane z odpowiedzią — po cichu wyrzucane. Dla Ansible wygląda to dokładnie tak samo jak zadanie, które długo trwa.
Strona była całkowicie nieosiągalna, a przeglądarka nie powiedziała nic przydatnego. Ten kontroler ingress odpowiada na nazwę hosta, której certyfikat TLS nie jest gotowy, odmawiając handshake’u wprost — żadnego certyfikatu, nawet self-signed. Z zewnątrz nie da się tego odróżnić od serwera, który leży. Prawdziwa przyczyna była trzy warstwy dalej: allowlista obrazów blokowała poda challenge’u cert-managera, więc certyfikat nigdy nie mógł zostać wystawiony.
I mój faworyt: ochrona przed brute force, która nic nie chroniła. Jaile fail2ban pilnujące logowań webowych czytają log ingressu przez ścieżkę zawierającą ID poda. fail2ban rozwiązuje tę ścieżkę raz, przy starcie. Za każdym razem, gdy pod ingressu zostaje utworzony od nowa — aktualizacja obrazu, helm upgrade, reboot — jaile dalej działają na ścieżce, która już nie istnieje:
Status for the jail: nginx-k3s-nc-login
|- Filter
| |- Currently failed: 0
| `- File list:
Pusta lista plików. Włączony, działający i strukturalnie niezdolny do zbanowania kogokolwiek. Istniejący check monitoringu pytał tylko, czy proces fail2ban żyje, a żył jak najbardziej.
🩹 Co z tego wyszło
Większość poprawek jest niepozorna, kiedy już wiesz, jaki był problem — zwykle tak to wygląda:
- Przełączenie SSH i firewalla odbywa się teraz na świeżym serwerze przez jeden reboot, więc oba wstają razem z czystego bootu, zamiast być zmieniane pod żywym połączeniem.
- Każda nazwa hosta, która nie ma jeszcze prawdziwego certyfikatu, dostaje krótkotrwały self-signed placeholder, więc ostrzeżenie przeglądarki zastępuje martwy socket. Ostrzeżenie mówi ci, że serwer żyje, a problemem jest certyfikat; martwy socket nie mówi nic.
- Dwa nowe checki monitoringu: jeden dla certyfikatów zbliżających się do wygaśnięcia, drugi sprawdzający, czy jaile fail2ban faktycznie obserwują plik, a nie tylko działają.
- Plus nudna połowa — nadawca maili złożony ze złej połowy adresu (przez co Grafana całkowicie padała przy starcie), rola weryfikacyjna, która przerywała cały play błędem parsera dokładnie wtedy, gdy coś było zepsute, i nagłówki bezpieczeństwa ustawiane dwa razy z dwiema różnymi wartościami.
⬆️ Jedna rzecz, którą warto wiedzieć przed zaplanowaniem okna
Nextcloud odmawia przeskakiwania wersji głównych. Przeniesienie przywróconej instancji z 32 na 34 oznacza postój na 33 po drodze, z krokiem aktualizacji na każdym przystanku.
Dwa szczegóły, których dokumentacja nie podkreśla: kontener przy starcie uruchamia własną aktualizację i nie przyjmuje ruchu, dopóki jej nie skończy, więc ręczne uruchamianie aktualizacji to tylko wyścig z tą, która już trwa — zmień tag obrazu i czekaj. I sprawdzaj listę aplikacji po każdej wersji głównej, a nie raz na końcu. Niektóre aplikacje tymczasowo same się wyłączają i wracają; inne są naprawdę niekompatybilne i zostają wyłączone. Jedna z moich zostaje całkowicie usunięta zamiast zaktualizowana, bo jest instalowana przez bezpośrednie pobranie, a nie przez app store.
🧱 Czego celowo nie zmieniłem
Przez jakiś czas kusiło mnie, żeby w tym samym oknie zrobić aktualizację AlmaLinux 9 → 10. Nowy serwer, świeży start, to czemu nie zacząć od razu od bieżącej wersji głównej?
Wyperswadowałem to sobie i myślę, że to rozumowanie da się uogólnić. Ta migracja już teraz zmienia dużo naraz: model wdrożenia (bare metal na K3s), wersję Nextclouda, sposób uruchamiania Collabory i maszynę pod tym wszystkim. Dołożenie skoku wersji systemu oznacza dołożenie drugiej, zupełnie niezwiązanej zmiennej. Jeśli coś zacznie się dziwnie zachowywać dwa tygodnie później — osobliwość wydajnościowa, subtelny problem z uprawnieniami, coś w SELinux — nie miałbym jak stwierdzić, która z dwóch zmian to spowodowała. Debugowanie działa przez utrzymywanie rzeczy w stałości, a migracja to dokładnie ten moment, w którym stałych zostaje najmniej.
Nie ma też zegara, który by do tego zmuszał. AlmaLinux 9 jest wspierany do 2032 roku. To nie jest termin, pod który muszę cokolwiek planować.
Ale ciekawszy powód to ten, który stał się widoczny dopiero podczas budowania tego stacku. W układzie kontenerowym system operacyjny hosta waży dużo mniej niż kiedyś. Wszystko, co naprawdę decyduje o zachowaniu usługi — wersja Nextclouda, PHP, serwer WWW, Collabora — żyje w obrazach kontenerów, których wersje przypinam w kodzie Ansible. Host dostarcza kernel, systemd, K3s i hardening wokół nich. Ciekawe decyzje przeniosły się warstwę wyżej, a to, co pod spodem, stało się stosunkowo wymienne.
Co jest dość dziwnym spostrzeżeniem: jedną z korzyści tej migracji jest to, że następna migracja staje się mniej ważna. Aktualizacja systemu staje się osobnym, nudnym ćwiczeniem, które mogę zrobić na własnych warunkach, w spokojny wieczór, gdy nic innego się nie dzieje — a dokładnie tym powinna być aktualizacja systemu.
🔒 Jedyna rzecz, której próba nie mogła rozwiązać
Jest jeden problem, którego na serwerze testowym w ogóle nie dało się obejść: zdobycie ważnych certyfikatów Let’s Encrypt.
Powód jest bardziej strukturalny niż techniczny. Challenge HTTP-01 działa tak, że Let’s Encrypt rozwiązuje domenę i pobiera token przez HTTP — z adresu, na który wskazuje publiczny rekord A. To wciąż stary serwer i tak zostanie aż do momentu, w którym przełączę DNS. Lokalnie podrobiłem DNS wpisem w /etc/hosts wskazującym na nową maszynę, co wystarcza, żeby przekonać moją własną przeglądarkę, ale nie robi dokładnie nic dla Let’s Encrypt, które robi własny lookup w publicznym DNS. Nowy serwer nie może więc mieć ważnego certyfikatu dla nazwy hosta, za którą oficjalnie jeszcze nie odpowiada.
Istnieje na to porządne rozwiązanie: challenge DNS-01 udowadnia kontrolę nad domeną przez opublikowanie rekordu TXT pod _acme-challenge.<domain> zamiast serwowania pliku. Nie obchodzi go, dokąd wskazuje rekord A, więc certyfikaty mogłyby zostać wystawione z wyprzedzeniem i być gotowe pierwszego dnia. Wymaga to dostawcy DNS z API, które klient ACME potrafi obsłużyć, a podpięcie tego wykracza poza to, czego chcę się podjąć przy tej migracji.
Akceptuję więc tę lukę: przez kilka minut po przełączeniu DNS nowy serwer będzie osiągalny bez ważnego certyfikatu. To dokładnie sytuacja, dla której zbudowany został certyfikat zastępczy opisany wcześniej w tym wpisie — zamiast odrzuconego handshake’u, który wygląda jak awaria, odwiedzający dostają ostrzeżenie przeglądarki, które przynajmniej mówi serwer jest, a certyfikat nie jest jeszcze gotowy. Nieeleganckie. Ale znana, ograniczona, widoczna luka jest lepsza niż niewidoczna, co jest mniej więcej motywem przewodnim wszystkiego powyżej.
📅 Co dalej
Prawdziwa migracja odbędzie się w najbliższych dniach.
Plan na sam dzień jest celowo niepozorny:
- Dzień lub dwa wcześniej: obniżyć TTL w DNS, żeby późniejsze przełączenie rozeszło się w minuty, a nie godziny.
- Stary serwer w tryb konserwacji. Od tego momentu nic się pode mną nie zmienia i żaden klient nie może zapisywać do instancji, którą zaraz skopiuję.
- Ostatni backup starego serwera — dane i baza — zanim cokolwiek ruszę.
- Ostatnia synchronizacja na nowy serwer, zamykająca lukę, która powstała od kopii z próby.
- Przełączyć DNS — A i AAAA. Zapomnienie o rekordzie IPv6 to doskonały sposób, żeby zostawić połowę użytkowników na starej maszynie, podczas gdy z własnego laptopa wszystko wygląda dobrze.
- Poczekać na certyfikaty, które dopiero teraz mogą zostać wystawione (patrz wyżej).
- Testy: logowanie, synchronizacja desktopowa w obie strony, udostępnienia nienaruszone, Collabora otwierająca dokument, poczta wychodząca.
- Zostawić stary serwer dokładnie tam, gdzie jest, w trybie konserwacji, jako rollback.
Ta kolejność ma większe znaczenie, niż się wydaje. Ponieważ stary serwer przechodzi w tryb konserwacji, a nie jest wyłączany ani czyszczony, stoi tam dalej kompletny i niezmieniony — dane, baza, konfiguracja, wszystko dokładnie tak, jak było w chwili, gdy go zatrzymałem. Jeśli nowy stack okaże się katastrofą z jakiegoś powodu, którego nie przewidziałem, droga powrotna to ponowne skierowanie rekordów DNS na starą maszynę i zdjęcie trybu konserwacji. Bez restore’u, bez utraty danych, nic do ponownego składania, bo nic nigdy nie zostało rozebrane. Stary serwer nie jest wycofywany w dniu migracji; to mój rollback i tak zostanie, dopóki nowy przez jakiś czas się nie sprawdzi.
Jedyną częścią, której naprawdę nie umiem przewidzieć, jest propagacja DNS. TTL mówi resolverom, jak długo mogą cache’ować rekord, a obniżenie go dzień lub dwa wcześniej znacząco skraca ogon — ale to górna granica, nie obietnica. Sporo resolverów zaokrągla go w górę, niektóre go ignorują, a kilka klientów trzyma się adresu, dopóki coś się nie zrestartuje. W praktyce jest więc okno, w którym część użytkowników trafia na nowy serwer, a część wciąż na stary. To niewygodne szczególnie dla usługi synchronizacji plików, bo zapisy mogą wylądować po obu stronach. To główny powód, dla którego stara instancja zostaje w trybie konserwacji, a nie po prostu dalej działa: użytkownik, który jeszcze się nie przełączył, widzi stronę konserwacji, co jest irytujące, ale nieszkodliwe, zamiast skutecznie wgrać plik na serwer, na który nikt już nie patrzy.
Chciałbym powiedzieć, że dzięki próbie pójdzie gładko, i mam taką nadzieję. Ale uczciwa wersja jest taka, że próba na jednorazowym serwerze ze skopiowanymi danymi to nie to samo co żywa instancja z prawdziwymi użytkownikami, prawdziwymi relacjami udostępniania i prawdziwymi klientami synchronizacji, które mają swoje zdanie o tym, co się zmieniło, kiedy nie patrzyły. Coś się wydarzy. Zawsze się wydarza.
Więc: zdam tu relację po fakcie — co naprawdę poszło nie tak, czego próba nie przewidziała i co musiałem zmienić. A cokolwiek to będzie, trafi prosto z powrotem do kodu Ansible w repo, bo playbook, który działa tylko na serwerze, na którym go testowałeś, nie jest skończony.
Jeśli następny wpis będzie krótki i nudny, to będzie dobry wynik.
Wzorzec pod spodem
Patrząc wstecz na to wszystko, jedna rzecz łączy te przypadki.
Żaden z nich nie był błędem. To były braki — jail bez pliku, certyfikat, który nigdy nie został wystawiony, połączenie, które przestało odpowiadać zamiast odmówić, filtr blokujący syscall, o którym nikt nie pomyślał. Każdy z nich dawał wynik nie do odróżnienia od sytuacji, w której wszystko jest w porządku.
To właśnie daje ci próba generalna. Nie pewność, że zadziała — tej nie da się mieć. Po prostu tanią okazję, żeby spotkać te ciche problemy, zanim zaczną coś kosztować.
📚 Więcej w tej serii: Nextcloud z bare metal na K3s
