Dzień aktualizacji: Nextcloud 35, fałszywy alarm i dlaczego Ansible nigdy nie instaluje moich kerneli
Jedno popołudnie, trzy serwery, wszystko aktualne: skok na Nextcloud 35 z Ansible, okres karencji dla Trivy, fałszywy alarm w moim raporcie aktualizacji i powód, dla którego moje playbooki nigdy nie instalują kernela.

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
W każdy poniedziałek mały skrypt wysyła mi mailem raport wersji: które przypięte wersje są nieaktualne, które obrazy przebudowano pod tym samym tagiem, które pakiety czekają na hostach? Tym razem lista była długa – łącznie ze skokiem z Nextcloud 34 na 35 na obu instancjach. Pod koniec popołudnia wszystko było aktualne, nic się nie zepsuło, a drift check pokazywał changed=0.
Ten wpis przechodzi przez kolejne etapy po kolei. Każdy ma swoją małą lekcję – a jeden z nich okazał się błędem w moich własnych narzędziach.
Spis treści
📬 Raport informuje, nie działa
Skrypt sprawdzający działa na serwerze w moim homelabie i jest ściśle tylko do odczytu. Porównuje piny w versions.yml z Docker Hub i GitHubem, sprawdza, czy obraz przebudowano pod tym samym tagiem, porównuje wersję PHP w podach z php.net i liczy oczekujące pakiety na każdym hoście. Niczego nie zmienia – aktualizacje wdrażam sam, świadomie, po jednym hoście.
Tym razem raport mówił: dostępny Nextcloud 35.0.2, dostępny Trivy 0.76.1, obraz WordPressa „przebudowany” i sześć pakietów kernela na wszystkich trzech hostach.
Jak działa raport: skrypt to program w Pythonie na HP3, serwerze w moim homelabie, który ściąga też nocne kopie zapasowe trzech serwerów – a nie na samych serwerach. Wpis w cronie uruchamia go w każdy poniedziałek o 07:17, a maila wysyła przez własne konto pocztowe. W pięciu krokach:
- Czyta
versions.ymlz lokalnej kopii repozytorium – każda przypięta wersja żyje w tym jednym miejscu. - Pyta Docker Hub o każdy obraz, a GitHub o najnowsze wydanie każdej binarki, i porównuje je z pinem.
- Loguje się przez SSH na każdy serwer, wyświetla faktycznie obecne obrazy przez
crictl imagesi porównuje je z aktualnym buildem pod tym samym tagiem. - Odczytuje wersję PHP w działających podach i porównuje ją z php.net.
- Liczy oczekujące pakiety na każdym hoście przez
dnf check-update.
Wszystkie ustalenia trafiają do jednego maila – razem z poleceniami do przebiegów aktualizacji we właściwej kolejności. Ich uruchomienie należy do mnie.
Tak wyglądał raport w ten dzień aktualizacji (zmienione są tylko nazwy dwóch serwerów Nextcloud i nazwy hostów w poleceniach):
== Container images (pin vs Docker Hub) ==
nextcloud_image_fpm 34.0.5-fpm (newest overall 35.0.2-fpm)
nextcloud_image_nginx 1.30.6-alpine (newest overall 1.31.8-alpine)
nextcloud_image_collabora 26.04.5.2.1 ok
nextcloud_image_fpm_exporter 2.2.0 ok
blog_image_wordpress 7.1.4-php8.5-fpm ok
blog_image_nginx 1.30.6-alpine (newest overall 1.31.8-alpine)
blog_image_mariadb 10.11.19 (newest overall 13.0.2)
blog_image_redis 7.4.12-alpine (newest overall 8.10.3-alpine)
blog_image_mysqld_exporter v0.21.0 ok
blog_image_fpm_exporter 2.2.0 ok
== Binaries / charts (pin vs GitHub latest release) ==
k3s_version v1.37.1+k3s1 ok
helm_version v4.3.1 ok
helm_diff_version 3.15.15 ok
node_exporter_version 1.12.1 ok
prometheus_version 3.15.1 ok
mysqld_exporter_version 0.21.0 ok
loki_version 3.7.9 ok
alloy_version 1.21.3 ok
trivy_version 0.75.0 -> v0.76.1
blog_wp_cli_version 2.12.0 ok
cert_manager_chart_version 1.21.3 ok
== Same tag rebuilt upstream (image refresh needed) ==
blog wordpress:7.1.4-php8.5-fpm REBUILT upstream
== PHP in the pods ==
blog PHP 8.5.12
cloud1 PHP 8.5.12
cloud2 PHP 8.5.12
php.net 8.4: 8.4.27
php.net 8.5: 8.5.12
== Host packages (dnf check-update) ==
blog 6 pending incl. kernel, kernel-core, kernel-modules, kernel-tools ...
cloud1 6 pending incl. kernel, kernel-core, kernel-modules, kernel-tools ...
cloud2 6 pending incl. kernel, kernel-core, kernel-modules, kernel-tools ...
Update runs (one host at a time, blog first):
ansible-playbook blog-update.yml -l <blog host> --vault-password-file .vault_pass
ansible-playbook nextcloud-update.yml -l <nextcloud host> --vault-password-file .vault_pass (one at a time)
then per host: --tags common_rkhunter,common_aide_refresh
Pins (versions.yml) are changed by hand or via the Renovate PRs - this report only informs.
Dlaczego nie wszędzie najnowsza wersja? Dla niektórych komponentów raport wskazuje nowszą wersję główną. To nie przeoczenie, tylko decyzja:
| Komponent | Linia | Źródło | Dlaczego |
|---|---|---|---|
| MariaDB | 10.11 | Docker Hub / repozytorium MariaDB | LTS, wsparcie do lutego 2028 |
| Redis | 7.4 i 7.2 | Docker Hub / AlmaLinux | ostatnie linie Redis 7, wsparcie do końca 2029 |
| nginx | 1.30 | Docker Hub | gałąź stabilna; ingress controller przynosi własną wersję |
W przypadku pakietów z dystrybucji numer wersji i tak mówi niewiele: często zostaje w tyle za wersją producenta, bo dystrybucja nakłada poprawki po swojemu. To, czy pakiet jest podatny, widać więc nie z porównania z producentem, tylko z biuletynu bezpieczeństwa dystrybucji.
Wniosek: „aktualny” nie znaczy „najnowsza wersja główna”, tylko: najnowszy stan linii, którą świadomie wybrałeś i która wciąż ma wsparcie.
📦 Do odtworzenia: weekly-update-check.zip (skrypt, wrapper dla crona i krótki README, 4 KB). Hosty to placeholdery na początku check.py; piny pochodzą z versions.yml w moim publicznym repozytorium. Licencja MIT, bez gwarancji – przejrzyj go sam, zanim go użyjesz.
Wniosek: raport, który tylko informuje, może sobie pozwolić na dokładność. Decyzja, co i kiedy wchodzi, zostaje przy człowieku.
☁️ Nextcloud 34 → 35: najpierw sprawdzić, potem skoczyć
Aktualizacja do nowej wersji głównej nigdy nie jest w Nextcloud automatyczna. Nie można przeskakiwać wersji, a aplikacje ze sklepu potrzebują wydania pasującego do nowej wersji głównej. Dlatego przed skokiem sprawdziłem:
- Czy obraz istnieje?
nextcloud:35.0.2-fpmbył na Docker Hub. - Czy aplikacje pasują? API sklepu z aplikacjami podaje dostępne aplikacje dla każdej wersji platformy. Wszystkie dziewięć aplikacji ze sklepu na każdej instancji – w tym Collabora, Deck, notify_push i Groupfolders – miało wydanie dla 35.
- Czy wymagania się zgadzają? Nextcloud 35 potrzebuje co najmniej MariaDB 10.11 i porzuca PHP 8.2. Baza danych działała już na 10.11, a PHP jest w obrazie kontenera.
- Czy jest droga powrotu? Oprócz nocnej kopii zapasowej zrobiłem tuż przed aktualizacją świeży zrzut bazy danych.
Nowy pin ustawiłem najpierw tylko dla jednej instancji, w jej zmiennych hosta. Druga instancja i globalna wartość domyślna zostały na 34.0.5, dopóki pierwsza nie przeszła czysto. Dopiero wtedy 35.0.2 trafiło do versions.yml, a oba piny hostów zostały znowu usunięte.
Wniosek: aktualizacja do wersji głównej nie zaczyna się od aktualizacji. Zaczyna się od trzech pytań: czy wszystko jest, czy wszystko pasuje i czy mogę wrócić?
⚙️ Co naprawdę dzieje się podczas aktualizacji
To nie Ansible przeprowadza aktualizację – robi to obraz Nextcloud. Przy starcie jego entrypoint porównuje zainstalowaną wersję z tą w obrazie. Jeśli obraz jest nowszy, kopiuje nowy kod i uruchamia occ upgrade, które migruje bazę danych. W tym czasie Nextcloud jest w trybie konserwacji.
Playbook pilnuje dwóch rzeczy:
- Recreate zamiast rolling update: przy nowym obrazie stary pod zatrzymuje się całkowicie, zanim wystartuje nowy. Inaczej stary i nowy kod pracowałyby jednocześnie na tym samym katalogu.
- Cierpliwa startup probe: PHP-FPM startuje dopiero po aktualizacji. startupProbe daje do dziesięciu minut, żeby Kubernetes nie wziął długiej migracji bazy danych za awarię.
Trwało to 40 i 47 sekund. W logu były jednak linie, które na pierwszy rzut oka niepokoją: „Disabled incompatible app: richdocuments” – i tak dalej dla każdej aplikacji ze sklepu. To oczekiwane: przy aktualizacji do wersji głównej Nextcloud wyłącza każdą aplikację, której zainstalowana wersja nie pasuje do nowego wydania głównego. Kolejny przebieg nextcloud-update.yml pobiera pasujące wydania, włącza je ponownie i restartuje poda, żeby OPcache przestał wykonywać stary bytecode.
Potem wszystkie aplikacje wróciły, większość w nowej wersji (Collabora 11 → 12, Groupfolders 22 → 23). Nowością jest dołączona aplikacja sharing do ujednoliconego udostępniania w Nextcloud 35.
Wniosek: aktualizacja do wersji głównej ma dwa kroki, które należą do siebie – najpierw core, potem aplikacje. Zatrzymaj się po pierwszym, a masz Nextcloud bez Office.
🔍 Jak definiuję „gotowe”
„Strona się ładuje” to nie mój test akceptacyjny. Po każdej instancji sprawdziłem:
- log Nextcloud: żadnych błędów od aktualizacji, tylko dwa lub trzy znane ostrzeżenia o celowo wyłączonych aplikacjach
- logi serwera WWW: żadnych odpowiedzi 5xx
- autotest notify_push
- na hoście: żadnych odmów SELinux, MariaDB i Redis we własnych domenach, żadnych nieudanych unitów, każdy target Prometheusa up
- i na koniec drift check: przebieg playbooka w check mode, który nie może już niczego zmienić
Obie instancje zgłosiły changed=0. Dopiero wtedy uważam aktualizację za zakończoną: serwer jest dokładnie tym, co opisuje kod.
Wniosek: „działa” to uczucie, changed=0 to ustalenie.
🧪 Drift check w szczegółach
Drift check to drugi, zupełnie inny skrypt: scripts/check-drift.sh w publicznym repozytorium. Nie działa według harmonogramu, tylko ręcznie, na maszynie, z której uruchamiam Ansible – zawsze zaraz po prawdziwym przebiegu playbooka i po każdej aktualizacji.
Idea: Ansible opisuje, jak serwer ma wyglądać. Uruchom ten sam playbook jeszcze raz w check mode i nie może zostać nic do zrobienia. Skrypt robi dokładnie to:
- Wywołuje
ansible-playbook … --check --diffdla jednego hosta. W check mode Ansible niczego nie zmienia; tylko raportuje, co by zrobił. - Bierze wynik jako JSON i filtruje taski, które zgłosiłyby „changed” – razem z ich diffem. Przy obiektach Kubernetes ukrywa pola ewidencyjne serwera, tak że zostają tylko prawdziwe różnice.
- Kod wyjścia podaje wynik:
0= brak dryfu,1= dryf,2= sam przebieg sprawdzający się nie powiódł.
Tak to wyglądało dzisiaj po aktualizacji:
$ scripts/check-drift.sh nextcloud-k3s.yml <host>
<host>: changed=0 failed=0
NO DRIFT
A tak wygląda trafienie – wcześniejszy przypadek, w którym task przy każdym przebiegu zgłaszał „changed”, chociaż nic się nie zmieniło:
### would change: rkhunter | Build / refresh file-properties database
<host>: changed=1 failed=0
DRIFT: 1 task(s) would change
Trafienie zaraz po prawdziwym przebiegu zawsze oznacza jedną z dwóch rzeczy: ktoś zmienił coś ręcznie na serwerze albo task w kodzie nie jest idempotentny. O jednym i drugim chcesz wiedzieć, zanim następny przebieg po cichu to „naprawi”.
Wniosek: drift check to odbiór końcowy według planu. Nie dowodzi, że wszystko działa – dowodzi, że serwer dokładnie odpowiada kodowi.
⏳ Dwa tygodnie czekania na Trivy
Trivy, mój nocny skaner obrazów, miał nową wersję. Nie zainstalowałem jej. W marcu 2026 pipeline wydań Trivy został przejęty i rozesłał zmanipulowany build. Od tamtej pory mam zasadę: Trivy tylko w wydaniach mających co najmniej dwa tygodnie, zawsze przypięty sumą kontrolną SHA-256 z pliku sum kontrolnych wydania.
Wersja 0.76.1 wyszła 21 października, więc jest dozwolona od 4 listopada. Sumę kontrolną sprawdziłem z wyprzedzeniem – pobrane archiwum zgadza się z oficjalnym plikiem sum kontrolnych. Commit czeka jeszcze jeden dzień.
Wniosek: w przypadku narzędzi bezpieczeństwa „nowe” nie znaczy automatycznie „bezpieczniejsze”. Okres karencji kosztuje niewiele, a w marcu by pomógł.
🧩 Fałszywy alarm: nowy indeks, ten sam obraz
Raport oznaczył wordpress:7.1.4-php8.5-fpm jako „rebuilt upstream”. Playbook aktualizacji go pobrał – i niczego nie zrestartował. Log containerd pokazał dlaczego: odczytał około 21 KB, a ID obrazu się nie zmieniło.
Wyjaśnienie: mój skrypt porównywał digest indeksu. Tag na Docker Hub wskazuje na indeks, który wymienia obrazy dla każdej platformy. Jeśli zmieni się obraz dla innej architektury albo tylko atestacja, indeks dostaje nowy digest – ale obraz amd64, który uruchamiam, pozostaje identyczny, bajt w bajt.
Poprawka była mała: skrypt teraz rozwiązuje indeks, wybiera wpis linux/amd64 i porównuje jego config digest z ID obrazu na hoście. To jest dokładnie to, co uruchamia kontener. Od tamtej pory: „none – every pinned tag is current”.
Wniosek: nowy digest nie oznacza nowego obrazu. Porównuj to, co naprawdę działa.
🐧 Dlaczego Ansible nigdy nie instaluje moich kerneli
Zostały pakiety kernela. Mój playbook pakietów instaluje każdą aktualizację – oprócz kerneli, celowo. Usługa SSH jest utwardzona przez systemd, między innymi przez ProtectKernelModules=yes. Każda sesja SSH, także sesja Ansible, działa więc we własnej przestrzeni nazw montowania, w której /usr/lib/modules wygląda na pusty i tylko do odczytu. Instalacja kernela przez SSH zawsze się tam nie powiedzie.
Dlatego kernele idą inną drogą:
- dnf-automatic instaluje tylko aktualizacje bezpieczeństwa, w nocy, jako usługa systemd – poza jakąkolwiek sesją SSH. Nowy kernel był właśnie taką aktualizacją bezpieczeństwa.
- O 03:30 host się restartuje, jeśli
needs-restarting -rtego wymaga. - O 04:00 AIDE odświeża swoją bazę, żeby nowy kernel nie był następnego dnia alarmem.
Tym razem nie chciałem czekać do nocy. Zamiast instalować pakiet przez SSH, uruchomiłem ręcznie dnf-automatic-install.service na każdym hoście – ta sama droga co w nocy, tylko wcześniej. Potem reboot, host po hoście. Każdy wrócił po 40–50 sekundach, z nowym kernelem, bez odmów SELinux i ze wszystkimi działającymi podami.
Wcześniejsza pora miała jeden skutek uboczny: codzienna kontrola AIDE działa o północy, przed odświeżeniem o 04:00. Pozostawiona sama sobie zgłosiłaby nowy kernel jako zmianę. Dlatego każdy host potrzebuje potem odświeżenia AIDE i rkhuntera.
Wniosek: hardening ma skutki uboczne dla twojej własnej automatyzacji. Zamiast osłabiać hardening, daj aktualizacji kernela własną, pasującą drogę.
🎯 Lekcje
- Raporty informują, ludzie decydują – sprawdzać automatycznie, wdrażać świadomie.
- Odpowiedz na trzy pytania przed aktualizacją do wersji głównej – czy wszystko jest, czy wszystko pasuje, czy mogę wrócić?
- Core i aplikacje to jedna aktualizacja – Nextcloud jest gotowy dopiero, gdy aplikacje znowu działają.
- Porównuj to, co naprawdę działa – nie indeks, tylko obraz dla twojej własnej platformy.
- Gotowe znaczy
changed=0– drift check zamyka każdy dzień aktualizacji.
