Wycieczka po Ansible, część 2: platforma – od gołej AlmaLinux do klastra Kubernetes
Część 2 wycieczki po Ansible: pakiety, parametry jądra, poczta, nocne aktualizacje, K3s, Helm, cert-manager, ingress i Calico – rola po roli.

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
Część 2 wycieczki po Ansible. Część 1 wyjaśniła, jak zbudowane jest repozytorium; ta część zaczyna od samego dołu. Seria opisuje wydanie v3.3.0, a późniejsze zmiany są dopisane jako aktualizacje.
Każdy serwer zaczyna tu jako zwykły obraz chmurowy AlmaLinux 9: minimalny Linux, logowanie na roota, nic więcej. Pod koniec tej części jest to załatany system bazowy, który wysyła pocztę, aktualizuje się w nocy i rotuje swoje logi – i uruchamia jednowęzłowy klaster Kubernetes z Helmem, automatycznymi certyfikatami Let’s Encrypt i kontrolerem ingress. To platforma, na której stoją blog i Nextcloud. Prawie wszystko jest dla obu takie samo.
Spis treści
🖥️ Przed pierwszą rolą: serwer, dystrybucja, rozmiar
Wszystkie trzy serwery to wynajęte maszyny wirtualne (VPS) u dwóch różnych dostawców, żeby awaria albo problem z kontem u jednego z nich nie położył wszystkiego. Przy wyborze cena liczy się mniej niż to, co ważne w eksploatacji: centrum danych w UE z umową powierzenia przetwarzania danych, stałe adresy IPv4 i IPv6, konsola webowa, która działa, kiedy SSH już nie działa, oraz snapshoty przed ryzykownymi zmianami. Przetestuj konsolę, zanim będziesz jej potrzebować: przy utwardzonym SSH i firewallu to droga powrotu po własnym błędzie.
Role są napisane dla AlmaLinux 9 i niczego innego. Powody: około dziesięciu lat aktualizacji bezpieczeństwa na wersję główną, aktualizacje z typem (co pozwala automatycznie instalować tylko poprawki bezpieczeństwa), SELinux w trybie enforcing od razu po instalacji z polityką dla kontenerów, a benchmark CIS i większość narzędzi pojawiają się najpierw dla tej rodziny. AlmaLinux 10 przyjdzie później: dla 9 EPEL, polityka SELinux dla K3s i repozytoria zewnętrzne są dojrzałe, a aktualizacje bezpieczeństwa trwają do 2032 roku.
| Serwer | vCPU | RAM | Dysk | RAM w spoczynku |
|---|---|---|---|---|
| Blog | 4 | 8 GB | 240 GB | około 2,5 GB |
| Mały Nextcloud (niewielu użytkowników) | 6 | 12 GB | 200 GB | około 3 GB |
| Duży Nextcloud (około 150 użytkowników) | 8 | 24 GB | 600 GB | około 4 GB |
Platforma z tej części – K3s, środowisko uruchomieniowe kontenerów, pody systemowe, cert-manager, ingress – zajmuje z tego około 1,3 do 1,5 GB, Prometheus i Grafana około 0,5 GB. Reszta to aplikacja i cache plików, który Linux wypełnia całą wolną pamięcią. Żaden z serwerów nie ma swapu: serwer, który zaczyna swapować, jest już za mały, a alert pamięci z części 6 zgłasza to wcześniej. Przed pierwszym uruchomieniem serwer potrzebuje tylko obrazu, klucza SSH dla roota, swoich wpisów w inventory i rekordów DNS, które na niego wskazują – cert-manager może zdobyć certyfikat tylko dla nazwy, która rozwiązuje się na ten serwer.
Wniosek: zacznij od małego, mierz monitoringiem i rośnij, kiedy liczby tak mówią. Większość dostawców pozwala na to bez reinstalacji.
📦 blog_packages i next_packages: od obrazu do systemu bazowego
Jedyna para ról w repozytorium, która robi to samo w dwóch wariantach: blog uruchamia wszystko w kontenerach, host Nextcloud dodatkowo uruchamia MariaDB i Redis bezpośrednio na hoście i potrzebuje do tego dwóch dodatkowych repozytoriów i dwóch dodatkowych usług. Rola najpierw ustawia prawdziwą nazwę hosta – obraz chmurowy nazywa się localhost, a pięć nocnych raportów od „localhost” jest bezużytecznych. Potem konfiguruje repozytoria (EPEL; na Nextcloud także CRB i MariaDB Community z przypiętą serią wersji), instaluje wszystkie aktualizacje i pakiety bazowe.
Nie ma odpowiedniego modułu Ansible dla repozytoriów, więc rola używa poleceń według wzorca, który powtarza się w całym repozytorium: najpierw zapytaj, potem działaj. Jedno zadanie tylko czyta (na przykład dnf repolist) i nigdy nie zgłasza zmiany; drugie uruchamia się tylko wtedy, gdy odpowiedź pokazuje, że czegoś brakuje. Pierwsze uruchomienie zgłasza zmianę, każde kolejne żadnej – to warunek idempotencji z części 1.
Aktualizacja systemu pomija jądra, a powód jest pouczający. Utwardzenie SSH z części 5 uruchamia każdą sesję SSH z ProtectKernelModules w prywatnym widoku systemu plików, w którym katalog modułów jądra jest pusty i tylko do odczytu. Nikt, kto loguje się przez SSH, nie może załadować modułu – łącznie z Ansible, a nowe jądro musi umieścić swoje moduły właśnie tam. Dlatego jądra przychodzą w nocy przez dnf-automatic, który działa jako timer systemd poza jakąkolwiek sesją SSH. Z tego samego powodu rola używa systemd-run, żeby sprawdzić, czy po aktualizacji obrazu potrzebny jest restart: tylko proces uruchomiony przez samego systemd widzi prawdziwy system plików.
Na koniec rola wyłącza to, czego serwer nie używa: firewalld, pomocników NFS i LDAP. To, co jest zamaskowane, nie startuje nawet jako zależność innej usługi.
Wniosek: utwardzenie dotyczy także narzędzia, które je skonfigurowało. Jeśli nie chcesz go obchodzić, przenieś pracę tam, gdzie jej miejsce – tutaj do timera systemd.
🧮 common_sysctl: parametry jądra
Dwa pliki w /etc/sysctl.d/: jeden dla szybkości (TCP BBR zamiast CUBIC, większe kolejki dla połączeń przychodzących, wyższe limity inotify dla K3s, wcześniejszy zapis brudnych stron) i jeden dla bezpieczeństwa, czyli sieciowe punkty benchmarku CIS (bez przekierowań ICMP, bez source routingu, SYN cookies, ograniczony ptrace). Najbardziej pouczające jest to, co pomija: typowy profil CIS wyłącza przekazywanie IP i włącza ścisłe filtrowanie reverse path. Na węźle Kubernetes oba zepsułyby klaster – pody są osiągane przez routing na hoście. Datowany komentarz w szablonie dba o to, żeby nikt tego nie „naprawił”, ślepo trzymając się benchmarku.
Ponieważ sesja SSH widzi również /proc/sys tylko do odczytu, rola ustawia wartości przez systemd-run, przy każdym uruchomieniu: handler reaguje tylko na zmienione pliki, a nie na to, że ktoś zmienił wartość w trakcie działania przez sysctl -w. Od 26 października 2026 rola dodaje też psi=1 do linii poleceń jądra: jądro EL9 jest dostarczane z wyłączonym pressure stall information (PSI), dlatego panel „Pressure” w Grafanie był pusty.
Wniosek: benchmark jest pisany dla ogólnego serwera. Tam, gdzie szkodzi węzłowi Kubernetes, odstąp od niego z uzasadnieniem – i zapisz to uzasadnienie.
✉️ common_msmtp: poczta bez serwera pocztowego
Połowa mechanizmów ochronnych zgłasza się mailem: skanery, zadanie aktualizacji, alert logowania SSH, watchdog. Serwer pocztowy byłby kolejną usługą z otwartym portem. msmtp to przeciwieństwo: bez demona, bez kolejki. Program wywołuje sendmail, msmtp przekazuje maila do zewnętrznego konta SMTP i kończy działanie. Rola bierze dane logowania z tych samych wartości inventory, których używa Nextcloud, i ukrywa wyjście zadania szablonu przez no_log, bo plik zawiera hasło.
Dwa błędy z października 2026 pokazują, dlaczego ścieżka poczty potrzebuje testów. Cron wysyłał maile z nadawcą root, którego dostawca odrzucał – wiadomości ginęły tygodniami, aż rola poprawiła nadawcę. A hasło SMTP zawierało #, który w konfiguracji Grafany rozpoczynał komentarz. Od tego czasu Monit sprawdza msmtp.log pod kątem każdego odrzuconego maila, a Grafana raz w tygodniu wysyła maila, który zawsze musi dotrzeć.
Wniosek: ścieżkę poczty, która przenosi tylko alerty, zauważa się dopiero wtedy, gdy jakiegoś alertu brakuje. Potrzebuje regularnego znaku życia.
🌙 common_dnf_automatic: aktualizacje w nocy
dnf-automatic co noc instaluje tylko pakiety oznaczone jako poprawki bezpieczeństwa; wszystko inne pozostaje planowanym uruchomieniem playbooka. Ciekawy jest nocny harmonogram, bo kilka zadań zależy od siebie nawzajem:
| Godzina | Co |
|---|---|
| 00:00 | AIDE porównuje pliki systemowe ze swoją bazą |
| 01:00–02:00 | Instalowane są aktualizacje bezpieczeństwa |
| 03:30 | Restart, jeśli aktualizacja go wymaga |
| 03:45 | Usługi, które wciąż uruchamiają podmieniony kod, są restartowane |
| 04:00 | Baza AIDE jest odnawiana |
| 04:30 | ClamAV skanuje dane użytkowników (Nextcloud) |
| 06:00 | Mail ostrzegawczy, jeśli restart nadal czeka |
Dostarczony timer uruchamiał się o 06:00 – po oknie restartu i po odnowieniu AIDE. Każda aktualizacja bezpieczeństwa pojawiała się więc następnej nocy jako alert AIDE, a nowe jądro czekało prawie dobę na restart. Rola przesuwa timer za pomocą drop-inu systemd. W pustej linii kryje się pułapka: OnCalendar= bez wartości najpierw czyści dostarczoną listę; bez tego timer uruchamiałby się o 01:00 i o 06:00.
Wniosek: nocne zadania tworzą łańcuch. Przesunięcie jednego z nich oznacza sprawdzenie całej kolejności.
🗂️ common_logrotate
Grafana i Prometheus przychodzą bez reguł rotacji, fail2ban i rkhunter z niekompletnymi. Rola je dodaje. Jedyna dyrektywa, którą trzeba zrozumieć, to postrotate: działający program trzyma swój plik logu otwarty i pisze dalej do pliku o zmienionej nazwie, dopóki ktoś nie każe mu otworzyć go na nowo.
☸️ common_k3s: Kubernetes na jednym serwerze
Po co w ogóle Kubernetes na jednym serwerze? Każda aplikacja jest opisana jako zestaw obiektów w repozytorium i można ją identycznie odtworzyć na nowym serwerze; aktualizacja to zmiana tagu obrazu, a wycofanie działa tak samo; każda aplikacja ma własną przestrzeń nazw z własnymi regułami sieciowymi i limitami zasobów; a oba stosy są wdrażane w ten sam sposób. Ceną jest złożoność i około 1,5 GB pamięci. K3s to odpowiednia dystrybucja: jedna binarka z API serverem, schedulerem, kubeletem, containerd i Flannelem. To, co przynosi ponadto, jest wyłączone – Traefik, ServiceLB i local-storage. Czego nie ma uruchomionego, tego nie da się zaatakować.
Konfiguracja jest zapisywana, zanim K3s wystartuje po raz pierwszy: log audytu dla API servera (kto co zrobił; przy sekretach tylko kto, nigdy treść), limit zdarzeń na sekundę i admission pluginy. Tam leżała jedna z najbardziej pouczających pułapek: w Kubernetes enable-admission-plugins dopisuje do domyślnej listy, w K3s ją zastępuje. Przy samym EventRateLimit po cichu zniknął NodeRestriction – plugin, który trzyma skompromitowany kubelet przy jego własnych obiektach. Znalazło to nowe uruchomienie kube-bench.
Binarka i skrypt instalacyjny są przypięte do tej samej wersji i pochodzą z wydania na GitHubie, a nie z get.k3s.io, który zawsze serwuje najnowszy skrypt i podczas pierwszej instalacji jednego serwera przez jakiś czas odpowiadał HTTP 500. Rola odczytuje zainstalowaną wersję i pobiera tylko przy niezgodności. Do 19 października 2026 przy pobieraniu brakowało force: true: Ansible je pomijał, bo plik już istniał, i żadne podbicie wersji od pierwszej instalacji nigdy nie dotarło, a nic tego nie zgłosiło. Od tego czasu kontrola na końcu każdego uruchomienia porównuje wersję zgłaszaną przez kubelet z przypiętą.
Ponieważ każda rola po tej rozmawia z klastrem, rola nie czeka na koniec playa, żeby zrestartować K3s: meta: flush_handlers wykonuje restart od razu, a zadanie czeka, aż API odpowie – z ponowieniami zamiast stałej pauzy.
cert-manager pobiera certyfikaty z Let’s Encrypt i je odnawia. Jest instalowany modułem Helm z Ansible, który aktualizuje tylko przy rzeczywistej różnicy; wcześniejsze polecenie shell zgłaszało zmianę przy każdym uruchomieniu. Zanim można utworzyć ClusterIssuer, Kubernetes musi znać nowy typ obiektu – rola na to czeka. A ponieważ kontroler ingress F5 po cichu ignoruje drugi ingress dla tej samej nazwy hosta, cert-manager tworzy swój ingress do challenge jako „minion”, który jest scalany z ingressem aplikacji.
Kontroler ingress to jedyna rzecz, która odpowiada na portach 80 i 443: pod z hostNetwork, skonfigurowany dla TLS 1.2 i 1.3, HTTP/2, bez numeru wersji w nagłówku serwera i ze strefami do rate limitingu stron logowania. Jeden szczegół kosztował sesję debugowania: dla nazwy hosta bez certyfikatu ten kontroler po prostu zamyka połączenie – w przeglądarce nie do odróżnienia od serwera, który leży. Samopodpisany certyfikat zapasowy sprawia, że różnica jest widoczna. Od 26 października 2026 jego access log zapisuje też content type i długość każdego żądania.
Na koniec konto default w każdej przestrzeni nazw nie dostaje już zamontowanego tokenu API: aplikacja webowa nie musi rozmawiać z API serverem, a skompromitowana nie powinna móc.
Wniosek: zadanie aktualizacji, które zgłasza „ok”, niekoniecznie cokolwiek zaktualizowało, a flaga o tej samej nazwie niekoniecznie robi w K3s to samo co w Kubernetes. Sprawdzaj, co działa, a nie co jest skonfigurowane.
Calico: komponent, który nigdy nic nie robił
Do 19 października 2026 Calico działał obok K3s, żeby egzekwować NetworkPolicies. Test pokazał, że nigdy nie zastosował ani jednej: agent Calico rozpoznaje pody tylko po interfejsach o nazwie cali*, podczas gdy Flannel z K3s nazywa je veth*. Egzekwowanie przez cały czas pochodziło z wbudowanego kontrolera polityk K3s. Wcześniejsza obserwacja „reguła deny-all działała tylko z Calico” nie mogła być prawdziwa. Calico zniknął; deep dive o K3s opowiada całą historię.
Wniosek: komponent bezpieczeństwa działa dopiero wtedy, gdy test pokaże, że coś blokuje. To, że działa, pokazuje tylko, że zużywa pamięć.
🛠️ W praktyce
Większość tej części działa sama. Należą do niej dwa maile: „Rebooting now after security update” oznacza, że w nocy przyszło jądro albo kluczowa biblioteka i serwer zrestartował się o 03:30 – nic do zrobienia. „WARNING: reboot still required” oznacza, że automatyczny restart się nie odbył; zajrzyj do journalctl -b -1 i zrestartuj ręcznie.
- Pakiety hosta, które nie są poprawkami bezpieczeństwa, przychodzą tylko z rolą pakietów (
--tags blog_packagesalbonext_packages). - K3s, Helm i charty: zmień pin w
versions.yml, drift check z--tags common_k3s, potem prawdziwe uruchomienie. K3s zawsze o jedną wersję minor naraz; najpierw przeczytaj release notes i zrób snapshot. - Sprawdź NetworkPolicies: pod z innej przestrzeni nazw nie może dosięgnąć chronionego portu.
- Parametry jądra: zmień szablon,
--tags common_sysctl. Nigdy nie „naprawiaj” przekazywania IP ani filtrowania reverse path według podręcznika.
🎯 Lekcje z części 2
- Utwardzenie dotyczy też Ansible – praca, której zabrania, należy do timera systemd albo za
systemd-run. - Odstąp od benchmarku z udokumentowanym uzasadnieniem tam, gdzie szkodzi węzłowi Kubernetes.
- Nocne zadania tworzą łańcuch; ich kolejność jest częścią konfiguracji.
- Po aktualizacji liczy się działająca wersja, a nie komunikat zadania.
- Udowodnij działanie komponentu bezpieczeństwa testem, a nie jego statusem.
🧭 Dokąd zmierza wycieczka
Platforma stoi: załatany system bazowy z pocztą, nocnymi aktualizacjami i rotowanymi logami oraz klaster Kubernetes z certyfikatami, drzwiami wejściowymi i regułami sieciowymi, które działają. Część 3 stawia na niej bloga, część 4 Nextcloud. SSH, firewall, utwardzanie i SELinux są w części 5.
