Wycieczka po Ansible, część 2: platforma – od gołej AlmaLinux do klastra Kubernetes

Część 2 wycieczki po Ansible: pakiety, parametry jądra, poczta, nocne aktualizacje, K3s, Helm, cert-manager, ingress i Calico – rola po roli.

Ilustracja do serii Wycieczka po Ansible

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

Część 2 wycieczki po Ansible. Część 1 wyjaśniła, jak zbudowane jest repozytorium; ta część zaczyna od samego dołu. Seria opisuje wydanie v3.3.0, a późniejsze zmiany są dopisane jako aktualizacje.

Każdy serwer zaczyna tu jako zwykły obraz chmurowy AlmaLinux 9: minimalny Linux, logowanie na roota, nic więcej. Pod koniec tej części jest to załatany system bazowy, który wysyła pocztę, aktualizuje się w nocy i rotuje swoje logi – i uruchamia jednowęzłowy klaster Kubernetes z Helmem, automatycznymi certyfikatami Let’s Encrypt i kontrolerem ingress. To platforma, na której stoją blog i Nextcloud. Prawie wszystko jest dla obu takie samo.

Spis treści

🖥️ Przed pierwszą rolą: serwer, dystrybucja, rozmiar

Wszystkie trzy serwery to wynajęte maszyny wirtualne (VPS) u dwóch różnych dostawców, żeby awaria albo problem z kontem u jednego z nich nie położył wszystkiego. Przy wyborze cena liczy się mniej niż to, co ważne w eksploatacji: centrum danych w UE z umową powierzenia przetwarzania danych, stałe adresy IPv4 i IPv6, konsola webowa, która działa, kiedy SSH już nie działa, oraz snapshoty przed ryzykownymi zmianami. Przetestuj konsolę, zanim będziesz jej potrzebować: przy utwardzonym SSH i firewallu to droga powrotu po własnym błędzie.

Role są napisane dla AlmaLinux 9 i niczego innego. Powody: około dziesięciu lat aktualizacji bezpieczeństwa na wersję główną, aktualizacje z typem (co pozwala automatycznie instalować tylko poprawki bezpieczeństwa), SELinux w trybie enforcing od razu po instalacji z polityką dla kontenerów, a benchmark CIS i większość narzędzi pojawiają się najpierw dla tej rodziny. AlmaLinux 10 przyjdzie później: dla 9 EPEL, polityka SELinux dla K3s i repozytoria zewnętrzne są dojrzałe, a aktualizacje bezpieczeństwa trwają do 2032 roku.

SerwervCPURAMDyskRAM w spoczynku
Blog48 GB240 GBokoło 2,5 GB
Mały Nextcloud (niewielu użytkowników)612 GB200 GBokoło 3 GB
Duży Nextcloud (około 150 użytkowników)824 GB600 GBokoło 4 GB

Platforma z tej części – K3s, środowisko uruchomieniowe kontenerów, pody systemowe, cert-manager, ingress – zajmuje z tego około 1,3 do 1,5 GB, Prometheus i Grafana około 0,5 GB. Reszta to aplikacja i cache plików, który Linux wypełnia całą wolną pamięcią. Żaden z serwerów nie ma swapu: serwer, który zaczyna swapować, jest już za mały, a alert pamięci z części 6 zgłasza to wcześniej. Przed pierwszym uruchomieniem serwer potrzebuje tylko obrazu, klucza SSH dla roota, swoich wpisów w inventory i rekordów DNS, które na niego wskazują – cert-manager może zdobyć certyfikat tylko dla nazwy, która rozwiązuje się na ten serwer.

Wniosek: zacznij od małego, mierz monitoringiem i rośnij, kiedy liczby tak mówią. Większość dostawców pozwala na to bez reinstalacji.

📦 blog_packages i next_packages: od obrazu do systemu bazowego

Jedyna para ról w repozytorium, która robi to samo w dwóch wariantach: blog uruchamia wszystko w kontenerach, host Nextcloud dodatkowo uruchamia MariaDB i Redis bezpośrednio na hoście i potrzebuje do tego dwóch dodatkowych repozytoriów i dwóch dodatkowych usług. Rola najpierw ustawia prawdziwą nazwę hosta – obraz chmurowy nazywa się localhost, a pięć nocnych raportów od „localhost” jest bezużytecznych. Potem konfiguruje repozytoria (EPEL; na Nextcloud także CRB i MariaDB Community z przypiętą serią wersji), instaluje wszystkie aktualizacje i pakiety bazowe.

Nie ma odpowiedniego modułu Ansible dla repozytoriów, więc rola używa poleceń według wzorca, który powtarza się w całym repozytorium: najpierw zapytaj, potem działaj. Jedno zadanie tylko czyta (na przykład dnf repolist) i nigdy nie zgłasza zmiany; drugie uruchamia się tylko wtedy, gdy odpowiedź pokazuje, że czegoś brakuje. Pierwsze uruchomienie zgłasza zmianę, każde kolejne żadnej – to warunek idempotencji z części 1.

Aktualizacja systemu pomija jądra, a powód jest pouczający. Utwardzenie SSH z części 5 uruchamia każdą sesję SSH z ProtectKernelModules w prywatnym widoku systemu plików, w którym katalog modułów jądra jest pusty i tylko do odczytu. Nikt, kto loguje się przez SSH, nie może załadować modułu – łącznie z Ansible, a nowe jądro musi umieścić swoje moduły właśnie tam. Dlatego jądra przychodzą w nocy przez dnf-automatic, który działa jako timer systemd poza jakąkolwiek sesją SSH. Z tego samego powodu rola używa systemd-run, żeby sprawdzić, czy po aktualizacji obrazu potrzebny jest restart: tylko proces uruchomiony przez samego systemd widzi prawdziwy system plików.

Na koniec rola wyłącza to, czego serwer nie używa: firewalld, pomocników NFS i LDAP. To, co jest zamaskowane, nie startuje nawet jako zależność innej usługi.

Wniosek: utwardzenie dotyczy także narzędzia, które je skonfigurowało. Jeśli nie chcesz go obchodzić, przenieś pracę tam, gdzie jej miejsce – tutaj do timera systemd.

🧮 common_sysctl: parametry jądra

Dwa pliki w /etc/sysctl.d/: jeden dla szybkości (TCP BBR zamiast CUBIC, większe kolejki dla połączeń przychodzących, wyższe limity inotify dla K3s, wcześniejszy zapis brudnych stron) i jeden dla bezpieczeństwa, czyli sieciowe punkty benchmarku CIS (bez przekierowań ICMP, bez source routingu, SYN cookies, ograniczony ptrace). Najbardziej pouczające jest to, co pomija: typowy profil CIS wyłącza przekazywanie IP i włącza ścisłe filtrowanie reverse path. Na węźle Kubernetes oba zepsułyby klaster – pody są osiągane przez routing na hoście. Datowany komentarz w szablonie dba o to, żeby nikt tego nie „naprawił”, ślepo trzymając się benchmarku.

Ponieważ sesja SSH widzi również /proc/sys tylko do odczytu, rola ustawia wartości przez systemd-run, przy każdym uruchomieniu: handler reaguje tylko na zmienione pliki, a nie na to, że ktoś zmienił wartość w trakcie działania przez sysctl -w. Od 26 października 2026 rola dodaje też psi=1 do linii poleceń jądra: jądro EL9 jest dostarczane z wyłączonym pressure stall information (PSI), dlatego panel „Pressure” w Grafanie był pusty.

Wniosek: benchmark jest pisany dla ogólnego serwera. Tam, gdzie szkodzi węzłowi Kubernetes, odstąp od niego z uzasadnieniem – i zapisz to uzasadnienie.

✉️ common_msmtp: poczta bez serwera pocztowego

Połowa mechanizmów ochronnych zgłasza się mailem: skanery, zadanie aktualizacji, alert logowania SSH, watchdog. Serwer pocztowy byłby kolejną usługą z otwartym portem. msmtp to przeciwieństwo: bez demona, bez kolejki. Program wywołuje sendmail, msmtp przekazuje maila do zewnętrznego konta SMTP i kończy działanie. Rola bierze dane logowania z tych samych wartości inventory, których używa Nextcloud, i ukrywa wyjście zadania szablonu przez no_log, bo plik zawiera hasło.

Dwa błędy z października 2026 pokazują, dlaczego ścieżka poczty potrzebuje testów. Cron wysyłał maile z nadawcą root, którego dostawca odrzucał – wiadomości ginęły tygodniami, aż rola poprawiła nadawcę. A hasło SMTP zawierało #, który w konfiguracji Grafany rozpoczynał komentarz. Od tego czasu Monit sprawdza msmtp.log pod kątem każdego odrzuconego maila, a Grafana raz w tygodniu wysyła maila, który zawsze musi dotrzeć.

Wniosek: ścieżkę poczty, która przenosi tylko alerty, zauważa się dopiero wtedy, gdy jakiegoś alertu brakuje. Potrzebuje regularnego znaku życia.

🌙 common_dnf_automatic: aktualizacje w nocy

dnf-automatic co noc instaluje tylko pakiety oznaczone jako poprawki bezpieczeństwa; wszystko inne pozostaje planowanym uruchomieniem playbooka. Ciekawy jest nocny harmonogram, bo kilka zadań zależy od siebie nawzajem:

GodzinaCo
00:00AIDE porównuje pliki systemowe ze swoją bazą
01:00–02:00Instalowane są aktualizacje bezpieczeństwa
03:30Restart, jeśli aktualizacja go wymaga
03:45Usługi, które wciąż uruchamiają podmieniony kod, są restartowane
04:00Baza AIDE jest odnawiana
04:30ClamAV skanuje dane użytkowników (Nextcloud)
06:00Mail ostrzegawczy, jeśli restart nadal czeka

Dostarczony timer uruchamiał się o 06:00 – po oknie restartu i po odnowieniu AIDE. Każda aktualizacja bezpieczeństwa pojawiała się więc następnej nocy jako alert AIDE, a nowe jądro czekało prawie dobę na restart. Rola przesuwa timer za pomocą drop-inu systemd. W pustej linii kryje się pułapka: OnCalendar= bez wartości najpierw czyści dostarczoną listę; bez tego timer uruchamiałby się o 01:00 i o 06:00.

Wniosek: nocne zadania tworzą łańcuch. Przesunięcie jednego z nich oznacza sprawdzenie całej kolejności.

🗂️ common_logrotate

Grafana i Prometheus przychodzą bez reguł rotacji, fail2ban i rkhunter z niekompletnymi. Rola je dodaje. Jedyna dyrektywa, którą trzeba zrozumieć, to postrotate: działający program trzyma swój plik logu otwarty i pisze dalej do pliku o zmienionej nazwie, dopóki ktoś nie każe mu otworzyć go na nowo.

☸️ common_k3s: Kubernetes na jednym serwerze

Po co w ogóle Kubernetes na jednym serwerze? Każda aplikacja jest opisana jako zestaw obiektów w repozytorium i można ją identycznie odtworzyć na nowym serwerze; aktualizacja to zmiana tagu obrazu, a wycofanie działa tak samo; każda aplikacja ma własną przestrzeń nazw z własnymi regułami sieciowymi i limitami zasobów; a oba stosy są wdrażane w ten sam sposób. Ceną jest złożoność i około 1,5 GB pamięci. K3s to odpowiednia dystrybucja: jedna binarka z API serverem, schedulerem, kubeletem, containerd i Flannelem. To, co przynosi ponadto, jest wyłączone – Traefik, ServiceLB i local-storage. Czego nie ma uruchomionego, tego nie da się zaatakować.

Konfiguracja jest zapisywana, zanim K3s wystartuje po raz pierwszy: log audytu dla API servera (kto co zrobił; przy sekretach tylko kto, nigdy treść), limit zdarzeń na sekundę i admission pluginy. Tam leżała jedna z najbardziej pouczających pułapek: w Kubernetes enable-admission-plugins dopisuje do domyślnej listy, w K3s ją zastępuje. Przy samym EventRateLimit po cichu zniknął NodeRestriction – plugin, który trzyma skompromitowany kubelet przy jego własnych obiektach. Znalazło to nowe uruchomienie kube-bench.

Binarka i skrypt instalacyjny są przypięte do tej samej wersji i pochodzą z wydania na GitHubie, a nie z get.k3s.io, który zawsze serwuje najnowszy skrypt i podczas pierwszej instalacji jednego serwera przez jakiś czas odpowiadał HTTP 500. Rola odczytuje zainstalowaną wersję i pobiera tylko przy niezgodności. Do 19 października 2026 przy pobieraniu brakowało force: true: Ansible je pomijał, bo plik już istniał, i żadne podbicie wersji od pierwszej instalacji nigdy nie dotarło, a nic tego nie zgłosiło. Od tego czasu kontrola na końcu każdego uruchomienia porównuje wersję zgłaszaną przez kubelet z przypiętą.

Ponieważ każda rola po tej rozmawia z klastrem, rola nie czeka na koniec playa, żeby zrestartować K3s: meta: flush_handlers wykonuje restart od razu, a zadanie czeka, aż API odpowie – z ponowieniami zamiast stałej pauzy.

cert-manager pobiera certyfikaty z Let’s Encrypt i je odnawia. Jest instalowany modułem Helm z Ansible, który aktualizuje tylko przy rzeczywistej różnicy; wcześniejsze polecenie shell zgłaszało zmianę przy każdym uruchomieniu. Zanim można utworzyć ClusterIssuer, Kubernetes musi znać nowy typ obiektu – rola na to czeka. A ponieważ kontroler ingress F5 po cichu ignoruje drugi ingress dla tej samej nazwy hosta, cert-manager tworzy swój ingress do challenge jako „minion”, który jest scalany z ingressem aplikacji.

Kontroler ingress to jedyna rzecz, która odpowiada na portach 80 i 443: pod z hostNetwork, skonfigurowany dla TLS 1.2 i 1.3, HTTP/2, bez numeru wersji w nagłówku serwera i ze strefami do rate limitingu stron logowania. Jeden szczegół kosztował sesję debugowania: dla nazwy hosta bez certyfikatu ten kontroler po prostu zamyka połączenie – w przeglądarce nie do odróżnienia od serwera, który leży. Samopodpisany certyfikat zapasowy sprawia, że różnica jest widoczna. Od 26 października 2026 jego access log zapisuje też content type i długość każdego żądania.

Na koniec konto default w każdej przestrzeni nazw nie dostaje już zamontowanego tokenu API: aplikacja webowa nie musi rozmawiać z API serverem, a skompromitowana nie powinna móc.

Wniosek: zadanie aktualizacji, które zgłasza „ok”, niekoniecznie cokolwiek zaktualizowało, a flaga o tej samej nazwie niekoniecznie robi w K3s to samo co w Kubernetes. Sprawdzaj, co działa, a nie co jest skonfigurowane.

Calico: komponent, który nigdy nic nie robił

Do 19 października 2026 Calico działał obok K3s, żeby egzekwować NetworkPolicies. Test pokazał, że nigdy nie zastosował ani jednej: agent Calico rozpoznaje pody tylko po interfejsach o nazwie cali*, podczas gdy Flannel z K3s nazywa je veth*. Egzekwowanie przez cały czas pochodziło z wbudowanego kontrolera polityk K3s. Wcześniejsza obserwacja „reguła deny-all działała tylko z Calico” nie mogła być prawdziwa. Calico zniknął; deep dive o K3s opowiada całą historię.

Wniosek: komponent bezpieczeństwa działa dopiero wtedy, gdy test pokaże, że coś blokuje. To, że działa, pokazuje tylko, że zużywa pamięć.

🛠️ W praktyce

Większość tej części działa sama. Należą do niej dwa maile: „Rebooting now after security update” oznacza, że w nocy przyszło jądro albo kluczowa biblioteka i serwer zrestartował się o 03:30 – nic do zrobienia. „WARNING: reboot still required” oznacza, że automatyczny restart się nie odbył; zajrzyj do journalctl -b -1 i zrestartuj ręcznie.

  • Pakiety hosta, które nie są poprawkami bezpieczeństwa, przychodzą tylko z rolą pakietów (--tags blog_packages albo next_packages).
  • K3s, Helm i charty: zmień pin w versions.yml, drift check z --tags common_k3s, potem prawdziwe uruchomienie. K3s zawsze o jedną wersję minor naraz; najpierw przeczytaj release notes i zrób snapshot.
  • Sprawdź NetworkPolicies: pod z innej przestrzeni nazw nie może dosięgnąć chronionego portu.
  • Parametry jądra: zmień szablon, --tags common_sysctl. Nigdy nie „naprawiaj” przekazywania IP ani filtrowania reverse path według podręcznika.

🎯 Lekcje z części 2

  • Utwardzenie dotyczy też Ansible – praca, której zabrania, należy do timera systemd albo za systemd-run.
  • Odstąp od benchmarku z udokumentowanym uzasadnieniem tam, gdzie szkodzi węzłowi Kubernetes.
  • Nocne zadania tworzą łańcuch; ich kolejność jest częścią konfiguracji.
  • Po aktualizacji liczy się działająca wersja, a nie komunikat zadania.
  • Udowodnij działanie komponentu bezpieczeństwa testem, a nie jego statusem.

🧭 Dokąd zmierza wycieczka

Platforma stoi: załatany system bazowy z pocztą, nocnymi aktualizacjami i rotowanymi logami oraz klaster Kubernetes z certyfikatami, drzwiami wejściowymi i regułami sieciowymi, które działają. Część 3 stawia na niej bloga, część 4 Nextcloud. SSH, firewall, utwardzanie i SELinux są w części 5.

Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły