De Ansible-tour, deel 2: het platform – van een kale AlmaLinux tot een Kubernetes-cluster

Deel 2 van de Ansible-tour: pakketten, kernelinstellingen, mail, nachtelijke updates, K3s, Helm, cert-manager, ingress en Calico – rol voor rol.

Illustratie voor de serie Ansible-tour

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

Deel 2 van de Ansible-tour. Deel 1 legde uit hoe de repository is opgebouwd; dit deel begint helemaal onderaan. De serie beschrijft release v3.3.0, met latere wijzigingen als updates toegevoegd.

Elke server hier begint als een kaal AlmaLinux 9-cloudimage: een minimale Linux, een root-login, verder niets. Aan het eind van dit deel is het een gepatcht basissysteem dat mail verstuurt, zichzelf ’s nachts bijwerkt en zijn logs roteert – en dat een Kubernetes-cluster met één node draait, met Helm, automatische Let’s Encrypt-certificaten en een ingress-controller. Dat is het platform waar de blog en Nextcloud op staan. Bijna alles daarvan is voor beide hetzelfde.

Inhoud

🖥️ Vóór de eerste rol: server, distributie, grootte

Alle drie de servers zijn gehuurde virtuele machines (VPS) bij twee verschillende providers, zodat een storing of een accountprobleem bij één ervan niet alles platlegt. Bij het kiezen telt de prijs minder dan de punten die in de praktijk tellen: een datacenter in de EU met een verwerkersovereenkomst, vaste IPv4- en IPv6-adressen, een webconsole die nog werkt als SSH dat niet meer doet, en snapshots vóór riskante wijzigingen. Test de console voordat je hem nodig hebt: met geharde SSH en een firewall is hij de weg terug na een eigen fout.

De rollen zijn geschreven voor AlmaLinux 9 en niets anders. De redenen: ongeveer tien jaar beveiligingsupdates per hoofdversie, updates met een type (waardoor je automatisch alleen beveiligingsfixes kunt installeren), SELinux standaard op enforcing met een policy voor containers, en de CIS-benchmark en de meeste tools verschijnen voor deze familie als eerste. AlmaLinux 10 komt later: voor 9 zijn EPEL, de K3s-SELinux-policy en repositories van derden volwassen, en de beveiligingsupdates lopen tot 2032.

ServervCPURAMSchijfRAM in rust
Blog48 GB240 GBongeveer 2,5 GB
Kleine Nextcloud (weinig gebruikers)612 GB200 GBongeveer 3 GB
Grote Nextcloud (ongeveer 150 gebruikers)824 GB600 GBongeveer 4 GB

Het platform uit dit deel – K3s, de container-runtime, de systeempods, cert-manager, de ingress – neemt daar ongeveer 1,3 tot 1,5 GB van, Prometheus en Grafana ongeveer 0,5 GB. De rest is de applicatie en de bestandscache, die Linux met al het vrije geheugen vult. Geen van de servers heeft swap: een server die begint te swappen is al te klein, en het geheugenalarm uit deel 6 meldt dat eerder. Vóór de eerste run heeft een server alleen het image nodig, een SSH-sleutel voor root, zijn regels in de inventory en DNS-records die naar hem wijzen – cert-manager kan alleen een certificaat halen voor een naam die naar de server resolvet.

De les: begin klein, meet met de monitoring en groei als de cijfers dat zeggen. De meeste providers staan dat toe zonder herinstallatie.

📦 blog_packages en next_packages: van image naar basissysteem

Het enige paar rollen in de repository dat hetzelfde werk in twee varianten doet: de blog draait alles in containers, een Nextcloud-host draait daarnaast MariaDB en Redis direct op de host en heeft daarvoor twee extra repositories en twee extra services nodig. De rol zet eerst een echte hostname – een cloudimage heet localhost, en vijf nachtelijke rapporten van “localhost” zijn nutteloos. Daarna richt hij de repositories in (EPEL; bij Nextcloud ook CRB en MariaDB Community met een vastgepinde versiereeks), installeert alle updates en de basispakketten.

Er is geen geschikte Ansible-module voor repositories, dus de rol gebruikt commando’s met een patroon dat overal in de repository terugkomt: eerst vragen, dan handelen. Eén task leest alleen (bijvoorbeeld dnf repolist) en meldt nooit een wijziging; een tweede task draait alleen als het antwoord laat zien dat er iets ontbreekt. De eerste run meldt een wijziging, elke latere geen – de voorwaarde voor de idempotentie uit deel 1.

De systeemupdate laat kernels weg, en de reden is leerzaam. De SSH-hardening uit deel 5 start elke SSH-sessie met ProtectKernelModules in een privé-weergave van het bestandssysteem, waarin de map met kernelmodules leeg en alleen-lezen is. Niemand die via SSH inlogt kan een module laden – Ansible inbegrepen, en een nieuwe kernel moet zijn modules precies daar neerzetten. Kernels komen daarom ’s nachts binnen via dnf-automatic, dat als systemd-timer buiten elke SSH-sessie draait. Om dezelfde reden gebruikt de rol systemd-run om na een image-update te controleren of een reboot nodig is: alleen een proces dat systemd zelf start ziet het echte bestandssysteem.

Tot slot zet de rol uit wat de server niet gebruikt: firewalld, de NFS- en LDAP-helpers. Wat gemaskeerd is, start niet eens als afhankelijkheid van een andere service.

De les: een hardening geldt ook voor het tool dat hem heeft ingericht. Wil je er niet omheen werken, verplaats het werk dan naar waar het hoort – hier naar een systemd-timer.

🧮 common_sysctl: kernelparameters

Twee bestanden in /etc/sysctl.d/: één voor snelheid (TCP BBR in plaats van CUBIC, grotere wachtrijen voor inkomende verbindingen, hogere inotify-limieten voor K3s, eerder terugschrijven van dirty pages) en één voor beveiliging, de netwerkpunten van de CIS-benchmark (geen ICMP-redirects, geen source routing, SYN-cookies, beperkte ptrace). Het leerzaamst is wat hij weglaat: een gebruikelijk CIS-profiel zet IP-forwarding uit en strikte reverse path filtering aan. Op een Kubernetes-node zouden beide het cluster breken – pods worden via routing op de host bereikt. Een gedateerd commentaar in de template zorgt ervoor dat niemand dit “repareert” door blind de benchmark te volgen.

Omdat de SSH-sessie ook /proc/sys alleen-lezen ziet, zet de rol de waarden via systemd-run, bij elke run: een handler reageert alleen op gewijzigde bestanden, niet op iemand die een waarde tijdens runtime met sysctl -w heeft veranderd. Sinds 26 oktober 2026 zet de rol ook psi=1 op de kernel-commandline: de EL9-kernel wordt geleverd met pressure stall information (PSI) uitgeschakeld, en daarom bleef het paneel “Pressure” in Grafana leeg.

De les: een benchmark is geschreven voor een algemene server. Waar hij een Kubernetes-node schaadt, wijk je af met een reden – en schrijf je die reden op.

✉️ common_msmtp: mail zonder mailserver

De helft van de beschermingsmechanismen meldt zich per mail: scanners, de update-job, het SSH-loginalarm, de watchdog. Een mailserver zou nog een service met een open poort zijn. msmtp is het tegendeel: geen daemon, geen wachtrij. Een programma roept sendmail aan, msmtp geeft de mail door aan een extern SMTP-account en stopt. De rol haalt de inloggegevens uit dezelfde inventory-waarden die Nextcloud gebruikt en verbergt de output van de template-task met no_log, omdat het bestand het wachtwoord bevat.

Twee fouten uit oktober 2026 laten zien waarom een mailpad tests nodig heeft. Cron verstuurde mail met afzender root, die de provider weigerde – de berichten gingen wekenlang verloren tot de rol de afzender corrigeerde. En het SMTP-wachtwoord bevatte een #, wat in de configuratie van Grafana een commentaar begon. Sindsdien controleert Monit msmtp.log op elke geweigerde mail, en stuurt Grafana één keer per week een mail die altijd moet aankomen.

De les: een mailpad dat alleen alarmen vervoert, valt pas op als er een alarm ontbreekt. Het heeft een regelmatig levensteken nodig.

🌙 common_dnf_automatic: updates ’s nachts

dnf-automatic installeert elke nacht alleen pakketten die als beveiligingsfix gemarkeerd zijn; al het andere blijft een geplande run met het playbook. Het interessante deel is het nachtschema, omdat verschillende jobs van elkaar afhangen:

TijdWat
00:00AIDE vergelijkt de systeembestanden met zijn baseline
01:00–02:00Beveiligingsupdates worden geïnstalleerd
03:30Reboot als een update dat nodig heeft
03:45Services die nog vervangen code draaien worden herstart
04:00De AIDE-baseline wordt vernieuwd
04:30ClamAV scant de gebruikersdata (Nextcloud)
06:00Waarschuwingsmail als er nog een reboot openstaat

De meegeleverde timer liep om 06:00 – na het rebootvenster en na de AIDE-vernieuwing. Elke beveiligingsupdate dook daardoor de volgende nacht op als AIDE-alarm, en een nieuwe kernel wachtte bijna een dag op zijn reboot. De rol verplaatst de timer met een systemd-drop-in. In een lege regel schuilt een valkuil: OnCalendar= zonder waarde wist eerst de meegeleverde lijst; zonder die regel zou de timer om 01:00 en om 06:00 lopen.

De les: nachtelijke jobs vormen een keten. Wie er één verplaatst, moet de hele volgorde controleren.

🗂️ common_logrotate

Grafana en Prometheus komen zonder rotatieregels, fail2ban en rkhunter met onvolledige. De rol voegt ze toe. De enige directive die je moet begrijpen is postrotate: een draaiend programma houdt zijn logbestand open en blijft in het hernoemde bestand schrijven tot het opdracht krijgt om opnieuw te openen.

☸️ common_k3s: Kubernetes op één server

Waarom überhaupt Kubernetes op één server? Elke applicatie is beschreven als een set objecten in de repository en kan identiek op een nieuwe server worden herbouwd; een update betekent een image-tag veranderen, en terugdraaien werkt net zo; elke applicatie heeft een eigen namespace met eigen netwerkregels en resourcelimieten; en beide stacks worden op dezelfde manier uitgerold. De prijs is complexiteit en ongeveer 1,5 GB geheugen. K3s is de passende distributie: één binary met API-server, scheduler, kubelet, containerd en Flannel. Wat het daarnaast meebrengt, staat uit – Traefik, ServiceLB en local-storage. Wat niet draait, kan niet worden aangevallen.

De configuratie wordt geschreven voordat K3s voor het eerst start: een auditlog voor de API-server (wie deed wat; bij secrets alleen wie, nooit de inhoud), een limiet op events per seconde en de admission-plugins. Daar lag een van de leerzaamste valkuilen: in Kubernetes vult enable-admission-plugins de standaardlijst aan, in K3s vervangt het die. Met alleen EventRateLimit verdween NodeRestriction stilletjes – de plugin die een gecompromitteerde kubelet bij zijn eigen objecten houdt. Een nieuwe kube-bench-run vond het.

Binary en installatiescript zijn op dezelfde versie gepind en komen uit de GitHub-release, niet van get.k3s.io, dat altijd het nieuwste script levert en tijdens de eerste installatie van een server een tijdlang met HTTP 500 antwoordde. De rol leest de geïnstalleerde versie en downloadt alleen bij een verschil. Tot 19 oktober 2026 ontbrak force: true bij de download: Ansible sloeg hem over omdat het bestand al bestond, en geen enkele versieverhoging sinds de eerste installatie kwam ooit aan, zonder dat iets dat meldde. Sindsdien vergelijkt een check aan het eind van elke run de versie die de kubelet meldt met de pin.

Omdat elke rol na deze met het cluster praat, wacht de rol niet op het eind van het play om K3s te herstarten: meta: flush_handlers voert de herstart meteen uit, en een task wacht tot de API antwoordt – met retries in plaats van een vaste pauze.

cert-manager haalt de certificaten bij Let’s Encrypt en vernieuwt ze. Hij wordt geïnstalleerd met de Helm-module van Ansible, die alleen bij een echt verschil bijwerkt; het eerdere shell-commando meldde bij elke run een wijziging. Voordat de ClusterIssuer kan worden aangemaakt, moet Kubernetes het nieuwe objecttype kennen – de rol wacht daarop. En omdat de F5-ingress-controller een tweede ingress voor dezelfde hostname stilletjes negeert, maakt cert-manager zijn challenge-ingress aan als “minion”, die wordt samengevoegd met de ingress van de applicatie.

De ingress-controller is het enige dat op de poorten 80 en 443 antwoordt: een pod met hostNetwork, geconfigureerd voor TLS 1.2 en 1.3, HTTP/2, geen versienummer in de server-header, en de zones voor rate limiting van de loginpagina’s. Eén detail kostte een debugsessie: voor een hostname zonder certificaat sluit deze controller gewoon de verbinding – in de browser niet te onderscheiden van een server die plat ligt. Een self-signed fallbackcertificaat maakt het verschil zichtbaar. Sinds 26 oktober 2026 legt zijn accesslog ook het content type en de lengte van elk request vast.

Tot slot krijgt het default-account van elke namespace geen API-token meer gemount: een webapplicatie hoeft niet met de API-server te praten, en een gecompromitteerde zou dat niet moeten kunnen.

De les: een update-task die “ok” meldt, heeft niet per se iets bijgewerkt, en een vlag met dezelfde naam doet in K3s niet per se hetzelfde als in Kubernetes. Controleer wat draait, niet wat geconfigureerd is.

Calico: het onderdeel dat nooit iets deed

Tot 19 oktober 2026 draaide Calico naast K3s om de NetworkPolicies af te dwingen. Een test liet zien dat het er nooit één had toegepast: de agent van Calico herkent pods alleen aan interfaces met de naam cali*, terwijl de Flannel van K3s ze veth* noemt. De handhaving kwam al die tijd van de ingebouwde policy-controller van K3s. De eerdere waarneming “de deny-all-regel werkte alleen met Calico” kan niet hebben geklopt. Calico is weg; de K3s-deep-dive vertelt het hele verhaal.

De les: een beveiligingsonderdeel werkt pas als een test laat zien dat het iets blokkeert. Dat het draait, laat alleen zien dat het geheugen gebruikt.

🛠️ In de praktijk

Het meeste uit dit deel draait vanzelf. Twee mails horen erbij: “Rebooting now after security update” betekent dat er ’s nachts een kernel of kernbibliotheek binnenkwam en de server om 03:30 is herstart – niets te doen. “WARNING: reboot still required” betekent dat de automatische reboot niet is gebeurd; kijk naar journalctl -b -1 en herstart met de hand.

  • Hostpakketten die geen beveiligingsfix zijn, komen alleen met de pakketrol (--tags blog_packages of next_packages).
  • K3s, Helm en de charts: verander de pin in versions.yml, driftcheck met --tags common_k3s, dan de echte run. K3s altijd één minor-versie tegelijk; lees eerst de release notes en maak een snapshot.
  • Controleer de NetworkPolicies: een pod uit een andere namespace mag een beschermde poort niet bereiken.
  • Kernelparameters: verander de template, --tags common_sysctl. “Repareer” IP-forwarding of reverse path filtering nooit volgens het boekje.

🎯 De lessen van deel 2

  • Een hardening geldt ook voor Ansible – werk dat hij verbiedt hoort in een systemd-timer of achter systemd-run.
  • Wijk met een gedocumenteerde reden af van een benchmark waar hij een Kubernetes-node schaadt.
  • Nachtelijke jobs vormen een keten; hun volgorde is deel van de configuratie.
  • Na een update telt de draaiende versie, niet de melding van de task.
  • Bewijs een beveiligingsonderdeel met een test, niet met zijn status.

🧭 Waar de tour hierna heen gaat

Het platform staat: een gepatcht basissysteem met mail, nachtelijke updates en geroteerde logs, en een Kubernetes-cluster met certificaten, een voordeur en netwerkregels die werken. Deel 3 zet de blog erop, deel 4 Nextcloud. SSH, de firewall, hardening en SELinux staan in deel 5.

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details