AlmaLinux 10 op de proef: mijn Nextcloud-playbook, negen struikelblokken en een AI die werkt terwijl ik weg ben

Mijn Nextcloud-servers blijven nog lang op AlmaLinux 9. Toch wilde ik weten wat mijn playbook nodig heeft voor AlmaLinux 10. Ik heb het werk aan Claude overgelaten, was een deel van de dag weg en volgde de voortgang per mail.

Strip: in het blauw verlichte gangpad van de serverruimte werkt een vrolijke kleine robot aan een rolwagen met een monitor waarop „AlmaLinux 10” staat met een voortgangsbalk en groene vinkjes, op de racks plakken briefjes met „SELinux”, „K3s” en „Valkey”; de robot steekt zijn duim op, ernaast slaapt de man achterovergeleund in een bureaustoel, voeten op een kist, „Zzz” boven zijn hoofd, een lege mok in zijn hand en de melding „37/37 checks passed”

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski

In het kort: Mijn Nextcloud-servers draaien op AlmaLinux 9, en dat blijft nog een flinke tijd zo. Toch wilde ik weten wat mijn Ansible-playbook nodig heeft voor AlmaLinux 10. Dus liet ik een testserver vers installeren met AlmaLinux 10.3 en liet het werk aan Claude over. Een deel van de dag was ik weg en volgde ik de voortgang via de mails van de playbook-runs. Het resultaat: negen struikelblokken, bijna allemaal in de hardening en niet in Nextcloud. De twee interessantste: kernelmodules die naar een ander pakket zijn verhuisd, en SELinux-paden waarbij /run en /var/run van rol zijn gewisseld. De code staat in de branch el10-support.

Inhoud

🤔 Waarom nu al?

AlmaLinux 9 krijgt beveiligingsupdates tot 2032, er is dus geen haast. Juist daarom is nu een goed moment: ik kan rustig op een testmachine uitzoeken wat er moet veranderen, in plaats van dat ooit onder tijdsdruk te doen.

Ter context: Nextcloud, nginx en PHP draaien in een K3s-cluster met één node, MariaDB en Redis direct op de host. Daar komt veel hardening bij: SELinux in enforcing-modus met eigen policy-modules voor Prometheus, Grafana en de exporters, systemd-sandboxing voor de database, nftables, fail2ban, auditd, AIDE, rkhunter en CIS-regels. Juist die hardening kraakt als eerste bij een nieuwe hoofdversie.

🤖 Ik liet het werk aan Claude over

Deze keer heb ik het werk bijna helemaal aan Claude gegeven, de AI van Anthropic, die bij mij als Claude Code direct in de repository werkt. Mijn regels waren kort:

  • Alleen de testserver. De productieservers worden niet aangeraakt, zelfs niet met --check.
  • Op AlmaLinux 9 mag niets veranderen.
  • Pas pushen als alles klaar is, en niets geheims in de repository.

Daarmee werkte Claude zelfstandig: de verse server analyseren, het playbook draaien, elke fout onderzoeken, de rollen aanpassen en de volgende run starten. Als vangnet maakte Claude een eigen inventory met alleen de testserver. Zelfs een vergeten -l test had geen andere host kunnen bereiken.

Een deel van de dag was ik weg. Toch wist ik hoe het ervoor stond: elke playbook-run stuurt aan het eind zijn verify-rapport per mail. Op mijn telefoon kon ik zien hoe de runs elke keer verder kwamen. Toen ik weer thuis was, liep het playbook volledig door op AlmaLinux 10 en stond de branch op GitHub.

Helemaal vlekkeloos ging het overigens niet. Eén keer gebruikte Claude kort git stash voor een lint-vergelijking terwijl er op de achtergrond een playbook-run liep. Ongeveer een minuut lang stond de werkmap weer op de oude stand. Claude merkte het op, meldde het open en eerlijk, verwierp de run als niet betrouwbaar en herhaalde hem. Dat is het soort fout dat mij net zo goed had kunnen overkomen.

🧭 De belangrijkste beslissing: geen kopie van het project

Mijn eerste gedachte was het project te kopiëren en de kopie om te bouwen voor AlmaLinux 10. Claude raadde dat af, en ik volgde dat advies. Twee codebases met meer dan 30 rollen betekenen dat elke beveiligingsfix twee keer moet worden doorgevoerd. Dat ken ik al van de repository van mijn blog, die ik van de Nextcloud-repository heb afgesplitst. En de kopie die ik misschien pas over een jaar nodig heb, zou dan een jaar aan fixes achterlopen.

In plaats daarvan is er één nieuw bestand, inventory/group_vars/all/os.yml. Daarin staat alles wat verschilt tussen 9 en 10, afgeleid uit de Ansible-facts:

os_el_major: "{{ ansible_facts['distribution_major_version'] | int }}"
os_is_el10: "{{ os_el_major | int >= 10 }}"

nextcloud_kv_name: "{{ 'valkey' if os_is_el10 | bool else 'redis' }}"
nextcloud_mariadb_package: "{{ 'MariaDB-server' if nextcloud_mariadb_community_repo | bool else 'mariadb-server' }}"
os_selinux_run_dir: "{{ '/run' if os_is_el10 | bool else '/var/run' }}"

De rollen gebruiken alleen nog deze namen. De regel: op AlmaLinux 9 moet precies hetzelfde uitkomen als voorheen, byte voor byte. Waar een configuratiebestand een template werd, heeft Claude het EL9-resultaat vergeleken met het oude bestand. Mijn productieservers merken hier niets van.

🧱 De struikelblokken, in de volgorde waarin ze opdoken

1. Geen DNF-modules meer

AlmaLinux 10 heeft modulariteit afgeschaft. Op 9 schakelde mijn playbook de AppStream-module mariadb uit en tilde Redis met dnf module switch-to naar versie 7. Niets daarvan bestaat op 10. Die stappen draaien nu alleen nog op 9.

2. Redis heet nu Valkey

AlmaLinux 10 levert geen Redis meer, maar de fork Valkey 8.1. Hetzelfde protocol, dezelfde poort 6379, de Nextcloud-pod merkt er niets van. Alleen pakket, dienst en paden verschillen: valkey.service, /etc/valkey/valkey.conf, /var/lib/valkey.

Het goede nieuws: de SELinux-policy labelt Valkey met de Redis-types (redis_t, redis_conf_t, …). Mijn kleine policy-module die Redis ondanks NoNewPrivileges in zijn domein laat, werkt daardoor ongewijzigd. In plaats van een nieuwe rol kreeg de bestaande rol next_redis variabelen voor namen en paden.

3. MariaDB: liever wat de distributie meelevert

Op 9 gebruik ik de community-repo van MariaDB met de 10.11-reeks. AlmaLinux 10 levert precies die reeks zelf mee. Op 10 neem ik dus het distributiepakket: één externe repo minder, en beveiligingsupdates komen via de normale dnf-automatic-weg.

Het distributiepakket heeft wel een andere systemd-unit, en die botste met mijn sandboxing. PrivateTmp=true in de unit zou mijn tmpfs van 4 GB voor /tmp stilletjes hebben uitgeschakeld. En ProtectSystem=strict maakte /run/mariadb alleen-lezen, waar de database zijn PID-bestand bewaart. Een kleine drop-in alleen voor AlmaLinux 10 lost beide op. Daarna gecontroleerd met ps -eZ: mariadbd draait in mysqld_t, /tmp is de tmpfs.

4. k3s-selinux voor AlmaLinux 10 bestaat alleen in het testing-kanaal

Zonder het pakket k3s-selinux draaien alle pods zonder afscherming, ook al zegt SELinux „Enforcing”. De stabiele RPM-repo van Rancher kent AlmaLinux 10 nog niet. Er zijn alleen builds in het testing-kanaal, met een eigen ondertekeningssleutel. Op 10 wordt nu die ondertekende testing-repo gebruikt, op 9 blijft het de stabiele. Dat is bewust een open punt: zodra Rancher bijtrekt, is de overstap één regel in os.yml.

5. journald.conf is verdwenen

Mijn CIS-taak paste drie regels aan in /etc/systemd/journald.conf. Op AlmaLinux 10 bestaat dat bestand niet meer, de standaardwaarden staan alleen nog onder /usr/lib/systemd/. De oplossing is een drop-in onder /etc/systemd/journald.conf.d/, sowieso de nettere weg.

6. De pods bereiken de API-server niet

Dit was de interessantste fout. K3s startte, maar de installatie van cert-manager liep in een timeout. CoreDNS werd nooit gereed, metrics-server startte steeds opnieuw, en cert-manager meldde:

dial tcp 10.43.0.1:443: i/o timeout

De pods bereikten de API-server dus niet. Claude vond de oorzaak in het journal van K3s:

Warning: Extension comment revision 0 not supported, missing kernel module?
Warning: Extension conntrack revision 0 not supported, missing kernel module?

Op AlmaLinux 10 zijn de netfilter-modules die K3s nodig heeft (br_netfilter, nft_compat, xt_comment, xt_conntrack, xt_MASQUERADE en meer) verhuisd van het pakket kernel-modules naar kernel-modules-extra. Zonder die modules kan K3s zijn regels niet aanmaken.

Een mooie bijvangst: de eerste blik met modinfo zei „module niet gevonden”. Dat lag echter aan mijn eigen SSH-hardening: ProtectKernelModules=yes verbergt /usr/lib/modules in elke SSH-sessie. Pas systemd-run buiten de sandbox liet de waarheid zien. De rol common_k3s installeert nu kernel-modules-extra op AlmaLinux 10, ook via systemd-run.

7. auditd laadt geen regels meer

Destination directory /etc/audit/rules.d does not exist – bij audit 4 op AlmaLinux 10 zitten de regelmap, augenrules en de dienst die de regels bij het opstarten laadt in het aparte pakket audit-rules. Zonder dat pakket draait auditd wel, maar laadt het geen enkele regel. Een fout die nooit was opgevallen als het playbook niet was gestopt.

8. SELinux: /run en /var/run zijn van rol gewisseld

Bij mij draait Grafana in een eigen SELinux-domein. Op AlmaLinux 10 startte het niet meer:

failed to write pidfile: open /var/run/grafana/grafana-server.pid: permission denied

/run/grafana had het verkeerde label. De oorzaak staat in file_contexts.subs_dist, het bestand dat bepaalt welke paden SELinux als gelijkwaardig behandelt:

Systeemfile_contexts.subs_dist
AlmaLinux 9/run /var/run
AlmaLinux 10/var/run /run

Op 9 wordt /run/… opgezocht als /var/run/…. Een regel in mijn policy moet daar dus /var/run/grafana zeggen. Dat had ik een maand geleden moeizaam uitgezocht. Op 10 is het precies andersom. Hetzelfde bestand dat op 9 klopt, heeft op 10 geen effect. De oplossing: de paden komen nu uit os_selinux_run_dir.

Daarbij kwam ook een oude, verborgen bug boven. De lus die de labels zet, eindigde met [ -e "$p" ] && restorecon …. Ontbreekt het laatste pad van de lijst, dan eindigt de lus met status 1 en mislukt de taak. Op 9 bestond het laatste pad altijd dankzij een symlink, op 10 verdwijnt het even terwijl Grafana herstart. [ ! -e "$p" ] || restorecon … lost dat op.

9. Kleinigheden en een hangende AIDE

  • rkhunter: het pad van de dnf-plugin hing aan Python 3.9, AlmaLinux 10 heeft Python 3.12.
  • ClamAV: het freshclam-pakket heet in EPEL 10 clamav-freshclam in plaats van clamav-update.
  • dnf-automatic: de lijst met fabrikantrepo’s mag alleen repo’s bevatten die de host echt heeft, anders breekt dnf af.
  • AIDE: één keer bleef de integriteitscontrole tweeënhalf uur hangen. Eén thread draaide eindeloos rond in de regex-bibliotheek, de andere wachtten. Acht herhalingen daarna duurden elk minder dan 35 seconden. Een zeldzame race dus. Op AlmaLinux 10 krijgt AIDE nu een tijdslimiet van 30 minuten, zodat een hanger nooit meer het playbook of de nachtelijke taak kan blokkeren.

✅ Wat zonder wijzigingen liep

Eerlijk is eerlijk: de meeste van de ruim 30 rollen liepen meteen. nftables, fail2ban, de SSH-hardening inclusief poortwissel en reboot, Prometheus, Grafana, Loki en de hele Nextcloud-deployment in K3s, zonder één wijziging. EPEL 10 heeft alle pakketten die ik nodig heb.

Tot slot controleerde Claude de server ook van buitenaf, voorzichtig, want mijn firewall blokkeert portscanners een uur lang. In plaats van een scan waren het 15 losse verbindingspogingen met pauzes, ruim onder de drempel. Alleen 80, 443 en de SSH-poort staan open, al het andere is dicht. testssl.sh vond geen enkele kwetsbaarheid, en de server biedt al de post-quantum-sleuteluitwisseling X25519MLKEM768 aan. Bovendien bewaakt mijn Zabbix de testserver nu ook van buitenaf.

➕ Aanvulling: /var/tmp 129 keer gemount

De afsluitende drift-check meldde nog één wijziging, elke keer op dezelfde plek: de geharde mount van /var/tmp. Claude vond de oorzaak: /var/tmp was 129 keer op zichzelf gemount. De Ansible-module mount binnen de SSH-sessie, en door mijn SSH-hardening leeft die sessie in een eigen mount-namespace. Toen systemd later dezelfde mount op de host aanmaakte, kwam die er bovenop te liggen. Vanaf dat moment las de module de bron als /var/tmp/var/tmp, dacht dat er niets gemount was en mountete bij elke run opnieuw, waarbij de stapel telkens verdubbelde. Erger: op de host zelf was /tmp helemaal niet gehard. De hardening gold alleen binnen SSH-sessies. Nu schrijft Ansible alleen nog de fstab, en de mount gebeurt op de host via systemd-run. Na een herstart is er één laag en toont de drift-check changed=0. Mijn productieservers hebben er geen last van, want die zijn allang herstart met de fstab-regel op zijn plaats. Een verse installatie was echter precies zo geëindigd.

➕ Aanvulling 2: welke versies Nextcloud wil, MariaDB 11.8, CIS en een echte restore

’s Avonds kwamen er nog een paar vragen bij, en Claude heeft ze op de testserver uitgeprobeerd. Eerst: welke versies eist Nextcloud 35 eigenlijk, en wat levert AlmaLinux mee? De cijfers voor AlmaLinux 9 komen rechtstreeks uit de repository-metadata van AlmaLinux:

AlmaLinux 9 standaardAlmaLinux 9 via moduleAlmaLinux 10Nextcloud 35 ondersteuntNextcloud raadt aan
Besturingssysteem–––RHEL 9 en 10RHEL 10
MariaDB10.5 ❌10.11, 11.810.11, 11.810.11 / 11.4 / 11.8 / 12.311.8
PHP8.0 ❌8.1 tot 8.48.3, 8.48.3 / 8.4 / 8.58.5
Redis/ValkeyRedis 6.2Redis 7.2Valkey 8.1niet vastgelegd–

De standaardversies van AlmaLinux 9 zijn gewoon te oud voor Nextcloud 35. Precies daarom draait PHP bij mij in een container (daar al 8.5.13) en komt MariaDB op de productieservers uit de community-repo. Op AlmaLinux 10 neemt het playbook nu mariadb11.8-server, de versie die Nextcloud aanraadt, rechtstreeks uit de distributie.

De overstap van 10.11 naar 11.8 op de testserver verliep als een echte migratie: dump, onderhoudsmodus, pakketwissel, mariadb-upgrade. Daarbij waren er twee verrassingen:

  • Mijn sandboxing schoot MariaDB 11.8 af (status=31/SYS). In het auditlog stond SECCOMP syscall=92, dat is chown. Versie 11.8 roept chown aan, 10.11 deed dat niet, en mijn systemd-hardening verbiedt het. De oplossing is SystemCallFilter=@chown in een drop-in die na de hardening komt, want bij SystemCallFilter wint de latere regel. Gevaarlijk is dat niet: mariadbd heeft geen enkele capability en kan alleen de eigenaar van zijn eigen bestanden wijzigen.
  • Na de pakketwissel stond mariadb.service uit. Het playbook heeft hem weer ingeschakeld. Zonder dat was de database bij de volgende herstart gewoon niet meer opgekomen.

CIS-benchmark voor AlmaLinux 10: met OpenSCAP en het profiel „CIS AlmaLinux OS 10 Level 1 – Server” leverde de eerste scan 236 geslaagde en 62 mislukte controles op. Echte gaten waren onder meer ongebruikte netwerkprotocollen (SCTP, DCCP, TIPC …), de umask, een sessietime-out, de rechten van de GRUB-omgeving en een crypto-policy zonder zwakke SSH-MAC’s. Sindsdien biedt SSH geen SHA1-MAC’s meer aan. Na de fixes, die voor AlmaLinux 9 en 10 gelden, staat de teller op 254 geslaagd en 44 mislukt. De rest is bewust zo of heeft geen effect: K3s heeft IP-forwarding nodig, ik gebruik nftables in plaats van firewalld, root logt alleen met een sleutel in voor Ansible, en de vele wachtwoordregels doen niets omdat er geen wachtwoordlogins zijn. Een GRUB-wachtwoord heb ik bewust weggelaten, omdat dat op een VPS de console van de provider zou blokkeren.

Back-up en restore, van begin tot eind: Claude heeft mijn echte scripts tegen de testserver gedraaid. Vóór de back-up werd een bestand aangemaakt, erna nog een. De back-up duurde 45 seconden, de restore 74 seconden. Daarna was het eerste bestand terug en het tweede weg, in het bestandssysteem en in de database. Onderweg viel op:

  • MariaDB 11.8 meldt dat de namen mysqldump en mysql gaan verdwijnen. De scripts gebruiken nu mariadb-dump en mariadb, met de oude namen als terugval.
  • Het restorescript stopte zonder enige melding als de bevestiging via een pipe binnenkwam. Een ssh in het script had de invoer opgeslokt. Een </dev/null lost dat op.

En een vondst die ook AlmaLinux 9 raakt: restorecon -F herstartte bij elke playbook-run de node_exporter, alleen omdat bestanden die vanuit de SSH-sessie geschreven werden de SELinux-gebruiker unconfined_u hadden. Voor de rechten telt alleen het type, dus -F is weg.

Na dit alles was op de testserver alles groen: volledige run zonder fouten, verify-rapport 37/37, drift-check changed=0.

Wat er anders is onder AlmaLinux 10, in één oogopslag: er ontbreekt niets. SELinux beschermt de pods net zo, en al mijn eigen domeinen, de sandboxing, de firewall en de monitoring werken hetzelfde. Nog niet definitief is k3s-selinux, dat alleen uit het testing-kanaal van Rancher komt. Zolang dat zo is, blijven mijn productieservers op AlmaLinux 9. Op de lange termijn houd ik de iptables-compatibiliteit in de gaten, die de kernel als „unmaintained” aanmerkt.

🔭 Wat nog openstaat

  • k3s-selinux uit het testing-kanaal, totdat Rancher AlmaLinux 10 als stabiel aanbiedt.
  • De eerste nacht: pas ’s nachts draaien alle timers (updates, AIDE, rkhunter, ClamAV, Trivy). Dan duiken SELinux-meldingen op die een playbook-run nooit veroorzaakt. Als er iets uitkomt, vul ik het hier aan.
  • De echte overstap van de productieservers: ooit, via herinstallatie en restore, niet via een in-place upgrade.
  • iptables-compatibiliteit staat te boek als „unmaintained”. Bij het opstarten meldt de kernel van AlmaLinux 10 Unmaintained driver is detected: nft_compat (net zo voor ip_tables en ip_set). Dat zijn precies de modules die K3s vandaag nodig heeft: kube-proxy, flannel en de NetworkPolicy-controller schrijven hun regels via iptables-nft, en op de testserver hangen 458 regels aan nft_compat. Het werkt, maar wordt niet meer onderhouden. Sinds Kubernetes 1.33 kan kube-proxy nftables native gebruiken, de rest van het K3s-netwerk nog niet. Dat is mijn volgende experiment op de testserver. Mijn eigen firewall is puur nftables en heeft er geen last van.

🎯 Conclusie: de hardening is de echte test

  • Een nieuwe hoofdversie raakt eerst de hardening. Nextcloud zelf liep meteen. Het playbook struikelde over SELinux, systemd-sandboxing, auditd en kernelmodules.
  • Eén codebase in plaats van een kopie. Alle verschillen staan op één plek, AlmaLinux 9 blijft ongewijzigd, en elke toekomstige beveiligingsfix geldt voor beide versies.
  • Wie eigen SELinux-modules met .fc-bestanden onderhoudt, onthoudt best punt 8. De omgedraaide /run-gelijkwaardigheid valt pas op als een dienst erop stukloopt.
  • Delegeren werkt als de vangrails duidelijk zijn. „Alleen deze server, op 9 verandert niets, pushen pas aan het eind” – meer had Claude niet nodig. De rest volgde ik op mijn telefoon.

→ Code: branch el10-support op GitHub · alle wijzigingen vergeleken


📚 Gerelateerde berichten:

Sommige teksten en afbeeldingen op deze site zijn met hulp van AI gemaakt of door AI gegenereerd. Details