Een Nextcloud van bare metal naar K3s verhuizen: een volledige generale repetitie, en wat die me aan commits kostte

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
Er komt een migratie aan waar ik al een tijdje omheen draai. Een Nextcloud-instantie die ik beheer draait nog als een gewone native installatie — pakketten, webserver, PHP-FPM, alles met de hand beheerd op één machine. Die verhuist naar de K3s-stack die ik in Ansible aan het opbouwen ben.
De eerlijke reden voor de verhuizing is dat de native installatie verouderd is. Ze werkt nog, maar ze heeft een decennium aan kleine beslissingen verzameld die niemand heeft opgeschreven, en elke update is een evenement in plaats van routine. Wat ik van de K3s-kant hoop te krijgen is een saaiere soort upgrade: de Nextcloud-versie en elke containerversie vastgepind in de Ansible-code, zodat een update een gewijzigde tag in een bestand wordt die ik kan reviewen, twee keer op dezelfde manier kan uitrollen en kan terugdraaien als het misgaat. De applicatie en de data komen op echt gescheiden plekken terecht in plaats van door elkaar heen in één boom. En Collabora wordt een eigen container die via een gedefinieerde interface met Nextcloud praat, in plaats van in dezelfde installatie te zijn ingevlochten — één ding minder dat stukgaat omdat twee applicaties een runtime delen.
Niets daarvan is een gok, en dat is de belangrijkste reden dat ik het aandurf. Deze blog draait al een tijdje op dezelfde K3s-stack, en updaten is precies zo saai gebleken als ik hoopte: containertag aanpassen, playbook opnieuw draaien, klaar. Omdat het playbook idempotent is, is opnieuw draaien een non-event — het is dezelfde operatie, of de server nu vers is, half geconfigureerd of al correct, en dat neemt de meeste redenen weg om te aarzelen voordat je het draait. Al het andere dat deze blog onderweg heeft verzameld — de hardening, de monitoring, de ingress- en certificaatafhandeling, de performance-tuning, de kleine correcties die elk een avond kostten — is code die ik gewoon op de Nextcloud-kant kan richten. Dat is eigenlijk wat deze migratie is: wat het project met weinig op het spel me heeft geleerd, besteden aan het project dat er echt toe doet.
Voordat ik dat bij een instantie met echte gebruikers doe, heb ik het hele traject eerst van begin tot eind op een wegwerpserver gedraaid: data terugzetten, database terugzetten, het versiepad aflopen, dingen stukmaken, uitzoeken waarom. Zesendertig bestanden en elfhonderd regels wijzigingen later is de Ansible-code aanzienlijk beter dan toen ik begon.
Alles staat op GitHub — playbooks, rollen, hardening, verificatie. Vooral de Nextcloud-kant heeft de laatste tijd veel aandacht gekregen.
Waar ik eigenlijk over wil schrijven zijn echter niet de fixes. Het is de vorm van de problemen.
Inhoud
🎭 Alles ging mis door zich voor te doen als iets anders
Geen enkel probleem kondigde zich aan. Elk ervan kwam vermomd als een ander, aannemelijker probleem — meestal een dat me op precies de verkeerde plek had laten zoeken.
Een pakketinstallatie faalde met een permissiefout die niets met permissies te maken had. chmod: Operation not permitted, als root, met alle capabilities aanwezig, op een normaal gemount bestandssysteem. Ik controleerde alles waar de melding naar wees, en alles was in orde. De echte oorzaak was een systemd-hardeningdirective op de SSH-daemon — RestrictSUIDSGID=yes — waarvan het seccomp-filter wordt geërfd door elk proces dat van sshd afstamt. Dat betekent: elke SSH-sessie, en elk commando dat Ansible via zo’n sessie uitvoert.
Dat is de les die het onthouden waard is: hardening op sshd is geen hardening op serviceniveau. sshd is een procesfabriek voor interactieve sessies, dus alles wat je daar beperkt, beperk je voor elke mens en elke tool die door die deur binnenkomt. Een tijdlang vermoedde ik oprecht dat de hostingprovider iets had dichtgetimmerd.
Een playbook-run “hing” bij de firewallstap. Geen fout, geen timeout, gewoon minutenlang stilte. De rol zet SSH op een niet-standaard poort en zet nftables aan — op precies de verbinding die hij aan het herconfigureren is. De nieuwe ruleset accepteert bestaande verbindingen, wat compleet klinkt, behalve dat conntrack, wanneer nftables voor het eerst start, geen enkel record heeft van een verbinding die van daarvoor stamt. Dus matchte de sessie helemaal geen regel en werden de pakketten simpelweg gedropt. Niet geweigerd — gedropt. Voor Ansible ziet dat er precies hetzelfde uit als een taak die lang duurt.
Een site was volledig onbereikbaar, en de browser zei niets nuttigs. Deze ingress-controller beantwoordt een hostnaam waarvan het TLS-certificaat nog niet klaar is door de handshake botweg te weigeren — helemaal geen certificaat, zelfs geen self-signed. Van buitenaf is dat niet te onderscheiden van een server die plat ligt. De echte oorzaak lag drie lagen verderop: een image-allowlist blokkeerde de challenge-pod van cert-manager, dus het certificaat kon nooit worden uitgegeven.
En mijn favoriet: een brute-force-bescherming die niets beschermde. De fail2ban-jails die web-logins in de gaten houden, lezen de ingress-log via een pad waarin de ID van de pod zit. fail2ban lost dat pad één keer op, bij het opstarten. Telkens wanneer de ingress-pod opnieuw wordt aangemaakt — een image-update, een helm upgrade, een reboot — blijven de jails draaien tegen een pad dat niet meer bestaat:
Status for the jail: nginx-k3s-nc-login
|- Filter
| |- Currently failed: 0
| `- File list:
Een lege bestandslijst. Ingeschakeld, draaiend, en structureel niet in staat om iemand te bannen. De monitoringcheck die er was, vroeg alleen of het fail2ban-proces leefde, en dat deed het zeker.
🩹 Wat het opleverde
De meeste fixes zijn onopvallend zodra je weet wat het probleem was, en zo gaat dat meestal:
- De omschakeling van SSH en firewall gebeurt nu op een verse server via één enkele reboot, zodat beide samen vanuit een schone boot opkomen in plaats van onder een live verbinding te worden gewijzigd.
- Elke hostnaam die nog geen echt certificaat heeft, krijgt een kortlevende self-signed placeholder, zodat een browserwaarschuwing de plaats inneemt van een dode socket. Een waarschuwing vertelt je dat de server leeft en dat het certificaat het probleem is; een dode socket vertelt je niets.
- Twee nieuwe monitoringchecks: één voor certificaten die bijna verlopen, en één die controleert of de fail2ban-jails echt een bestand in de gaten houden in plaats van alleen maar te draaien.
- Plus de saaie helft — een mailafzender die uit de verkeerde helft van een adres was samengesteld (waardoor Grafana bij het opstarten volledig onderuitging), een verificatierol die de hele play met een parserfout afbrak precies wanneer er iets stuk was, en security-headers die twee keer werden gezet met twee verschillende waarden.
⬆️ Eén ding dat je moet weten voordat je een onderhoudsvenster plant
Nextcloud weigert majorversies over te slaan. Een teruggezette instantie van 32 naar 34 brengen betekent tussendoor stoppen bij 33, met een upgradestap bij elke halte.
Twee details die de documentatie niet benadrukt: de container voert bij het opstarten zijn eigen upgrade uit en accepteert pas verkeer als die klaar is, dus de upgrade handmatig draaien levert alleen een race op met de upgrade die al bezig is — pas de image-tag aan en wacht. En controleer de app-lijst na elke major, niet één keer aan het eind. Sommige apps schakelen zichzelf tijdelijk uit en komen terug; andere zijn echt incompatibel en blijven uit. Eén app in mijn set wordt helemaal verwijderd in plaats van geüpgraded, omdat hij via een directe download is geïnstalleerd in plaats van via de app store.
🧱 Wat ik bewust niet heb veranderd
Een tijdlang was ik in de verleiding om de upgrade van AlmaLinux 9 → 10 in hetzelfde venster te doen. Nieuwe server, frisse start, dan kun je net zo goed op de huidige major beginnen, toch?
Ik heb het mezelf uit het hoofd gepraat, en ik denk dat de redenering algemeen geldt. Deze migratie verandert al veel tegelijk: het deploymentmodel (bare metal naar K3s), de Nextcloud-versie, hoe Collabora draait, en de machine eronder. Een OS-majorsprong toevoegen betekent een tweede, volledig ongerelateerde variabele toevoegen. Als er dan twee weken later iets raar doet — een performance-eigenaardigheid, een subtiel permissieprobleem, iets in SELinux — zou ik op geen enkele manier kunnen zien welke van de twee wijzigingen de oorzaak was. Debuggen werkt door dingen constant te houden, en een migratie is precies het moment waarop je de minste constanten overhebt.
Er is ook geen klok die het afdwingt. AlmaLinux 9 wordt ondersteund tot 2032. Dat is geen deadline waar ik omheen hoef te plannen.
Maar de interessantere reden is degene die pas zichtbaar werd tijdens het bouwen van deze stack. In een containeropzet weegt het hostbesturingssysteem veel minder zwaar dan vroeger. Alles wat echt bepaalt hoe de service zich gedraagt — de Nextcloud-versie, PHP, de webserver, Collabora — leeft in container-images waarvan ik de versies in de Ansible-code vastpin. De host levert een kernel, systemd, K3s en de hardening daaromheen. De interessante beslissingen zijn een laag omhoog verhuisd, en wat eronder zit is relatief inwisselbaar geworden.
Wat een ietwat vreemd besef is: een van de voordelen van deze migratie is dat ze de volgende migratie minder belangrijk maakt. De OS-upgrade wordt een aparte, saaie oefening die ik op eigen voorwaarden kan doen, op een rustige avond, zonder dat er iets anders loopt — en dat is precies wat een OS-upgrade hoort te zijn.
🔒 Het enige dat de repetitie niet kon oplossen
Er is één probleem waar ik op de testserver helemaal niet omheen kon: geldige Let’s Encrypt-certificaten krijgen.
De reden is eerder structureel dan technisch. De HTTP-01-challenge werkt doordat Let’s Encrypt het domein resolvet en een token ophaalt over HTTP — van het adres waar het publieke A-record naar wijst. Dat is nog steeds de oude server, en dat blijft zo tot het moment dat ik de DNS omzet. Ik heb de DNS lokaal nagebootst met een /etc/hosts-regel die naar de nieuwe machine wijst, wat genoeg is om mijn eigen browser te overtuigen maar precies niets doet voor Let’s Encrypt, dat zijn eigen lookup doet tegen de publieke DNS. Dus kan de nieuwe server geen geldig certificaat hebben voor een hostnaam waarvoor hij officieel nog niet antwoordt.
Hier bestaat een nette oplossing voor: de DNS-01-challenge bewijst controle over het domein door een TXT-record te publiceren op _acme-challenge.<domain> in plaats van een bestand te serveren. Het maakt niet uit waar het A-record naar wijst, dus certificaten kunnen vooraf worden uitgegeven en op dag één klaarstaan. Het vereist een DNS-provider met een API die de ACME-client kan aansturen, en dat aansluiten valt buiten wat ik voor deze migratie op me wil nemen.
Dus accepteer ik het gat: een paar minuten na de DNS-omschakeling is de nieuwe server bereikbaar zonder dat er al een geldig certificaat is. Dit is precies de situatie waarvoor het placeholder-certificaat van eerder in deze post is gebouwd — in plaats van een geweigerde handshake die eruitziet als een storing, krijgen bezoekers een browserwaarschuwing, die in elk geval zegt de server is er en het certificaat is nog niet klaar. Niet elegant. Maar een bekend, begrensd, zichtbaar gat is beter dan een onzichtbaar gat, en dat is min of meer het thema van alles hierboven.
📅 Wat er nu gebeurt
De echte migratie vindt de komende dagen plaats.
Het plan voor de dag zelf is bewust onopvallend:
- Een dag of twee van tevoren: de DNS-TTL verlagen, zodat de omschakeling later in minuten doorkomt in plaats van in uren.
- Oude server in onderhoudsmodus. Vanaf dit punt verandert er niets meer onder me, en geen enkele client kan schrijven naar de instantie die ik ga kopiëren.
- Laatste back-up van de oude server — data en database — voordat ik iets aanraak.
- Laatste sync naar de nieuwe server, om het gat te dichten dat sinds de repetitiekopie is ontstaan.
- DNS omzetten — A én AAAA. Het IPv6-record vergeten is een uitstekende manier om de helft van je gebruikers op de oude machine te laten zitten terwijl alles er vanaf je eigen laptop prima uitziet.
- Wachten op de certificaten, die pas nu kunnen worden uitgegeven (zie hierboven).
- Testen: inloggen, desktop-sync in beide richtingen, shares nog intact, Collabora dat een document opent, uitgaande mail.
- De oude server precies laten staan waar hij staat, in onderhoudsmodus, als rollback.
Die volgorde is belangrijker dan ze lijkt. Omdat de oude server in onderhoudsmodus gaat in plaats van te worden uitgezet of gewist, blijft hij daar compleet en onveranderd staan — data, database, configuratie, alles precies zoals het was op het moment dat ik hem stopte. Als de nieuwe stack om een reden die ik niet heb voorzien een ramp blijkt, is de weg terug: de DNS-records weer naar de oude machine laten wijzen en de onderhoudsmodus opheffen. Geen restore, geen dataverlies, niets om opnieuw in elkaar te zetten, want er is nooit iets uit elkaar gehaald. De oude server wordt op de migratiedag niet uit dienst genomen; hij is mijn rollback, en dat blijft hij tot de nieuwe zich een tijdje heeft bewezen.
Het enige deel dat ik echt niet kan voorspellen is de DNS-propagatie. De TTL vertelt resolvers hoe lang ze een record mogen cachen, en die een dag of twee van tevoren verlagen maakt de staart flink korter — maar het is een bovengrens, geen belofte. Genoeg resolvers ronden hem naar boven af, sommige negeren hem, en een paar clients houden een adres vast tot er iets herstart. Dus in de praktijk is er een venster waarin sommige gebruikers de nieuwe server bereiken en anderen nog op de oude terechtkomen. Dat is ongemakkelijk, juist voor een dienst voor bestandssynchronisatie, omdat schrijfacties aan beide kanten kunnen landen. Het is de belangrijkste reden dat de oude instantie in onderhoudsmodus blijft in plaats van gewoon door te draaien: een gebruiker die nog niet is overgeschakeld ziet een onderhoudspagina, wat irritant maar onschuldig is, in plaats van succesvol een bestand te uploaden naar een server waar niemand meer naar kijkt.
Ik zou graag zeggen dat het dankzij de repetitie soepel zal gaan, en ik hoop het. Maar de eerlijke versie is dat een repetitie op een wegwerpserver met gekopieerde data niet hetzelfde is als de live instantie met echte gebruikers, echte deelrelaties en echte sync-clients die een mening hebben over wat er veranderde terwijl ze niet keken. Er zal iets zijn. Dat is er altijd.
Dus: ik doe hier achteraf verslag — wat er echt misging, wat de repetitie niet voorspelde en wat ik moest aanpassen. En wat dat ook blijkt te zijn, het gaat direct terug in de Ansible-code in de repo, want een playbook dat alleen werkt op de server waarop je het hebt getest, is niet af.
Als de volgende post kort en saai is, is dat de goede uitkomst.
Het patroon eronder
Als ik op alles terugkijk, is er één ding dat ze verbindt.
Geen van deze was een fout. Het waren afwezigheden — een jail zonder bestand, een certificaat dat nooit werd uitgegeven, een verbinding die stopte met antwoorden in plaats van te weigeren, een filter dat een syscall blokkeerde waar niemand aan dacht. Elk ervan leverde output op die niet te onderscheiden was van alles-is-in-orde.
Dat is wat een repetitie je echt oplevert. Geen zekerheid dat het gaat werken — die kun je niet hebben. Gewoon een goedkope kans om de stille problemen te ontmoeten voordat ze iets kosten.
📚 Meer in deze serie: Nextcloud van bare metal naar K3s
