Spostare un Nextcloud da bare metal a K3s: una prova generale completa, e quanto mi è costata in commit

🌐 Anche in: English · Deutsch · Français · Español · Português · Nederlands · Polski
C’è una migrazione in arrivo attorno alla quale giro da un po’. Un’istanza Nextcloud che amministro gira ancora come semplice installazione nativa — pacchetti, webserver, PHP-FPM, tutto gestito a mano su una sola macchina. Si trasferisce sullo stack K3s che sto costruendo in Ansible.
Il motivo onesto del trasloco è che l’installazione nativa è invecchiata. Funziona ancora, ma ha accumulato un decennio di piccole decisioni che nessuno ha messo per iscritto, e ogni aggiornamento è un evento invece che una routine. Quello che spero di ottenere dal lato K3s è un tipo di aggiornamento più noioso: la versione di Nextcloud e ogni versione di container fissate nel codice Ansible, così un aggiornamento diventa un tag cambiato in un file che posso rivedere, distribuire due volte allo stesso modo e riportare indietro se va male. Applicazione e dati finiscono in posti davvero separati invece che intrecciati in un unico albero. E Collabora diventa un container a sé, che parla con Nextcloud attraverso un’interfaccia definita invece di essere cablato nella stessa installazione — una cosa in meno che si rompe perché due applicazioni condividono un runtime.
Niente di tutto questo è un’ipotesi, ed è il motivo principale per cui sono disposto a farlo. Questo blog gira sullo stesso stack K3s già da un po’, e aggiornarlo si è rivelato esattamente noioso come speravo: cambi un tag di container, rilanci il playbook, fatto. Siccome il playbook è idempotente, rilanciarlo è un non-evento — è la stessa operazione sia che il server sia nuovo, configurato a metà o già corretto, e questo toglie la maggior parte dei motivi per esitare prima di lanciarlo. Tutto il resto che questo blog ha accumulato strada facendo — l’hardening, il monitoraggio, la gestione di ingress e certificati, il tuning delle prestazioni, le piccole correzioni costate ciascuna una serata — è codice che posso semplicemente puntare sul lato Nextcloud. È questo, in fondo, questa migrazione: prendere ciò che mi ha insegnato il progetto a basso rischio e spenderlo su quello che conta.
Prima di farlo su un’istanza con utenti veri, ho fatto girare tutto da cima a fondo su un server usa e getta: ripristinare i dati, ripristinare il database, percorrere il cammino delle versioni, rompere cose, capire perché. Trentasei file e millecento righe di modifiche dopo, il codice Ansible è sensibilmente migliore di quando ho iniziato.
È tutto su GitHub — playbook, ruoli, hardening, verifica. Il lato Nextcloud in particolare ha ricevuto parecchia attenzione di recente.
Ciò di cui voglio davvero scrivere, però, non sono le correzioni. È la forma dei problemi.
Indice
🎭 Tutto è fallito fingendo di essere qualcos’altro
Nessuno di questi problemi si è presentato con il proprio nome. Ognuno è arrivato travestito da un problema diverso, più plausibile — di solito uno che mi avrebbe mandato a cercare nel posto completamente sbagliato.
L’installazione di un pacchetto è fallita con un errore di permessi che non c’entrava niente con i permessi. chmod: Operation not permitted, da root, con tutte le capability presenti, su un filesystem montato normalmente. Ho controllato tutto ciò a cui puntava il messaggio, ed era tutto a posto. La vera causa era una direttiva di hardening di systemd sul demone SSH — RestrictSUIDSGID=yes — il cui filtro seccomp viene ereditato da ogni processo discendente da sshd. Il che significa ogni sessione SSH, e ogni comando che Ansible esegue attraverso una di esse.
Questa è la lezione da tenere: l’hardening applicato a sshd non è hardening a livello di servizio. sshd è una fabbrica di processi per sessioni interattive, quindi qualsiasi cosa limiti lì, la limiti per ogni essere umano e ogni strumento che passa da quella porta. Per un po’ ho sospettato seriamente che il provider di hosting avesse bloccato qualcosa.
Un’esecuzione del playbook si è “bloccata” al passo del firewall. Nessun errore, nessun timeout, solo silenzio per minuti. Il ruolo sposta SSH su una porta non standard e attiva nftables — proprio sulla connessione che sta riconfigurando. Il nuovo ruleset accetta le connessioni stabilite, il che sembra completo, solo che quando nftables parte per la prima volta, conntrack non ha traccia di una connessione che lo precede. Così la sessione non corrispondeva a nessuna regola e i suoi pacchetti venivano semplicemente scartati. Non rifiutati — scartati. Per Ansible questo sembra identico a un task che ci mette tanto.
Un sito era completamente irraggiungibile, e il browser non diceva niente di utile. Questo ingress controller risponde a un hostname il cui certificato TLS non è pronto rifiutando l’handshake e basta — nessun certificato, nemmeno uno self-signed. Da fuori, è indistinguibile da un server spento. La vera causa stava tre livelli più in là: un’allowlist di immagini bloccava il pod di challenge di cert-manager, quindi il certificato non poteva mai essere emesso.
E il mio preferito: una protezione anti brute-force che non proteggeva niente. Le jail di fail2ban che sorvegliano i login web leggono il log dell’ingress tramite un percorso che contiene l’ID del pod. fail2ban risolve quel percorso una volta sola, all’avvio. Ogni volta che il pod dell’ingress viene ricreato — un aggiornamento d’immagine, un helm upgrade, un riavvio — le jail continuano a girare su un percorso che non esiste più:
Status for the jail: nginx-k3s-nc-login
|- Filter
| |- Currently failed: 0
| `- File list:
Una lista di file vuota. Attiva, in esecuzione e strutturalmente incapace di bannare chiunque. Il controllo di monitoraggio che c’era chiedeva solo se il processo fail2ban fosse vivo, e lo era eccome.
🩹 Cosa ne è uscito
La maggior parte delle correzioni non ha niente di speciale una volta che sai qual era il problema, ed è di solito così che va:
- Il cambio di SSH e firewall ora avviene con un singolo riavvio su un server nuovo, così entrambi partono insieme da un boot pulito invece di essere cambiati sotto una connessione attiva.
- Ogni hostname che non ha ancora un certificato vero riceve un segnaposto self-signed di breve durata, così un avviso del browser sostituisce un socket morto. Un avviso ti dice che il server è vivo e il problema è il certificato; un socket morto non ti dice niente.
- Due nuovi controlli di monitoraggio: uno per i certificati vicini alla scadenza, uno che verifica che le jail di fail2ban stiano davvero sorvegliando un file invece di limitarsi a girare.
- Più la metà noiosa — un mittente mail assemblato dalla metà sbagliata di un indirizzo (che ha fatto crollare del tutto Grafana all’avvio), un ruolo di verifica che interrompeva l’intero play con un errore del parser proprio quando qualcosa era rotto, e header di sicurezza impostati due volte con due valori diversi.
⬆️ Una cosa da sapere prima di pianificare una finestra
Nextcloud si rifiuta di saltare versioni major. Portare un’istanza ripristinata dalla 32 alla 34 significa fermarsi alla 33 in mezzo, con un passo di upgrade a ogni fermata.
Due dettagli su cui la documentazione non insiste: il container esegue il proprio upgrade all’avvio e non accetta traffico finché non ha finito, quindi lanciare l’upgrade a mano significa solo fare a gara con quello già in corso — cambia il tag dell’immagine e aspetta. E controlla la lista delle app dopo ogni major, non una volta sola alla fine. Alcune app si disattivano temporaneamente e poi tornano; altre sono davvero incompatibili e restano spente. Una del mio set viene rimossa del tutto invece di essere aggiornata, perché è installata tramite download diretto invece che dall’app store.
🧱 Cosa ho deliberatamente non cambiato
Per un po’ sono stato tentato di fare l’upgrade da AlmaLinux 9 a 10 nella stessa finestra. Server nuovo, partenza pulita, tanto vale iniziare dalla major attuale, no?
Mi sono convinto del contrario, e penso che il ragionamento valga in generale. Questa migrazione cambia già molte cose in una volta: il modello di deployment (da bare metal a K3s), la versione di Nextcloud, il modo in cui gira Collabora e la macchina sotto tutto questo. Aggiungere un salto di major del sistema operativo significa aggiungere una seconda variabile, del tutto indipendente. Se poi qualcosa si comporta male due settimane dopo — una stranezza di prestazioni, un sottile problema di permessi, qualcosa in SELinux — non avrei modo di capire quale delle due modifiche l’abbia causato. Il debugging funziona tenendo le cose costanti, e una migrazione è proprio il momento in cui ti restano meno costanti.
E non c’è nemmeno un orologio che lo imponga. AlmaLinux 9 è supportata fino al 2032. Non è una scadenza attorno a cui devo pianificare.
Ma il motivo più interessante è quello che è diventato visibile solo costruendo questo stack. In un setup a container, il sistema operativo dell’host pesa molto meno di una volta. Tutto ciò che determina davvero come si comporta il servizio — la versione di Nextcloud, PHP, il web server, Collabora — vive in immagini di container le cui versioni fisso nel codice Ansible. L’host fornisce un kernel, systemd, K3s e l’hardening attorno a essi. Le decisioni interessanti si sono spostate di un livello più su, e ciò che sta sotto è diventato relativamente intercambiabile.
È una cosa un po’ strana da realizzare: uno dei vantaggi di questa migrazione è che rende meno importante la prossima migrazione. L’upgrade del sistema operativo diventa un esercizio separato e noioso che posso fare alle mie condizioni, in una serata tranquilla, senza nient’altro in corso — ed è esattamente ciò che un upgrade del sistema operativo dovrebbe essere.
🔒 L’unica cosa che la prova non ha potuto risolvere
C’è un problema che sul server di test non sono riuscito ad aggirare affatto: ottenere certificati Let’s Encrypt validi.
Il motivo è strutturale più che tecnico. La challenge HTTP-01 funziona facendo risolvere a Let’s Encrypt il dominio e scaricare un token via HTTP — dall’indirizzo a cui punta il record A pubblico. Quello è ancora il vecchio server, e lo resterà fino al momento in cui cambio il DNS. Ho simulato il DNS in locale con una voce in /etc/hosts che punta alla nuova macchina, il che basta a convincere il mio browser ma non fa assolutamente niente per Let’s Encrypt, che fa la propria risoluzione sul DNS pubblico. Quindi il nuovo server non può avere un certificato valido per un hostname a cui ufficialmente non risponde ancora.
C’è una risposta corretta a questo: la challenge DNS-01 dimostra il controllo del dominio pubblicando un record TXT in _acme-challenge.<domain> invece di servire un file. Non le importa dove punta il record A, quindi i certificati potrebbero essere emessi in anticipo ed essere pronti dal primo giorno. Serve un provider DNS con un’API che il client ACME possa pilotare, e collegare tutto questo va oltre ciò che voglio affrontare per questa migrazione.
Quindi accetto il buco: per qualche minuto dopo il cambio DNS, il nuovo server sarà raggiungibile senza ancora un certificato valido. È esattamente la situazione per cui è stato costruito il certificato segnaposto di cui parlavo prima in questo post — invece di un handshake rifiutato che sembra un guasto, i visitatori vedono un avviso del browser, che almeno dice il server c’è e il certificato non è pronto. Non elegante. Ma un buco noto, delimitato e visibile batte uno invisibile, che è più o meno il tema di tutto quanto sopra.
📅 Cosa succede ora
La migrazione vera avverrà nei prossimi giorni.
Il piano per il giorno stesso è volutamente privo di sorprese:
- Un giorno o due prima: abbassare il TTL del DNS, così il cambio dopo si propaga in minuti invece che in ore.
- Vecchio server in modalità manutenzione. Da questo momento niente cambia sotto di me, e nessun client può scrivere sull’istanza che sto per copiare.
- Backup finale del vecchio server — dati e database — prima di toccare qualsiasi cosa.
- Sincronizzazione finale verso il nuovo server, chiudendo il divario aperto dalla copia della prova.
- Cambio DNS — A e AAAA. Dimenticare il record IPv6 è un modo eccellente per lasciare metà degli utenti sulla vecchia macchina mentre dal tuo portatile sembra tutto a posto.
- Aspettare i certificati, che solo ora possono essere emessi (vedi sopra).
- Test: login, sincronizzazione desktop in entrambe le direzioni, condivisioni ancora intatte, Collabora che apre un documento, mail in uscita.
- Lasciare il vecchio server esattamente dov’è, in modalità manutenzione, come rollback.
Quest’ordine conta più di quanto sembri. Siccome il vecchio server va in modalità manutenzione invece di essere spento o cancellato, resta lì completo e invariato — dati, database, configurazione, tutto esattamente com’era nel momento in cui l’ho fermato. Se il nuovo stack si rivelasse un disastro per qualche motivo che non ho previsto, la via del ritorno è puntare di nuovo i record DNS sulla vecchia macchina e togliere la modalità manutenzione. Nessun ripristino, nessuna perdita di dati, niente da rimontare, perché niente è mai stato smontato. Il vecchio server non viene dismesso il giorno della migrazione; è il mio rollback, e resta tale finché il nuovo non ha dato prova di sé per un po'.
L’unica parte che davvero non posso prevedere è la propagazione del DNS. Il TTL dice ai resolver per quanto tempo possono tenere in cache un record, e abbassarlo un giorno o due prima accorcia parecchio la coda — ma è un limite superiore, non una promessa. Molti resolver lo arrotondano per eccesso, alcuni lo ignorano, e qualche client si tiene un indirizzo finché qualcosa non riparte. Quindi in pratica c’è una finestra in cui alcuni utenti raggiungono il nuovo server e altri finiscono ancora sul vecchio. Per un servizio di sincronizzazione file in particolare è scomodo, perché le scritture potrebbero finire da una parte o dall’altra. È il motivo principale per cui la vecchia istanza resta in modalità manutenzione invece di essere semplicemente lasciata accesa: un utente che non è ancora passato vede una pagina di manutenzione, fastidiosa ma innocua, invece di caricare con successo un file su un server che nessuno guarda più.
Mi piacerebbe dire che la prova significa che andrà liscia, e spero che vada così. Ma la versione onesta è che una prova su un server usa e getta con dati copiati non è la stessa cosa dell’istanza live con utenti veri, relazioni di condivisione vere, veri client di sincronizzazione che hanno opinioni su cosa è cambiato mentre non guardavano. Qualcosa ci sarà. C’è sempre.
Quindi: riferirò qui dopo — cosa è andato davvero storto, cosa la prova non è riuscita a prevedere e cosa ho dovuto cambiare. E qualunque cosa sarà, finirà dritta nel codice Ansible nel repo, perché un playbook che funziona solo sul server su cui l’hai testato non è finito.
Se il prossimo post sarà breve e noioso, è l’esito buono.
Lo schema sottostante
Guardando indietro a tutto, c’è una cosa che li accomuna.
Nessuno di questi era un errore. Erano assenze — una jail senza file, un certificato mai emesso, una connessione che smetteva di rispondere invece di rifiutare, un filtro che bloccava una syscall che a nessuno era venuto in mente di cercare. Ognuno di essi produceva un output indistinguibile da quello di un sistema che funziona.
È questo che ti compra davvero una prova generale. Non la certezza che funzionerà — quella non puoi averla. Solo un’occasione a buon mercato per incontrare quelli silenziosi prima che costino qualcosa.
📚 Altro in questa serie: Nextcloud da bare metal a K3s
