Release v3.6.0: van “het is geconfigureerd” naar “het werkt” – en de download die stopte bij 1 GB
Wat er sinds v3.5.0 in de Ansible-code van het homelab veranderde: tests die het effect controleren in plaats van de staat, heartbeats voor elke periodieke job, PHP 8.5 op de blog – en een downloadbug in Nextcloud waar een CPU-alert naartoe leidde.

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
Versie v3.6.0 van de Ansible-code achter deze blog en twee Nextcloud-servers is uit. Het is voorlopig de laatste release met nieuwe features – vanaf nu ligt de focus op onderhoud. De rode draad van de afgelopen dagen: bijna elke bug van de voorgaande weken was erdoorheen geglipt omdat de checks vroegen “is het geconfigureerd en draait het?” in plaats van “werkt het echt?”. Deze release verandert dat.
Inhoud
📦 De download die stopte bij 1 GB
De nieuwste bug werd vanochtend gevonden, en niet door een test: een alertmail meldde dat een container meer dan de helft van de tijd CPU-throttled was. De container was de nginx vóór PHP op een van de Nextcloud-servers – een component die meestal niets staat te doen.
Daarachter zat een gebruiker die een archief van 13 GB probeerde te downloaden. Elke poging brak af bij ongeveer 1,08 GB. Twee standaardinstellingen kwamen elkaar tegen: de ingress buffert een response in een tijdelijk bestand van maximaal 1 GB en stopt dan met lezen van de pod tot de client is bijgebeend. De nginx in de pod wacht 60 seconden op voortgang en sluit dan de verbinding. De client krijgt een kapotte download, en de ingress logt “upstream prematurely closed”. De timestamps klopten bij drie pogingen op rij: 1 GB in een paar seconden, dan precies 67 seconden stilte.
De fix is één annotatie die de ingress laat streamen in het tempo van de client in plaats van een tijdelijk bestand te vullen:
nginx.org/proxy-max-temp-file-size: "0"
De CPU-alert was alleen een bijwerking: 1 GB kopiëren in een paar seconden duwde een container met een limiet van 0,5 core even tegen zijn plafond.
De les: twee verstandige standaardinstellingen kunnen samen een bug opleveren. Een alert over een symptoom is het volgen waard, ook als het symptoom zelf onschuldig lijkt.
🧪 Tests die het effect controleren
De verify-rollen testen nu wat een component hoort te bereiken, niet alleen of hij bestaat:
- Ban-keten: voor elke fail2ban-jail wordt een documentatieadres (TEST-NET) gebannen, moet het in de juiste firewallset verschijnen, wordt het ge-unbanned en moet het weer weg zijn. Twee jails bannen hetzelfde adres, één unbant – de andere ban moet blijven staan.
- Filters: een kant-en-klare logregel in het huidige formaat gaat voor elke jail door
fail2ban-regex. Een wijziging in het logformaat kan een jail niet meer stilletjes blind maken. - Aanwezigheid van data: belangrijke metrics moeten bestaan, en geen enkele Grafana-alertregel mag in een foutstatus blijven hangen of voorgoed geen data tonen.
- SELinux-domeinen: elke host-daemon moet in zijn eigen domein draaien. “Active (running)” in het verkeerde domein telt als fout.
De les: “geconfigureerd en draaiend” is een toestand. “Werkt het” is een test met een input en een verwacht resultaat.
💓 Heartbeats en het mailpad
Sommige storingen zijn stil: een nachtelijke job die niet meer draait, stuurt nooit een foutmelding. Elke periodieke job – AIDE, rkhunter, ClamAV, automatische updates, de login- en ban-notifiers – schrijft nu een timestamp als metric wanneer hij klaar is. Is een job te laat, dan alerteert Grafana.
Dat helpt alleen als alertmails aankomen. Dus vuurt één regel elke week met opzet; komt die mail niet, dan is het mailpad stuk. Monit houdt bovendien de maillog in de gaten op mislukte afleveringen.
De les: stilte is geen signaal. Een job moet melden dat hij gedraaid heeft, en de alerting moet bewijzen dat hij je nog kan bereiken.
📉 Een error budget voor logs
Twee exporters schreven dagenlang fouten zonder dat een metric het liet zien. Een nieuwe Loki-alert telt fout- en waarschuwingsregels per service en vuurt boven 100 per uur. Bekende, onschuldige ruis staat op een allow-list, met een reden.
De les: een service die constant klaagt is een bevinding, ook als al zijn metrics er prima uitzien.
🔍 Upload-probes in de access log – en wat de eerste twee dagen lieten zien
Op 21 oktober werd een kritiek gat in de manier waarop PHP bestandsuploads (multipart/form-data) afhandelt openbaar: een gemanipuleerde upload kon PHP de code van de afzender laten uitvoeren. Scanners begonnen het binnen een dag te proberen. In de access log zag zo’n probe eruit als elke formulierinzending – gewoon POST /.
De ingress logt nu ook het content type en de grootte van elk request. Dat is genoeg voor een eenvoudig patroon: een multipart-upload van een paar kilobyte naar een pagina die nooit uploads accepteert, zoals de start- of loginpagina, is een probe – geen bezoeker.
De eerste twee dagen van de nieuwe log: scanners stuurden zulke uploads naar alle drie de servers, vooral vanaf adressen van cloudhosting. Eén vuurde er 32 af binnen één seconde, elk ongeveer 6 KB, en wisselde om de paar requests van browsernaam om voor normale bezoekers door te gaan. De body is geprepareerde formulierdata die de upload-parser moet laten struikelen. Als dat werkte, zou de server de code van de aanvaller uitvoeren – meestal een kleine web shell, een achterdeur die commando’s via HTTP aanneemt.
Er kwam niets doorheen. Elke probe werd beantwoord met 400 (geweigerd), 404 of een redirect, en geen enkele kreeg een response met inhoud. Verschillende afzenders waren al door fail2ban gebannen omdat ze andere verboden paden aftastten. Normale uploads – de Nextcloud-desktopclients, documentvoorbeelden, media in de blogadmin – zien er duidelijk anders uit: andere paden, andere content types, ingelogde gebruikers.
De les: je kunt alleen beoordelen wat je logs vastleggen. Twee extra velden maakten van “waarschijnlijk een aanval” een “zeker een probe, zeker geweigerd”.
🔧 De rest
- Blog op PHP 8.5.
- Geheugenlimiet van PHP-FPM op de blog van 1 GiB naar 1,5 GiB – twaalf workers plus OPcache pasten nooit in 1 GiB; het oude commentaar ging uit van de helft van het geheugen per worker. Een fout van mezelf, gevonden door te meten.
- Rolling updates voor de app-pods: de nieuwe pod start voordat de oude stopt.
- Nextcloud-servers op Redis 7 uit de module stream van de distributie.
- Ingress-access log met content type en requestlengte – verdachte multipart-uploads zijn nu te onderscheiden van normale formulierposts.
- Pressure stall information (PSI) bij het booten ingeschakeld, zodat het pressure-paneel data toont.
🧭 Wat er nu komt: niets nieuws – met opzet
Voor de komende weken en maanden heb ik geen verdere features of wijzigingen gepland. De opzet doet wat hij moet doen, en elke nieuwe component zou nieuwe manieren van falen meebrengen. De tijd gaat nu naar begrijpen wat er al is – de configuratie met frisse ogen lezen, meten in plaats van gokken – en dat documenteren: de deep dives, de beheerhandleidingen en de lessen in de codecommentaren.
Het onderhoud gaat gewoon door: updates elke maandag, certificaten, securityfixes. Bugfixes, ja; nieuwe features alleen als er echt behoefte aan is.
De les: een opzet die je begrijpt is meer waard dan nog een feature. Stabiliteit is ook een beslissing.
🎯 De lessen
- Test het effect, niet de configuratie.
- Elke periodieke job heeft een heartbeat nodig; stilte is niet “alles goed”.
- Bewijs het alertpad regelmatig, met een alert die altijd vuurt.
- Volg symptomen – een onschuldig ogende CPU-alert leidde naar kapotte downloads.
- Standaardinstellingen zijn beslissingen die iemand anders nam; controleer ze voor je eigen groottes.
De volledige lijst met wijzigingen staat in de tagmelding van v3.6.0.
