Een robot opent twee keer per dag een Word-document in mijn Nextcloud: end-to-endtests met Playwright en Zabbix
Al mijn checks kunnen groen zijn terwijl niemand een document kan openen. Daarom doet nu een echte browser wat een mens doet: inloggen op Nextcloud, een Word-bestand openen in Collabora, uitloggen en zoeken in mijn blog. Twee keer per dag, in een rootless Podman-container, met de resultaten in Zabbix. Waarom end-to-endtests, welke tools er zijn, hoe het gebouwd is, een video van een run en een openbare repository.

🌐 Ook in: English · Deutsch · Français · Español · Italiano · Português · Polski
In het kort: Mijn monitoring controleert of diensten draaien. Of iemand er ook echt mee kan werken, controleert hij niet. Dat doet nu twee keer per dag een echte browser: hij logt in op onze twee Nextclouds, opent een Word-document in Collabora Online, wacht tot de documentserver het echt heeft weergegeven, sluit het en logt uit. Een derde test zoekt in mijn blog. De tests draaien met Playwright in een rootless Podman-container en de resultaten gaan naar Zabbix, dat de tijden vastlegt en alarm slaat. Scripts en uitleg staan openbaar in een GitHub-repository.
Zo ziet één run eruit, opgenomen in een echte browser:
Inhoud
🎯 Waarom end-to-endtests het meest zeggen
Bijna alles wat ik bewaak is een toestand. De container draait. Poort 443 antwoordt. status.php zegt installed: true. Het certificaat is nog 60 dagen geldig. De discovery-URL van Collabora geeft XML terug. Elk van deze checks is goedkoop, snel en nuttig – en ze kunnen allemaal groen zijn terwijl niemand één document kan openen.
Tussen “de dienst draait” en “een mens kan werken” ligt een keten: de inlogpagina moet haar JavaScript uitvoeren, het wachtwoord moet worden geaccepteerd, de Bestanden-app moet de bestanden tonen, Nextcloud moet het bestand via WOPI aan Collabora geven, Collabora moet terugbellen, het ophalen, omzetten en de pagina’s naar de browser sturen. Een ontbrekende proxyheader, een app-update die de viewer breekt, een volle schijf op de verkeerde plek, een scriptbundel die na een upgrade 404 geeft – elk daarvan breekt de keten, en geen ervan kleurt één statuscheck rood.
Een end-to-endtest controleert het effect, niet de toestand. Hij doet wat een mens doet en meldt alleen succes als de mens ook succes had gehad. Daarom is het de meest zeggende check die er is. Het is ook de traagste en de kwetsbaarste, dus hij komt naast de eenvoudige checks, niet in hun plaats, en hij moet zelden draaien en alleen op de paden die er echt toe doen.
Wat ik ervan hoop, is vooral meer zekerheid na updates. Nextcloud, Collabora, K3s, de Helm-charts en het besturingssysteem worden op beide servers regelmatig bijgewerkt. Tot nu toe klikte ik daarna met de hand door – of, eerlijk gezegd, soms ook niet. Nu vertelt de volgende run me of de hele keten nog werkt, niet alleen elke schakel.
Wat je meeneemt: Toestandschecks zeggen of de onderdelen leven. Alleen een end-to-endtest zegt of ze samen werken.
🧰 De bekende tools – en waarom Playwright
Browserautomatisering is een oud vak, en er zijn veel tools voor:
| Tool | Wat het is | Geschikt voor deze klus |
|---|---|---|
| Selenium | de veteraan (sinds 2004), W3C-standaard WebDriver, elke taal | werkt, maar wachten, frames en video vragen extra code of extra containers |
| Playwright | Microsoft, sinds 2020; Chromium, Firefox, WebKit; Python, JS, Java, .NET | wacht zelf, kan geneste iframes aan, neemt video op – mijn keuze |
| Puppeteer | Google, alleen Chrome/Chromium, JavaScript | goed, maar alleen JavaScript en één browserfamilie |
| Cypress | testrunner voor webontwikkelaars, draait in de browser zelf | gemaakt om je eigen app tijdens de ontwikkeling te testen, onhandig over domeinen en iframes heen |
| Robot Framework | tests op basis van sleutelwoorden; Checkmk gebruikt het als “Robotmk” voor synthetische monitoring | leesbaar, maar nog een laag boven Selenium of Playwright |
| Grafana k6 browser | loadtesttool met browsermodule | sterk voor belasting, te veel voor een login twee keer per dag |
| Elastic Synthetics | Playwright-scripts in de Elastic-stack | alleen zinvol als je Elastic al draait |
| Browser-items van Zabbix | sinds Zabbix 7.0: JavaScript-tests tegen een Selenium WebDriver | de meest geïntegreerde weg, maar een aparte Selenium-container en minder prettig met frames |
| PyAutoGUI | beweegt de echte muis op schermcoördinaten | het tegenvoorbeeld: breekt bij elke pixel lay-outwijziging |
Ik koos Playwright met Python. Drie eigenschappen gaven de doorslag. Het wacht zelf: een klik wacht tot het element bestaat, zichtbaar is en invoer accepteert, dus het script heeft geen enkele sleep() nodig. Het gaat netjes om met geneste iframes, en dat telt, omdat Collabora in een frame binnen Nextcloud draait. En er is een officieel container-image met alle browsers, dus er hoeft niets op de host geïnstalleerd te worden. Bovendien gebruikte mijn Zabbix-opstelling hetzelfde image al voor zijn screenshots.
Wat je meeneemt: Voor monitoring wint een tool die betrouwbaar wacht en met frames overweg kan van de bekendste naam.
🔍 Wat de tests doen
De Nextcloud-test heeft zes stappen en meet de tijd van elke stap:
| Stap | Geslaagd als |
|---|---|
| inlogpagina | het inlogformulier is weergegeven – het JavaScript van de pagina werkt dus |
| inloggen | het wachtwoord van de testgebruiker wordt geaccepteerd en de browser verlaat /login |
| bestandslijst | de Bestanden-app toont het testdocument |
| document geladen | de statusbalk van Collabora toont “11 woorden” |
| document gesloten | het Collabora-frame is weg en de bestandslijst is terug |
| uitloggen | de browser staat weer op de inlogpagina |
De interessante stap is de vierde. Het iframe van Collabora verschijnt seconden voordat het document bruikbaar is, en het document zelf wordt op een canvas getekend: de tekst komt nooit in de pagina. Wat er wel komt, is het aantal woorden in de statusbalk, en dat kan alleen de documentserver berekenen: uit het echte bestand, nadat Nextcloud het heeft overgedragen en Collabora het heeft geopend. Toont de statusbalk precies het verwachte getal, dan heeft de hele keten gewerkt:
frame = page.frame_locator("iframe[name^=collaboraframe]").first
frame.locator("#StateWordCount").filter(has_text="11 words").wait_for(timeout=90000)
Het testdocument maakt een klein script: een kop, één zin en een staafdiagram, zodat Collabora ook een afbeelding moet weergeven. Bij de eerste run op een nieuwe cloud uploadt de test het zelf via de browser – “Nieuw”, “Bestanden uploaden”, precies zoals een mens.
De testgebruiker monitor-check bestaat alleen hiervoor: geen beheerdersrechten, geen groepen, 100 MB quotum en niets erin behalve het testdocument.
De blogtest heeft drie stappen: de homepage openen, de zoekfunctie openen, zoeken op “Zabbix”, wachten op treffers met dat woord, de eerste openen en controleren of titel, tekst en afbeelding er zijn. Precies dat deel ziet een eenvoudige HTTP-check niet: de zoekfunctie van deze blog draait volledig in de browser van de bezoeker (Pagefind). Zou de index na een build ontbreken, dan antwoordde elke pagina nog steeds met 200 en vond de zoekfunctie stilletjes niets meer.
Wat je meeneemt: Wacht op iets dat alleen het echte systeem kan leveren – niet op het frame, de laadcirkel of de HTTP-status.
🧑💻 Zo ziet de test eruit in code
De zes stappen staan niet in een configuratiebestand, maar in een klein Python-programma dat een echte browser bestuurt. Elke stap is één regel Playwright. Ingekort ziet check_nextcloud.py er zo uit:
page.goto(f"{URL}/login") # 1. de inlogpagina openen
page.locator("#user").fill(USER) # 2. gebruikersnaam intypen
page.locator("#password").fill(PASSWORD) # wachtwoord intypen
page.locator("button[type=submit]").click() # op „Inloggen” klikken
page.goto(f"{URL}/index.php/apps/files/") # 3. de app Bestanden openen
row.click() # 4. het Word-document aanklikken …
frame.locator("#StateWordCount") \
.filter(has_text="11 words").wait_for() # … wachten tot Collabora het aantal woorden toont
frame.locator("#closebutton").click() # 5. document sluiten
page.get_by_text("Log out").click() # 6. uitloggen
Drie commando’s volstaan voor bijna alles: fill typt iets, click klikt, wait_for wacht tot er iets op de pagina verschijnt. Verschijnt het niet op tijd, dan is de test gezakt en gaat de naam van de stap als fout naar Zabbix.
Het configuratiebestand targets.ini legt alleen vast welke doelen gecontroleerd worden, niet hoe: per doel een sectie met het soort test (nextcloud of site), de naam van de host in Zabbix en een apart bestand met adres, gebruiker en wachtwoord (rechten 600):
# een Nextcloud: inloggegevens in een apart bestand (rechten 600)
[cloud]
kind = nextcloud
credentials = .credentials-cloud
zabbix_host = Nextcloud
# bestand .credentials-cloud: NC_URL=…, NC_USER=…, NC_PASS=…
Wie nog een Nextcloud wil controleren, voegt dus alleen een sectie en een bestand met inloggegevens toe. Wie iets anders wil controleren – een webmail, een wiki, een webwinkel – schrijft een eigen kort script volgens hetzelfde patroon.
🐳 Hoe het draait
Alles staat op mijn thuisserver HP3, naast Zabbix, als gewone gebruiker zonder root:
- Een cronjob start
run.pyom 06:57 en 18:57. Twee keer per dag is genoeg voor dit soort check, en elke run opent een echte Collabora-sessie op de servers – dat wil ik niet elke vijf minuten. - Per doel start
run.pyde Playwright-container metpodman run. De inloggegevens komen uit een bestand met rechten 600 via--env-file, nooit via een opdrachtregel. - Mislukt een run, dan wacht hij twee minuten en probeert het nog één keer. Alleen het tweede resultaat telt, zodat één hapering niemand wakker maakt.
- Bij een fout worden een screenshot en de paginatekst bewaard, zodat ik achteraf zie waar het bleef hangen.
Een normale run duurt 11 tot 14 seconden per Nextcloud en 2 seconden voor de blog. Collabora toont het document na ongeveer 3 tot 4 seconden.
Wat je meeneemt: Een zeldzame, betrouwbare check is meer waard dan een frequente, wankele.
📊 Naar Zabbix
Eerst stuurde het script mij zelf mails. Dat werkte, maar het was een tweede alarmsysteem naast Zabbix, met eigen logica en zonder geschiedenis. Daarom gaan de resultaten nu naar Zabbix, en dit is daar veranderd:
Vijf trapper-items per host. Een trapper-item vraagt niets op; het neemt waarden aan die iemand stuurt. Elk van de drie hosts (Nextcloud cvjm, Nextcloud sofie, blog) kreeg:
| Item | Inhoud |
|---|---|
e2e.ok | 1 geslaagd, 0 mislukt |
e2e.seconds | duur van de hele run |
e2e.load | de stap die telt: document weergegeven of zoekopdracht beantwoord |
e2e.step | de mislukte stap |
e2e.error | de foutmelding |
Verstuurd zonder extra software. Het sender-protocol van Zabbix is eenvoudig – een vaste header, de lengte, dan JSON – dus run.py spreekt het rechtstreeks met de standaardbibliotheek van Python en het pakket zabbix_sender is niet nodig. De items accepteren alleen waarden van localhost.
Drie triggers per host:
- Test mislukt (Hoog). Hij hangt af van de trigger “internet onbereikbaar” en van de bestaande Hoog-triggers van de host. Is de server gewoon plat, dan meldt het bestaande alarm zich al en blijft de E2E-trigger stil. Hij gaat alleen af als alle eenvoudige checks groen zijn maar de weg door de applicatie kapot is – precies het geval waarvoor hij gebouwd is.
- Al 13 uur geen resultaat (Gemiddeld). Een check die stilletjes stopt is erger dan geen check. Gaan cron, image of inloggegevens kapot, dan merkt Zabbix de ontbrekende waarden.
- Traag (Waarschuwing) als de belangrijkste stap langer dan 30 seconden duurt. Sluipende achteruitgang is lang voor een storing te zien, en de grafiek van
e2e.loadmaakt hem zichtbaar.
Getest als een storing. Ik stuurde Zabbix een kunstmatige fout (“TEST”): het probleem verscheen, de mail kwam aan, en een “ok” daarna sloot het weer. Alleen als Zabbix zelf onbereikbaar is, stuurt run.py nog een eigen mail.
Wat je meeneemt: Eén plek voor alle alarmen. De afhankelijkheid van de bestaande triggers voorkomt dat de nieuwe check gaat schreeuwen over storingen die al gemeld zijn.
🪤 Waar het vastliep
- HTTP 401 bij het uploaden. Op beide clouds staat
token_auth_enforcedaan: clients als WebDAV hebben app-wachtwoorden nodig, het gewone wachtwoord wordt geweigerd. Dat is een bewuste verharding, dus in plaats van die af te zwakken uploadt de test het document via de browser. - Het inlogformulier verscheen nooit. In het standaardnetwerk van rootless Podman zag Chromium direct na het starten van de container een netwerkwissel (
ERR_NETWORK_CHANGED) en liet het JavaScript van de pagina vallen. Met--network=hostis dat weg. - “Browser niet ondersteund”. Nextcloud stuurt onbekende browsers naar
/unsupported. Mijn eigen user agent was te ongewoon; nu is het de gewone Chrome-string met “e2e-check” erachter, zodat de runs herkenbaar blijven in de logs. - De containerstart hing minutenlang.
--userns=keep-idliet Podman het image van 2,6 GB kopiëren met herschreven eigenaren. In rootless Podman is dat helemaal niet nodig: root in de container is al mijn gebruiker. /apps/files/gaf 403 achter de nginx van een van de opstellingen;/index.php/apps/files/werkt overal.- De welkomstrondleiding. Bij het eerste openen legt Collabora een rondleiding over het document;
Escapesluit die.
Wat je meeneemt: De meeste problemen zaten niet in de test, maar in de omgeving eromheen – netwerk, user agent, beveiligingsinstellingen. Elk ervan staat nu als commentaar in de code.
🎬 Hoe de video ontstond
Een headless browser heeft geen adresbalk en geen muisaanwijzer, dus de gewone checks laten zich niet zo filmen dat het op een mens lijkt. Voor de video draait een apart demoscript in een container met een virtueel scherm (Xvfb): een zichtbaar Chrome-venster gaat open, het adres wordt in de adresbalk getikt en de echte muisaanwijzer gaat naar elk element en klikt (xdotool). ffmpeg neemt het scherm op en voegt per stap een onderschrift toe. Twee details waren belangrijk: de Chrome-ballon “Wachtwoord opslaan?” bedekte het gebruikersmenu en moest in het profiel worden uitgezet, en --test-type haalt de waarschuwingsbalk over --no-sandbox weg. De muziek is “Ambient – Ambient Music” van JonasBlakewood, van Pixabay.
📦 De repository
Alles staat openbaar als e2e-browser-check, met plaatshouders in plaats van mijn servers: de twee tests, run.py met de herhaling en de Zabbix-sender, zbx_setup.py voor items en triggers, de generator voor het testdocument, cron en systemd-timer, de demo-opname en een README die installatie, de Zabbix-kant en de valkuilen stap voor stap uitlegt. De client voor de Zabbix-API komt uit mijn eerdere repository zabbix-podman-homelab.
🎯 De lessen
- Een groene status is geen werkende dienst. Alleen een test die doet wat een gebruiker doet, laat zien of de keten houdt.
- Wacht op bewijs, niet op het frame. Het aantal woorden in de statusbalk van Collabora kan alleen uit het echte document komen.
- Zelden en betrouwbaar. Twee keer per dag met één herhaling is genoeg voor een end-to-endtest; de eenvoudige checks dekken de minuten ertussen.
- Eén alarmsysteem. Resultaten naar Zabbix, met afhankelijkheden, zodat een bekende storing niet twee keer belt – en met een trigger voor “de check zelf is gestopt”.
- Respecteer je eigen verharding. Toen de test op
token_auth_enforcedstuitte, was de juiste oplossing de test aan te passen, niet de server.
