Ein Roboter öffnet zweimal am Tag ein Word-Dokument in meiner Nextcloud: End-to-End-Tests mit Playwright und Zabbix
Alle meine Checks können grün sein, während niemand ein Dokument öffnen kann. Deshalb macht jetzt ein echter Browser, was ein Mensch macht: in der Nextcloud anmelden, eine Word-Datei in Collabora öffnen, abmelden, und im Blog suchen. Zweimal am Tag, in einem rootless Podman-Container, mit den Ergebnissen in Zabbix. Warum End-to-End-Tests, welche Werkzeuge es gibt, wie es gebaut ist, ein Video eines Laufs und ein öffentliches Repository.

🌐 Auch auf: English · Français · Español · Italiano · Português · Nederlands · Polski
Kurz gesagt: Mein Monitoring prüft, ob Dienste laufen. Ob jemand damit auch arbeiten kann, prüft es nicht. Das übernimmt jetzt zweimal am Tag ein echter Browser: Er meldet sich an unseren beiden Nextclouds an, öffnet ein Word-Dokument in Collabora Online, wartet, bis der Dokumentserver es wirklich dargestellt hat, schließt es und meldet sich ab. Ein dritter Test sucht in meinem Blog. Die Tests laufen mit Playwright in einem rootless Podman-Container, die Ergebnisse landen in Zabbix, das die Zeiten aufzeichnet und alarmiert. Skripte und Anleitung liegen öffentlich in einem GitHub-Repository.
So sieht ein Lauf aus, aufgenommen in einem echten Browser:
Inhaltsverzeichnis
🎯 Warum End-to-End-Tests am meisten aussagen
Fast alles, was ich überwache, ist ein Zustand. Der Container läuft. Port 443 antwortet. status.php meldet installed: true. Das Zertifikat gilt noch 60 Tage. Die Discovery-Adresse von Collabora liefert XML. Jeder dieser Checks ist billig, schnell und nützlich – und alle zusammen können grün sein, während niemand ein einziges Dokument öffnen kann.
Zwischen „der Dienst läuft“ und „ein Mensch kann arbeiten“ liegt eine Kette: Die Anmeldeseite muss ihr JavaScript ausführen, das Passwort muss angenommen werden, die Dateien-App muss die Dateien auflisten, Nextcloud muss die Datei über WOPI an Collabora übergeben, Collabora muss zurückrufen, sie abholen, umwandeln und die fertigen Seiten an den Browser schicken. Ein fehlender Proxy-Header, ein App-Update, das den Viewer kaputt macht, eine volle Platte an der falschen Stelle, ein Skript-Bundle, das nach einem Upgrade 404 liefert – jedes davon reißt die Kette, und keines färbt einen einzigen Status-Check rot.
Ein End-to-End-Test prüft die Wirkung, nicht den Zustand. Er tut, was ein Mensch tut, und meldet nur dann Erfolg, wenn auch der Mensch Erfolg gehabt hätte. Das macht ihn zum aussagekräftigsten Check überhaupt. Er ist aber auch der langsamste und empfindlichste. Deshalb gehört er zusätzlich zu den einfachen Checks, nicht an ihre Stelle, und er sollte selten laufen und nur die Wege prüfen, auf die es wirklich ankommt.
Was ich mir davon erhoffe, ist vor allem mehr Sicherheit nach Updates. Nextcloud, Collabora, K3s, die Helm-Charts und das Betriebssystem werden auf beiden Servern regelmäßig aktualisiert. Bisher habe ich danach von Hand durchgeklickt – oder, ehrlich gesagt, manchmal auch nicht. Jetzt sagt mir der nächste Lauf, ob die ganze Kette noch funktioniert, nicht nur jedes einzelne Glied.
Was man mitnimmt: Zustands-Checks sagen, ob die Teile leben. Nur ein End-to-End-Test sagt, ob sie zusammen funktionieren.
🧰 Die bekannten Werkzeuge – und warum Playwright
Browser-Automatisierung ist eine alte Disziplin, und es gibt viele Werkzeuge dafür:
| Werkzeug | Was es ist | Eignung für diese Aufgabe |
|---|---|---|
| Selenium | der Klassiker (seit 2004), W3C-Standard WebDriver, jede Sprache | geht, aber Warten, Frames und Video brauchen Zusatzcode oder Zusatzcontainer |
| Playwright | Microsoft, seit 2020; Chromium, Firefox, WebKit; Python, JS, Java, .NET | wartet selbst, beherrscht verschachtelte iframes, nimmt Video auf – meine Wahl |
| Puppeteer | Google, nur Chrome/Chromium, JavaScript | gut, aber nur JavaScript und eine Browserfamilie |
| Cypress | Testrunner für Webentwickler, läuft im Browser selbst | gebaut, um die eigene App während der Entwicklung zu testen, sperrig über Domains und iframes hinweg |
| Robot Framework | Schlüsselwort-basierte Tests; Checkmk nutzt es als „Robotmk“ für synthetisches Monitoring | gut lesbar, aber eine weitere Schicht über Selenium oder Playwright |
| Grafana k6 Browser | Lasttest-Werkzeug mit Browser-Modul | stark für Last, zu viel für eine Anmeldung zweimal am Tag |
| Elastic Synthetics | Playwright-Skripte im Elastic-Stack | lohnt sich nur, wenn Elastic ohnehin läuft |
| Zabbix-Browser-Items | seit Zabbix 7.0: JavaScript-Tests gegen einen Selenium-WebDriver | die am tiefsten integrierte Lösung, aber ein eigener Selenium-Container und weniger bequem mit Frames |
| PyAutoGUI | bewegt die echte Maus nach Bildschirmkoordinaten | das Gegenbeispiel: bricht bei jedem Pixel Layoutänderung |
Ich habe mich für Playwright mit Python entschieden. Den Ausschlag gaben drei Eigenschaften. Es wartet selbst: Ein Klick wartet, bis das Element existiert, sichtbar ist und Eingaben annimmt, das Skript braucht kein einziges sleep(). Es kommt sauber mit verschachtelten iframes zurecht, und das zählt, weil Collabora in einem Frame innerhalb der Nextcloud läuft. Und es gibt ein offizielles Container-Image mit allen Browsern, auf dem Host muss nichts installiert werden. Dazu kam, dass mein Zabbix-Aufbau dasselbe Image schon für seine Screenshots nutzte.
Was man mitnimmt: Für Monitoring schlägt ein Werkzeug, das zuverlässig wartet und mit Frames umgehen kann, den bekanntesten Namen.
🔍 Was die Tests machen
Der Nextcloud-Test hat sechs Schritte und misst die Zeit jedes einzelnen:
| Schritt | Bestanden, wenn |
|---|---|
| Anmeldeseite | das Anmeldeformular dargestellt wurde – das JavaScript der Seite funktioniert also |
| Anmelden | das Passwort des Testbenutzers angenommen wird und der Browser /login verlässt |
| Dateiliste | die Dateien-App das Testdokument zeigt |
| Dokument geladen | die Statusleiste von Collabora „11 Wörter“ zeigt |
| Dokument geschlossen | der Collabora-Frame weg ist und die Dateiliste wieder da |
| Abmelden | der Browser wieder auf der Anmeldeseite steht |
Spannend ist der vierte Schritt. Der iframe von Collabora erscheint Sekunden, bevor das Dokument benutzbar ist, und das Dokument selbst wird auf eine Zeichenfläche (Canvas) gemalt – sein Text taucht in der Seite nie auf. Was dort auftaucht, ist die Wortzahl in der Statusleiste, und die kann nur der Dokumentserver berechnen: aus der echten Datei, nachdem Nextcloud sie übergeben und Collabora sie geöffnet hat. Steht dort genau die erwartete Zahl, hat die ganze Kette funktioniert:
frame = page.frame_locator("iframe[name^=collaboraframe]").first
frame.locator("#StateWordCount").filter(has_text="11 Wörter").wait_for(timeout=90000)
Das Testdokument erzeugt ein kleines Skript: eine Überschrift, ein Satz und ein Balkendiagramm, damit Collabora auch eine Grafik darstellen muss. Beim ersten Lauf auf einer neuen Cloud lädt der Test es selbst über den Browser hoch – „Neu“, „Dateien hochladen“, genau wie ein Mensch.
Den Testbenutzer monitor-check gibt es nur dafür: keine Admin-Rechte, keine Gruppen, 100 MB Speicher, darin nichts außer dem Testdokument.
Der Blog-Test hat drei Schritte: Startseite öffnen, die Suche aufklappen, nach „Zabbix“ suchen, auf Treffer warten, die das Wort enthalten, den ersten Treffer öffnen und prüfen, ob Titel, Text und Titelbild da sind. Genau diesen Teil sieht ein einfacher HTTP-Check nicht: Die Suche in diesem Blog läuft komplett im Browser des Besuchers (Pagefind). Fehlte ihr Index nach einem Build, würde jede Seite weiter mit 200 antworten, und die Suche fände stillschweigend nichts.
Was man mitnimmt: Auf etwas warten, das nur das echte System liefern kann – nicht auf den Frame, den Ladekreisel oder den HTTP-Status.
🧑💻 So sieht der Test im Code aus
Die sechs Schritte stehen nicht in einer Konfigurationsdatei, sondern in einem kleinen Python-Programm, das einen echten Browser fernsteuert. Jeder Schritt ist eine Zeile Playwright. Gekürzt sieht check_nextcloud.py so aus:
page.goto(f"{URL}/login") # 1. Anmeldeseite aufrufen
page.locator("#user").fill(USER) # 2. Benutzername eintippen
page.locator("#password").fill(PASSWORD) # Passwort eintippen
page.locator("button[type=submit]").click() # auf „Anmelden“ klicken
page.goto(f"{URL}/index.php/apps/files/") # 3. Dateien-App öffnen
row.click() # 4. Word-Dokument anklicken …
frame.locator("#StateWordCount") \
.filter(has_text="11 Wörter").wait_for() # … warten, bis Collabora die Wortzahl zeigt
frame.locator("#closebutton").click() # 5. Dokument schließen
page.get_by_text("Abmelden").click() # 6. abmelden
Drei Befehle reichen für fast alles: fill tippt etwas ein, click klickt, wait_for wartet, bis etwas auf der Seite erscheint. Erscheint es nicht rechtzeitig, ist der Test durchgefallen, und der Name des Schritts geht als Fehler an Zabbix.
Die Konfigurationsdatei targets.ini legt nur fest, welche Ziele geprüft werden, nicht wie: pro Ziel ein Abschnitt mit der Art des Tests (nextcloud oder site), dem Namen des Hosts in Zabbix und einer eigenen Datei mit Adresse, Benutzer und Passwort (Rechte 600):
# eine Nextcloud: Zugangsdaten in einer eigenen Datei (Rechte 600)
[cloud]
kind = nextcloud
credentials = .credentials-cloud
zabbix_host = Nextcloud
# Datei .credentials-cloud: NC_URL=…, NC_USER=…, NC_PASS=…
Wer eine weitere Nextcloud prüfen will, ergänzt also nur einen Abschnitt und eine Zugangsdatei. Wer etwas anderes prüfen will – ein Webmail, ein Wiki, einen Shop –, schreibt ein eigenes kurzes Skript nach demselben Muster.
🐳 Wie es läuft
Alles liegt auf meinem Heimserver HP3 neben Zabbix, als normaler Benutzer ohne root:
- Ein Cronjob startet
run.pyum 06:57 und 18:57 Uhr. Zweimal am Tag reicht für diese Art von Check, und jeder Lauf öffnet eine echte Collabora-Sitzung auf den Servern – das will ich nicht alle fünf Minuten. - Für jedes Ziel startet
run.pyden Playwright-Container mitpodman run. Die Zugangsdaten kommen aus einer Datei mit Rechten 600 über--env-file, nie über eine Befehlszeile. - Schlägt ein Lauf fehl, wartet es zwei Minuten und versucht es noch einmal. Erst das zweite Ergebnis zählt, damit ein einzelner Schluckauf niemanden weckt.
- Bei einem Fehler werden Screenshot und Seitentext gespeichert, damit ich hinterher sehe, wo es hing.
Ein normaler Lauf dauert 11 bis 14 Sekunden pro Nextcloud und 2 Sekunden für den Blog. Collabora zeigt das Dokument nach etwa 3 bis 4 Sekunden.
Was man mitnimmt: Ein seltener, verlässlicher Check ist mehr wert als ein häufiger, wackliger.
📊 Ab in Zabbix
Anfangs hat mir das Skript selbst Mails geschickt. Das ging, war aber ein zweites Alarmsystem neben Zabbix, mit eigener Logik und ohne Verlauf. Deshalb landen die Ergebnisse jetzt in Zabbix, und das hat sich dort geändert:
Fünf Trapper-Items pro Host. Ein Trapper-Item fragt nichts ab, es nimmt Werte an, die jemand schickt. Jeder der drei Hosts (Nextcloud cvjm, Nextcloud sofie, Blog) hat bekommen:
| Item | Inhalt |
|---|---|
e2e.ok | 1 bestanden, 0 fehlgeschlagen |
e2e.seconds | Dauer des ganzen Laufs |
e2e.load | der entscheidende Schritt: Dokument dargestellt bzw. Suche hat geantwortet |
e2e.step | der fehlgeschlagene Schritt |
e2e.error | die Fehlermeldung |
Gesendet ohne Zusatzsoftware. Das Sender-Protokoll von Zabbix ist einfach – ein fester Kopf, die Länge, dann JSON. run.py spricht es direkt mit der Python-Standardbibliothek, das Paket zabbix_sender wird nicht gebraucht. Die Items nehmen nur Werte von localhost an.
Drei Trigger pro Host:
- Test fehlgeschlagen (Hoch). Er hängt ab vom Trigger „Internet nicht erreichbar“ und von den vorhandenen Hoch-Triggern des Hosts. Ist der Server schlicht weg, meldet sich schon der bestehende Alarm, und der E2E-Trigger bleibt still. Er schlägt nur an, wenn alle einfachen Checks grün sind, der Weg durch die Anwendung aber kaputt ist – genau der Fall, für den er gebaut ist.
- Seit 13 Stunden kein Ergebnis (Durchschnitt). Ein Check, der still aufhört, ist schlimmer als keiner. Gehen Cron, Image oder Zugangsdaten kaputt, bemerkt Zabbix die fehlenden Werte.
- Langsam (Warnung), wenn der entscheidende Schritt länger als 30 Sekunden dauert. Schleichende Verschlechterung zeigt sich lange vor einem Ausfall, und das Diagramm von
e2e.loadmacht sie sichtbar.
Getestet wie ein Ausfall. Ich habe Zabbix einen künstlichen Fehler („TEST“) geschickt: Das Problem erschien, die Mail kam an, ein „ok“ danach hat es wieder geschlossen. Nur wenn Zabbix selbst nicht erreichbar ist, schickt run.py noch eine eigene Mail.
Was man mitnimmt: Ein Ort für alle Alarme. Die Abhängigkeit von den bestehenden Triggern verhindert, dass der neue Check Ausfälle hinausposaunt, die schon gemeldet sind.
🪤 Wo es hakte
- HTTP 401 beim Hochladen. Auf beiden Clouds ist
token_auth_enforcedeingeschaltet: Clients wie WebDAV brauchen App-Passwörter, das normale Passwort wird abgelehnt. Das ist eine gewollte Härtung. Statt sie aufzuweichen, lädt der Test das Dokument über den Browser hoch. - Das Anmeldeformular erschien nie. Im Standard-Netz von rootless Podman bemerkte Chromium direkt nach dem Containerstart einen Netzwechsel (
ERR_NETWORK_CHANGED) und verwarf das JavaScript der Seite. Mit--network=hostist das weg. - „Browser nicht unterstützt“. Nextcloud schickt unbekannte Browser nach
/unsupported. Meine eigene Browserkennung war zu ungewöhnlich; jetzt ist es die normale Chrome-Kennung mit angehängtem „e2e-check“, damit man die Läufe in den Logs weiter erkennt. - Der Containerstart hing minutenlang.
--userns=keep-idbrachte Podman dazu, das 2,6-GB-Image mit umgeschriebenen Besitzern zu kopieren. In rootless Podman braucht man das gar nicht: root im Container ist bereits mein Benutzer. /apps/files/lieferte 403 hinter dem nginx eines Aufbaus;/index.php/apps/files/funktioniert überall.- Die Willkommens-Tour. Beim ersten Öffnen legt Collabora eine Tour über das Dokument;
Escapeschließt sie.
Was man mitnimmt: Die meisten Probleme steckten nicht im Test, sondern in der Umgebung drumherum – Netz, Browserkennung, Sicherheitseinstellungen. Jedes davon steht jetzt als Kommentar im Code.
🎬 Wie das Video entstand
Ein Headless-Browser hat keine Adresszeile und keinen Mauszeiger, die regulären Checks lassen sich also nicht so filmen, dass es nach einem Menschen aussieht. Für das Video läuft ein eigenes Demo-Skript in einem Container mit virtuellem Bildschirm (Xvfb): Ein sichtbares Chrome-Fenster geht auf, die Adresse wird in die Adresszeile getippt, und der echte Mauszeiger fährt zu jedem Element und klickt (xdotool). ffmpeg nimmt den Bildschirm auf und blendet zu jedem Schritt eine Zeile ein. Zwei Kleinigkeiten waren wichtig: Chromes Blase „Passwort speichern?“ verdeckte das Benutzermenü und musste im Profil abgeschaltet werden, und --test-type entfernt die Warnleiste zu --no-sandbox. Die Musik ist „Ambient – Ambient Music“ von JonasBlakewood aus Pixabay.
📦 Das Repository
Alles liegt öffentlich als e2e-browser-check, mit Platzhaltern statt meiner Server: die beiden Checks, run.py mit Wiederholung und Zabbix-Sender, zbx_setup.py für Items und Trigger, der Generator für das Testdokument, Cron und systemd-Timer, die Demo-Aufnahme und ein README, das Einrichtung, Zabbix-Seite und Stolpersteine Schritt für Schritt erklärt. Die Hilfsfunktionen für die Zabbix-API stammen aus meinem früheren Repository zabbix-podman-homelab.
🎯 Die Lehren
- Ein grüner Status ist kein funktionierender Dienst. Nur ein Test, der tut, was ein Benutzer tut, zeigt, ob die Kette hält.
- Auf einen Beweis warten, nicht auf den Frame. Die Wortzahl in der Statusleiste von Collabora kann nur aus dem echten Dokument kommen.
- Selten und verlässlich. Zweimal am Tag mit einer Wiederholung reicht für einen End-to-End-Test; die einfachen Checks decken die Minuten dazwischen ab.
- Ein Alarmsystem. Ergebnisse nach Zabbix, mit Abhängigkeiten, damit ein bekannter Ausfall nicht doppelt klingelt – und mit einem Trigger für „der Check selbst ist stehen geblieben“.
- Die eigene Härtung respektieren. Als der Test auf
token_auth_enforcedstieß, war die richtige Lösung, den Test zu ändern, nicht den Server.
