Ein Roboter öffnet zweimal am Tag ein Word-Dokument in meiner Nextcloud: End-to-End-Tests mit Playwright und Zabbix

Alle meine Checks können grün sein, während niemand ein Dokument öffnen kann. Deshalb macht jetzt ein echter Browser, was ein Mensch macht: in der Nextcloud anmelden, eine Word-Datei in Collabora öffnen, abmelden, und im Blog suchen. Zweimal am Tag, in einem rootless Podman-Container, mit den Ergebnissen in Zabbix. Warum End-to-End-Tests, welche Werkzeuge es gibt, wie es gebaut ist, ein Video eines Laufs und ein öffentliches Repository.

Comic: In einem Rechenzentrums-Gang mit blauem Licht arbeitet ein weißer Roboter im Shirt „E2E Tests“ am Schreibtisch, der Bildschirm zeigt bestandene Testschritte; ein Mann im weißen T-Shirt hebt mit Kaffeebecher den Daumen

🌐 Auch auf: English · Français · Español · Italiano · Português · Nederlands · Polski

Kurz gesagt: Mein Monitoring prüft, ob Dienste laufen. Ob jemand damit auch arbeiten kann, prüft es nicht. Das übernimmt jetzt zweimal am Tag ein echter Browser: Er meldet sich an unseren beiden Nextclouds an, öffnet ein Word-Dokument in Collabora Online, wartet, bis der Dokumentserver es wirklich dargestellt hat, schließt es und meldet sich ab. Ein dritter Test sucht in meinem Blog. Die Tests laufen mit Playwright in einem rootless Podman-Container, die Ergebnisse landen in Zabbix, das die Zeiten aufzeichnet und alarmiert. Skripte und Anleitung liegen öffentlich in einem GitHub-Repository.

So sieht ein Lauf aus, aufgenommen in einem echten Browser:

Ein Lauf des Checks (47 s, verlangsamt, damit man folgen kann): Adresse eintippen, als Testbenutzer anmelden, Word-Dokument anklicken, auf Collabora warten, schließen, abmelden. Die regulären Läufe dauern etwa 12 Sekunden. Einblendungen auf Englisch. Musik: „Ambient – Ambient Music“ von JonasBlakewood über Pixabay (Pixabay Content License).
Inhaltsverzeichnis

🎯 Warum End-to-End-Tests am meisten aussagen

Fast alles, was ich überwache, ist ein Zustand. Der Container läuft. Port 443 antwortet. status.php meldet installed: true. Das Zertifikat gilt noch 60 Tage. Die Discovery-Adresse von Collabora liefert XML. Jeder dieser Checks ist billig, schnell und nützlich – und alle zusammen können grün sein, während niemand ein einziges Dokument öffnen kann.

Zwischen „der Dienst läuft“ und „ein Mensch kann arbeiten“ liegt eine Kette: Die Anmeldeseite muss ihr JavaScript ausführen, das Passwort muss angenommen werden, die Dateien-App muss die Dateien auflisten, Nextcloud muss die Datei über WOPI an Collabora übergeben, Collabora muss zurückrufen, sie abholen, umwandeln und die fertigen Seiten an den Browser schicken. Ein fehlender Proxy-Header, ein App-Update, das den Viewer kaputt macht, eine volle Platte an der falschen Stelle, ein Skript-Bundle, das nach einem Upgrade 404 liefert – jedes davon reißt die Kette, und keines färbt einen einzigen Status-Check rot.

Ein End-to-End-Test prüft die Wirkung, nicht den Zustand. Er tut, was ein Mensch tut, und meldet nur dann Erfolg, wenn auch der Mensch Erfolg gehabt hätte. Das macht ihn zum aussagekräftigsten Check überhaupt. Er ist aber auch der langsamste und empfindlichste. Deshalb gehört er zusätzlich zu den einfachen Checks, nicht an ihre Stelle, und er sollte selten laufen und nur die Wege prüfen, auf die es wirklich ankommt.

Was ich mir davon erhoffe, ist vor allem mehr Sicherheit nach Updates. Nextcloud, Collabora, K3s, die Helm-Charts und das Betriebssystem werden auf beiden Servern regelmäßig aktualisiert. Bisher habe ich danach von Hand durchgeklickt – oder, ehrlich gesagt, manchmal auch nicht. Jetzt sagt mir der nächste Lauf, ob die ganze Kette noch funktioniert, nicht nur jedes einzelne Glied.

Was man mitnimmt: Zustands-Checks sagen, ob die Teile leben. Nur ein End-to-End-Test sagt, ob sie zusammen funktionieren.

🧰 Die bekannten Werkzeuge – und warum Playwright

Browser-Automatisierung ist eine alte Disziplin, und es gibt viele Werkzeuge dafür:

WerkzeugWas es istEignung für diese Aufgabe
Seleniumder Klassiker (seit 2004), W3C-Standard WebDriver, jede Sprachegeht, aber Warten, Frames und Video brauchen Zusatzcode oder Zusatzcontainer
PlaywrightMicrosoft, seit 2020; Chromium, Firefox, WebKit; Python, JS, Java, .NETwartet selbst, beherrscht verschachtelte iframes, nimmt Video auf – meine Wahl
PuppeteerGoogle, nur Chrome/Chromium, JavaScriptgut, aber nur JavaScript und eine Browserfamilie
CypressTestrunner für Webentwickler, läuft im Browser selbstgebaut, um die eigene App während der Entwicklung zu testen, sperrig über Domains und iframes hinweg
Robot FrameworkSchlüsselwort-basierte Tests; Checkmk nutzt es als „Robotmk“ für synthetisches Monitoringgut lesbar, aber eine weitere Schicht über Selenium oder Playwright
Grafana k6 BrowserLasttest-Werkzeug mit Browser-Modulstark für Last, zu viel für eine Anmeldung zweimal am Tag
Elastic SyntheticsPlaywright-Skripte im Elastic-Stacklohnt sich nur, wenn Elastic ohnehin läuft
Zabbix-Browser-Itemsseit Zabbix 7.0: JavaScript-Tests gegen einen Selenium-WebDriverdie am tiefsten integrierte Lösung, aber ein eigener Selenium-Container und weniger bequem mit Frames
PyAutoGUIbewegt die echte Maus nach Bildschirmkoordinatendas Gegenbeispiel: bricht bei jedem Pixel Layoutänderung

Ich habe mich für Playwright mit Python entschieden. Den Ausschlag gaben drei Eigenschaften. Es wartet selbst: Ein Klick wartet, bis das Element existiert, sichtbar ist und Eingaben annimmt, das Skript braucht kein einziges sleep(). Es kommt sauber mit verschachtelten iframes zurecht, und das zählt, weil Collabora in einem Frame innerhalb der Nextcloud läuft. Und es gibt ein offizielles Container-Image mit allen Browsern, auf dem Host muss nichts installiert werden. Dazu kam, dass mein Zabbix-Aufbau dasselbe Image schon für seine Screenshots nutzte.

Was man mitnimmt: Für Monitoring schlägt ein Werkzeug, das zuverlässig wartet und mit Frames umgehen kann, den bekanntesten Namen.

🔍 Was die Tests machen

Der Nextcloud-Test hat sechs Schritte und misst die Zeit jedes einzelnen:

SchrittBestanden, wenn
Anmeldeseitedas Anmeldeformular dargestellt wurde – das JavaScript der Seite funktioniert also
Anmeldendas Passwort des Testbenutzers angenommen wird und der Browser /login verlässt
Dateilistedie Dateien-App das Testdokument zeigt
Dokument geladendie Statusleiste von Collabora „11 Wörter“ zeigt
Dokument geschlossender Collabora-Frame weg ist und die Dateiliste wieder da
Abmeldender Browser wieder auf der Anmeldeseite steht

Spannend ist der vierte Schritt. Der iframe von Collabora erscheint Sekunden, bevor das Dokument benutzbar ist, und das Dokument selbst wird auf eine Zeichenfläche (Canvas) gemalt – sein Text taucht in der Seite nie auf. Was dort auftaucht, ist die Wortzahl in der Statusleiste, und die kann nur der Dokumentserver berechnen: aus der echten Datei, nachdem Nextcloud sie übergeben und Collabora sie geöffnet hat. Steht dort genau die erwartete Zahl, hat die ganze Kette funktioniert:

frame = page.frame_locator("iframe[name^=collaboraframe]").first
frame.locator("#StateWordCount").filter(has_text="11 Wörter").wait_for(timeout=90000)

Das Testdokument erzeugt ein kleines Skript: eine Überschrift, ein Satz und ein Balkendiagramm, damit Collabora auch eine Grafik darstellen muss. Beim ersten Lauf auf einer neuen Cloud lädt der Test es selbst über den Browser hoch – „Neu“, „Dateien hochladen“, genau wie ein Mensch.

Den Testbenutzer monitor-check gibt es nur dafür: keine Admin-Rechte, keine Gruppen, 100 MB Speicher, darin nichts außer dem Testdokument.

Der Blog-Test hat drei Schritte: Startseite öffnen, die Suche aufklappen, nach „Zabbix“ suchen, auf Treffer warten, die das Wort enthalten, den ersten Treffer öffnen und prüfen, ob Titel, Text und Titelbild da sind. Genau diesen Teil sieht ein einfacher HTTP-Check nicht: Die Suche in diesem Blog läuft komplett im Browser des Besuchers (Pagefind). Fehlte ihr Index nach einem Build, würde jede Seite weiter mit 200 antworten, und die Suche fände stillschweigend nichts.

Was man mitnimmt: Auf etwas warten, das nur das echte System liefern kann – nicht auf den Frame, den Ladekreisel oder den HTTP-Status.

🧑‍💻 So sieht der Test im Code aus

Die sechs Schritte stehen nicht in einer Konfigurationsdatei, sondern in einem kleinen Python-Programm, das einen echten Browser fernsteuert. Jeder Schritt ist eine Zeile Playwright. Gekürzt sieht check_nextcloud.py so aus:

page.goto(f"{URL}/login")                     # 1. Anmeldeseite aufrufen
page.locator("#user").fill(USER)              # 2. Benutzername eintippen
page.locator("#password").fill(PASSWORD)      #    Passwort eintippen
page.locator("button[type=submit]").click()   #    auf „Anmelden“ klicken
page.goto(f"{URL}/index.php/apps/files/")     # 3. Dateien-App öffnen
row.click()                                   # 4. Word-Dokument anklicken …
frame.locator("#StateWordCount") \
     .filter(has_text="11 Wörter").wait_for()  #    … warten, bis Collabora die Wortzahl zeigt
frame.locator("#closebutton").click()         # 5. Dokument schließen
page.get_by_text("Abmelden").click()            # 6. abmelden

Drei Befehle reichen für fast alles: fill tippt etwas ein, click klickt, wait_for wartet, bis etwas auf der Seite erscheint. Erscheint es nicht rechtzeitig, ist der Test durchgefallen, und der Name des Schritts geht als Fehler an Zabbix.

Die Konfigurationsdatei targets.ini legt nur fest, welche Ziele geprüft werden, nicht wie: pro Ziel ein Abschnitt mit der Art des Tests (nextcloud oder site), dem Namen des Hosts in Zabbix und einer eigenen Datei mit Adresse, Benutzer und Passwort (Rechte 600):

# eine Nextcloud: Zugangsdaten in einer eigenen Datei (Rechte 600)
[cloud]
kind = nextcloud
credentials = .credentials-cloud
zabbix_host = Nextcloud
# Datei .credentials-cloud: NC_URL=…, NC_USER=…, NC_PASS=…

Wer eine weitere Nextcloud prüfen will, ergänzt also nur einen Abschnitt und eine Zugangsdatei. Wer etwas anderes prüfen will – ein Webmail, ein Wiki, einen Shop –, schreibt ein eigenes kurzes Skript nach demselben Muster.

🐳 Wie es läuft

Alles liegt auf meinem Heimserver HP3 neben Zabbix, als normaler Benutzer ohne root:

  • Ein Cronjob startet run.py um 06:57 und 18:57 Uhr. Zweimal am Tag reicht für diese Art von Check, und jeder Lauf öffnet eine echte Collabora-Sitzung auf den Servern – das will ich nicht alle fünf Minuten.
  • Für jedes Ziel startet run.py den Playwright-Container mit podman run. Die Zugangsdaten kommen aus einer Datei mit Rechten 600 über --env-file, nie über eine Befehlszeile.
  • Schlägt ein Lauf fehl, wartet es zwei Minuten und versucht es noch einmal. Erst das zweite Ergebnis zählt, damit ein einzelner Schluckauf niemanden weckt.
  • Bei einem Fehler werden Screenshot und Seitentext gespeichert, damit ich hinterher sehe, wo es hing.

Ein normaler Lauf dauert 11 bis 14 Sekunden pro Nextcloud und 2 Sekunden für den Blog. Collabora zeigt das Dokument nach etwa 3 bis 4 Sekunden.

Was man mitnimmt: Ein seltener, verlässlicher Check ist mehr wert als ein häufiger, wackliger.

📊 Ab in Zabbix

Anfangs hat mir das Skript selbst Mails geschickt. Das ging, war aber ein zweites Alarmsystem neben Zabbix, mit eigener Logik und ohne Verlauf. Deshalb landen die Ergebnisse jetzt in Zabbix, und das hat sich dort geändert:

Fünf Trapper-Items pro Host. Ein Trapper-Item fragt nichts ab, es nimmt Werte an, die jemand schickt. Jeder der drei Hosts (Nextcloud cvjm, Nextcloud sofie, Blog) hat bekommen:

ItemInhalt
e2e.ok1 bestanden, 0 fehlgeschlagen
e2e.secondsDauer des ganzen Laufs
e2e.loadder entscheidende Schritt: Dokument dargestellt bzw. Suche hat geantwortet
e2e.stepder fehlgeschlagene Schritt
e2e.errordie Fehlermeldung

Gesendet ohne Zusatzsoftware. Das Sender-Protokoll von Zabbix ist einfach – ein fester Kopf, die Länge, dann JSON. run.py spricht es direkt mit der Python-Standardbibliothek, das Paket zabbix_sender wird nicht gebraucht. Die Items nehmen nur Werte von localhost an.

Drei Trigger pro Host:

  • Test fehlgeschlagen (Hoch). Er hängt ab vom Trigger „Internet nicht erreichbar“ und von den vorhandenen Hoch-Triggern des Hosts. Ist der Server schlicht weg, meldet sich schon der bestehende Alarm, und der E2E-Trigger bleibt still. Er schlägt nur an, wenn alle einfachen Checks grün sind, der Weg durch die Anwendung aber kaputt ist – genau der Fall, für den er gebaut ist.
  • Seit 13 Stunden kein Ergebnis (Durchschnitt). Ein Check, der still aufhört, ist schlimmer als keiner. Gehen Cron, Image oder Zugangsdaten kaputt, bemerkt Zabbix die fehlenden Werte.
  • Langsam (Warnung), wenn der entscheidende Schritt länger als 30 Sekunden dauert. Schleichende Verschlechterung zeigt sich lange vor einem Ausfall, und das Diagramm von e2e.load macht sie sichtbar.

Getestet wie ein Ausfall. Ich habe Zabbix einen künstlichen Fehler („TEST“) geschickt: Das Problem erschien, die Mail kam an, ein „ok“ danach hat es wieder geschlossen. Nur wenn Zabbix selbst nicht erreichbar ist, schickt run.py noch eine eigene Mail.

Was man mitnimmt: Ein Ort für alle Alarme. Die Abhängigkeit von den bestehenden Triggern verhindert, dass der neue Check Ausfälle hinausposaunt, die schon gemeldet sind.

🪤 Wo es hakte

  • HTTP 401 beim Hochladen. Auf beiden Clouds ist token_auth_enforced eingeschaltet: Clients wie WebDAV brauchen App-Passwörter, das normale Passwort wird abgelehnt. Das ist eine gewollte Härtung. Statt sie aufzuweichen, lädt der Test das Dokument über den Browser hoch.
  • Das Anmeldeformular erschien nie. Im Standard-Netz von rootless Podman bemerkte Chromium direkt nach dem Containerstart einen Netzwechsel (ERR_NETWORK_CHANGED) und verwarf das JavaScript der Seite. Mit --network=host ist das weg.
  • „Browser nicht unterstützt“. Nextcloud schickt unbekannte Browser nach /unsupported. Meine eigene Browserkennung war zu ungewöhnlich; jetzt ist es die normale Chrome-Kennung mit angehängtem „e2e-check“, damit man die Läufe in den Logs weiter erkennt.
  • Der Containerstart hing minutenlang. --userns=keep-id brachte Podman dazu, das 2,6-GB-Image mit umgeschriebenen Besitzern zu kopieren. In rootless Podman braucht man das gar nicht: root im Container ist bereits mein Benutzer.
  • /apps/files/ lieferte 403 hinter dem nginx eines Aufbaus; /index.php/apps/files/ funktioniert überall.
  • Die Willkommens-Tour. Beim ersten Öffnen legt Collabora eine Tour über das Dokument; Escape schließt sie.

Was man mitnimmt: Die meisten Probleme steckten nicht im Test, sondern in der Umgebung drumherum – Netz, Browserkennung, Sicherheitseinstellungen. Jedes davon steht jetzt als Kommentar im Code.

🎬 Wie das Video entstand

Ein Headless-Browser hat keine Adresszeile und keinen Mauszeiger, die regulären Checks lassen sich also nicht so filmen, dass es nach einem Menschen aussieht. Für das Video läuft ein eigenes Demo-Skript in einem Container mit virtuellem Bildschirm (Xvfb): Ein sichtbares Chrome-Fenster geht auf, die Adresse wird in die Adresszeile getippt, und der echte Mauszeiger fährt zu jedem Element und klickt (xdotool). ffmpeg nimmt den Bildschirm auf und blendet zu jedem Schritt eine Zeile ein. Zwei Kleinigkeiten waren wichtig: Chromes Blase „Passwort speichern?“ verdeckte das Benutzermenü und musste im Profil abgeschaltet werden, und --test-type entfernt die Warnleiste zu --no-sandbox. Die Musik ist „Ambient – Ambient Music“ von JonasBlakewood aus Pixabay.

📦 Das Repository

Alles liegt öffentlich als e2e-browser-check, mit Platzhaltern statt meiner Server: die beiden Checks, run.py mit Wiederholung und Zabbix-Sender, zbx_setup.py für Items und Trigger, der Generator für das Testdokument, Cron und systemd-Timer, die Demo-Aufnahme und ein README, das Einrichtung, Zabbix-Seite und Stolpersteine Schritt für Schritt erklärt. Die Hilfsfunktionen für die Zabbix-API stammen aus meinem früheren Repository zabbix-podman-homelab.

🎯 Die Lehren

  1. Ein grüner Status ist kein funktionierender Dienst. Nur ein Test, der tut, was ein Benutzer tut, zeigt, ob die Kette hält.
  2. Auf einen Beweis warten, nicht auf den Frame. Die Wortzahl in der Statusleiste von Collabora kann nur aus dem echten Dokument kommen.
  3. Selten und verlässlich. Zweimal am Tag mit einer Wiederholung reicht für einen End-to-End-Test; die einfachen Checks decken die Minuten dazwischen ab.
  4. Ein Alarmsystem. Ergebnisse nach Zabbix, mit Abhängigkeiten, damit ein bekannter Ausfall nicht doppelt klingelt – und mit einem Trigger für „der Check selbst ist stehen geblieben“.
  5. Die eigene Härtung respektieren. Als der Test auf token_auth_enforced stieß, war die richtige Lösung, den Test zu ändern, nicht den Server.
Einige Texte und Bilder auf dieser Seite sind KI-gestützt oder KI-generiert. Details