Robot dwa razy dziennie otwiera dokument Word w mojej Nextcloud: testy end-to-end z Playwright i Zabbix
Wszystkie moje kontrole mogą świecić na zielono, a nikt nie otworzy dokumentu. Dlatego teraz prawdziwa przeglądarka robi to, co robi człowiek: loguje się do Nextcloud, otwiera plik Word w Collabora, wylogowuje się i szuka w moim blogu. Dwa razy dziennie, w kontenerze Podman bez roota, z wynikami w Zabbix. Dlaczego testy end-to-end, jakie są narzędzia, jak to zbudowano, wideo z przebiegu i publiczne repozytorium.

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands
W skrócie: Mój monitoring sprawdza, czy usługi działają. Nie sprawdza, czy ktoś może z nimi faktycznie pracować. Teraz robi to dwa razy dziennie prawdziwa przeglądarka: loguje się do naszych dwóch Nextcloud, otwiera dokument Word w Collabora Online, czeka, aż serwer dokumentów naprawdę go wyświetli, zamyka go i się wylogowuje. Trzeci test szuka w moim blogu. Testy działają z Playwright w kontenerze Podman bez uprawnień roota, a wyniki trafiają do Zabbix, który zapisuje czasy i podnosi alarm. Skrypty i instrukcja są publiczne w repozytorium na GitHubie.
Tak wygląda jeden przebieg, nagrany w prawdziwej przeglądarce:
Spis treści
🎯 Dlaczego testy end-to-end mówią najwięcej
Prawie wszystko, co monitoruję, to stan. Kontener działa. Port 443 odpowiada. status.php zgłasza installed: true. Certyfikat jest ważny jeszcze 60 dni. Adres discovery Collabory zwraca XML. Każda z tych kontroli jest tania, szybka i przydatna – a wszystkie mogą być zielone, podczas gdy nikt nie otworzy ani jednego dokumentu.
Między „usługa działa” a „człowiek może pracować” jest łańcuch: strona logowania musi wykonać swój JavaScript, hasło musi zostać przyjęte, aplikacja Pliki musi pokazać pliki, Nextcloud musi przekazać plik do Collabory przez WOPI, Collabora musi oddzwonić, pobrać go, przekonwertować i wysłać strony do przeglądarki. Brakujący nagłówek proxy, aktualizacja aplikacji psująca podgląd, pełny dysk w złym miejscu, paczka skryptów zwracająca 404 po aktualizacji – każde z nich przerywa łańcuch, a żadne nie zaświeci na czerwono ani jednej kontroli stanu.
Test end-to-end sprawdza efekt, a nie stan. Robi to, co robi człowiek, i zgłasza sukces tylko wtedy, gdy człowiekowi też by się udało. Dlatego jest najbardziej miarodajną kontrolą, jaka istnieje. Jest też najwolniejszy i najbardziej kruchy, więc uzupełnia proste kontrole, a nie je zastępuje, i powinien działać rzadko oraz tylko na ścieżkach, które naprawdę się liczą.
Liczę przede wszystkim na większą pewność po aktualizacjach. Nextcloud, Collabora, K3s, charty Helm i system operacyjny są regularnie aktualizowane na obu serwerach. Do tej pory klikałem potem wszystko ręcznie – albo, szczerze mówiąc, czasem nie. Teraz kolejny przebieg mówi mi, czy cały łańcuch nadal działa, a nie tylko każde ogniwo.
Na wynos: Kontrole stanu mówią, czy części żyją. Tylko test end-to-end mówi, czy działają razem.
🧰 Znane narzędzia – i dlaczego Playwright
Automatyzacja przeglądarki to stara dziedzina i narzędzi jest wiele:
| Narzędzie | Czym jest | Przydatność do tego zadania |
|---|---|---|
| Selenium | weteran (od 2004), standard W3C WebDriver, każdy język | działa, ale czekanie, ramki i wideo wymagają dodatkowego kodu lub kontenerów |
| Playwright | Microsoft, od 2020; Chromium, Firefox, WebKit; Python, JS, Java, .NET | sam czeka, radzi sobie z zagnieżdżonymi iframe’ami, nagrywa wideo – mój wybór |
| Puppeteer | Google, tylko Chrome/Chromium, JavaScript | dobry, ale tylko JavaScript i jedna rodzina przeglądarek |
| Cypress | runner testów dla webdeveloperów, działa w samej przeglądarce | stworzony do testowania własnej aplikacji w trakcie rozwoju, niewygodny między domenami i iframe’ami |
| Robot Framework | testy oparte na słowach kluczowych; Checkmk używa go jako „Robotmk” do monitoringu syntetycznego | czytelny, ale to kolejna warstwa nad Selenium lub Playwright |
| Grafana k6 browser | narzędzie do testów obciążeniowych z modułem przeglądarki | mocne przy obciążeniu, przesada dla logowania dwa razy dziennie |
| Elastic Synthetics | skrypty Playwright w stosie Elastic | ma sens tylko, jeśli Elastic i tak działa |
| Elementy przeglądarkowe Zabbix | od Zabbix 7.0: testy w JavaScripcie wobec Selenium WebDriver | najgłębiej zintegrowane, ale osobny kontener Selenium i mniej wygodnie z ramkami |
| PyAutoGUI | porusza prawdziwą myszą według współrzędnych ekranu | kontrprzykład: psuje się przy każdym pikselu zmiany układu |
Wybrałem Playwright z Pythonem. Zdecydowały trzy cechy. Sam czeka: kliknięcie czeka, aż element istnieje, jest widoczny i przyjmuje dane, więc skrypt nie potrzebuje żadnego sleep(). Czysto obsługuje zagnieżdżone iframe’y, co ma znaczenie, bo Collabora działa w ramce wewnątrz Nextcloud. I istnieje oficjalny obraz kontenera ze wszystkimi przeglądarkami, więc na hoście nie trzeba nic instalować. Do tego moja instalacja Zabbix używała już tego samego obrazu do zrzutów ekranu.
Na wynos: W monitoringu narzędzie, które niezawodnie czeka i radzi sobie z ramkami, wygrywa z najbardziej znaną nazwą.
🔍 Co robią testy
Test Nextcloud ma sześć kroków i mierzy czas każdego z nich:
| Krok | Zaliczony, gdy |
|---|---|
| strona logowania | formularz logowania został wyrenderowany – JavaScript strony działa |
| logowanie | hasło użytkownika testowego zostało przyjęte, a przeglądarka opuszcza /login |
| lista plików | aplikacja Pliki pokazuje dokument testowy |
| dokument załadowany | pasek stanu Collabory pokazuje „11 słów” |
| dokument zamknięty | ramka Collabory zniknęła, a lista plików wróciła |
| wylogowanie | przeglądarka jest z powrotem na stronie logowania |
Ciekawy jest czwarty krok. Iframe Collabory pojawia się kilka sekund przed tym, zanim dokument nadaje się do użycia, a sam dokument jest rysowany na canvasie – jego tekst nigdy nie trafia do strony. Trafia tam natomiast liczba słów na pasku stanu, a obliczyć ją może tylko serwer dokumentów: z prawdziwego pliku, po tym jak Nextcloud go przekazał, a Collabora otworzyła. Jeśli pasek pokazuje dokładnie oczekiwaną liczbę, cały łańcuch zadziałał:
frame = page.frame_locator("iframe[name^=collaboraframe]").first
frame.locator("#StateWordCount").filter(has_text="11 words").wait_for(timeout=90000)
Dokument testowy tworzy mały skrypt: nagłówek, jedno zdanie i wykres słupkowy, żeby Collabora musiała wyświetlić też grafikę. Przy pierwszym przebiegu w nowej chmurze test sam wgrywa go przez przeglądarkę – „Nowy”, „Wyślij pliki”, dokładnie jak człowiek.
Użytkownik testowy monitor-check istnieje tylko w tym celu: bez uprawnień administratora, bez grup, 100 MB limitu i nic poza dokumentem testowym.
Test bloga ma trzy kroki: otworzyć stronę główną, rozwinąć wyszukiwarkę, wyszukać „Zabbix”, poczekać na trafienia zawierające to słowo, otworzyć pierwsze i sprawdzić, czy są tytuł, tekst i obrazek. Właśnie tej części nie widzi prosta kontrola HTTP: wyszukiwarka tego bloga działa w całości w przeglądarce odwiedzającego (Pagefind). Gdyby po buildzie zabrakło jej indeksu, każda strona nadal odpowiadałaby 200, a wyszukiwarka po cichu nic by nie znajdowała.
Na wynos: Czekaj na coś, co może wytworzyć tylko prawdziwy system – nie na ramkę, kółko ładowania ani status HTTP.
🧑💻 Jak test wygląda w kodzie
Sześć kroków nie jest zapisanych w pliku konfiguracyjnym, tylko w małym programie w Pythonie, który steruje prawdziwą przeglądarką. Każdy krok to jedna linia Playwright. W skrócie check_nextcloud.py wygląda tak:
page.goto(f"{URL}/login") # 1. otworzyć stronę logowania
page.locator("#user").fill(USER) # 2. wpisać nazwę użytkownika
page.locator("#password").fill(PASSWORD) # wpisać hasło
page.locator("button[type=submit]").click() # kliknąć „Zaloguj”
page.goto(f"{URL}/index.php/apps/files/") # 3. otworzyć aplikację Pliki
row.click() # 4. kliknąć dokument Word …
frame.locator("#StateWordCount") \
.filter(has_text="11 words").wait_for() # … czekać, aż Collabora pokaże liczbę słów
frame.locator("#closebutton").click() # 5. zamknąć dokument
page.get_by_text("Log out").click() # 6. wylogować się
Trzy polecenia wystarczają prawie do wszystkiego: fill coś wpisuje, click klika, wait_for czeka, aż coś pojawi się na stronie. Jeśli nie pojawi się na czas, test jest oblany, a nazwa kroku trafia do Zabbix jako błąd.
Plik konfiguracyjny targets.ini określa tylko, które cele są sprawdzane, a nie jak: dla każdego celu sekcja z rodzajem testu (nextcloud lub site), nazwą hosta w Zabbix i osobnym plikiem z adresem, użytkownikiem i hasłem (uprawnienia 600):
# Nextcloud: dane logowania w osobnym pliku (uprawnienia 600)
[cloud]
kind = nextcloud
credentials = .credentials-cloud
zabbix_host = Nextcloud
# plik .credentials-cloud: NC_URL=…, NC_USER=…, NC_PASS=…
Aby sprawdzać kolejną Nextcloud, wystarczy dodać sekcję i plik z danymi logowania. Aby sprawdzać coś innego – webmail, wiki, sklep – pisze się własny krótki skrypt według tego samego wzoru.
🐳 Jak to działa
Wszystko jest na moim domowym serwerze HP3, obok Zabbix, jako zwykły użytkownik bez roota:
- Cron uruchamia
run.pyo 06:57 i 18:57. Dwa razy dziennie wystarczą dla takiej kontroli, a każdy przebieg otwiera na serwerach prawdziwą sesję Collabory – nie chcę tego co pięć minut. - Dla każdego celu
run.pyuruchamia kontener Playwright przezpodman run. Dane logowania pochodzą z pliku z uprawnieniami 600 przez--env-file, nigdy z wiersza poleceń. - Jeśli przebieg się nie powiedzie, czeka dwie minuty i próbuje jeszcze raz. Liczy się tylko drugi wynik, żeby pojedyncza czkawka nikogo nie budziła.
- Przy błędzie zapisywane są zrzut ekranu i tekst strony, żeby było widać, gdzie utknęło.
Zwykły przebieg trwa 11–14 sekund na Nextcloud i 2 sekundy dla bloga. Collabora pokazuje dokument po ok. 3–4 sekundach.
Na wynos: Rzadka, niezawodna kontrola jest warta więcej niż częsta i chwiejna.
📊 Do Zabbix
Na początku skrypt sam wysyłał mi maile. Działało, ale był to drugi system alarmowy obok Zabbix, z własną logiką i bez historii. Dlatego wyniki trafiają teraz do Zabbix, a oto co się tam zmieniło:
Pięć elementów trapper na hosta. Element trapper niczego nie odpytuje; przyjmuje wartości, które ktoś wysyła. Każdy z trzech hostów (Nextcloud cvjm, Nextcloud sofie, blog) dostał:
| Element | Zawartość |
|---|---|
e2e.ok | 1 zaliczony, 0 niezaliczony |
e2e.seconds | czas trwania całego przebiegu |
e2e.load | kluczowy krok: dokument wyświetlony lub wyszukiwarka odpowiedziała |
e2e.step | krok, który zawiódł |
e2e.error | komunikat błędu |
Wysyłane bez dodatkowego oprogramowania. Protokół sendera Zabbix jest prosty – stały nagłówek, długość, potem JSON – więc run.py mówi nim bezpośrednio przy użyciu biblioteki standardowej Pythona i pakiet zabbix_sender nie jest potrzebny. Elementy przyjmują wartości tylko z localhost.
Trzy wyzwalacze na hosta:
- Test nieudany (Wysoki). Zależy od wyzwalacza „internet nieosiągalny” i od istniejących wyzwalaczy o poziomie Wysoki na hoście. Jeśli serwer po prostu leży, odzywa się już istniejący alarm, a wyzwalacz E2E milczy. Odpala tylko wtedy, gdy wszystkie proste kontrole są zielone, ale droga przez aplikację jest zepsuta – dokładnie na taki przypadek go zbudowano.
- Brak wyniku od 13 godzin (Średni). Kontrola, która po cichu staje, jest gorsza niż żadna. Jeśli zepsuje się cron, obraz albo dane logowania, Zabbix zauważy brak wartości.
- Wolno (Ostrzeżenie), gdy kluczowy krok trwa dłużej niż 30 sekund. Stopniowe pogorszenie widać na długo przed awarią, a wykres
e2e.loadje pokazuje.
Sprawdzone jak awaria. Wysłałem do Zabbix sztuczny błąd („TEST”): problem się pojawił, mail dotarł, a późniejsze „ok” znowu go zamknęło. Tylko jeśli sam Zabbix jest nieosiągalny, run.py wysyła jeszcze własnego maila.
Na wynos: Jedno miejsce na wszystkie alarmy. Zależność od istniejących wyzwalaczy sprawia, że nowa kontrola nie krzyczy o awariach, które są już zgłoszone.
🪤 Gdzie się zacięło
- HTTP 401 przy wysyłaniu. Na obu chmurach włączone jest
token_auth_enforced: klienci tacy jak WebDAV potrzebują haseł aplikacji, zwykłe hasło jest odrzucane. To celowe utwardzenie, więc zamiast je osłabiać, test wgrywa dokument przez przeglądarkę. - Formularz logowania nigdy się nie pojawił. W domyślnej sieci Podmana bez roota Chromium zaraz po starcie kontenera widział zmianę sieci (
ERR_NETWORK_CHANGED) i porzucał JavaScript strony. Z--network=hostproblem zniknął. - „Przeglądarka nieobsługiwana”. Nextcloud przekierowuje nieznane przeglądarki na
/unsupported. Mój własny user agent był zbyt nietypowy; teraz to zwykły ciąg Chrome z dopiskiem „e2e-check”, żeby przebiegi dało się rozpoznać w logach. - Start kontenera wisiał całymi minutami.
--userns=keep-idsprawiało, że Podman kopiował obraz 2,6 GB z przepisanymi właścicielami. W Podmanie bez roota w ogóle nie jest to potrzebne: root w kontenerze jest już moim użytkownikiem. /apps/files/zwracało 403 za nginxem jednej z instalacji;/index.php/apps/files/działa wszędzie.- Powitalna wycieczka. Przy pierwszym otwarciu Collabora pokazuje przewodnik nad dokumentem;
Escapego zamyka.
Na wynos: Większość problemów nie tkwiła w teście, lecz w otoczeniu – sieci, user agencie, ustawieniach bezpieczeństwa. Każdy z nich jest teraz komentarzem w kodzie.
🎬 Jak powstało wideo
Przeglądarka headless nie ma paska adresu ani kursora, więc zwykłych kontroli nie da się sfilmować tak, by wyglądało to na człowieka. Do wideo osobny skrypt demo działa w kontenerze z wirtualnym ekranem (Xvfb): otwiera się widoczne okno Chrome, adres jest wpisywany w pasek adresu, a prawdziwy kursor przesuwa się do każdego elementu i klika (xdotool). ffmpeg nagrywa ekran i dodaje podpis do każdego kroku. Liczyły się dwa szczegóły: dymek Chrome „Zapisać hasło?” zasłaniał menu użytkownika i trzeba go było wyłączyć w profilu, a --test-type usuwa pasek ostrzeżenia o --no-sandbox. Muzyka to „Ambient – Ambient Music” autorstwa JonasBlakewood z Pixabay.
📦 Repozytorium
Wszystko jest publiczne jako e2e-browser-check, z symbolami zastępczymi zamiast moich serwerów: oba testy, run.py z ponowieniem i wysyłką do Zabbix, zbx_setup.py dla elementów i wyzwalaczy, generator dokumentu testowego, cron i timer systemd, nagrywanie demo oraz README, które krok po kroku wyjaśnia instalację, stronę Zabbix i pułapki. Klient API Zabbix pochodzi z mojego wcześniejszego repozytorium zabbix-podman-homelab.
🎯 Wnioski
- Zielony status to nie działająca usługa. Tylko test, który robi to, co użytkownik, pokazuje, czy łańcuch trzyma.
- Czekaj na dowód, nie na ramkę. Liczba słów na pasku stanu Collabory może pochodzić tylko z prawdziwego dokumentu.
- Rzadko i niezawodnie. Dwa razy dziennie z jednym ponowieniem wystarczy dla testu end-to-end; proste kontrole pokrywają minuty pomiędzy.
- Jeden system alarmowy. Wyniki do Zabbix, z zależnościami, żeby znana awaria nie dzwoniła dwa razy – i z wyzwalaczem „sama kontrola stanęła”.
- Szanuj własne utwardzenie. Gdy test trafił na
token_auth_enforced, właściwym rozwiązaniem była zmiana testu, nie serwera.
