Robot dwa razy dziennie otwiera dokument Word w mojej Nextcloud: testy end-to-end z Playwright i Zabbix

Wszystkie moje kontrole mogą świecić na zielono, a nikt nie otworzy dokumentu. Dlatego teraz prawdziwa przeglądarka robi to, co robi człowiek: loguje się do Nextcloud, otwiera plik Word w Collabora, wylogowuje się i szuka w moim blogu. Dwa razy dziennie, w kontenerze Podman bez roota, z wynikami w Zabbix. Dlaczego testy end-to-end, jakie są narzędzia, jak to zbudowano, wideo z przebiegu i publiczne repozytorium.

Komiks: w korytarzu centrum danych w niebieskim świetle biały robot w koszulce „E2E Tests” pracuje przy biurku, ekran pokazuje zaliczone kroki testów; mężczyzna w białym T-shircie z kubkiem kawy pokazuje kciuk w górę

🌐 Także w: English · Deutsch · Français · Español · Italiano · Português · Nederlands

W skrócie: Mój monitoring sprawdza, czy usługi działają. Nie sprawdza, czy ktoś może z nimi faktycznie pracować. Teraz robi to dwa razy dziennie prawdziwa przeglądarka: loguje się do naszych dwóch Nextcloud, otwiera dokument Word w Collabora Online, czeka, aż serwer dokumentów naprawdę go wyświetli, zamyka go i się wylogowuje. Trzeci test szuka w moim blogu. Testy działają z Playwright w kontenerze Podman bez uprawnień roota, a wyniki trafiają do Zabbix, który zapisuje czasy i podnosi alarm. Skrypty i instrukcja są publiczne w repozytorium na GitHubie.

Tak wygląda jeden przebieg, nagrany w prawdziwej przeglądarce:

Jeden przebieg testu (47 s, zwolniony, żeby dało się śledzić): wpisanie adresu, logowanie jako użytkownik testowy, kliknięcie dokumentu Word, czekanie na Collabora, zamknięcie, wylogowanie. Zwykłe przebiegi trwają ok. 12 sekund. Muzyka: „Ambient – Ambient Music” – JonasBlakewood, Pixabay (Pixabay Content License).
Spis treści

🎯 Dlaczego testy end-to-end mówią najwięcej

Prawie wszystko, co monitoruję, to stan. Kontener działa. Port 443 odpowiada. status.php zgłasza installed: true. Certyfikat jest ważny jeszcze 60 dni. Adres discovery Collabory zwraca XML. Każda z tych kontroli jest tania, szybka i przydatna – a wszystkie mogą być zielone, podczas gdy nikt nie otworzy ani jednego dokumentu.

Między „usługa działa” a „człowiek może pracować” jest łańcuch: strona logowania musi wykonać swój JavaScript, hasło musi zostać przyjęte, aplikacja Pliki musi pokazać pliki, Nextcloud musi przekazać plik do Collabory przez WOPI, Collabora musi oddzwonić, pobrać go, przekonwertować i wysłać strony do przeglądarki. Brakujący nagłówek proxy, aktualizacja aplikacji psująca podgląd, pełny dysk w złym miejscu, paczka skryptów zwracająca 404 po aktualizacji – każde z nich przerywa łańcuch, a żadne nie zaświeci na czerwono ani jednej kontroli stanu.

Test end-to-end sprawdza efekt, a nie stan. Robi to, co robi człowiek, i zgłasza sukces tylko wtedy, gdy człowiekowi też by się udało. Dlatego jest najbardziej miarodajną kontrolą, jaka istnieje. Jest też najwolniejszy i najbardziej kruchy, więc uzupełnia proste kontrole, a nie je zastępuje, i powinien działać rzadko oraz tylko na ścieżkach, które naprawdę się liczą.

Liczę przede wszystkim na większą pewność po aktualizacjach. Nextcloud, Collabora, K3s, charty Helm i system operacyjny są regularnie aktualizowane na obu serwerach. Do tej pory klikałem potem wszystko ręcznie – albo, szczerze mówiąc, czasem nie. Teraz kolejny przebieg mówi mi, czy cały łańcuch nadal działa, a nie tylko każde ogniwo.

Na wynos: Kontrole stanu mówią, czy części żyją. Tylko test end-to-end mówi, czy działają razem.

🧰 Znane narzędzia – i dlaczego Playwright

Automatyzacja przeglądarki to stara dziedzina i narzędzi jest wiele:

NarzędzieCzym jestPrzydatność do tego zadania
Seleniumweteran (od 2004), standard W3C WebDriver, każdy językdziała, ale czekanie, ramki i wideo wymagają dodatkowego kodu lub kontenerów
PlaywrightMicrosoft, od 2020; Chromium, Firefox, WebKit; Python, JS, Java, .NETsam czeka, radzi sobie z zagnieżdżonymi iframe’ami, nagrywa wideo – mój wybór
PuppeteerGoogle, tylko Chrome/Chromium, JavaScriptdobry, ale tylko JavaScript i jedna rodzina przeglądarek
Cypressrunner testów dla webdeveloperów, działa w samej przeglądarcestworzony do testowania własnej aplikacji w trakcie rozwoju, niewygodny między domenami i iframe’ami
Robot Frameworktesty oparte na słowach kluczowych; Checkmk używa go jako „Robotmk” do monitoringu syntetycznegoczytelny, ale to kolejna warstwa nad Selenium lub Playwright
Grafana k6 browsernarzędzie do testów obciążeniowych z modułem przeglądarkimocne przy obciążeniu, przesada dla logowania dwa razy dziennie
Elastic Syntheticsskrypty Playwright w stosie Elasticma sens tylko, jeśli Elastic i tak działa
Elementy przeglądarkowe Zabbixod Zabbix 7.0: testy w JavaScripcie wobec Selenium WebDrivernajgłębiej zintegrowane, ale osobny kontener Selenium i mniej wygodnie z ramkami
PyAutoGUIporusza prawdziwą myszą według współrzędnych ekranukontrprzykład: psuje się przy każdym pikselu zmiany układu

Wybrałem Playwright z Pythonem. Zdecydowały trzy cechy. Sam czeka: kliknięcie czeka, aż element istnieje, jest widoczny i przyjmuje dane, więc skrypt nie potrzebuje żadnego sleep(). Czysto obsługuje zagnieżdżone iframe’y, co ma znaczenie, bo Collabora działa w ramce wewnątrz Nextcloud. I istnieje oficjalny obraz kontenera ze wszystkimi przeglądarkami, więc na hoście nie trzeba nic instalować. Do tego moja instalacja Zabbix używała już tego samego obrazu do zrzutów ekranu.

Na wynos: W monitoringu narzędzie, które niezawodnie czeka i radzi sobie z ramkami, wygrywa z najbardziej znaną nazwą.

🔍 Co robią testy

Test Nextcloud ma sześć kroków i mierzy czas każdego z nich:

KrokZaliczony, gdy
strona logowaniaformularz logowania został wyrenderowany – JavaScript strony działa
logowaniehasło użytkownika testowego zostało przyjęte, a przeglądarka opuszcza /login
lista plikówaplikacja Pliki pokazuje dokument testowy
dokument załadowanypasek stanu Collabory pokazuje „11 słów”
dokument zamkniętyramka Collabory zniknęła, a lista plików wróciła
wylogowanieprzeglądarka jest z powrotem na stronie logowania

Ciekawy jest czwarty krok. Iframe Collabory pojawia się kilka sekund przed tym, zanim dokument nadaje się do użycia, a sam dokument jest rysowany na canvasie – jego tekst nigdy nie trafia do strony. Trafia tam natomiast liczba słów na pasku stanu, a obliczyć ją może tylko serwer dokumentów: z prawdziwego pliku, po tym jak Nextcloud go przekazał, a Collabora otworzyła. Jeśli pasek pokazuje dokładnie oczekiwaną liczbę, cały łańcuch zadziałał:

frame = page.frame_locator("iframe[name^=collaboraframe]").first
frame.locator("#StateWordCount").filter(has_text="11 words").wait_for(timeout=90000)

Dokument testowy tworzy mały skrypt: nagłówek, jedno zdanie i wykres słupkowy, żeby Collabora musiała wyświetlić też grafikę. Przy pierwszym przebiegu w nowej chmurze test sam wgrywa go przez przeglądarkę – „Nowy”, „Wyślij pliki”, dokładnie jak człowiek.

Użytkownik testowy monitor-check istnieje tylko w tym celu: bez uprawnień administratora, bez grup, 100 MB limitu i nic poza dokumentem testowym.

Test bloga ma trzy kroki: otworzyć stronę główną, rozwinąć wyszukiwarkę, wyszukać „Zabbix”, poczekać na trafienia zawierające to słowo, otworzyć pierwsze i sprawdzić, czy są tytuł, tekst i obrazek. Właśnie tej części nie widzi prosta kontrola HTTP: wyszukiwarka tego bloga działa w całości w przeglądarce odwiedzającego (Pagefind). Gdyby po buildzie zabrakło jej indeksu, każda strona nadal odpowiadałaby 200, a wyszukiwarka po cichu nic by nie znajdowała.

Na wynos: Czekaj na coś, co może wytworzyć tylko prawdziwy system – nie na ramkę, kółko ładowania ani status HTTP.

🧑‍💻 Jak test wygląda w kodzie

Sześć kroków nie jest zapisanych w pliku konfiguracyjnym, tylko w małym programie w Pythonie, który steruje prawdziwą przeglądarką. Każdy krok to jedna linia Playwright. W skrócie check_nextcloud.py wygląda tak:

page.goto(f"{URL}/login")                     # 1. otworzyć stronę logowania
page.locator("#user").fill(USER)              # 2. wpisać nazwę użytkownika
page.locator("#password").fill(PASSWORD)      #    wpisać hasło
page.locator("button[type=submit]").click()   #    kliknąć „Zaloguj”
page.goto(f"{URL}/index.php/apps/files/")     # 3. otworzyć aplikację Pliki
row.click()                                   # 4. kliknąć dokument Word …
frame.locator("#StateWordCount") \
     .filter(has_text="11 words").wait_for()  #    … czekać, aż Collabora pokaże liczbę słów
frame.locator("#closebutton").click()         # 5. zamknąć dokument
page.get_by_text("Log out").click()            # 6. wylogować się

Trzy polecenia wystarczają prawie do wszystkiego: fill coś wpisuje, click klika, wait_for czeka, aż coś pojawi się na stronie. Jeśli nie pojawi się na czas, test jest oblany, a nazwa kroku trafia do Zabbix jako błąd.

Plik konfiguracyjny targets.ini określa tylko, które cele są sprawdzane, a nie jak: dla każdego celu sekcja z rodzajem testu (nextcloud lub site), nazwą hosta w Zabbix i osobnym plikiem z adresem, użytkownikiem i hasłem (uprawnienia 600):

# Nextcloud: dane logowania w osobnym pliku (uprawnienia 600)
[cloud]
kind = nextcloud
credentials = .credentials-cloud
zabbix_host = Nextcloud
# plik .credentials-cloud: NC_URL=…, NC_USER=…, NC_PASS=…

Aby sprawdzać kolejną Nextcloud, wystarczy dodać sekcję i plik z danymi logowania. Aby sprawdzać coś innego – webmail, wiki, sklep – pisze się własny krótki skrypt według tego samego wzoru.

🐳 Jak to działa

Wszystko jest na moim domowym serwerze HP3, obok Zabbix, jako zwykły użytkownik bez roota:

  • Cron uruchamia run.py o 06:57 i 18:57. Dwa razy dziennie wystarczą dla takiej kontroli, a każdy przebieg otwiera na serwerach prawdziwą sesję Collabory – nie chcę tego co pięć minut.
  • Dla każdego celu run.py uruchamia kontener Playwright przez podman run. Dane logowania pochodzą z pliku z uprawnieniami 600 przez --env-file, nigdy z wiersza poleceń.
  • Jeśli przebieg się nie powiedzie, czeka dwie minuty i próbuje jeszcze raz. Liczy się tylko drugi wynik, żeby pojedyncza czkawka nikogo nie budziła.
  • Przy błędzie zapisywane są zrzut ekranu i tekst strony, żeby było widać, gdzie utknęło.

Zwykły przebieg trwa 11–14 sekund na Nextcloud i 2 sekundy dla bloga. Collabora pokazuje dokument po ok. 3–4 sekundach.

Na wynos: Rzadka, niezawodna kontrola jest warta więcej niż częsta i chwiejna.

📊 Do Zabbix

Na początku skrypt sam wysyłał mi maile. Działało, ale był to drugi system alarmowy obok Zabbix, z własną logiką i bez historii. Dlatego wyniki trafiają teraz do Zabbix, a oto co się tam zmieniło:

Pięć elementów trapper na hosta. Element trapper niczego nie odpytuje; przyjmuje wartości, które ktoś wysyła. Każdy z trzech hostów (Nextcloud cvjm, Nextcloud sofie, blog) dostał:

ElementZawartość
e2e.ok1 zaliczony, 0 niezaliczony
e2e.secondsczas trwania całego przebiegu
e2e.loadkluczowy krok: dokument wyświetlony lub wyszukiwarka odpowiedziała
e2e.stepkrok, który zawiódł
e2e.errorkomunikat błędu

Wysyłane bez dodatkowego oprogramowania. Protokół sendera Zabbix jest prosty – stały nagłówek, długość, potem JSON – więc run.py mówi nim bezpośrednio przy użyciu biblioteki standardowej Pythona i pakiet zabbix_sender nie jest potrzebny. Elementy przyjmują wartości tylko z localhost.

Trzy wyzwalacze na hosta:

  • Test nieudany (Wysoki). Zależy od wyzwalacza „internet nieosiągalny” i od istniejących wyzwalaczy o poziomie Wysoki na hoście. Jeśli serwer po prostu leży, odzywa się już istniejący alarm, a wyzwalacz E2E milczy. Odpala tylko wtedy, gdy wszystkie proste kontrole są zielone, ale droga przez aplikację jest zepsuta – dokładnie na taki przypadek go zbudowano.
  • Brak wyniku od 13 godzin (Średni). Kontrola, która po cichu staje, jest gorsza niż żadna. Jeśli zepsuje się cron, obraz albo dane logowania, Zabbix zauważy brak wartości.
  • Wolno (Ostrzeżenie), gdy kluczowy krok trwa dłużej niż 30 sekund. Stopniowe pogorszenie widać na długo przed awarią, a wykres e2e.load je pokazuje.

Sprawdzone jak awaria. Wysłałem do Zabbix sztuczny błąd („TEST”): problem się pojawił, mail dotarł, a późniejsze „ok” znowu go zamknęło. Tylko jeśli sam Zabbix jest nieosiągalny, run.py wysyła jeszcze własnego maila.

Na wynos: Jedno miejsce na wszystkie alarmy. Zależność od istniejących wyzwalaczy sprawia, że nowa kontrola nie krzyczy o awariach, które są już zgłoszone.

🪤 Gdzie się zacięło

  • HTTP 401 przy wysyłaniu. Na obu chmurach włączone jest token_auth_enforced: klienci tacy jak WebDAV potrzebują haseł aplikacji, zwykłe hasło jest odrzucane. To celowe utwardzenie, więc zamiast je osłabiać, test wgrywa dokument przez przeglądarkę.
  • Formularz logowania nigdy się nie pojawił. W domyślnej sieci Podmana bez roota Chromium zaraz po starcie kontenera widział zmianę sieci (ERR_NETWORK_CHANGED) i porzucał JavaScript strony. Z --network=host problem zniknął.
  • „Przeglądarka nieobsługiwana”. Nextcloud przekierowuje nieznane przeglądarki na /unsupported. Mój własny user agent był zbyt nietypowy; teraz to zwykły ciąg Chrome z dopiskiem „e2e-check”, żeby przebiegi dało się rozpoznać w logach.
  • Start kontenera wisiał całymi minutami. --userns=keep-id sprawiało, że Podman kopiował obraz 2,6 GB z przepisanymi właścicielami. W Podmanie bez roota w ogóle nie jest to potrzebne: root w kontenerze jest już moim użytkownikiem.
  • /apps/files/ zwracało 403 za nginxem jednej z instalacji; /index.php/apps/files/ działa wszędzie.
  • Powitalna wycieczka. Przy pierwszym otwarciu Collabora pokazuje przewodnik nad dokumentem; Escape go zamyka.

Na wynos: Większość problemów nie tkwiła w teście, lecz w otoczeniu – sieci, user agencie, ustawieniach bezpieczeństwa. Każdy z nich jest teraz komentarzem w kodzie.

🎬 Jak powstało wideo

Przeglądarka headless nie ma paska adresu ani kursora, więc zwykłych kontroli nie da się sfilmować tak, by wyglądało to na człowieka. Do wideo osobny skrypt demo działa w kontenerze z wirtualnym ekranem (Xvfb): otwiera się widoczne okno Chrome, adres jest wpisywany w pasek adresu, a prawdziwy kursor przesuwa się do każdego elementu i klika (xdotool). ffmpeg nagrywa ekran i dodaje podpis do każdego kroku. Liczyły się dwa szczegóły: dymek Chrome „Zapisać hasło?” zasłaniał menu użytkownika i trzeba go było wyłączyć w profilu, a --test-type usuwa pasek ostrzeżenia o --no-sandbox. Muzyka to „Ambient – Ambient Music” autorstwa JonasBlakewood z Pixabay.

📦 Repozytorium

Wszystko jest publiczne jako e2e-browser-check, z symbolami zastępczymi zamiast moich serwerów: oba testy, run.py z ponowieniem i wysyłką do Zabbix, zbx_setup.py dla elementów i wyzwalaczy, generator dokumentu testowego, cron i timer systemd, nagrywanie demo oraz README, które krok po kroku wyjaśnia instalację, stronę Zabbix i pułapki. Klient API Zabbix pochodzi z mojego wcześniejszego repozytorium zabbix-podman-homelab.

🎯 Wnioski

  1. Zielony status to nie działająca usługa. Tylko test, który robi to, co użytkownik, pokazuje, czy łańcuch trzyma.
  2. Czekaj na dowód, nie na ramkę. Liczba słów na pasku stanu Collabory może pochodzić tylko z prawdziwego dokumentu.
  3. Rzadko i niezawodnie. Dwa razy dziennie z jednym ponowieniem wystarczy dla testu end-to-end; proste kontrole pokrywają minuty pomiędzy.
  4. Jeden system alarmowy. Wyniki do Zabbix, z zależnościami, żeby znana awaria nie dzwoniła dwa razy – i z wyzwalaczem „sama kontrola stanęła”.
  5. Szanuj własne utwardzenie. Gdy test trafił na token_auth_enforced, właściwym rozwiązaniem była zmiana testu, nie serwera.
Część tekstów i obrazów na tej stronie powstała z pomocą AI lub została wygenerowana przez AI. Szczegóły