Un robot ouvre un document Word dans mon Nextcloud deux fois par jour : tests de bout en bout avec Playwright et Zabbix

Tous mes contrôles peuvent être verts alors que personne ne peut ouvrir un document. Désormais un vrai navigateur fait donc ce que fait une personne : se connecter à Nextcloud, ouvrir un fichier Word dans Collabora, se déconnecter, et chercher dans mon blog. Deux fois par jour, dans un conteneur Podman rootless, avec les résultats dans Zabbix. Pourquoi des tests de bout en bout, quels outils existent, comment c'est construit, une vidéo d'un passage et un dépôt public.

BD : dans une allée de datacenter éclairée en bleu, un robot blanc en t-shirt « E2E Tests » travaille à un bureau, l'écran montre des étapes de test réussies ; un homme en t-shirt blanc lui lève le pouce, une tasse de café à la main

🌐 Aussi en: English · Deutsch · Español · Italiano · Português · Nederlands · Polski

En bref : Ma supervision vérifie si les services tournent. Elle ne vérifie pas si quelqu’un peut vraiment travailler avec. C’est désormais le rôle d’un vrai navigateur, deux fois par jour : il se connecte à nos deux Nextcloud, ouvre un document Word dans Collabora Online, attend que le serveur de documents l’ait réellement affiché, le ferme et se déconnecte. Un troisième test fait une recherche dans mon blog. Les tests tournent avec Playwright dans un conteneur Podman rootless, et les résultats partent dans Zabbix, qui enregistre les temps et donne l’alerte. Scripts et instructions sont publics dans un dépôt GitHub.

Voici à quoi ressemble un passage, enregistré dans un vrai navigateur :

Un passage du test (47 s, ralenti pour pouvoir suivre) : taper l'adresse, se connecter avec l'utilisateur de test, cliquer sur le document Word, attendre Collabora, fermer, se déconnecter. Les passages réguliers durent environ 12 secondes. Musique : « Ambient – Ambient Music » de JonasBlakewood via Pixabay (Pixabay Content License).
Table des matières

🎯 Pourquoi les tests de bout en bout en disent le plus

Presque tout ce que je surveille est un état. Le conteneur tourne. Le port 443 répond. status.php indique installed: true. Le certificat est valable encore 60 jours. L’URL de discovery de Collabora renvoie du XML. Chacun de ces contrôles est peu coûteux, rapide et utile – et tous peuvent être verts alors que personne ne peut ouvrir un seul document.

Entre « le service tourne » et « une personne peut travailler », il y a une chaîne : la page de connexion doit exécuter son JavaScript, le mot de passe doit être accepté, l’application Fichiers doit lister les fichiers, Nextcloud doit transmettre le fichier à Collabora via WOPI, Collabora doit rappeler, le récupérer, le convertir et envoyer les pages au navigateur. Un en-tête de proxy manquant, une mise à jour d’application qui casse la visionneuse, un disque plein au mauvais endroit, un bundle de scripts en 404 après une mise à niveau – chacun casse la chaîne, et aucun ne fait passer un seul contrôle d’état au rouge.

Un test de bout en bout vérifie l’effet, pas l’état. Il fait ce que fait une personne et ne signale un succès que si la personne aurait réussi elle aussi. C’est ce qui en fait le contrôle le plus parlant qui soit. C’est aussi le plus lent et le plus fragile : il vient donc en plus des contrôles simples, pas à leur place, et il doit tourner rarement et seulement sur les parcours qui comptent vraiment.

Ce que j’en attends, c’est surtout plus de sérénité après les mises à jour. Nextcloud, Collabora, K3s, les charts Helm et le système sont mis à jour régulièrement sur les deux serveurs. Jusqu’ici je vérifiais ensuite à la main – ou, pour être honnête, parfois pas. Désormais, le passage suivant me dit si toute la chaîne fonctionne encore, et pas seulement chaque maillon.

À retenir : Les contrôles d’état disent si les pièces sont vivantes. Seul un test de bout en bout dit si elles fonctionnent ensemble.

🧰 Les outils connus – et pourquoi Playwright

L’automatisation de navigateur est une discipline ancienne, et les outils ne manquent pas :

OutilCe que c’estAdapté à cette tâche
Seleniumle vétéran (depuis 2004), standard W3C WebDriver, tous langagesfonctionne, mais attentes, frames et vidéo demandent du code ou des conteneurs en plus
PlaywrightMicrosoft, depuis 2020 ; Chromium, Firefox, WebKit ; Python, JS, Java, .NETattend tout seul, gère les iframes imbriquées, enregistre la vidéo – mon choix
PuppeteerGoogle, Chrome/Chromium seulement, JavaScriptbon, mais JavaScript seul et une seule famille de navigateurs
Cypresslanceur de tests pour développeurs web, tourne dans le navigateurconçu pour tester sa propre appli pendant le développement, peu commode entre domaines et iframes
Robot Frameworktests par mots-clés ; Checkmk l’utilise sous le nom « Robotmk » pour la supervision synthétiquelisible, mais une couche de plus au-dessus de Selenium ou Playwright
Grafana k6 browseroutil de test de charge avec module navigateurfort pour la charge, excessif pour une connexion deux fois par jour
Elastic Syntheticsscripts Playwright dans la pile Elasticn’a de sens que si Elastic tourne déjà
Items navigateur de Zabbixdepuis Zabbix 7.0 : tests en JavaScript contre un Selenium WebDriverla solution la plus intégrée, mais un conteneur Selenium à part et moins confortable avec les frames
PyAutoGUIdéplace la vraie souris selon des coordonnées d’écranle contre-exemple : casse au moindre pixel de mise en page

J’ai choisi Playwright avec Python. Trois propriétés ont décidé. Il attend tout seul : un clic attend que l’élément existe, soit visible et accepte la saisie, le script n’a besoin d’aucun sleep(). Il gère proprement les iframes imbriquées, ce qui compte, car Collabora tourne dans un frame à l’intérieur de Nextcloud. Et il existe une image de conteneur officielle avec tous les navigateurs, rien à installer sur l’hôte. De plus, mon installation Zabbix utilisait déjà la même image pour ses captures d’écran.

À retenir : Pour la supervision, un outil qui attend de façon fiable et sait gérer les frames vaut mieux que le nom le plus connu.

🔍 Ce que font les tests

Le test Nextcloud compte six étapes et chronomètre chacune :

ÉtapeRéussie quand
page de connexionle formulaire a été affiché – le JavaScript de la page fonctionne donc
connexionle mot de passe de l’utilisateur de test est accepté et le navigateur quitte /login
liste des fichiersl’application Fichiers affiche le document de test
document chargéla barre d’état de Collabora affiche « 11 mots »
document ferméle frame de Collabora a disparu et la liste des fichiers est revenue
déconnexionle navigateur est revenu sur la page de connexion

L’étape intéressante est la quatrième. L’iframe de Collabora apparaît quelques secondes avant que le document soit utilisable, et le document lui-même est dessiné sur un canvas : son texte n’apparaît jamais dans la page. Ce qui apparaît, c’est le nombre de mots dans la barre d’état, et seul le serveur de documents peut le calculer : à partir du vrai fichier, après que Nextcloud l’a transmis et que Collabora l’a ouvert. Si la barre affiche exactement le nombre attendu, toute la chaîne a fonctionné :

frame = page.frame_locator("iframe[name^=collaboraframe]").first
frame.locator("#StateWordCount").filter(has_text="11 words").wait_for(timeout=90000)

Le document de test est produit par un petit script : un titre, une phrase et un diagramme à barres, pour que Collabora doive aussi afficher une image. Au premier passage sur un nouveau cloud, le test le téléverse lui-même via le navigateur – « Nouveau », « Téléverser des fichiers », exactement comme une personne.

L’utilisateur de test monitor-check n’existe que pour cela : aucun droit d’administration, aucun groupe, 100 Mo de quota, rien d’autre dedans que le document de test.

Le test du blog compte trois étapes : ouvrir la page d’accueil, ouvrir la recherche, chercher « Zabbix », attendre des résultats contenant le mot, ouvrir le premier et vérifier que le titre, le texte et l’image sont là. C’est exactement la partie qu’un simple contrôle HTTP ne voit pas : la recherche de ce blog tourne entièrement dans le navigateur du visiteur (Pagefind). Si son index manquait après une construction, toutes les pages répondraient toujours 200, et la recherche ne trouverait plus rien, en silence.

À retenir : Attendre quelque chose que seul le vrai système peut produire – pas le frame, l’indicateur de chargement ni le statut HTTP.

🧑‍💻 À quoi ressemble le test dans le code

Les six étapes ne sont pas dans un fichier de configuration, mais dans un petit programme Python qui pilote un vrai navigateur. Chaque étape est une ligne de Playwright. En abrégé, check_nextcloud.py ressemble à ceci :

page.goto(f"{URL}/login")                     # 1. ouvrir la page de connexion
page.locator("#user").fill(USER)              # 2. saisir l'identifiant
page.locator("#password").fill(PASSWORD)      #    saisir le mot de passe
page.locator("button[type=submit]").click()   #    cliquer sur « Se connecter »
page.goto(f"{URL}/index.php/apps/files/")     # 3. ouvrir l'app Fichiers
row.click()                                   # 4. cliquer sur le document Word …
frame.locator("#StateWordCount") \
     .filter(has_text="11 words").wait_for()  #    … attendre que Collabora affiche le nombre de mots
frame.locator("#closebutton").click()         # 5. fermer le document
page.get_by_text("Log out").click()            # 6. se déconnecter

Trois commandes suffisent presque pour tout : fill tape quelque chose, click clique, wait_for attend que quelque chose apparaisse sur la page. Si cela n’apparaît pas à temps, le test a échoué et le nom de l’étape part vers Zabbix comme erreur.

Le fichier de configuration targets.ini définit seulement quelles cibles sont vérifiées, pas comment : une section par cible avec le type de test (nextcloud ou site), le nom de l’hôte dans Zabbix et un fichier séparé avec adresse, utilisateur et mot de passe (droits 600) :

# une Nextcloud : identifiants dans un fichier séparé (droits 600)
[cloud]
kind = nextcloud
credentials = .credentials-cloud
zabbix_host = Nextcloud
# fichier .credentials-cloud : NC_URL=…, NC_USER=…, NC_PASS=…

Pour vérifier une autre Nextcloud, il suffit d’ajouter une section et un fichier d’identifiants. Pour vérifier autre chose – un webmail, un wiki, une boutique – on écrit un petit script sur le même modèle.

🐳 Comment ça tourne

Tout se trouve sur mon serveur domestique HP3, à côté de Zabbix, en utilisateur normal sans root :

  • Une tâche cron lance run.py à 06h57 et 18h57. Deux fois par jour suffisent pour ce genre de contrôle, et chaque passage ouvre une vraie session Collabora sur les serveurs – ce que je ne veux pas toutes les cinq minutes.
  • Pour chaque cible, run.py démarre le conteneur Playwright avec podman run. Les identifiants viennent d’un fichier en mode 600 via --env-file, jamais par une ligne de commande.
  • Si un passage échoue, il attend deux minutes et réessaie une fois. Seul le second résultat compte, pour qu’un simple hoquet ne réveille personne.
  • En cas d’échec, une capture et le texte de la page sont enregistrés, pour voir ensuite où ça a bloqué.

Un passage normal dure 11 à 14 secondes par Nextcloud et 2 secondes pour le blog. Collabora affiche le document après environ 3 à 4 secondes.

À retenir : Un contrôle rare et fiable vaut mieux qu’un contrôle fréquent et instable.

📊 Direction Zabbix

Au début, le script m’envoyait lui-même des mails. Ça marchait, mais c’était un second système d’alerte à côté de Zabbix, avec sa propre logique et sans historique. Les résultats vont donc maintenant dans Zabbix, et voici ce qui y a changé :

Cinq items trapper par hôte. Un item trapper n’interroge rien ; il accepte des valeurs que quelqu’un envoie. Chacun des trois hôtes (Nextcloud cvjm, Nextcloud sofie, blog) a reçu :

ItemContenu
e2e.ok1 réussi, 0 échoué
e2e.secondsdurée du passage complet
e2e.loadl’étape qui compte : document affiché, ou recherche ayant répondu
e2e.stepl’étape en échec
e2e.errorle message d’erreur

Envoyé sans logiciel supplémentaire. Le protocole sender de Zabbix est simple – un en-tête fixe, la longueur, puis du JSON –, si bien que run.py le parle directement avec la bibliothèque standard de Python ; le paquet zabbix_sender n’est pas nécessaire. Les items n’acceptent que des valeurs venant de localhost.

Trois déclencheurs par hôte :

  • Test échoué (Haute). Il dépend du déclencheur « Internet injoignable » et des déclencheurs de niveau Haute déjà présents sur l’hôte. Si le serveur est simplement tombé, l’alerte existante parle déjà, et le déclencheur E2E se tait. Il ne se déclenche que si tous les contrôles simples sont verts mais que le parcours dans l’application est cassé – exactement le cas pour lequel il a été conçu.
  • Aucun résultat depuis 13 heures (Moyenne). Un contrôle qui s’arrête en silence est pire que pas de contrôle. Si cron, l’image ou les identifiants lâchent, Zabbix remarque l’absence de valeurs.
  • Lent (Avertissement) si l’étape clé dépasse 30 secondes. Une dégradation progressive se voit bien avant une panne, et le graphique de e2e.load la rend visible.

Testé comme une panne. J’ai envoyé à Zabbix un échec artificiel (« TEST ») : le problème est apparu, le mail est arrivé, et un « ok » ensuite l’a refermé. Ce n’est que si Zabbix lui-même est injoignable que run.py envoie encore un mail à lui.

À retenir : Un seul endroit pour toutes les alertes. La dépendance aux déclencheurs existants empêche le nouveau contrôle de crier pour des pannes déjà signalées.

🪤 Là où ça a coincé

  • HTTP 401 au téléversement. Sur les deux clouds, token_auth_enforced est activé : les clients comme WebDAV ont besoin de mots de passe d’application, le mot de passe normal est refusé. C’est un durcissement voulu ; au lieu de l’affaiblir, le test téléverse le document via le navigateur.
  • Le formulaire de connexion n’apparaissait jamais. Dans le réseau par défaut de Podman rootless, Chromium voyait un changement de réseau juste après le démarrage du conteneur (ERR_NETWORK_CHANGED) et abandonnait le JavaScript de la page. Avec --network=host, c’est réglé.
  • « Navigateur non pris en charge ». Nextcloud envoie les navigateurs inconnus vers /unsupported. Mon propre user agent était trop inhabituel ; c’est maintenant celui de Chrome avec « e2e-check » ajouté, pour que les passages restent reconnaissables dans les journaux.
  • Le démarrage du conteneur bloquait plusieurs minutes. --userns=keep-id poussait Podman à copier l’image de 2,6 Go avec des propriétaires réécrits. En Podman rootless, c’est inutile : root dans le conteneur est déjà mon utilisateur.
  • /apps/files/ renvoyait 403 derrière le nginx d’une des installations ; /index.php/apps/files/ fonctionne partout.
  • La visite guidée. À la première ouverture, Collabora affiche une visite par-dessus le document ; Échap la ferme.

À retenir : La plupart des problèmes n’étaient pas dans le test, mais dans l’environnement autour – réseau, user agent, réglages de sécurité. Chacun est désormais un commentaire dans le code.

🎬 Comment la vidéo a été faite

Un navigateur headless n’a ni barre d’adresse ni pointeur, on ne peut donc pas filmer les contrôles réguliers de façon à ce qu’on croie voir une personne. Pour la vidéo, un script de démo séparé tourne dans un conteneur avec un écran virtuel (Xvfb) : une fenêtre Chrome visible s’ouvre, l’adresse est tapée dans la barre d’adresse, et le vrai pointeur se déplace vers chaque élément et clique (xdotool). ffmpeg enregistre l’écran et ajoute une légende par étape. Deux détails ont compté : la bulle Chrome « Enregistrer le mot de passe ? » masquait le menu utilisateur et a dû être désactivée dans le profil, et --test-type supprime la barre d’avertissement sur --no-sandbox. La musique est « Ambient – Ambient Music » de JonasBlakewood, trouvée sur Pixabay.

📦 Le dépôt

Tout est public sous e2e-browser-check, avec des valeurs factices à la place de mes serveurs : les deux tests, run.py avec la nouvelle tentative et l’envoi à Zabbix, zbx_setup.py pour les items et déclencheurs, le générateur du document de test, cron et minuterie systemd, l’enregistrement de la démo et un README qui explique pas à pas l’installation, la partie Zabbix et les pièges. Le client de l’API Zabbix vient de mon dépôt précédent zabbix-podman-homelab.

🎯 Les leçons

  1. Un état vert n’est pas un service qui fonctionne. Seul un test qui fait ce que fait un utilisateur montre si la chaîne tient.
  2. Attendre une preuve, pas le frame. Le nombre de mots dans la barre d’état de Collabora ne peut venir que du vrai document.
  3. Rarement et fiablement. Deux fois par jour avec une nouvelle tentative suffit pour un test de bout en bout ; les contrôles simples couvrent les minutes entre les deux.
  4. Un seul système d’alerte. Les résultats dans Zabbix, avec des dépendances, pour qu’une panne connue ne sonne pas deux fois – et avec un déclencheur pour « le contrôle lui-même s’est arrêté ».
  5. Respecter son propre durcissement. Quand le test s’est heurté à token_auth_enforced, la bonne solution était de changer le test, pas le serveur.
Certains textes et images de ce site sont assistés ou générés par IA. Détails