Un robot abre un documento de Word en mi Nextcloud dos veces al día: pruebas end-to-end con Playwright y Zabbix

Todas mis comprobaciones pueden estar en verde mientras nadie puede abrir un documento. Por eso ahora un navegador real hace lo que hace una persona: iniciar sesión en Nextcloud, abrir un archivo de Word en Collabora, cerrar sesión y buscar en mi blog. Dos veces al día, en un contenedor Podman rootless, con los resultados en Zabbix. Por qué pruebas end-to-end, qué herramientas existen, cómo está construido, un vídeo de una ejecución y un repositorio público.

Cómic: en un pasillo de centro de datos con luz azul, un robot blanco con camiseta «E2E Tests» trabaja en un escritorio y la pantalla muestra pasos de prueba superados; un hombre con camiseta blanca le levanta el pulgar con una taza de café

🌐 También en: English · Deutsch · Français · Italiano · Português · Nederlands · Polski

En resumen: Mi monitorización comprueba si los servicios funcionan. No comprueba si alguien puede trabajar con ellos. Ahora lo hace un navegador real dos veces al día: inicia sesión en nuestras dos Nextcloud, abre un documento de Word en Collabora Online, espera a que el servidor de documentos lo haya renderizado de verdad, lo cierra y cierra la sesión. Una tercera prueba busca en mi blog. Las pruebas se ejecutan con Playwright en un contenedor Podman rootless y los resultados van a Zabbix, que registra los tiempos y avisa. Los scripts y las instrucciones son públicos en un repositorio de GitHub.

Así es una ejecución, grabada en un navegador real:

Una ejecución de la prueba (47 s, ralentizada para poder seguirla): escribir la dirección, entrar como usuario de prueba, hacer clic en el documento de Word, esperar a Collabora, cerrar, salir. Las ejecuciones normales duran unos 12 segundos. Música: «Ambient – Ambient Music» de JonasBlakewood vía Pixabay (Pixabay Content License).
Índice

🎯 Por qué las pruebas end-to-end son las que más dicen

Casi todo lo que vigilo es un estado. El contenedor está en marcha. El puerto 443 responde. status.php dice installed: true. El certificado vale otros 60 días. La URL de discovery de Collabora devuelve XML. Cada una de estas comprobaciones es barata, rápida y útil – y todas pueden estar en verde mientras nadie puede abrir un solo documento.

Entre «el servicio funciona» y «una persona puede trabajar» hay una cadena: la página de inicio de sesión tiene que ejecutar su JavaScript, la contraseña tiene que aceptarse, la app Archivos tiene que listar los archivos, Nextcloud tiene que pasar el archivo a Collabora mediante WOPI, Collabora tiene que devolver la llamada, recogerlo, convertirlo y enviar las páginas al navegador. Una cabecera de proxy que falta, una actualización de una app que rompe el visor, un disco lleno en el sitio equivocado, un bundle de scripts que da 404 tras una actualización: cualquiera rompe la cadena, y ninguno pone en rojo una sola comprobación de estado.

Una prueba end-to-end comprueba el efecto, no el estado. Hace lo que hace una persona y solo informa de éxito si la persona también lo habría tenido. Eso la convierte en la comprobación más significativa que existe. También es la más lenta y la más frágil, así que va además de las comprobaciones sencillas, no en su lugar, y debe ejecutarse pocas veces y solo en los caminos que de verdad importan.

Lo que espero ganar es sobre todo tranquilidad después de las actualizaciones. Nextcloud, Collabora, K3s, los charts de Helm y el sistema operativo se actualizan con regularidad en ambos servidores. Hasta ahora, después, revisaba a mano – o, siendo sincero, a veces no. Ahora la siguiente ejecución me dice si toda la cadena sigue funcionando, no solo cada eslabón.

Lo que queda: Las comprobaciones de estado dicen si las piezas están vivas. Solo una prueba end-to-end dice si funcionan juntas.

🧰 Las herramientas conocidas – y por qué Playwright

La automatización de navegadores es una disciplina antigua y hay muchas herramientas:

HerramientaQué esEncaje para esta tarea
Seleniumel veterano (desde 2004), estándar W3C WebDriver, cualquier lenguajefunciona, pero las esperas, los frames y el vídeo requieren código o contenedores extra
PlaywrightMicrosoft, desde 2020; Chromium, Firefox, WebKit; Python, JS, Java, .NETespera por sí solo, maneja iframes anidados, graba vídeo – mi elección
PuppeteerGoogle, solo Chrome/Chromium, JavaScriptbueno, pero solo JavaScript y una familia de navegadores
Cypressejecutor de pruebas para desarrolladores web, corre dentro del navegadorpensado para probar la propia app durante el desarrollo, incómodo entre dominios e iframes
Robot Frameworkpruebas por palabras clave; Checkmk lo usa como «Robotmk» para monitorización sintéticalegible, pero otra capa encima de Selenium o Playwright
Grafana k6 browserherramienta de pruebas de carga con módulo de navegadorfuerte para carga, excesiva para un inicio de sesión dos veces al día
Elastic Syntheticsscripts de Playwright dentro del stack de Elasticsolo tiene sentido si ya usas Elastic
Ítems de navegador de Zabbixdesde Zabbix 7.0: pruebas en JavaScript contra un Selenium WebDriverla opción más integrada, pero con un contenedor Selenium aparte y menos cómoda con frames
PyAutoGUImueve el ratón real por coordenadas de pantallael contraejemplo: se rompe con cada píxel de cambio de diseño

Elegí Playwright con Python. Decidieron tres propiedades. Espera por sí solo: un clic espera a que el elemento exista, sea visible y acepte entradas, así que el script no necesita ningún sleep(). Maneja limpiamente los iframes anidados, y eso importa porque Collabora corre en un frame dentro de Nextcloud. Y existe una imagen de contenedor oficial con todos los navegadores, así que no hay que instalar nada en el host. Además, mi instalación de Zabbix ya usaba la misma imagen para sus capturas.

Lo que queda: Para monitorizar, una herramienta que espera de forma fiable y entiende los frames gana al nombre más famoso.

🔍 Qué hacen las pruebas

La prueba de Nextcloud tiene seis pasos y mide el tiempo de cada uno:

PasoSe supera cuando
página de inicio de sesiónel formulario se ha renderizado – el JavaScript de la página funciona
inicio de sesiónse acepta la contraseña del usuario de prueba y el navegador sale de /login
lista de archivosla app Archivos muestra el documento de prueba
documento cargadola barra de estado de Collabora muestra «11 palabras»
documento cerradoel frame de Collabora desaparece y vuelve la lista de archivos
cierre de sesiónel navegador vuelve a la página de inicio de sesión

El paso interesante es el cuarto. El iframe de Collabora aparece segundos antes de que el documento se pueda usar, y el documento se pinta sobre un lienzo (canvas), así que su texto nunca aparece en la página. Lo que sí aparece es el número de palabras en la barra de estado, y solo el servidor de documentos puede calcularlo: a partir del archivo real, después de que Nextcloud se lo entregue y Collabora lo abra. Si la barra muestra exactamente el número esperado, toda la cadena ha funcionado:

frame = page.frame_locator("iframe[name^=collaboraframe]").first
frame.locator("#StateWordCount").filter(has_text="11 words").wait_for(timeout=90000)

El documento de prueba lo genera un pequeño script: un título, una frase y un gráfico de barras, para que Collabora también tenga que renderizar una imagen. En la primera ejecución en una nube nueva, la prueba lo sube ella misma por el navegador – «Nuevo», «Subir archivos», igual que una persona.

El usuario de prueba monitor-check existe solo para esto: sin derechos de administrador, sin grupos, 100 MB de cuota y nada dentro salvo el documento de prueba.

La prueba del blog tiene tres pasos: abrir la portada, abrir la búsqueda, buscar «Zabbix», esperar resultados que contengan la palabra, abrir el primero y comprobar que el título, el texto y la imagen están ahí. Justo esa parte no la ve una comprobación HTTP sencilla: la búsqueda de este blog se ejecuta entera en el navegador del visitante (Pagefind). Si faltara su índice tras una compilación, todas las páginas seguirían respondiendo 200 y la búsqueda no encontraría nada, sin avisar.

Lo que queda: Espera a algo que solo el sistema real puede producir – no al frame, al indicador de carga ni al estado HTTP.

🧑‍💻 Así se ve la prueba en el código

Los seis pasos no están en un archivo de configuración, sino en un pequeño programa en Python que maneja un navegador real. Cada paso es una línea de Playwright. Abreviado, check_nextcloud.py se ve así:

page.goto(f"{URL}/login")                     # 1. abrir la página de inicio de sesión
page.locator("#user").fill(USER)              # 2. escribir el usuario
page.locator("#password").fill(PASSWORD)      #    escribir la contraseña
page.locator("button[type=submit]").click()   #    pulsar «Iniciar sesión»
page.goto(f"{URL}/index.php/apps/files/")     # 3. abrir la app Archivos
row.click()                                   # 4. pulsar el documento Word …
frame.locator("#StateWordCount") \
     .filter(has_text="11 words").wait_for()  #    … esperar a que Collabora muestre el recuento de palabras
frame.locator("#closebutton").click()         # 5. cerrar el documento
page.get_by_text("Log out").click()            # 6. cerrar sesión

Tres órdenes bastan para casi todo: fill escribe algo, click hace clic, wait_for espera hasta que algo aparece en la página. Si no aparece a tiempo, la prueba ha fallado y el nombre del paso va a Zabbix como error.

El archivo de configuración targets.ini solo define qué destinos se comprueban, no cómo: una sección por destino con el tipo de prueba (nextcloud o site), el nombre del host en Zabbix y un archivo aparte con dirección, usuario y contraseña (permisos 600):

# una Nextcloud: credenciales en un archivo aparte (permisos 600)
[cloud]
kind = nextcloud
credentials = .credentials-cloud
zabbix_host = Nextcloud
# archivo .credentials-cloud: NC_URL=…, NC_USER=…, NC_PASS=…

Para comprobar otra Nextcloud basta con añadir una sección y un archivo de credenciales. Para comprobar otra cosa – un webmail, un wiki, una tienda – se escribe un script corto propio con el mismo patrón.

🐳 Cómo se ejecuta

Todo vive en mi servidor de casa HP3, junto a Zabbix, como usuario normal sin root:

  • Un cron lanza run.py a las 06:57 y a las 18:57. Dos veces al día bastan para este tipo de prueba, y cada ejecución abre una sesión real de Collabora en los servidores, algo que no quiero cada cinco minutos.
  • Para cada destino, run.py arranca el contenedor de Playwright con podman run. Las credenciales vienen de un archivo con permisos 600 mediante --env-file, nunca por línea de comandos.
  • Si una ejecución falla, espera dos minutos y lo intenta otra vez. Solo cuenta el segundo resultado, para que un tropiezo aislado no despierte a nadie.
  • En caso de fallo se guardan una captura y el texto de la página, para ver después dónde se quedó atascado.

Una ejecución normal dura de 11 a 14 segundos por Nextcloud y 2 segundos para el blog. Collabora muestra el documento tras unos 3 o 4 segundos.

Lo que queda: Una comprobación poco frecuente y fiable vale más que una frecuente e inestable.

📊 A Zabbix

Al principio el script me enviaba correos él mismo. Funcionaba, pero era un segundo sistema de alarmas junto a Zabbix, con su propia lógica y sin historial. Por eso los resultados van ahora a Zabbix, y esto es lo que cambió allí:

Cinco ítems trapper por host. Un ítem trapper no consulta nada; acepta valores que alguien envía. Cada uno de los tres hosts (Nextcloud cvjm, Nextcloud sofie, blog) recibió:

ÍtemContenido
e2e.ok1 superada, 0 fallida
e2e.secondsduración de toda la ejecución
e2e.loadel paso que importa: documento renderizado o búsqueda respondida
e2e.stepel paso que falló
e2e.errorel mensaje de error

Enviado sin software extra. El protocolo sender de Zabbix es sencillo – una cabecera fija, la longitud y luego JSON –, así que run.py lo habla directamente con la biblioteca estándar de Python y no hace falta el paquete zabbix_sender. Los ítems solo aceptan valores desde localhost.

Tres triggers por host:

  • Prueba fallida (Alta). Depende del trigger «Internet no accesible» y de los triggers de nivel Alta que ya tiene el host. Si el servidor simplemente está caído, ya avisa la alarma existente y el trigger E2E se calla. Solo salta cuando todas las comprobaciones sencillas están en verde pero el camino por la aplicación está roto – justo el caso para el que se construyó.
  • Sin resultado desde hace 13 horas (Media). Una prueba que se detiene en silencio es peor que ninguna. Si fallan el cron, la imagen o las credenciales, Zabbix nota que faltan valores.
  • Lenta (Advertencia) si el paso clave tarda más de 30 segundos. El deterioro progresivo se ve mucho antes que una caída, y la gráfica de e2e.load lo hace visible.

Probado como una caída. Envié a Zabbix un fallo artificial («TEST»): apareció el problema, llegó el correo, y un «ok» posterior lo cerró de nuevo. Solo si el propio Zabbix no es accesible, run.py sigue enviando un correo propio.

Lo que queda: Un único sitio para todas las alarmas. La dependencia de los triggers existentes evita que la nueva prueba grite por caídas que ya están avisadas.

🪤 Dónde se atascó

  • HTTP 401 al subir. En ambas nubes está activado token_auth_enforced: los clientes como WebDAV necesitan contraseñas de aplicación y la contraseña normal se rechaza. Es un endurecimiento deliberado, así que en lugar de debilitarlo, la prueba sube el documento por el navegador.
  • El formulario de inicio de sesión no aparecía. En la red por defecto de Podman rootless, Chromium detectaba un cambio de red justo después de arrancar el contenedor (ERR_NETWORK_CHANGED) y descartaba el JavaScript de la página. Con --network=host desapareció.
  • «Navegador no compatible». Nextcloud envía los navegadores desconocidos a /unsupported. Mi propio user agent era demasiado raro; ahora es el de Chrome normal con «e2e-check» añadido, así las ejecuciones siguen siendo reconocibles en los logs.
  • El arranque del contenedor se colgaba minutos. --userns=keep-id hacía que Podman copiara la imagen de 2,6 GB con los propietarios reescritos. En Podman rootless no hace falta: root dentro del contenedor ya es mi usuario.
  • /apps/files/ devolvía 403 tras el nginx de una de las instalaciones; /index.php/apps/files/ funciona en todas.
  • El tour de bienvenida. Al abrir por primera vez, Collabora muestra un tour sobre el documento; Escape lo cierra.

Lo que queda: La mayoría de los problemas no estaban en la prueba, sino en el entorno – red, user agent, ajustes de seguridad. Cada uno es ahora un comentario en el código.

🎬 Cómo se hizo el vídeo

Un navegador headless no tiene barra de direcciones ni puntero, así que las pruebas normales no se pueden filmar de forma que parezca una persona. Para el vídeo, un script de demo aparte se ejecuta en un contenedor con una pantalla virtual (Xvfb): se abre una ventana de Chrome visible, la dirección se teclea en la barra y el puntero real se mueve a cada elemento y hace clic (xdotool). ffmpeg graba la pantalla y añade un rótulo por paso. Dos detalles importaron: la burbuja de Chrome «¿Guardar contraseña?» tapaba el menú de usuario y hubo que desactivarla en el perfil, y --test-type quita la barra de aviso sobre --no-sandbox. La música es «Ambient – Ambient Music», de JonasBlakewood, de Pixabay.

📦 El repositorio

Todo es público como e2e-browser-check, con marcadores en lugar de mis servidores: las dos pruebas, run.py con el reintento y el envío a Zabbix, zbx_setup.py para ítems y triggers, el generador del documento de prueba, cron y temporizador de systemd, la grabación de la demo y un README que explica paso a paso la instalación, la parte de Zabbix y los tropiezos. El cliente de la API de Zabbix viene de mi repositorio anterior zabbix-podman-homelab.

🎯 Las lecciones

  1. Un estado en verde no es un servicio que funciona. Solo una prueba que hace lo que hace un usuario muestra si la cadena aguanta.
  2. Espera a una prueba, no al frame. El número de palabras en la barra de estado de Collabora solo puede venir del documento real.
  3. Pocas veces y de forma fiable. Dos veces al día con un reintento basta para una prueba end-to-end; las comprobaciones sencillas cubren los minutos intermedios.
  4. Un solo sistema de alarmas. Resultados a Zabbix, con dependencias, para que una caída conocida no suene dos veces – y con un trigger para «la propia prueba se ha detenido».
  5. Respeta tu propio endurecimiento. Cuando la prueba chocó con token_auth_enforced, lo correcto era cambiar la prueba, no el servidor.
Parte de los textos e imágenes de este sitio está asistida o generada por IA. Detalles