Selenium WebDriver: métrica de prueba en tiempo real con Grafana e InfluxDB

Hola a todos! La próxima semana, comenzarán las clases en el grupo de Ingeniero de Java QA . Esto se programará para coincidir con la publicación actual.

Revisión:

La ejecución diaria de pruebas de regresión automatizadas como parte del ensamblaje diario es inevitable en este momento. Es bueno encontrar e informar errores inmediatamente después de encontrarlos. Al mismo tiempo, es problemático ejecutar cientos de pruebas automatizadas y ejecución paralela remota. Una vez que tenga un conjunto de pruebas de regresión automatizadas, puede dividirlo en varios conjuntos de módulos comerciales y ejecutarlos en paralelo, como parte de una prueba de regresión automática diaria. La mayoría de estos conjuntos de pruebas se ejecutan en una máquina virtual remota, y los resultados de las pruebas solo están disponibles una vez que se han ejecutado. De lo contrario, puede buscar en la consola de jenkins para ver los registros del proceso de ejecución de la prueba. Esto a veces es molesto. Sería genial tener una aplicación que proporcione información sobre cómo pasar la prueba mientras se ejecutan en máquinas virtuales remotas.

Veamos cómo puede crear una página simple con resultados de pruebas y un tablero usando InfluxDB y Grafana.

Propósito

Recopilaremos todas las métricas de prueba disponibles, como:

• Estado del método de prueba
• Método de prueba Duración
• Estado de clase con métodos de prueba
• Tiempo de ejecución de prueba de clase única
• Probar estado de suite
• Duración de la prueba de funcionamiento

Podemos obtener algunos de los indicadores en tiempo real, como se muestra a continuación:

• El número de métodos de prueba agrupados por estado (por ejemplo: Pase: 30, Fallido: 2, Saltado: 2) en un día en particular.
• La tendencia en la duración del conjunto de pruebas durante una semana, mes, año, etc.

InfluxDB:

InfluxDB es una base de datos de series de tiempo que se utiliza para recopilar todas las métricas de prueba. InfluxDB tiene una API REST para escribir datos y enviar solicitudes. Puedes aprender más aquí . A continuación, uso el comando docker para iniciar una instancia de InfluxDB.

sudo docker run -p 8086:8086 -v $PWD:/var/lib/influxdb influxdb 

Crear una base de datos:

Ya hemos planteado y lanzado la base de datos InfluxDB. Creemos un esquema de base de datos separado para recopilar los resultados de la prueba de selenio. A continuación ejecuto un comando en la terminal para crear un esquema llamado "selenio" en la base de datos. (Verifique la URL, reemplace localhost con hostname / ipaddress si no está ejecutando en la computadora actual).

 curl -i -XPOST http://localhost:8086/query --data-urlencode "q=CREATE DATABASE selenium" 

TestNG:

Creemos una prueba testNG simple:

 public class SampleTest { @Test(description = "login") public void login(){ } @Test(description = "search for flights", dependsOnMethods = "login") public void search(){ } @Test(description = "select flight", dependsOnMethods = "search") public void select(){ } @Test(description = "book flight", dependsOnMethods = "select") public void book(){ } @Test(description = "logout", dependsOnMethods = "book") public void logout(){ } } 

Nuestro objetivo es recopilar resultados de pruebas en InfluxDB en tiempo de ejecución. Por lo tanto, necesitamos un controlador / biblioteca en Java para InfluxDB.

Dependencias de Maven:

Agregue las dependencias de Maven que se muestran a continuación:

 <dependency> <groupId>org.influxdb</groupId> <artifactId>influxdb-java</artifactId> <version>2.12</version> </dependency> 

Estudiantes:

Los oyentes de TestNG son excelentes para escuchar eventos y pueden responder dependiendo de lo que sucedió. Primero, creemos una clase simple que sea responsable de enviar los resultados a InfluxDB.

 import org.influxdb.InfluxDB; import org.influxdb.InfluxDBFactory; import org.influxdb.dto.Point; public class ResultSender { private static final InfluxDB INFLXUDB = InfluxDBFactory.connect("http://localhost:8086", "root", "root"); private static final String DATABASE = "selenium"; static{ INFLXUDB.setDatabase(DATABASE); } public static void send(final Point point){ INFLXUDB.write(point); } } 

Ahora cree otra clase que implemente la interfaz ITestListener.

 import org.influxdb.dto.Point; import org.testng.ITestContext; import org.testng.ITestListener; import org.testng.ITestResult; import java.util.concurrent.TimeUnit; public class ExecutionListener implements ITestListener { public void onTestStart(ITestResult iTestResult) { } public void onTestSuccess(ITestResult iTestResult) { this.sendTestMethodStatus(iTestResult, "PASS"); } public void onTestFailure(ITestResult iTestResult) { this.sendTestMethodStatus(iTestResult, "FAIL"); } public void onTestSkipped(ITestResult iTestResult) { this.sendTestMethodStatus(iTestResult, "SKIPPED"); } public void onTestFailedButWithinSuccessPercentage(ITestResult iTestResult) { } public void onStart(ITestContext iTestContext) { } public void onFinish(ITestContext iTestContext) { this.sendTestClassStatus(iTestContext); } private void sendTestMethodStatus(ITestResult iTestResult, String status) { Point point = Point.measurement("testmethod") .time(System.currentTimeMillis(), TimeUnit.MILLISECONDS) .tag("testclass", iTestResult.getTestClass().getName()) .tag("name", iTestResult.getName()) .tag("description", iTestResult.getMethod().getDescription()) .tag("result", status) .addField("duration", (iTestResult.getEndMillis() - iTestResult.getStartMillis())) .build(); ResultSender.send(point); } private void sendTestClassStatus(ITestContext iTestContext) { Point point = Point.measurement("testclass") .time(System.currentTimeMillis(), TimeUnit.MILLISECONDS) .tag("name", iTestContext.getAllTestMethods()[0].getTestClass().getName()) .addField("duration", (iTestContext.getEndDate().getTime() - iTestContext.getStartDate().getTime())) .build(); ResultSender.send(point); } } 

Nota: Use una etiqueta opcional que cumpla con sus objetivos en el ejemplo anterior para clasificar los resultados. Por ejemplo, etiqueta ("escenario", "flujo de inicio de sesión").

El oyente del ejemplo anterior supervisará la ejecución de la prueba y tan pronto como se complete un cierto método / clase de la prueba, enviará un nombre, duración y algunos detalles adicionales. Mi objetivo aquí es solo darte una idea. Cambia el código según tus necesidades.

Ahora agregue el oyente al paquete XML o a la clase base TestNG.

 <suite name="My suite"> <listeners> <listener class-name="com.tag.realtime.ExecutionListener" /> </listeners> <test name="Test1"> <classes> <class name="com.tag.realtime.SampleTest"/> </classes> </test> <test name="Test2"> <classes> <class name="com.tag.realtime.Sample2Test"/> </classes> </test> </suite> 

O si no:

 @Listeners(ExecutionListener.class) public class SampleTest { @Test public void test(){ } } 

Grafana

Logramos enviar los resultados a InfluxDB. Pero, ¿cómo solicitar resultados y visualizar los datos recibidos? Para esto utilizaremos otra herramienta gratuita llamada "Grafana".
Grafana es una excelente herramienta de visualización para datos de series temporales; interactúa perfectamente con InfluxDB. Los siguientes son comandos de Docker para crear una instancia de Grafana. [el complemento de gráfico circular es opcional en el equipo, se puede eliminar si no es necesario]

 docker run -d -p 3000:3000 --name=grafana \ -e "GF_INSTALL_PLUGINS=grafana-piechart-panel" \ -v $PWD:/var/lib/grafana \ grafana/grafana 

Fuente de datos para Grafana:

Vaya a Configuración -> Fuentes de datos -> Agregar nueva fuente de datos , como se muestra en la captura de pantalla. Haga clic en el botón 'Guardar y probar' para asegurarse de que Grafana pueda comunicarse con InfluxDB.

Nota: Si está utilizando Grafana con Docker e intenta acceder como 'Servidor predeterminado', NO use localhost en la cadena de conexión InfluxDB. Eso es porque aquí localhost es un contenedor Grafana, no una máquina física. Por lo tanto, el contenedor Grafana no podrá encontrar InfluxDB.

Crear un tablero de instrumentos:

Me gustaría que veas este video, porque no es fácil explicar todos los matices del artículo. Por eso grabé un video de hotel.



Demo 2:

Para resumir:

Espero que obtener resultados en tiempo real usando InfluxDB y Grafana haya resultado interesante y útil. Requiere cambios mínimos en la estructura existente, porque usamos oyentes TestNG. Eliminar el oyente del archivo de clase set / base es suficiente para deshabilitar esta función si no la necesita. Tal enfoque ayudará a evitar cierta frustración en el equipo si sus miembros solo se dedican a monitorear los resultados de la prueba a través de E / S de consola en la máquina remota. Este artículo solo expone la idea principal. Puede mejorar este enfoque agregando más información, por ejemplo, un entorno de prueba, agregue filtros adicionales para actualizar los datos en gráficos para un entorno / pruebas específicos, etc.

Aquí hay un material tan breve pero bastante útil. Tradicionalmente, estamos a la espera de sus comentarios, así como recordamos que hoy será un día de puertas abiertas a la velocidad a la que cualquiera puede inscribirse.