Pruebas de multitudes, o dónde obtener experiencia para el primer trabajo en pruebas

Imagen: fuente

Hola Habr! Mi nombre es Evgeny Kuznetsov. Trabajo en Badoo , en el departamento de control de calidad.

Hace casi cinco años, comencé a interesarme en las pruebas: leía libros, buscaba información en Internet. En uno de los foros me encontré con un tema sobre un trabajo paralelo, donde uno de los participantes dejó un enlace a uTest.com . Y fue un hallazgo realmente bueno, porque uTest resultó ser la plataforma más grande para evaluadores con mucha información útil y cientos de proyectos de crowdsourcing pagados.

Creo que muchos aquí ya han escuchado sobre este sitio o sitios similares. Pero, curiosamente, a menudo veo caras de sorpresa cuando empiezo a hablar de crowdfunding. Entonces, el propósito de este artículo es poner información útil a las masas.

¿Qué es la prueba de multitudes?

Supongamos que usted es un gerente de producto y va a lanzar una nueva versión de la aplicación para Android e iOS. Los plazos están vigentes, necesita con urgencia los resultados de las pruebas de regresión, y el único evaluador en su equipo dice que tomará dos días, y luego tomará otro día para corregir posibles errores. Además, uno de los dispositivos Android se ha averiado y debe reemplazarse para proporcionar al menos una cobertura de plataforma básica.

¿Cómo puedo acelerar el proceso de prueba sin comprometer la calidad del producto? Puede ampliar el equipo de control de calidad y comprar más dispositivos; escriba un montón de autotests y ejecútelos en la "nube"; finalmente, alquile algunos dispositivos, siéntese y pruebe la aplicación con un ingeniero de control de calidad. O recurra a alguna plataforma de prueba de multitudes. Por lo general, este es el sitio en el que están registrados miles de evaluadores. Están listos para probar cualquier aplicación web o móvil en sus propios dispositivos y computadoras portátiles.

Debe proporcionar un enlace al ensamblaje (por ejemplo, usando HockeyApp o TestFlight ), seleccione el sistema operativo y los dispositivos en los que desea probar su producto. Incluso puede elegir el país donde se encuentran los probadores. En general, una lista de deseos puede ser muy larga. Luego, el administrador de la plataforma enviará invitaciones, y el ejército de probadores se pondrá a trabajar. Después de un tiempo, obtendrá los resultados y decidirá qué errores necesita corregir y cuáles puede existir después del lanzamiento.

Entonces todo el proceso se ve por parte del cliente. Ahora echemos un vistazo a través de los ojos de un probador.

Lo que necesitas para comenzar a probar

Nada especial Si está leyendo este artículo, significa que tiene una computadora, dispositivo móvil u otra cosa. Esto es suficiente para registrarse en la plataforma y participar en proyectos. Indique en su perfil el modelo de su dispositivo, la versión del sistema operativo, la lista de navegadores en la computadora, etc. Será mejor si tiene varios dispositivos móviles, por ejemplo, dispositivos iOS y Android, la probabilidad de recibir invitaciones será mayor.

También le recomiendo que se arme con el conocimiento de la teoría de pruebas o al menos estudie la documentación y orientación para principiantes (esta información siempre se encuentra en una sección especial del sitio).

Entonces, primero se le pedirá que realice una prueba para comprender qué tan bien puede buscar errores y escribir informes. Después de eso, todo es simple: recibe una invitación, lee la descripción del proyecto y decide si participará en él. El tiempo para buscar errores es limitado. Una vez que se completa el ciclo de prueba, el líder del equipo del proyecto revisa todos los informes y luego el cliente. Los errores que envía son aceptados o rechazados.

Error aceptado ⇒ obtener dinero.
Error rechazado ⇒ ganar experiencia, ya que el comentario en el informe explicará el motivo del rechazo.

Por qué las pruebas de multitudes para un probador principiante

Experiencia

Comencé a trabajar en sitios de crowdfunding antes de encontrar mi primer trabajo. Tenía buen conocimiento de la teoría de las pruebas, pero no tenía experiencia práctica (sin la cual muchos reclutadores ni siquiera quieren comenzar una conversación). Al trabajar en plataformas de crowdsourcing, obtendrá una excelente experiencia práctica en pruebas de software. La variedad de software dependerá de los dispositivos que tenga. Tenía un iPhone y una computadora portátil (en Windows 7) con una máquina virtual instalada (en la que giraban XP y Vista). Poco después compré un dispositivo Android y un iPad.

En los primeros dos meses, participé en unos 20 proyectos, que duraron desde varias horas hasta varios días. Aplicaciones y sitios de comercio electrónico, juegos, redes sociales, mensajeros ... Si participa activamente y encuentra muchos errores, su calificación aumentará, lo que significa que recibirá más invitaciones.

Después de probar un montón de software, es fácil entender que los errores generalmente se "ocultan" en los mismos lugares. Además de verificar los principales escenarios positivos y negativos, experimente con la configuración de los dispositivos, con la red, use el modo avión, porque a menudo los desarrolladores olvidan procesar correctamente el comportamiento del software en ausencia de comunicación.

Recuerdo que estaba preocupado cuando informé mi primer error: intenté describir todo con gran detalle, adjunté varias capturas de pantalla y videos, ya que cada error rechazado puede afectar las estadísticas. Por cierto, es muy importante ver los informes de otros participantes. No solo durante las pruebas (para evitar la duplicación), sino especialmente después, cuando el líder del equipo y el cliente los verifican. La familiarización con los errores rechazados de otras personas le dará una mejor idea de las expectativas de los gerentes y clientes.

Como resultado, su cartera tendrá muchos proyectos interesantes e historias divertidas de errores que se pueden utilizar en entrevistas.

Cuanto más productivo sea en los ciclos de prueba, más invitaciones tendrá para ellos.

Nuevas habilidades

Obviamente, al probar una gran cantidad de software, aprenderá nuevas habilidades: cómo eliminar registros de bloqueo de un dispositivo Android / iOS y leerlos, cómo usar la consola ADB y las pruebas de mono, cómo usar todas las configuraciones del dispositivo correctamente (permitiendo restricciones de aplicación en acceso a la cámara / geolocalización, "acceso universal", modo zoom), cómo usar las herramientas del navegador para desarrolladores y muchos otros. Y tendrá que descubrir todo esto para encontrar más errores, ya que cada proyecto es una mini competencia entre evaluadores.

Aprenderá a trabajar con nuevas herramientas. Por ejemplo, uno de mis proyectos fue probar eventos de Google Analytics, ese día descubrí Charles Proxy . Poco después comencé a usar todas sus funciones (aceleración, reescritura, mapeo). También recuerdo que tenía un proyecto de prueba de seguridad y encontré la excelente herramienta Proxy de ataque Zed .

Por cierto, si desea aumentar sus habilidades, le recomiendo el artículo "Prueba de aplicaciones móviles: consejos y trucos".

La curiosidad es la habilidad más valiosa del probador.

Comunidad

La comunicación es una de las habilidades más importantes para un probador. Esta es la clave de todo. Lo que quiera saber, encontrar o recibir, necesita comunicarse. Cada nueva persona puede darle algunas nuevas oportunidades. En las plataformas de crowdfunding conocerás a muchas personas interesantes que estarán en la misma onda contigo. Hay cientos de temas en los foros donde puede hacer cualquier pregunta. Esto es especialmente importante cuando comienza su viaje en las pruebas, ya que puede aprender y obtener consejos de personas más experimentadas.

Sea activo, haga preguntas en el chat del ciclo de prueba. Si crees que falta algo en la descripción, asegúrate de contarlo. Ayude a otros participantes si conoce las respuestas a sus preguntas. Timlid o el cliente lo notarán, y más tarde podrá recibir invitaciones a proyectos "para la élite".

La comunicación es la clave de la oportunidad.

Práctica del lenguaje

Todos sabemos que el conocimiento del idioma inglés mejora significativamente la competitividad. Por lo tanto, simplemente debe registrarse en un sitio extranjero. Su nivel crecerá en un orden de magnitud en solo unas pocas semanas, ya que toda la documentación y la comunicación estarán en inglés y, por supuesto, los informes de errores también deberían estar en él. Al principio no será muy familiar, pero definitivamente vale la pena reponer el vocabulario.

No tenga miedo de cometer errores: para el 90% de los participantes, el inglés tampoco es su lengua materna.

Dinero

El último argumento es el dinero. El trabajo en plataformas de crowdfunding se puede considerar como una pasantía remunerada. Después de todo, obtienes experiencia e ingresos. El monto del pago dependerá de la importancia y la cantidad de errores encontrados. En la mayoría de las plataformas, oscila entre 3 y 15 años. e. (dependiendo del proyecto, pueden desatar incluso 50 pies cúbicos) por error.

Al principio ganaba unos 400 euros al mes, trabajando un par de horas al día. Luego decidí centrarme no en la cantidad, sino en la calidad de los informes de errores. Comenzó a pasar más tiempo en la plataforma y, como resultado, comenzó a ganar entre 700 y 800 euros al mes. Mi calificación ha crecido significativamente, y pronto recibí una invitación del gerente de proyecto para un pequeño equipo para un ciclo de prueba cerrado para un producto. Después de aproximadamente 12 horas de trabajo, cada uno de nosotros recibió más de mil euros.

Intente centrarse en encontrar errores críticos y mejorar la calidad de los informes, no su cantidad. Entonces el trabajo será más interesante y finalmente ganarás más.

Las plataformas en las que trabajé

La mayor comunidad en línea de probadores de software. Además de los proyectos de prueba pagados, hay mucha información útil, artículos y un buen foro. Quizás este sea el mejor lugar para comenzar. Lamentablemente, no tenía lo que pasó con él. Hace cuatro años, había muy pocos proyectos para probadores de Rusia en la plataforma (ahora con esto, hasta donde yo sé, mejor). En ese momento, los clientes eran principalmente de Europa y Estados Unidos, y querían probar productos en sus mercados potenciales. Rusia, por supuesto, no les pertenecía. Por supuesto, podrías recurrir a trucos: usa una VPN y escribe en tu perfil que eres un probador de Inglaterra o los Estados Unidos. Así que en realidad lo hice para obtener mi primer proyecto. Pero para mí, este método no era muy conveniente, así que comencé a buscar otras plataformas.


La plataforma solía llamarse Testcloud, y se ha convertido en mi plataforma favorita de prueba de multitudes.
Interfaz fácil de usar, interacción establecida con líderes de equipo y clientes, un buen sistema de evaluación de probadores y excelentes tasas de errores encontrados (retiro de dinero a través de PayPal). En esta plataforma, tuve muchos proyectos diferentes e interesantes. Durante varios meses fui el único probador de habla rusa, así que obtuve todos los proyectos con localización RU.

Un año después, decidí convertirme en líder de equipo en esta plataforma. Timlid en el sitio de crowdfunding es el mismo profesional independiente que recibe invitaciones para proyectos; solo él no prueba los productos, sino que verifica los informes de errores y controla todo el ciclo de prueba. Pero, desafortunadamente, en ese momento estaba muy ocupado en mi nuevo trabajo, y debido a la falta de tiempo tuve que abandonar el sitio. En general, los muchachos tienen un equipo maravilloso, y me alegra ver que la plataforma está creciendo. ¡Lo recomiendo mucho!

Gran plataforma con diferentes proyectos. Varias veces incluso me enviaron dispositivos para probar, y todavía uso algunos. Por cierto, hace un par de años apareció una versión en ruso: crowdtesting.ru .


Participó en varios ciclos de prueba.
Algunos proyectos requieren conocimiento del idioma alemán.


Plataforma india. Todavía recibo de sus invitaciones a proyectos.

Y algunos recursos más

Según la información del sitio, la plataforma funciona con Facebook, Spotify y Microsoft. Entonces, si desea reportar algunos molestos errores de FB (probablemente voy a obtener un par de docenas), este es el lugar para usted.

Quiero señalar que este proyecto es el organizador de testatons (hackathons para probadores), uno de los cuales tuvo lugar en Moscú .


No tiene nada que ver con una empresa conocida. Pero, quién sabe, tal vez tendrá la versión preliminar de la aplicación Uber en sus manos.

Otra plataforma importante. Una característica interesante: no pagan por los errores encontrados, sino por el tiempo dedicado a las pruebas. Y hay un blog genial donde puedes leer las historias de los evaluadores de este sitio.

Conclusión

Encontré el primer trabajo sin ningún problema, gracias en gran parte a mi experiencia en pruebas de crowdfunding. Hubo una gran cantidad de cartas y llamadas, que se convirtieron en cuatro ofertas de cinco entrevistas. En mi próxima compañía, todos estaban muy interesados ​​en probar en sitios de crowdfunding, e incluso actué como cliente en uno de ellos. Y ahora, trabajando en la oficina londinense de Badoo, uso muchas de las habilidades que recibí en ese momento.

Trabajar en plataformas de crowdsourcing es una buena oportunidad para comenzar una carrera de control de calidad. Obtendrá experiencia, aprenderá a usar nuevas herramientas, conocerá personas interesantes, ganará un buen dinero y, lo más importante, disfrutará de las pruebas.

Los probadores no rompen el software; rompen tus sueños al respecto ... (c) James Bach

PD: En este artículo, en su mayor parte, describí los aspectos positivos de las pruebas de multitudes para aquellos que solo van a hacer pruebas. Pero, por supuesto, hay trabajo para probadores experimentados en dichos sitios: proyectos que requieren un conocimiento profundo de automatización, seguridad, UX, etc.

PPS Por cierto, en Badoo también utilizamos pruebas multitudinarias para buscar errores de seguridad. Entonces, si eres un experto en el campo de la seguridad de TI y quieres ganar dinero (¡hasta £ 2000 por vulnerabilidad!), Entonces bienvenido a nuestro programa de recompensas en hackerone.com .