El equipo de producto Yandex.Navigator compartió qué experimentos se están llevando a cabo, cómo se organiza internamente el trabajo, cómo se monetiza el producto y qué enfoques utiliza en el análisis predictivo.
Epic talk es un proyecto de
Epic Growth donde nos comunicamos con equipos sobre procesos bien establecidos, probando hipótesis de productos, análisis y mucho más. El proyecto fue filmado con el apoyo de la plataforma analítica
AppMetrica .
El equipo
Lyosha Gozhev, analista senior de productos y Misha Vysokovsky, jefa de Yandex.¿Cómo se organiza el equipo de producto Yandex.Navigator?
Dentro de Navigator, tenemos varios equipos de productos, cada uno de los cuales tiene su propio enfoque. El enfoque marca la dirección del desarrollo del producto. Por ejemplo, un equipo está guiando la ruta, el otro se centra en el script de búsqueda. A diferencia de un equipo de producto formado, el enfoque puede cambiar con el tiempo. Por lo general, cada equipo tiene un gerente de producto, diseñador y desarrollador.
Ahora tenemos dos analistas, por lo que trabajan para varios equipos de productos. La mayoría de las tareas del analista se dividen en dos tipos.
El primer tipo son tareas ad hoc que deben calcularse rápidamente o tareas que requieren la verificación de la escritura del código. El segundo tipo son las tareas de investigación en las que todo el equipo necesita sumergirse. En tales tareas no hay separación entre el contratista y el cliente. Todo el proceso de las tareas de investigación es muy similar a pasar por alto un árbol en crecimiento: generamos hipótesis y luego las probamos. Durante su refutación o confirmación, surgen nuevas hipótesis.
Experimentos de producto
¿Dar un ejemplo de experimentos exitosos?
Tratamos de adivinar a dónde irá una persona y ofrecerle una "sugerencia de destino". Por ejemplo, el usuario abre el navegador y la aplicación ofrece recorrer las rutas más frecuentes. Ahora ya tenemos alrededor del 13% de las rutas así construidas. Este indicador está en constante crecimiento. Estamos comprometidos a mejorar el modelo predictivo, ver cómo afecta y cuánto más conveniente resulta para el usuario.
Otro ejemplo de un experimento exitoso es el rediseño de la interfaz usando cinta eléctrica ordinaria. Como tenemos un producto específico, probar el navegador I. sentado en la mesa es una pérdida de tiempo. En algún momento, miramos la interfaz de Y. Navigator y nos dimos cuenta de que tenía mucha información duplicada.
Pensamos: “Escucha, la tercera pantalla en la parte superior es un enorme panel negro. ¿Quizás deberíamos tirarlo y sin él todo estará bien? La opción más fácil es tomar una cinta eléctrica regular y pegar la placa superior.
El primer comentario que apareció fue "Entiendo a dónde ir, pero no está claro cuándo vendré". Tomamos las tijeras y las cortamos un poco para que la hora de llegada fuera visible. Nos sorprendió la retroalimentación positiva. La gente llegó tranquilamente a un lugar sin información que estaba sellada con cinta aislante negra, mientras conducían por una ruta desconocida.
¿Cuántas hipótesis se prueban por semana?
Anteriormente, utilizamos el enfoque de prueba de hipótesis todos los lunes de dos a cuatro horas. El objetivo era acostumbrar a los gerentes de producto a probar algunas hipótesis nuevas, probar una nueva solución, preparar un prototipo y realizar una entrevista en profundidad. Después de darnos cuenta de que era común para todos, cambiamos el sistema.
Hicimos esto en forma de un evento el viernes, donde todos compartieron sus impresiones sobre probar las hipótesis. Trajimos productos no solo de Navigator, sino también de Geoservices. Recopilamos una calificación de empleados donde todos recibieron estrellas por su investigación.
Esto fue después de que el primer equipo pequeño tomó un curso de pensamiento de diseño. Era un curso en línea, pero con una parte fuera de línea que requería que todo el equipo completara las tareas. Cuando nos dimos cuenta de que este enfoque era popular dentro de la empresa, comenzamos a realizar un curso para gerentes de producto de Geoservices por nuestra cuenta. Implementamos con éxito esta iniciativa, y en el futuro ayudó al crecimiento interno de los empleados.
Realizamos todas las hipótesis analíticas en el sistema de gestión de tareas. Por lo tanto, esto nos ayuda a analizar su número y aplicar en el futuro los cálculos que se realizaron para la investigación. En promedio, en una cuarta parte, tenemos docenas de tareas diferentes para generar hipótesis y luego confirmarlas o refutarlas. Probablemente pueda evaluarlos en cientos.
¿Qué pasa con los experimentos fallidos?
Estuche con estacionamiento. Ahora los navegadores están configurados solo para llevarlo a su destino final y no ayudan, por ejemplo, a encontrar un espacio de estacionamiento gratuito para un automóvil. Decidimos acercarnos gradualmente a esto. Primero, agregamos una capa de atascos de tráfico en la que mostramos dónde puede pararse, luego agregamos los precios de los estacionamientos, luego el pago de los estacionamientos.
Queríamos que el producto fuera lo más rentable posible para el usuario. Pero la tarea de mostrar espacios de estacionamiento gratuitos no fue fácil para nosotros. Probamos varias hipótesis para rastrear espacios de estacionamiento. Pero todas las hipótesis no fueron confirmadas. Ahora decidimos usar este servicio en una micro ruta. Micro ruta: construye una pequeña ruta circular alrededor del punto de destino para que el usuario no se desvíe y encuentre un estacionamiento.
Un caso sin éxito para nosotros es el experimento en el que, al analizar las métricas, notamos que las personas con más frecuencia comenzaron a subir a la configuración para deshabilitar una nueva función. Esto sucedió cuando reemplazamos la interfaz familiar con otra, más diseñada, en nuestra opinión. Como resultado, la gente comenzó a usar menos el navegador.
Después de la prueba, nos aseguramos de que la información más importante se muestre en un solo lugar y no se duplique en todo el producto.
Analítica
¿Qué enfoques utilizas en análisis predictivo?
Tenemos una oferta que se basa en los viajes anteriores del usuario y ofrece rutas guardadas automáticamente. Esto es aprendizaje automático en el producto.
También utilizamos el modelo de pronóstico clásico. Distinguimos los componentes del comportamiento del usuario: esta es la estacionalidad, el tiempo, incluida una mirada al corte semanal, tenemos en cuenta los criterios de la región y llevamos a cabo la tendencia. Resumiendo todo esto, obtenemos un pronóstico para el futuro.
Como tenemos dos regiones: Rusia y Turquía, la frecuencia de uso del producto varía. Por ejemplo, en Rusia el público crece de lunes a viernes y en Turquía los fines de semana. También tenemos pronósticos de métricas importantes de KPI y de aquellas que podrían convertirse en métricas de KPI.
Utilizamos datos de pronóstico no solo en análisis, sino también en desarrollo. Cuando predecimos atascos de tráfico por tiempo de ruta, se tiene en cuenta la tendencia para la próxima hora y media. Este desarrollo se introdujo a través de experimentos, trabajando con la audiencia.
Para nosotros, una de las principales métricas es la calidad. Por consiguiente, consideramos el error relativo de este indicador y observamos cómo ha cambiado el indicador después de la introducción del pronóstico del tráfico. También lo tenemos en cuenta en diversas condiciones. Por ejemplo, el historial de uso del producto durante las horas pico en carreteras o el uso en atascos de tráfico. Esto es importante porque la situación en las carreteras cambia muy rápidamente, y el navegador debería poder tener esto en cuenta.
Cuando observamos un segmento de datos, tomamos en cuenta las estadísticas no solo para todo el día, sino que también tenemos en cuenta cada segmento individual, que puede ser muy diferente de la dinámica positiva de un día completo.
Monetización
¿Qué es el modelo de monetización Yandex.Navigator?Ahora los geoservicios en Yandex son unidades de negocio separadas. Por lo tanto, estamos tratando de encontrar buenas formas de monetización para Yandex.Navigator. Llevamos a cabo varios experimentos, lanzamos hace un par de años los pines a lo largo de la ruta: este es el formato más ligero, informa bien sobre la ubicación en la que se encuentra su negocio.
También estamos buscando diferentes formatos, cómo puede ayudar de forma nativa al anunciante a llegar al automovilista dentro del navegador. Además, utilizamos formatos de publicidad como carteles publicitarios que se cuelgan en la interfaz del producto cuando se sigue una ruta.
Tenemos proyectos especiales que crean algo de emoción en una persona. Junto con el anunciante, estamos creando un mensaje sobre lo que una persona puede hacer en el futuro cercano. Por ejemplo, teníamos proyectos especiales usando voces adicionales en el navegador. O, por ejemplo, en el centenario de Porshe, reemplazamos la flecha del cursor que lo lleva a lo largo de la ruta con el modelo Porsche.
Estamos tratando de sugerir útilmente a dónde debe ir una persona. Por ejemplo, ahora estamos probando este formato cuando el usuario ha creado una ruta y sabemos que hay un MacAuto en el camino. Si el tiempo de la ruta no es muy diferente, le ofreceremos, con la ayuda de un botón, que agregue Makavto al script.
Este es un formato genial. En primer lugar, porque tiene altas conversiones, y en segundo lugar, porque es súper contextual.
Acerca de la educación
¿Qué recursos para la autoeducación lees?Las cosas que amplían mis horizontes profesionales y que no están directamente relacionadas con el área de trabajo me ayudan. Por ejemplo, la empresa IDEO, que son los principales creadores de investigación sobre pensamiento de diseño en el mundo. Tienen una guía donde enumeran qué investigación usan con los casos del Kit de diseño.
Esto es muy similar al enfoque de programación cuando se inventan nuevos algoritmos. Se inventan tomando prestado de cosas que ya existen en la vida.
Se pueden encontrar más informes sobre la comercialización del producto en el canal
@epicgrowth Telegram.