El CEO de Rick.ai, Ilya Krasinsky, respondió a las preguntas formuladas por los gerentes de producto en formato de preguntas y respuestas en la Epic Growth Conference.
Ver el descifrado debajo del corte.
¿Cuál es una técnica efectiva para evaluar las perspectivas de las características?
Cualquier característica siempre reduce las métricas. Automatizamos un escenario particular del comportamiento humano. Si el porcentaje de personas que entendieron los beneficios de la función y la aprovecharon es prácticamente cero, entonces el valor de la función será mínimo.
Hay inconvenientes después de lanzar una nueva función en el producto: el código de la base de datos crece, aparecen nuevos errores y defectos, los usuarios reciben una primera sesión más difícil y la activación es más difícil.
Hay una técnica de evaluación. Toma una secuencia de usuarios que utilizarán esta función. Por lo tanto, puede evaluar cuánto cambiará la conversión y los ingresos de un usuario pago. A continuación, puede calcular qué tipo de flujo de efectivo puede aportarle una nueva función.
¿En qué punto debería decir "ya es suficiente"? ¿O tienes que saltar e intentar hasta que la falta de financiación detenga mi inicio?
Muy a menudo, el desarrollo de una empresa se ve obstaculizado por la falta de financiación. En este caso, el negocio se convierte para usted no en un activo, sino en una maleta sin asa, lo cual es una pena dejar caer, pero también es difícil de arrastrar.
En consecuencia, en esta situación, exprima el máximo hasta que dispare a este "caballo muerto", porque la próxima vez necesitará de dos a cinco años para acercarse a su punto de desarrollo actual. Determine qué habilidades y experiencia aún puede aportar y no tenga miedo de deshacerse del lastre.
¿Cuándo, en su opinión, más del 50% de las empresas (al menos TI) cambiarán a análisis robótico por analogía con Rick.ai? ¿Cuáles son las principales barreras en este momento?
Los principales problemas de la analítica actual:
Una gran cantidad de empresas ya tienen una división de Big Data. La gran mayoría de estas unidades se dedican al almacenamiento de datos, en el más pequeño: la compilación de algoritmos. Por lo general, existe una brecha tecnológica entre los gerentes superiores, gerentes de producto y analistas de ciencia de datos. Los hombres de negocios a menudo no entienden qué pregunta hacer análisis.
Básicamente, estos datos no son consistentes, es decir, ya contienen errores en la etapa de recopilación.
La analítica es muy frágil, es muy fácil de romper. En consecuencia, la pregunta clave es si tiene un sistema de monitoreo incorporado para el análisis robótico.
La principal barrera para la transición a la analítica robótica es que los datos no se acumulan en los sistemas que usa y, por lo tanto, dan números incorrectos. Por lo tanto, cualquier conclusión y decisión administrativa también será una mentira.
Hasta que este problema se resuelva a nivel de integración y flujo de datos, todos probablemente estarán aserrando su propia Estrella de la Muerte, creyendo que funciona. Ya he visto cinco sistemas de este tipo en mi vida, y cada vez que los desarrolladores encontraron errores y defectos en ellos.
Mi consejo: duplique los datos para que tenga diferentes sistemas de análisis y pueda verificar los números entre sí. Un sistema es algo poco confiable, los errores ocurren muy fácilmente.
¿Cuáles son las perspectivas de ML en el análisis predictivo?
Hay que distinguir dos tipos de aprendizaje automático:
- Compilado en el lenguaje de programación Python.
- Compuesto usando una presentación de PowerPoint.
El último tipo es mucho más usado. Pero, desafortunadamente, en la práctica está muy mal implementado. Estas presentaciones no se traducen bien en un producto que funcione. En consecuencia, el principal problema del aprendizaje automático es que las personas ven un cuadro negro a la salida.
Creo que durante mucho tiempo la gente no puede procesar esos flujos de información. Veo lo que todos vamos de esta manera: o habrá cuadros negros, como los modelos de atribución que hace Google, o algún tipo de sistema que analizará los datos y explicará a la persona cómo analizó lo que está en esta sección (empresa , dominio, conversión).
¿Qué posibilidades hay de que las herramientas prueben hipótesis antes de implementar cambios en el producto?
Ya los tienes: "Hojas de cálculo de Google" o Excel.
La mayoría de las hipótesis no pueden cambiar una sola métrica, no pueden hacer nada bueno para el usuario, necesitan ser disparadas. Y de 50 hipótesis, si deja siete, tiene una posibilidad de éxito.
En 2019, está claro que una persona todavía considera peor que una calculadora. Pero parece que una persona sabe cómo presentar ideas no estándar.
¿Qué preguntas hacerle al producto en la entrevista?
La forma más fácil: hable con diez profesionales de la industria en un formato de red en la conferencia. Recibirá una lista de cincuenta preguntas. Deje las preguntas que le gusten y obtendrá algún tipo de marco.
Como es en nuestro equipo:- Una persona debe tener un alto nivel de energía. Si una persona tiene poca energía, entonces todo el equipo será tóxico.
- Una persona debe ser sistémica y con experiencia de reflexión. Desarrollar una habilidad sistemática es muy costoso y requiere mucho tiempo. Se verifica de manera bastante simple: pregúntele a una persona sobre su experiencia previa, incluso negativa, y qué conclusión hizo de esta experiencia.
Alrededor del 50% de las personas dice: “¡Gracias, gran pregunta! Iré a pensarlo. Esto significa que durante el último año, cuando ocurrió esta situación, no hicieron este trabajo. No tienen ese hábito.
- Un hombre no debe tener miedo. En el curso del trabajo, se deben tomar una gran cantidad de decisiones; lo más probable es que el producto se equivoque. Es importante que no tenga miedo de hacer esto.
¿Cómo medir el efecto incremental del retargeting?
Análisis de disparadores. Tomas el segmento de usuario, ves todas las sesiones de usuario y la cadena de eventos. Divida a las personas en dos grupos: los que están reorientando y los que no.
En la práctica, debe comprender que nunca tenemos la tarea de medir algo con precisión. A menudo esto simplemente no tiene sentido. Si su inversión en retargeting es menor que la cantidad de trabajo que acabo de describir, entonces el trabajo de analizar el retargeting será más costoso que simplemente hacerlo.
Necesita un modelo de atribución preciso. Veamos los conceptos: no es necesario atribuir con exactitud este o aquel ingreso a ninguna campaña publicitaria. Tenemos solo cuatro decisiones de gestión:
- deshabilitar el proceso, no converger en absoluto; gastamos demasiado, no conseguimos casi nada;
- puede modificarse ligeramente;
- no tocar
- para fortalecer
¿Por qué dispararías el producto?
- Si su modelo del mundo no corresponde mucho a la realidad.
- Si sus hipótesis son débiles y poco correlacionadas con nuestros usuarios.
- Si no le gusta comunicarse con los usuarios.
- Si no te gusta hacer pasillos, casas personalizadas.
- Si no prueba sus hipótesis.
- Si utiliza un kit de herramientas irrelevante.
- Esto significa que estará muy equivocado en las conclusiones, no quiere aprender a hacerlo correctamente y simplemente no sigue los últimos marcos que se producen en la industria, lo que significa que se ha quedado atrás.
Realizas experimentos, el 95% de los fracasos, pocos éxitos, constantemente perecederos y dolor en la cabeza. Como ser
El agravamiento ocurre al final del año. Al final del año, las personas recuerdan la meta que se fijaron.
El significado es: debes poder perder. Necesito repetirme: hubo muchos experimentos, así que simplemente no tomé en cuenta y no entendí algo. Cambiamos la economía de la unidad, cambiamos el enfoque, aumentamos la conversión, pero esto no significa que el proyecto estará bien.
Fomentar el apoyo y la atención dentro del equipo. Una de las habilidades que estoy desarrollando en mí ahora: cómo explicarle al gerente de producto, diseñador, comercializador y analista que hicieron todo mal, pero al mismo tiempo para que no se rindan y se pongan a trabajar al día siguiente con las palabras: "Ok, la séptima vez haremos todo de nuevo y tendremos éxito".
¿Los mejores equipos de comida en Rusia?
Creo que hay muchos de ellos. Por ejemplo, Ultimate Guitar, Skyeng, RealtimeBoard. Detrás del éxito de tales compañías están no solo las primeras personas que están en el ojo público, sino también los artistas que realizan un trabajo tremendo todos los días.
Es genial ser amigo de ellos. Es solo un tren gratuito donde obtienes nuevas ideas, libros y marcos. Por lo tanto, rodearme de una lista de personas así, me parece, es una de las tareas importantes.
Más prácticas de habilidades de productos de perfil estrecho en
Epic Workshop Day .