Una herramienta para ayudarlo a elegir las mejores ideas para su producto.

Imaginemos que está administrando un producto que ayuda a las pequeñas empresas a brindar asistencia técnica a sus clientes. Está buscando formas de aumentar el compromiso y la retención de sus clientes. Tienes dos ideas:

• Un tablero que permite a los dueños de negocios monitorear las estadísticas de participación.
• Un chatbot que ayuda a los dueños de negocios a automatizar la comunicación con los consumidores.

Un panel de control es una característica que se ha discutido varias veces con los usuarios y usted siente que tiene un gran potencial, pero también se da cuenta del riesgo de que solo un gran usuario use paneles de control. Chatbot es algo agradable para todos los empleados de su empresa y es impulsado por la administración: parece algo muy necesario para los clientes, este es un proyecto genial. Y sí, los bots de chat están de moda ahora.

¿Qué eliges?

Dichos problemas de priorización están en el corazón de la gestión del producto. El precio de un error por la elección incorrecta puede ser bastante alto: el costo de desarrollo + el costo de implementación en producción + el costo de soporte + los costos de ganancias perdidas + todos los demás costos.

A menudo estamos tentados a tomar decisiones sobre señales débiles: voces mayoritarias, opiniones de personas autorizadas ( HiPPO ), tendencias de la industria, etc., pero, como lo demuestra la experiencia, esta es una mala heurística, este enfoque no es mejor que lanzar una moneda.

En este artículo, demostraré cuál es, en mi opinión, la mejor manera de encontrar buenas ideas. Este enfoque incluye tres componentes:

• Ratio ICE
• Nivel de confianza
• Validación incremental

Ratio ICE

El cálculo del coeficiente ICE es un método de priorización inventado por Sean Ellis, la persona que ayudó a desarrollar empresas como DropBox, Eventbrite y el término "pirateo del crecimiento" . El cálculo del coeficiente ICE originalmente tenía la intención de priorizar los experimentos de crecimiento, pero también se puede aplicar a cualquier otra idea.

Calcula el coeficiente de cada idea utilizando la siguiente fórmula:

ICE = Impact () * Confidence () * Ease (),

donde:

• La influencia es una evaluación de cuán positivamente influirá una idea en una métrica clave que está tratando de mejorar.
• La simplicidad (implementación) es una evaluación de cuánto esfuerzo y recursos se requerirán para implementar una idea. Esta es la inversa de la estimación clásica de los costos laborales (en semanas-hombre): cuanto menos esfuerzo, más simplicidad.
• Confianza: muestra cuán seguros estamos de la influencia que se proporcionará, y también, hasta cierto punto, habla de la simplicidad de la implementación. Escribí un artículo completo explicando por qué la priorización por trabajo y valor no funciona . [ traducción de este artículo sobre Habré ]. En resumen, la conclusión es que todos somos muy pobres en las estimaciones e ingenuamente no sospechamos al respecto. La confianza es un antídoto, nos ayuda a ser más precisos en los supuestos.

Los tres indicadores están llenos de valores en escalas relativas del 1 al 10, por lo que ninguno de ellos está sobreestimado. Cada equipo por sí mismo determina a qué indicadores corresponde el 1-10, de modo que cada equivalente sea apropiado. En última instancia, el propósito de la evaluación es obtener un "Banco de Ideas" que se vea más o menos así:

Veamos un ejemplo para ver cómo funciona esto.

La primera versión de ICE

Decidió calcular los coeficientes ICE para dos ideas: un tablero y un chatbot. En una etapa temprana, utiliza valores brutos, basados ​​en su propia intuición.

Impacto: supones que el panel de control aumentará significativamente la retención, pero solo para algunos usuarios, así que pon 5 de 10. Chatbot, por otro lado, puede afectar a un gran número de usuarios, por lo que pones 8 de 10.

Simplicidad: usted cree que un tablero requerirá 10 semanas-hombre de desarrollo, y un bot de chat - 20, basado únicamente en datos de proyectos anteriores similares. Obtendrá mejores calificaciones del equipo de desarrollo más adelante, pero por ahora, use esta tabla simple (compilada con el equipo) para convertir las calificaciones en el valor del parámetro Simplicity:

Como resultado, el tablero obtiene un valor de simplicidad de 4 sobre 10, y el bot de chat obtiene 2.

Consideramos el indicador de confianza

Solo hay una forma de calcular la confianza: observe la evidencia de apoyo. Con este fin, creé una herramienta que describe las pruebas de tipo y la evidencia que puede tener, y los valores del parámetro de confianza que tienen. Cuando use esta herramienta, considere qué artefactos ya tiene, cuántos hay y qué necesita hacer para obtener aún más valor.

Texto en imagen - Nivel de confianza:

• Sobre cero:
  
  • Confianza propia
  • Presentación
  • Soporte temático: coherente con la visión / estrategia, tendencias / palabras de moda actuales, investigación externa, tendencias macro, metodología del producto.
• Muy bajo:
  
  • La opinión de alguien: el equipo, la gerencia, los expertos externos, los inversores, los medios de comunicación, alguien más piensa que la idea es buena.
  • Evaluaciones y planes: cálculos sobre servilletas, evaluación de viabilidad, cronograma del proyecto, modelo de negocio.
• Evidencia poco oficial: basada en varios aspectos de los datos del producto, solicitudes de ventas frecuentes, 1-3 clientes interesados, algunos de los competidores ya tienen esto ...
• Media baja:
  
  • Datos del mercado: evidencia basada en encuestas, pruebas de humo, todos los competidores ya tienen esto ...
  • Evidencia de usuarios / clientes: basada en una gran cantidad de datos de productos, solicitudes de los principales usuarios, entrevistas con más de 20 usuarios, resultados de investigación de usabilidad, resultados de lanzamiento de MVP.
• Resultados de la prueba media: basados ​​en una larga investigación del usuario, resultados de lanzamiento de MVP a mayor escala, versiones alfa, beta, experimentos A / B.
• Alto: datos después del lanzamiento.

Nota Si se utiliza otra evidencia en su producto o industria, puede crear su propia versión de la Herramienta de confianza, solo considere lo que es fuerte y lo que es evidencia débil. Más información en una publicación anterior .

Volvamos a nuestro ejemplo y veamos la herramienta Confianza en acción.

• Evidencia de apoyo para el chatbot: su propia confianza (cree que es una buena idea), apoyo temático (la industria cree que es una buena idea) y las opiniones de otros (sus líderes y colegas creen que es una buena idea). Esto le da un valor final de confianza de 0.1 de 10, es decir cerca de cero La herramienta claramente no considera las opiniones como un indicador confiable. Interesante
• Para el tablero de instrumentos, existe la siguiente evidencia: confianza en sí mismo (cree que es una buena idea), evidencia no oficial (un puñado de clientes pidió esto). De hecho, esto aumenta el valor de Confianza a 0.5 de 10, lo que significa un bajo nivel de confianza. Desafortunadamente, los usuarios no predicen bien su comportamiento futuro.

Cálculo del coeficiente ICE:

Texto en la imagen: a lo largo del eje Y - puntaje ICE, a lo largo del eje X - una ronda de priorización. El punto azul es el tablero de instrumentos, el punto rojo es el bot de chat.

Por el momento, el tablero parece una idea más adecuada, pero la herramienta muestra que el nivel de confianza es bajo. Hasta ahora, simplemente no hay suficiente información para tomar una decisión.

Evaluación y verificación de viabilidad

Luego, se reúne con colegas de desarrollo y UX, y luego discute ambas ideas juntos. Ambos proyectos a primera vista parecen bastante factibles. El tímido desarrollo vuelve con estimaciones aproximadas de la mano de obra: un panel tardará 12 semanas en iniciarse y un bot de chat - 16. Según su escala de simplicidad, esto significa los indicadores 4 y 3, respectivamente.

Paralelamente, realiza cálculos en una servilleta y actualiza la columna "Influencia". En una inspección más cercana, el tablero parece un poco menos prometedor y obtiene 3. El chatbot todavía se ve sólido, a las 8.

El uso de la herramienta de confianza muestra que ambas ideas ahora pasan la prueba de "Evaluaciones y planes" y reciben nuevos indicadores del parámetro de confianza. El tablero ahora tiene 0.8, chatbot - 0.4.

Por lo tanto, el bot de chat eliminó la brecha. Sin embargo, el nivel de confianza sigue siendo bajo por una buena razón: se trata principalmente de cifras obtenidas del aire, y usted comprende que se necesita reunir más evidencia.

Datos del mercado

Envía un cuestionario con una encuesta a los usuarios actuales, pidiéndoles que elijan una de las 5 funciones potenciales, la lista incluye un bot de chat y un tablero. Obtienes cientos de respuestas. Los resultados son muy positivos para el chatbot: esta es la característica # 1, el 38% de los encuestados la eligió. El tablero de instrumentos ocupa el tercer lugar con el 17% de los votos.

Esto le da a ambas características un poco de soporte con los datos del mercado, pero el chatbot tiene un indicador más alto: 1.5. El tablero también obtiene un valor aumentado para la columna Confianza, pero hasta ahora solo hasta 1.

Chatbot se está convirtiendo en un líder fuerte. Parece que sus colegas y la industria tenían razón. ¿Es hora de apretar el gatillo? Probablemente no. Los proyectos son bastante caros y todavía tenemos poca confianza en el éxito. Desafortunadamente, los resultados de la encuesta no crean una señal lo suficientemente fuerte. Seguimos trabajando!

Evidencia de clientes

Para obtener más información, realice un estudio con diez usuarios actuales, mostrándoles prototipos interactivos de cada característica. Paralelamente, realiza una entrevista telefónica y entrevista a 20 encuestados que deben elegir una de las dos funciones candidatas.

El estudio muestra una imagen más detallada:

• 8 de cada 10 clientes consideraron útil el tablero y dijeron que lo usarían al menos una vez por semana. Su comprensión de la funcionalidad coincide con lo que quería transmitir y no experimentaron dificultades en el proceso de trabajar con el tablero. Las entrevistas telefónicas confirmaron la comprensión y el deseo de usar en promedio una vez por semana.
• 9 de cada 10 participantes del estudio dijeron que usarían el chatbot, su nivel de entusiasmo era muy alto. Todos entendieron de inmediato cómo el chatbot puede ayudarlos, y muchos pidieron acceso lo antes posible. Sin embargo, se identificaron problemas importantes de usabilidad, además de que algunos usuarios expresaron su preocupación de que sus clientes podrían no estar contentos con las respuestas poco naturales del bot.

Este estudio cualitativo proporcionó alimento para el pensamiento. El tablero de instrumentos parece más solicitado de lo que se pensaba. Y el chatbot ahora parece un proyecto con mayores riesgos y con un mayor potencial. Mirando la Herramienta de confianza, configura el panel de control y el chatbot en 3 y 2.5, respectivamente. Actualiza los valores de Influencia a 6 para el tablero y 9 para el chatbot. Además, según los resultados de la investigación de usabilidad, comprende que la interfaz de usuario del bot de chat requerirá más trabajo, por lo que reduce el parámetro Simplicity a 2.

La tabla ha cambiado nuevamente y ahora el tablero está a la cabeza. Trae resultados a su equipo y liderazgo. El pronóstico, basado estrictamente en el ICE, declara que el tablero es el ganador, por otro lado, el nivel de confianza aún está lejos de ser alto. No quiero dejar de lado una característica potencialmente buena, por lo que el equipo decide continuar probando ambas.

Últimas pruebas y ganador!

Decidió comenzar a crear MVP para el bot de chat: el desarrollo tardó seis semanas y lo lanzó para 200 encuestados que participaron en la encuesta anterior y expresaron su deseo de participar en las pruebas beta. 167 incluyó la función, pero el número de usos disminuyó drásticamente día a día, y al final de la segunda semana solo 24 personas eran usuarios activos. En encuestas y llamadas posteriores, la imagen se aclaró. El chatbot es más difícil de usar y significativamente menos útil de lo que esperaban los participantes, lo que es peor, es hostil para los clientes que parecen apreciar el contacto personal. De hecho, esta característica hace que los dueños de negocios trabajen más.

Analizando los resultados, usted y el equipo llegan a la conclusión de que lanzar una versión conveniente del chatbot que cumpla con las expectativas de los clientes requerirá un mínimo de 40-50 semanas-persona adicionales (Simplicidad = 1) y esto es muy arriesgado. También está claro que un número mucho menor de usuarios percibe que el chatbot es conveniente de lo que se esperaba originalmente. Por lo tanto, redujo la Influencia a 2. Esto cambia la idea original de una manera fundamental, de modo que ya no puede creer y aceptar los resultados de la investigación del usuario, por lo tanto, reduzca el puntaje de Confianza a 0.5.

Panel de MVP lanzado en cinco semanas para otros 200 usuarios. Los resultados son muy buenos. El 87% de los participantes lo usan, la mayoría de los días, el flujo de salida es pequeño. La retroalimentación es extremadamente positiva, la mayoría solicita acceso a una funcionalidad completa. Usted comprende que el Impacto es mayor de lo que esperaba: 8. El equipo de desarrollo estima que completar la versión completa llevará 10 semanas, por lo que Simplicidad 4. De acuerdo con la herramienta, establece la Confianza en 6.5 de 10.

La priorización es ahora muy simple. Nadie discute que el panel es la característica que debe abordarse. Dejas un chatbot en tu Banco de ideas para registrar futuros hallazgos, pero, por supuesto, está ordenado hasta el final debido al bajo coeficiente ICE.

Total

1. Deja de invertir en malas ideas

Este ejemplo ilustra lo arriesgado que es apostar por características que requieren mucho esfuerzo y se basan en talento, opiniones, tendencias del mercado, etc. La mayoría de las ideas se parecen más a un chatbot que a un tablero. Traen menos resultados y cuestan mucho más de lo que piensas. La única forma de encontrar ideas ganadoras es probarlas y reducir el nivel de incertidumbre.

2. Preocúpese por los resultados, no por las características

Parece una forma lenta y lenta de crear productos, pero en realidad es una forma más eficiente que las alternativas. Las pruebas para determinar el indicador de confianza no solo reducen la cantidad de esfuerzo desperdiciado en malas ideas, sino que también enfocan a los equipos en hitos de aprendizaje cortos y tangibles con resultados rápidos y medibles, lo que mejora el enfoque y el rendimiento. En el proceso, aprendemos mucho sobre nuestro producto, usuarios, mercado y, como resultado, tenemos el mejor producto final que ya ha sido probado por los clientes. Por esta razón, es menos probable que nos sorprendamos con los resultados del lanzamiento, y se requieren muchas menos correcciones.

3. Deje florecer miles de flores

En realidad, a menudo tenemos que elegir, no entre dos ideas, sino entre docenas. Al limitar la cantidad de esfuerzo para cada uno, dado el nivel de confianza, tenemos la oportunidad de probar muchas ideas en paralelo, evitando las trampas del enfoque tradicional del desarrollo. Puede leer más sobre esto en el artículo "Por qué debería dejar de usar hojas de ruta de comestibles y probar GIST" .

En este ejemplo, el equipo prueba cuatro ideas en paralelo, lanzando proyectos de varios pasos. Cada uno mejora gradualmente la idea, como resultado de las pruebas que aumentan el nivel de confianza en los resultados.

4. Cómo arrastrar el liderazgo y las partes interesadas a su lado

Lo que más molesta a las personas cuando explico este tema es la cuestión de cómo "venderlo" a la gerencia y las partes interesadas. ¿Podemos realmente hacer que limiten su nivel de influencia en el producto? Bueno, te sorprenderás. Muchos ejecutivos me dijeron que preferirían no tomar decisiones sobre problemas de productos, pero si el equipo ofrece opciones débiles, sienten la necesidad de involucrarse. Que hay opciones débiles y fuertes es, por supuesto, una opinión subjetiva hasta que muestres no solo una presentación pulida, sino que vengas con evidencia real que sea creíble. Se sorprenderá mucho cuando se dé cuenta de lo fácil que es la discusión. Por otro lado, la próxima vez que su CEO venga con otro lote de ideas imprescindibles, intente mostrarle cómo se evalúan tales ideas: qué indicadores de Influencia, Simplicidad y Confianza indica, qué coeficiente de ICE como resultado resulta, cómo se compara con otros ideas y cómo puede probarlas para aumentar la confianza.

La mayoría de las personas razonables estarán de acuerdo en que esta es una buena manera. Si todavía no están convencidos, tíreles un enlace a la traducción o la publicación original de Itamar , donde está listo para defender este enfoque en los comentarios.

En la empresa unida “Ruedas | Techo | Mercado ”buscamos gerentes de productos que estén dispuestos a experimentar, probando hipótesis de forma rápida y económica. Puede solicitar la vacante en Headhunter y en el sitio web corporativo .