Hemos preparado para los lectores de Habra una traducción del
artículo del equipo de Uber Labs. Los colegas de Uber describen el proceso de trabajo de analistas altamente especializados (en el campo de la ciencia del comportamiento) dentro de una gran corporación, cómo interactúan con otros tipos de analistas (investigadores de UX, analistas de productos) y colegas de otros equipos (producto, desarrollo interno), que resuelven problemas y cómo los abordan. Comentarios sobre el material de Gleb Sologub, director de análisis de Skyeng.
En Uber Labs, nos esforzamos por utilizar las ideas y los métodos de la ciencia del comportamiento para crear programas y productos intuitivos y agradables. Los miembros de nuestro equipo tienen títulos en psicología, marketing y ciencias cognitivas, poseen conocimiento de áreas temáticas, como la toma de decisiones, la motivación y la capacitación, las posibilidades metodológicas en el diseño de experimentos y son expertos en modelos estadísticos y enfoques causales. Este conocimiento nos permite analizar en profundidad los problemas de aumentar el grado de satisfacción del cliente, y gracias a nuestra experiencia en el campo de la metodología y las estadísticas, podemos medir el impacto de la satisfacción en el negocio (uno de esos enfoques es
modelar un intermediario ).
En este artículo, describiremos cómo nuestro equipo aplica el conocimiento teórico sobre el comportamiento humano en la práctica, así como cómo y por qué trabajamos con equipos de productos y marketing para mejorar la experiencia del usuario de nuestros clientes. En particular, veremos un ejemplo con el producto
Express POOL recientemente lanzado.
Nuestro camino hacia la ciencia del comportamiento (sobre datos)
En 2014, Uber se lanzó casi todos los días en una nueva ciudad. Los grupos de trabajo en cada región deberían haber entendido qué estrategias y productos de comunicación funcionan mejor en la región, pero la mayoría de ellos carecían de experiencia en diseño de experimentos y estadísticas. Para resolver este problema, creamos Uber Labs, un equipo de investigadores con experiencia en psicología, marketing y ciencias cognitivas. Este equipo centralizado debía usar sus habilidades en la metodología y el diseño de experimentos y analizar datos a través de modelos jerárquicos para mejorar nuestros productos en beneficio de los pasajeros y conductores en diferentes regiones.
Las consultas individuales fueron efectivas, pero necesitábamos escalar esta experiencia a una gama cada vez mayor de nuestros productos. Después de haber creado plantillas de calculadora para calcular el tamaño de la muestra y el análisis estadístico utilizando
Riny's Shiny , brindamos a los equipos no técnicos la oportunidad de utilizar nuestro conocimiento para sus tareas. Estas herramientas, para trabajar con las que solo era necesario cargar sus datos iniciales, incluían verificaciones integradas de supuestos estadísticos y cumplimiento del modelo, así como la selección automatizada del método analítico apropiado para un conjunto de datos en particular. En la salida, el usuario recibió resultados de análisis y explicaciones claras de estos resultados. Más tarde, junto con el equipo de la plataforma de desarrollo experimental, creamos un
proceso para analizar y verificar datos en nuestra
herramienta de prueba A / B. Esto facilitó a otros equipos el análisis eficiente de los datos.
A medida que la empresa creció y se expandió, creando nuevas áreas para el desarrollo de productos, nos dimos cuenta de que podíamos fortalecer nuestra influencia trabajando directamente con los equipos de desarrollo. A principios de 2017, comenzamos a aplicar el conocimiento aplicado sobre el comportamiento además de las estadísticas. Pasamos de un enfoque pasivo y de apoyo a ideas ya formuladas a uno activo: comenzamos a usar nuestro conocimiento en el campo del aprendizaje y la memorización, lo que nos permitió proponer soluciones concretas basadas en la investigación científica existente. Además de la experimentación, comenzamos a admitir nuevas direcciones: estrategia de producto, diseño de programas, optimización de contenido y medición del impacto comercial.
Gracias a nuestra capacitación, los especialistas en comportamiento están bien versados en métodos de investigación cualitativos y cuantitativos. Nuestro campo de actividad se expandió, dejamos de ser solo investigadores, nos convertimos en expertos en análisis de datos y decidimos centrarnos en los métodos de investigación cuantitativa como un componente importante de nuestro trabajo con datos. El departamento de UX de Uber emplea especialistas altamente calificados que se dedican a la investigación de calidad. Al centrarnos en métodos cuantitativos, como probar ideas teóricamente válidas a través de la experimentación y aplicar nuevos enfoques estadísticos, complementamos el ecosistema de investigación más amplio de Uber.
Nuestro flujo de trabajo: cómo implementamos ideas y métodos
Organizamos nuestro flujo de trabajo para que no solo ayudemos a resolver problemas a través del asesoramiento en un momento específico, sino que también proporcionemos efectividad a largo plazo al escalar el conocimiento y los métodos en el campo de la ciencia del comportamiento utilizando plantillas y plataformas especiales. Le diremos más sobre estos procesos.
1. La consultoría es el enfoque más efectivo para resolver problemas tácticos a nivel de un producto o función específicos. Trabajamos directamente con productos, marketing y otros equipos de datos y ofrecemos recomendaciones científicamente sólidas para resolver los problemas que enfrentan.
2. Para ejercer una mayor influencia en la formación de estrategias analíticas y de productos, nuestro equipo crea pautas de contenido y desarrollo, así como plantillas de R y Python, lo que permite a nuestros colegas de Uber estudiar y reproducir nuestros métodos de forma independiente.
3. Finalmente, trabajamos con equipos de toda la empresa para proporcionar acceso con un clic a nuestras ideas y metodologías analíticas. Como ejemplo, podemos trabajar con un equipo que desarrolla una plataforma para experimentos en una
herramienta para el análisis post- experimental
.Nuestro asesoramiento a menudo implica la aplicación de conocimientos teóricos a los problemas que describiremos en el siguiente ejemplo. En nuestro trabajo, adoptamos un enfoque cuantitativo para resolver tales problemas. Todo nuestro trabajo con datos se basa en preguntas sobre el comportamiento del usuario y se divide en tres categorías: evaluación cuantitativa de construcciones y procesos psicológicos, aplicación de métodos de ciencias del comportamiento y análisis experimental.
Primero, usamos los datos de Uber para cuantificar construcciones psicológicas ocultas y procesos que determinan el comportamiento. Para hacer esto, adaptamos los métodos existentes de las ciencias de la sociedad y el comportamiento, como el
análisis factorial , o desarrollamos otros nuevos. Para resolver problemas más difíciles, aplicamos algunos métodos que se usan con menos frecuencia en la ciencia de datos, por ejemplo, el enfoque de
modelado intermedio desarrollado por nosotros o el
análisis de series de tiempo interrumpidas . Finalmente, analizamos los datos de varios experimentos, que van desde pruebas estándar A / B hasta métodos que se usan cuando las pruebas A / B son imposibles o indeseables, por ejemplo,
experimentos con promoción aleatoria .
En ciencia, la investigación se usa con mayor frecuencia para desarrollar aún más una teoría, en lugar de resolver problemas aplicados. Para nuestro equipo, uno de los aspectos más importantes de la transición del conocimiento teórico a una tarea empresarial específica es la capacidad de aplicar la investigación aplicada para mejorar la experiencia del usuario.
Al comenzar a trabajar con equipos de productos en el campo de la ciencia del comportamiento, nos enfrentamos al hecho de que incluso cuando los conceptos parecen simples de entender y usar, su aplicación no sistemática puede tener consecuencias imprevistas. Por lo tanto, siempre es necesario considerar el
contexto situacional e individual. Por ejemplo, en la ciencia de la conducta existe un fenómeno familiar de
aversión a la pérdida, familiar para muchos. A primera vista, su esencia es obvia: las personas a menudo prefieren evitar pérdidas que obtener beneficios. Sin embargo, hay muchas situaciones en las que presentar algo como una pérdida puede molestar o enojar al usuario, en lugar de motivarlo. Por ejemplo, un usuario de larga data del programa de fidelización, para quien toda la experiencia de interactuar con la aplicación se basó en obtener puntos, puede enojarse si le dicen que perderá puntos si no realiza una compra de inmediato. Incluso las tendencias comunes, como la aversión a la pérdida, pueden tener consecuencias imprevistas o negativas si trabaja con ellas fuera de contexto. No importa qué tan exitoso sea su enfoque, recomendamos experimentar para comprender mejor y predecir con mayor precisión el resultado de su uso.
Caso: PISCINA Express
Dado que la ciencia del comportamiento es en gran medida situacional, gran parte de nuestro trabajo consiste en asesorar a los equipos que desarrollan un producto en particular. Nuestra colaboración con el equipo de Express POOL es un ejemplo de cómo el equipo de ciencias del comportamiento aplicado aplica la investigación teórica al desarrollo de productos.
A principios de 2018, Uber lanzó
Express POOL . Al igual que
uberPOOL , Express POOL implica viajar juntos y compartir los gastos con los pasajeros en el camino. A diferencia de uberPOOL, uberX y nuestros otros productos de transporte compartido, cuando use Express POOL tendrá que esperar un poco más para llegar al destino de un automóvil adecuado y caminar hasta el lugar de aterrizaje indicado. Tales cambios permiten crear rutas más directas y eficientes, lo que, a su vez, hace que el viaje sea más accesible.
Los pasajeros están acostumbrados al hecho de que el automóvil llega rápidamente exactamente donde están, por lo tanto, al desarrollar el producto, se prestó especial atención a cómo los usuarios interactúan con el nuevo producto. Quedó claro que era necesario mejorar muchos aspectos: los clientes cancelaron los viajes entre la solicitud y la selección de una opción adecuada. Los pasajeros tuvieron que esperar más y las cancelaciones ocurrieron con mucha más frecuencia que cuando se usaban otros productos.
Por lo general, comenzamos el proceso de consulta reuniéndonos con el equipo que trabaja en el producto para comprender el problema. Este equipo incluye un gerente de producto, gerente de marketing, investigador de experiencia de usuario, ingeniero y especialista en datos de productos. Revisamos y tomamos en cuenta la investigación preliminar del equipo, como las pruebas de usabilidad. En el caso de Express Pool, después de haber conectado con el proyecto, aprendimos los detalles descritos anteriormente.
Habiendo estudiado el contexto y entendiendo el problema general, realizamos una revisión de literatura especial con un análisis en profundidad de los datos disponibles de la ciencia de la conducta para determinar la metodología para resolver este problema. Entonces, profundamente inmersos en el contexto, transformamos nuestro conocimiento en escenarios de cambio real para los equipos de productos y recomendamos formas de probar estos desarrollos.
En este caso, comenzamos a estudiar la literatura
sobre la ciencia del comportamiento para aprender más sobre cómo las personas perciben el tiempo y las expectativas. Hemos identificado tres conceptos que son importantes para comprender los tiempos de espera:
rechazo de la inacción ,
transparencia de la acción y el
efecto del gradiente del objetivo . El concepto de rechazo de la inacción es obvio: las personas tienen miedo de la inacción y quieren estar constantemente ocupadas. También descubrimos que la transparencia de las acciones o la divulgación a los usuarios de lo que sucede con su solicitud en un momento dado aumenta la calificación del producto por parte del consumidor. Finalmente, el efecto de gradiente de objetivo se caracteriza por un aumento en la motivación y grandes esfuerzos que las personas están listas para ejercer cuando sienten que se están acercando a su objetivo.
Ante esto, recomendamos mostrar el progreso mientras espera, reflejando cada paso en la aplicación, por ejemplo, indicando los acompañantes seleccionados y notificando al cliente sobre qué automóvil se encontró.
Se puede obtener información adicional, como una explicación del principio de calcular los tiempos de llegada, haciendo clic en el icono de información. El equipo de Express POOL probó estas ideas con pruebas A / B y registró una reducción del 11% en el número de cancelaciones después de llamar a la máquina.
Fig. 1. El diseño de prueba de la interfaz de usuario de Express POOL muestra pasos detallados y utiliza iconos para obtener más información sobre el estado del pedido.Como se describe en este ejemplo, después de un estudio detallado de las características del comportamiento humano, desarrollamos ideas prioritarias basadas en suposiciones sobre el impacto potencial y los posibles riesgos. Para probar nuestras ideas, organizamos y realizamos experimentos, y luego analizamos los datos. En la Figura 2 se muestra todo el proceso de nuestro proyecto de investigación, plasmado en nuestro trabajo en Express POOL:
Figura 2. Por lo general, nuestro flujo de trabajo comienza con la declaración del problema y termina con experimentos.
1. Definición del problema.
Obtenga información sobre el problema de los equipos asociados.
2. Análisis en profundidad e inmersión en la ciencia del comportamiento.
Formule el problema en términos relevantes del campo de la ciencia del comportamiento.
3. Formulación de ideas basadas en el conocimiento científico existente.
Proponer una idea específica para un producto basada en los resultados de la investigación científica.
4. Priorización
Junto con otros equipos, priorice las ideas, teniendo en cuenta los resultados económicos esperados y los posibles riesgos.
5. Experimentación
Realice experimentos para probar ideas (desarrolle opciones de experimentos, determine el público objetivo, analice los datos recibidos, etc.).La aplicación de la ciencia del comportamiento ayuda a agregar valor al producto
Nuestro trabajo en Express POOL demuestra el valor único que nuestros estudios en el campo de las características del comportamiento humano, respaldados por décadas de experimentos científicos en este campo, representan para el producto en el futuro. Armados con esta información, trabajamos junto con investigadores de UX y analistas de productos que utilizan sus habilidades para resolver problemas distintos de los que estamos investigando. Por ejemplo, durante nuestro experimento con Express POOL, los analistas de productos monitorearon cuidadosamente las métricas de las aplicaciones y encontraron oportunidades para mejorar la tasa de cancelación de pedidos después de una solicitud. Los investigadores de UX realizaron viajes de prueba para comprender las causas de las dificultades de los pasajeros y comprender el problema. Como investigadores de datos de comportamiento, utilizamos nuestro conocimiento y metodología para proponer una solución a un problema que puede probarse empíricamente.
Tomamos en cuenta nuestro conjunto especializado de habilidades y cómo podemos agregar valor al producto cuando elegimos con qué equipos trabajamos y qué proyectos emprendemos. A nivel global, elaboramos un plan de prioridad para el año, determinado por el desempeño económico deseado del producto. A un nivel más detallado, el equipo de desarrollo proporciona información sobre qué áreas del producto tienen los problemas más acuciantes. En base a esto, elegimos qué proyectos y en qué secuencia llevaremos a cabo junto con otros equipos. Es importante tener en cuenta que nuestro equipo considera estas áreas de desarrollo desde el punto de vista de la ciencia del comportamiento, determinando dónde usar nuestro conocimiento aplicado y nuestra experiencia de análisis cuantitativo. En algunos casos, esto puede significar la exclusión de la prioridad de aquellos experimentos para los cuales se necesita una sólida base teórica o investigación cualitativa que no requiera nuestras habilidades metodológicas. Logramos resultados serios, siempre luchando por ejercer la máxima influencia tanto en los negocios como en el grado de relevancia de la aplicación de la ciencia del comportamiento.
Resultados clave
En el futuro, a medida que Uber desarrolle nuevas oportunidades de desarrollo y mejore los productos existentes, esperamos que nuestro equipo tenga muchas oportunidades de utilizar la ciencia del comportamiento para ofrecer a nuestros usuarios el mejor servicio posible. En 2019, continuaremos colaborando con otros equipos en proyectos innovadores y altamente efectivos, y también invertiremos en ampliar nuestro conocimiento para hacer que la ciencia del comportamiento sea más accesible. Nos complace continuar aplicando activamente nuestro conocimiento teórico y metodológico y aumentar la efectividad de las funciones, programas y plataformas creadas en nuestra empresa.
Comentario de Gleb Sologub, director de análisis de Skyeng
En Skyeng, los métodos de la ciencia del comportamiento se tienen en cuenta y se utilizan en la preparación de experimentos y pruebas A / B en varias páginas de destino, en el desarrollo de nuestras aplicaciones móviles y plataforma web para la realización de lecciones.
Por ejemplo, a través de pruebas A / B, recientemente descubrimos cómo los efectos del cebado afectan la elección de un paquete de lecciones para nuestros estudiantes y su decisión de compra, dependiendo de la ubicación de las opciones en la página de pago. Comprender los mecanismos de motivación nos ayuda a seleccionar los mejores esquemas de motivación para maestros y gerentes de ventas. Y encarnamos el conocimiento en el campo de la metodología de enseñanza en interfaces especiales, que permiten aumentar la efectividad del profesor.
Creo que no hay tantas compañías en el mundo que puedan permitirse mantener un equipo separado de analistas de comportamiento en el personal. En Skyeng, estamos tratando de educar a los investigadores existentes para que expandan constantemente su arsenal de métodos y sepan cómo elegir los que necesitan para una tarea específica. Y, por cierto, nuestro equipo analítico está creciendo: ¡ hay vacantes interesantes !
Foto de meo de Pexels