Preparamos para os leitores de Habra uma tradução do
artigo pela equipe do Uber Labs. Os colegas da Uber descrevem o processo de trabalho de analistas altamente especializados (no campo da ciência do comportamento) dentro de uma grande corporação, como eles interagem com outros tipos de analistas (pesquisadores de UX, analistas de produto) e colegas de outras equipes (produto, desenvolvimento interno), que eles resolvem problemas e como os abordam. Comentários sobre o material por Gleb Sologub, diretor de análises da Skyeng.
No Uber Labs, nos esforçamos para usar as idéias e métodos da ciência do comportamento para criar programas e produtos intuitivos e agradáveis. Nossos membros da equipe são graduados em psicologia, marketing e ciências cognitivas, possuem conhecimento de áreas de estudo - como tomada de decisão, motivação e treinamento, possibilidades metodológicas no projeto de experimentos e são especialistas em modelagem estatística e abordagens causais. Esse conhecimento nos permite analisar profundamente os problemas do aumento do grau de satisfação do cliente e, graças à nossa experiência no campo da metodologia e estatística, podemos medir o impacto da satisfação no negócio (uma dessas abordagens é a
modelagem de um intermediário ).
Neste artigo, descreveremos como nossa equipe aplica na prática conhecimentos teóricos sobre o comportamento humano, além de como e por que trabalhamos com equipes de produto e marketing para melhorar a experiência do usuário de nossos clientes. Em particular, veremos um exemplo com o produto
Express POOL, lançado recentemente.
Nosso caminho para a ciência do comportamento (sobre dados)
Em 2014, o Uber foi lançado quase todos os dias em uma nova cidade. Os grupos de trabalho em cada região deveriam ter entendido quais estratégias e produtos de comunicação funcionam melhor na região, mas a maioria deles não possuía experiência em planejamento e estatística de experimentos. Para resolver esse problema, criamos o Uber Labs - uma equipe de pesquisadores com formação em psicologia, marketing e ciências cognitivas. Essa equipe centralizada deveria usar suas habilidades na metodologia e no design de experimentos e analisar dados por meio de modelagem hierárquica para melhorar nossos produtos para o benefício de passageiros e motoristas em diferentes regiões.
As consultas individuais foram eficazes, mas precisávamos ampliar esse conhecimento para uma gama cada vez maior de nossos produtos. Tendo criado modelos de calculadora para calcular o tamanho da amostra e a análise estatística usando o
Riny's Shiny , fornecemos às equipes não técnicas a oportunidade de usar nosso conhecimento em suas tarefas. Essas ferramentas, para trabalhar com as quais era apenas necessário fazer o upload dos dados iniciais, incluíam verificações internas de suposições estatísticas e conformidade do modelo, além de seleção automatizada do método analítico apropriado para um conjunto de dados específico. Na saída, o usuário recebeu resultados da análise e explicações claras desses resultados. Posteriormente, em conjunto com a equipe da plataforma de desenvolvimento experimental, criamos um
processo para analisar e verificar dados em nossa
ferramenta de teste A / B. Isso facilitou a análise eficiente dos dados por outras equipes.
À medida que a empresa crescia e se expandia, criando novas áreas para o desenvolvimento de produtos, percebemos que poderíamos fortalecer nossa influência trabalhando diretamente com as equipes de desenvolvimento. No início de 2017, começamos a aplicar o conhecimento aplicado sobre comportamento, além das estatísticas. Passamos de uma abordagem passiva e apoiamos as idéias já formuladas para uma ativa: começamos a usar nosso conhecimento no campo da aprendizagem e da memorização, o que nos permitiu propor soluções concretas com base nas pesquisas científicas existentes. Além da experimentação, começamos a apoiar novas direções: estratégia do produto, design do programa, otimização de conteúdo e medição do impacto nos negócios.
Graças ao nosso treinamento, os especialistas em comportamento são versados em métodos de pesquisa qualitativa e quantitativa. Nosso campo de atividade expandiu-se, deixamos de ser apenas pesquisadores, nos tornamos especialistas em análise de dados e decidimos focar em métodos quantitativos de pesquisa como um componente importante do nosso trabalho com dados. O departamento de UX do Uber emprega especialistas altamente qualificados que estão envolvidos em pesquisas de qualidade. Ao focar em métodos quantitativos, como testar idéias teoricamente válidas por meio de experimentação e aplicar novas abordagens estatísticas, complementamos o ecossistema de pesquisa Uber mais amplo.
Nosso fluxo de trabalho: como implementamos idéias e métodos
Organizamos nosso fluxo de trabalho para não apenas ajudar a resolver problemas por meio de aconselhamento em um momento específico, mas também garantir a eficácia a longo prazo, escalando conhecimentos e métodos no campo da ciência do comportamento usando modelos e plataformas especiais. Contaremos mais sobre esses processos.
1. A consultoria é a abordagem mais eficaz para resolver problemas táticos no nível de um produto ou função específica. Trabalhamos diretamente com equipes de produtos, marketing e outros dados e fornecemos recomendações cientificamente sólidas para resolver os problemas que enfrentam.
2. Para exercer uma influência maior na formação de estratégias analíticas e de produtos, nossa equipe cria diretrizes de conteúdo e desenvolvimento, além de modelos R e Python, que permitem que nossos colegas da Uber estudem e reproduzam independentemente nossos métodos.
3. Finalmente, trabalhamos com equipes de toda a empresa para fornecer acesso com um clique a nossos insights e metodologias analíticas. Como exemplo, podemos trabalhar com uma equipe desenvolvendo uma plataforma para experimentos em uma
ferramenta para análise pós- experimental
.Nosso aconselhamento geralmente envolve a aplicação de conhecimentos teóricos aos problemas que descreveremos no exemplo abaixo. Em nosso trabalho, adotamos uma abordagem quantitativa para resolver esses problemas. Todo o nosso trabalho com dados é construído em torno de perguntas sobre o comportamento do usuário e é dividido em três categorias: avaliação quantitativa de construções e processos psicológicos, aplicação de métodos da ciência comportamental e análise experimental.
Primeiro, usamos os dados do Uber para quantificar construções e processos psicológicos ocultos que determinam o comportamento. Para fazer isso, adaptamos os métodos existentes das ciências da sociedade e do comportamento, como a
análise fatorial , ou desenvolvemos novos. Para resolver problemas mais difíceis, aplicamos alguns métodos menos usados na ciência de dados, por exemplo, a abordagem de
modelagem intermediária desenvolvida por nós ou a
análise de séries temporais interrompidas . Finalmente, analisamos os dados de várias experiências, variando de testes A / B padrão a métodos usados quando os testes A / B são impossíveis ou indesejáveis, por exemplo,
experimentos com promoção aleatória .
Na ciência, a pesquisa é mais frequentemente usada para desenvolver uma teoria, em vez de resolver problemas aplicados. Para nossa equipe, um dos aspectos mais importantes da transição do conhecimento teórico para uma tarefa de negócios específica é a capacidade de aplicar a pesquisa aplicada para melhorar a experiência do usuário.
Começando a trabalhar com equipes de produtos no campo da ciência do comportamento, somos confrontados com o fato de que, mesmo quando os conceitos parecem simples de entender e usar, sua aplicação sistemática pode levar a conseqüências imprevistas. Portanto, é sempre necessário considerar o
contexto situacional e individual. Por exemplo, na ciência do comportamento, há um fenômeno familiar de
aversão à perda . À primeira vista, sua essência é óbvia: as pessoas geralmente preferem evitar perdas do que obter benefícios. No entanto, existem muitas situações em que apresentar algo como uma perda pode incomodar ou irritar o usuário, em vez de motivá-lo. Por exemplo, um usuário de longa data do programa de fidelidade, para quem toda a experiência com o aplicativo foi baseada em obtenção de pontos, pode ficar com raiva se disser que ele perderá pontos se não fizer uma compra imediatamente. Mesmo tendências comuns, como aversão à perda, podem ter consequências imprevisíveis ou negativas se você trabalhar com elas fora de contexto. Não importa o quão bem-sucedida seja sua abordagem, recomendamos experimentar para entender melhor e prever com mais precisão o resultado de seu uso.
Caso: Express POOL
Como a ciência do comportamento é amplamente situacional, grande parte do nosso trabalho é aconselhar equipes que desenvolvem um produto específico. Nossa colaboração com a equipe do Express POOL é um exemplo de como a equipe de ciência do comportamento aplicada aplica pesquisa teórica ao desenvolvimento de produtos.
No início de 2018, o Uber lançou o
Express POOL . Como o
uberPOOL , o Express POOL envolve viajar juntos e compartilhar despesas com os passageiros ao longo do caminho. Ao contrário do uberPOOL, do uberX e de outros produtos de compartilhamento de passageiros, ao usar o Express POOL, você terá que esperar um pouco mais pelo destino de um carro adequado e caminhar até o local de pouso indicado. Tais mudanças possibilitam a criação de rotas mais diretas e eficientes, o que, por sua vez, torna a viagem mais acessível.
Os passageiros estão acostumados ao fato de que o carro chega rapidamente exatamente onde estão, portanto, ao desenvolver o produto, foi dada especial atenção à maneira como os usuários interagem com o novo produto. Ficou claro que muitos aspectos precisavam ser aprimorados: os clientes cancelavam viagens entre a solicitação e a seleção de uma opção adequada. Os passageiros tiveram que esperar mais, e os cancelamentos ocorreram com muito mais frequência do que quando se usa outros produtos.
Geralmente, iniciamos o processo de consulta, reunindo-nos com a equipe que trabalha no produto para entender o problema. Essa equipe inclui um gerente de produto, gerente de marketing, pesquisador da experiência do usuário, engenheiro e especialista em dados do produto. Analisamos e levamos em conta as pesquisas preliminares da equipe, como testes de usabilidade. No caso do Express Pool, depois de se conectar ao projeto, aprendemos os detalhes descritos acima.
Depois de estudar o contexto e entender o problema geral, realizamos uma revisão da literatura especial com uma análise aprofundada dos dados disponíveis da ciência do comportamento para determinar a metodologia para resolver esse problema. Portanto, profundamente imersos no contexto, transformamos nosso conhecimento em cenários reais de mudança para as equipes de produtos e recomendamos maneiras de testar esses desenvolvimentos.
Nesse caso, começamos a estudar a literatura
sobre a ciência do comportamento , a fim de aprender mais sobre como as pessoas percebem tempo e expectativa. Identificamos três conceitos importantes para a compreensão do tempo de espera:
rejeição da inação ,
transparência da ação e
efeito do gradiente do alvo . O conceito de rejeição da inação é óbvio: as pessoas têm medo da inação e querem estar constantemente ocupadas. Também descobrimos que a transparência das ações ou a divulgação aos usuários do que acontece com a solicitação a qualquer momento aumenta a classificação do produto pelo consumidor. Finalmente, o efeito gradiente da meta é caracterizado por um aumento da motivação e grandes esforços que as pessoas estão prontas para exercer quando sentem que estão se aproximando da meta.
Diante disso, recomendamos mostrar o progresso enquanto aguarda, refletindo cada etapa do aplicativo, por exemplo, indicando acompanhantes selecionados e notificando o cliente sobre qual carro foi encontrado.
Informações adicionais, como uma explicação do princípio de cálculo dos horários de chegada, podem ser obtidas clicando no ícone de informações. A equipe da Express POOL testou essas idéias com testes A / B e registrou uma redução de 11% no número de cancelamentos após ligar para a máquina.
Fig. 1. O design de teste da interface do usuário do Express POOL mostra etapas detalhadas e usa ícones para obter mais informações sobre o status do pedido.Conforme descrito neste exemplo, após um estudo detalhado das características do comportamento humano, desenvolvemos idéias prioritárias baseadas em suposições sobre o possível impacto e possíveis riscos. Para testar nossas idéias, organizamos e realizamos experimentos e depois analisamos os dados. Todo o processo de nosso projeto de pesquisa, incorporado em nosso trabalho no Express POOL, é mostrado na Figura 2:
Figura 2. Normalmente, nosso fluxo de trabalho começa com a declaração do problema e termina com experimentos.
1. Definição do problema
Obtenha informações sobre o problema das equipes parceiras.
2. Análise aprofundada e imersão na ciência do comportamento
Formule o problema em termos relevantes do campo da ciência comportamental.
3. Formulação de idéias com base no conhecimento científico existente
Propor uma ideia específica para um produto com base nos resultados de pesquisas científicas.
4. Priorização
Juntamente com outras equipes, priorize idéias, levando em consideração os resultados econômicos esperados e os possíveis riscos.
5. Experimentação
Realize experimentos para testar idéias (desenvolva opções de experimentos, determine o público-alvo, analise os dados recebidos etc.).Ciência comportamental ajuda a agregar valor
Nosso trabalho no Express POOL demonstra o valor único que nossos estudos no campo das características comportamentais humanas, apoiados por décadas de experimentos científicos nesse campo, representam para o produto no futuro. Armado com essas informações, trabalhamos em conjunto com pesquisadores da UX e analistas de produtos que usam suas habilidades para resolver problemas diferentes daqueles que estamos pesquisando. Por exemplo, durante nosso experimento com o Express POOL, os analistas de produto monitoraram cuidadosamente as métricas de aplicativos e encontraram oportunidades para melhorar a taxa de cancelamento de pedidos após uma solicitação. Os pesquisadores da UX realizaram viagens de teste para entender as causas das dificuldades dos passageiros e para entender o problema. Como pesquisadores de dados comportamentais, usamos nosso conhecimento e metodologia para propor uma solução para um problema que pode ser testado empiricamente.
Levamos em conta nosso conjunto especializado de habilidades e como podemos agregar valor ao produto quando escolhemos com quais equipes trabalhamos e quais projetos realizamos. Em nível global, elaboramos um plano prioritário para o ano, determinado pelo desempenho econômico desejado do produto. Em um nível mais detalhado, a equipe de desenvolvimento fornece informações sobre quais áreas do produto têm os problemas mais prementes. Com base nisso, escolhemos quais projetos e em que sequência realizaremos juntos com outras equipes. É importante observar que nossa equipe considera essas áreas de desenvolvimento do ponto de vista da ciência do comportamento, determinando onde usar o conhecimento aplicado e a experiência da análise quantitativa. Em alguns casos, isso pode significar exclusão da prioridade daqueles experimentos para os quais é necessária uma forte base teórica ou pesquisa qualitativa que não exija nossas habilidades metodológicas. Alcançamos resultados sérios, sempre nos esforçando para exercer a máxima influência nos negócios e no grau de relevância da aplicação da ciência comportamental.
Principais conclusões
A longo prazo, à medida que a Uber desenvolve novas oportunidades de desenvolvimento e melhora os produtos existentes, esperamos que nossa equipe tenha muitas oportunidades de usar a ciência do comportamento para oferecer a nossos usuários o melhor serviço possível. Em 2019, continuaremos a colaborar com outras equipes em projetos inovadores e altamente eficazes e também investiremos na ampliação de nosso conhecimento para tornar a ciência do comportamento mais acessível. Temos o prazer de continuar a aplicar ativamente nosso conhecimento teórico e metodológico e aumentar a eficácia das funções, programas e plataformas criados em nossa empresa.
Comentário de Gleb Sologub, diretor de análise da Skyeng
Na Skyeng, os métodos da ciência do comportamento são levados em consideração e usados na preparação de experimentos e testes A / B em várias páginas de destino, no desenvolvimento de nossos aplicativos móveis e plataforma web para a realização de lições.
Por exemplo, por meio dos testes A / B, descobrimos recentemente como os efeitos da preparação afetam a escolha de um pacote de aulas para nossos alunos e a decisão de compra, dependendo da localização das opções na página de pagamento. Compreender os mecanismos de motivação nos ajuda a selecionar os melhores esquemas de motivação para professores e gerentes de vendas. E incorporamos conhecimento no campo da metodologia de ensino em interfaces especiais, o que possibilita aumentar a eficácia do professor.
Eu acho que não existem tantas empresas no mundo que podem se dar ao luxo de manter uma equipe separada de analistas comportamentais na equipe. Nós da Skyeng estamos tentando educar os pesquisadores existentes para que eles constantemente expandam seu arsenal de métodos e saibam como escolher os que precisam para uma tarefa específica. A propósito, nossa equipe analítica está crescendo - há vagas interessantes !
Foto de meo de Pexels