A equipe do produto Yandex.Navigator compartilhou quais experimentos estão sendo conduzidos, como o trabalho é organizado internamente, como o produto é monetizado e qual abordagem ele usa na análise preditiva.
Epic palestras é um projeto de
crescimento épico , onde nos comunicamos com as equipes sobre processos bem estabelecidos, testando hipóteses de produtos, análises e muito mais. O projeto foi filmado com o apoio da plataforma analítica
AppMetrica .
A equipe
Lyosha Gozhev, analista sênior de produtos e Misha Vysokovsky, chefe da Yandex.Como é organizada a equipe do produto Yandex.Navigator?
Dentro do Navigator, temos várias equipes de produtos, cada uma com seu próprio foco. O foco define a direção do desenvolvimento do produto. Por exemplo, uma equipe está guiando a rota, a outra se concentra no script de pesquisa. Ao contrário de uma equipe de produtos formada, o foco pode mudar com o tempo. Normalmente, cada equipe tem um gerente de produto, designer e desenvolvedor.
Agora temos dois analistas, portanto eles trabalham para várias equipes de produtos. Principalmente as tarefas do analista são divididas em dois tipos.
O primeiro tipo são tarefas ad-hoc que precisam ser calculadas rapidamente ou tarefas que requerem verificação da escrita do código. O segundo tipo são as tarefas de pesquisa nas quais toda a equipe precisa mergulhar. Nessas tarefas, não há separação entre o contratado e o cliente. Todo o processo de tarefas de pesquisa é muito semelhante a ignorar uma árvore em crescimento: geramos hipóteses e depois as testamos. Durante sua refutação ou confirmação, novas hipóteses surgem.
Experiências de produtos
Dê um exemplo de experimentos bem-sucedidos?
Tentamos adivinhar onde uma pessoa irá e oferecer a ele uma "sugestão de destino". Por exemplo, o usuário abre o navegador e o aplicativo se oferece para percorrer as rotas mais frequentes. Agora já temos cerca de 13% das rotas construídas. Este indicador está em constante crescimento. Estamos empenhados em melhorar o modelo preditivo, ver como isso afeta e quanto mais conveniente ele se torna para o usuário.
Outro exemplo de um experimento bem-sucedido é o redesenho da interface usando fita isolante comum. Como temos um produto específico, testar o I. navegador sentado à mesa é uma perda de tempo. Em algum momento, analisamos a interface do Y. Navigator e percebemos que havia muitas informações duplicadas.
Nós pensamos: “Escute, a terceira tela no topo é um enorme painel preto. Talvez devêssemos jogá-lo fora e sem ele tudo ficará bem? A opção mais fácil é pegar uma fita isolante comum e colar a placa superior.
O primeiro feedback que apareceu foi "Eu entendo para onde ir, mas não está claro quando irei". Pegamos a tesoura e cortamos um pouco para que a hora de chegada fosse visível. Ficamos surpresos com o feedback positivo. As pessoas chegaram calmamente a um lugar sem informações lacradas com fita isolante preta enquanto dirigiam por uma rota desconhecida.
Quantas hipóteses são testadas por semana?
Anteriormente, usamos a abordagem de teste de hipóteses toda segunda-feira de duas a quatro horas. O objetivo era criar o hábito de os gerentes de produto testarem novas hipóteses, testar uma nova solução, preparar um protótipo e realizar uma entrevista aprofundada. Depois que percebemos que era comum a todos, mudamos o sistema.
Fizemos isso na forma de um evento na sexta-feira, onde todos compartilharam suas impressões sobre o teste das hipóteses. Trouxemos produtos não apenas do Navigator, mas também da Geoservices. Compilamos uma classificação de funcionários em que todos receberam estrelas por suas pesquisas.
Isso foi depois que a primeira pequena equipe fez um curso de design thinking. Era um curso on-line, mas com uma parte off-line que exigia que toda a equipe concluísse tarefas. Quando percebemos que essa abordagem era popular na empresa, começamos a ministrar um curso para gerentes de produto da Geoservices por conta própria. Implementamos com sucesso essa iniciativa e, no futuro, ajudou no crescimento interno dos funcionários.
Conduzimos todas as hipóteses analíticas no sistema de gerenciamento de tarefas. Portanto, isso nos ajuda a analisar seu número e aplicar no futuro os cálculos realizados para a pesquisa. Em média, em um quarto, temos dezenas de tarefas diferentes para gerar hipóteses, para depois confirmá-las ou refutá-las. Você provavelmente pode avaliá-los às centenas.
E as experiências fracassadas?
Caso com estacionamento. Agora, os navegadores estão configurados apenas para levá-lo ao seu destino final e não ajudam, por exemplo, a encontrar um espaço de estacionamento gratuito para um carro. Decidimos nos aproximar gradualmente disso. Primeiro, adicionamos uma camada de engarrafamentos na qual mostramos onde você pode ficar, depois adicionamos preços de estacionamentos e pagamento de estacionamentos.
Queríamos tornar o produto o mais lucrativo possível para o usuário. Mas a tarefa de mostrar vagas de estacionamento gratuitas não foi fácil para nós. Testamos várias hipóteses para rastrear vagas de estacionamento. Mas todas as hipóteses não foram confirmadas. Agora decidimos usar esse serviço em uma micro rota. Micro rota - construindo uma pequena rota circular em torno do ponto de destino para que o usuário não se perca e encontre um estacionamento.
Um caso malsucedido para nós é o experimento em que, ao analisar métricas, percebemos que as pessoas geralmente começaram a entrar nas configurações para desativar um novo recurso. Isso aconteceu quando substituímos a interface familiar por outra, mais projetada, em nossa opinião. Como resultado, as pessoas começaram a usar menos o navegador.
Após o teste, garantimos que as informações mais importantes sejam mostradas em um só lugar, e não duplicadas em todo o produto.
Google Analytics
Quais abordagens você usa na análise preditiva?
Temos uma oferta baseada nas viagens anteriores do usuário e oferece rotas salvas automaticamente. Isso é aprendizado de máquina no produto.
Também usamos o modelo de previsão clássico. Distinguimos componentes do comportamento do usuário - isso é sazonalidade, tempo, incluindo uma olhada no corte semanal, levamos em conta os critérios da região e conduzimos a tendência. Resumindo tudo isso, temos uma previsão para o futuro.
Como temos duas regiões - Rússia e Turquia, a frequência de uso do produto varia. Por exemplo, na Rússia, o público cresce nos dias úteis e na Turquia no final de semana.Temos também previsões de métricas importantes de KPI e daquelas que poderiam se tornar métricas de KPI.
Usamos os dados de previsão não apenas na análise, mas também no desenvolvimento. Quando prevemos engarrafamentos por tempo de rota, a tendência para a próxima hora e meia é levada em consideração. Esse desenvolvimento foi introduzido através de experimentos, trabalhando com o público.
Para nós, uma das principais métricas é a qualidade. Assim, consideramos o erro relativo desse indicador e observamos como o indicador mudou após a introdução da previsão de tráfego. Também levamos isso em consideração sob várias condições. Por exemplo, o histórico de uso do produto na hora do rush nas estradas ou no engarrafamento crescente. Isso é importante porque a situação nas estradas muda muito rapidamente e o navegador deve poder levar isso em consideração.
Quando olhamos para uma fatia de dados, levamos em conta as estatísticas não apenas do dia inteiro, mas também de cada fatia individual, que pode ser muito diferente da dinâmica positiva de um dia inteiro.
Monetização
O que é o modelo de monetização do Yandex.Navigator?Agora, os geosserviços no Yandex são unidades de negócios separadas. Portanto, estamos tentando encontrar boas formas de monetização para o Yandex.Navigator. Realizamos várias experiências, lançadas há alguns anos pinos ao longo da rota - este é o formato mais leve, que mostra bem o local em que sua empresa está localizada.
Também estamos procurando formatos diferentes, como você pode ajudar nativamente o anunciante a alcançar o motorista dentro do navegador. Além disso, usamos formatos de publicidade, como outdoors que ficam suspensos na interface do produto ao seguir uma rota.
Temos projetos especiais que criam alguma emoção em uma pessoa. Juntamente com o anunciante, estamos criando uma mensagem sobre o que uma pessoa é legal de fazer no futuro próximo. Por exemplo, tivemos projetos especiais usando vozes adicionais no navegador. Ou, por exemplo, no centenário de Porshe, substituímos a seta do cursor que o leva ao longo do percurso pelo modelo Porsche.
Estamos tentando sugerir aonde uma pessoa deve ir. Por exemplo, agora estamos testando esse formato quando o usuário construiu uma rota e sabemos que existe um MacAuto na estrada. Se o tempo da rota não for muito diferente, ofereceremos a ele, com a ajuda de um botão, para adicionar Makavto ao script.
Este é um formato legal. Primeiro, porque ele tem altas conversões, e segundo, porque ele é super contextual.
Sobre educação
Que recursos para a auto-educação você lê?Coisas que expandem meus horizontes profissionais e não estão diretamente relacionadas à área de trabalho me ajudam. Por exemplo, a empresa IDEO, que são os principais criadores de pesquisas sobre design thinking no mundo. Eles têm um guia onde listam quais pesquisas eles usam com os casos do Kit de Design.
Isso é muito semelhante à abordagem de programação quando novos algoritmos são inventados. Eles são inventados emprestando coisas que já existem na vida.
Mais relatórios sobre marketing de produtos podem ser encontrados no canal
@epicgrowth Telegram.