Uma ferramenta para ajudá-lo a escolher as melhores ideias para o seu produto.

Vamos imaginar que você esteja gerenciando um produto que ajude pequenas empresas a fornecer suporte técnico a seus clientes. Você está procurando maneiras de aumentar o envolvimento e a retenção de seus clientes. Você tem duas idéias:

• Um painel que permite que os empresários monitorem as estatísticas de engajamento.
• Um chatbot que ajuda os empresários a automatizar a comunicação com os consumidores.

Um painel é um recurso que foi discutido com os usuários várias vezes e você sente que tem um grande potencial, mas também percebe o risco de que apenas um usuário grande use painéis. O Chatbot é algo agradável para todos os funcionários da sua empresa e é impulsionado pela gerência - parece uma coisa muito necessária para os clientes, esse é um projeto interessante. E sim, os bots de bate-papo estão na moda agora.

O que você escolhe?

Tais questões de priorização estão no centro do gerenciamento de produtos. O preço de um erro para a escolha errada pode ser bastante alto: o custo de desenvolvimento + o custo de implantação na produção + o custo de suporte + os custos de lucros perdidos + todos os outros custos.

Muitas vezes, somos tentados a tomar decisões com sinais fracos: vozes majoritárias, opiniões de pessoas autorizadas ( HiPPO ), tendências do setor etc., mas, como mostra a experiência, essa é uma heurística ruim, essa abordagem não é melhor do que jogar uma moeda.

Neste artigo, demonstrarei qual é, na minha opinião, a melhor maneira de encontrar boas idéias. Essa abordagem inclui três componentes:

• Relação ICE
• Nível de confiança
• Validação incremental

Relação ICE

O cálculo do coeficiente de ICE é um método de priorização inventado por Sean Ellis, a pessoa que ajudou a desenvolver empresas como DropBox, Eventbrite e o termo "hacking de crescimento" . O cálculo do coeficiente de ICE foi originalmente destinado a priorizar experimentos de crescimento, mas também pode ser aplicado a outras idéias.

Você calcula o coeficiente de cada ideia usando a seguinte fórmula:

ICE = Impact () * Confidence () * Ease (),

onde:

• Influência é uma avaliação de quão positivamente uma ideia influenciará uma métrica chave que você está tentando melhorar.
• Simplicidade (implementação) é uma avaliação de quanto esforço e recursos serão necessários para implementar uma ideia. Isso é o inverso da estimativa clássica dos custos de mão-de-obra (em semanas-homem) - quanto menos esforço, mais simplicidade.
• Confiança - mostra como estamos confiantes em relação à influência que será fornecida e, em certa medida, fala da simplicidade da implementação. Escrevi um artigo inteiro explicando por que a priorização por trabalho e valor não funciona . [ tradução deste artigo em Habré ]. Em suma, o ponto principal é que somos todos muito pobres em estimativas e ingenuamente não suspeitamos disso. A confiança é um antídoto, ajuda-nos a ser mais precisos nas suposições.

Todos os três indicadores são preenchidos com valores em escalas relativas de 1 a 10, portanto, nenhum deles é superestimado. Cada equipe, por si só, determina a que indicadores 1 a 10 correspondem, para que cada equivalente seja apropriado. Por fim, o objetivo da avaliação é obter um "Banco de Ideias" que se parece com isso:

Vejamos um exemplo para ver como isso funciona.

A primeira versão do ICE

Você decidiu calcular os coeficientes de ICE para duas idéias - um painel e um chatbot. Em um estágio inicial, você usa valores brutos, com base em sua própria intuição.

Impacto - você assume que o painel aumentará significativamente a retenção, mas apenas para alguns usuários, portanto, coloque 5 em 10. O Chatbot, por outro lado, pode afetar um grande número de usuários, e você coloque 8 em 10.

Simplicidade - você acredita que um painel exigirá 10 semanas-homem de desenvolvimento e um bot de bate-papo - 20, baseado apenas em dados de projetos anteriores semelhantes. Você obterá melhores notas da equipe de desenvolvimento posteriormente, mas, por enquanto, use esta tabela simples (compilada com a equipe) para converter as notas no valor do parâmetro Simplicity:

Como resultado, o painel recebe um valor de Simplicidade de 4 em 10 e o bot de bate-papo recebe 2.

Consideramos o indicador de confiança

Há apenas uma maneira de calcular a confiança - observe as evidências de apoio. Para esse fim, criei uma ferramenta que descreve os testes e evidências de tipo que você pode ter e os valores do parâmetro Confidence que eles possuem. Ao usar essa ferramenta, considere quais artefatos você já possui, quantos existem e o que você precisa fazer para obter ainda mais valor.

Texto em Imagem - Nível de Confiança:

• Sobre zero:
  
  • Confiança própria.
  • Apresentação
  • Suporte temático - consistente com a visão / estratégia, tendências atuais / chavões, pesquisa externa, macro tendências, metodologia de produto.
• Muito baixo:
  
  • A opinião de alguém - a equipe, a gerência, especialistas externos, investidores, a mídia, alguém acha que a idéia é boa.
  • Avaliações e planos - cálculos em guardanapos, avaliação de viabilidade, cronograma do projeto, modelo de negócios.
• Baixa evidência não oficial: com base em vários aspectos dos dados do produto, solicitações de vendas frequentes, 1-3 clientes interessados, alguns dos concorrentes já possuem isso ...
• Médio baixo:
  
  • Dados de mercado - evidências baseadas em pesquisas, testes de fumaça, todos os concorrentes já possuem isso ...
  • Evidências de usuários / clientes - com base em uma grande quantidade de dados do produto, solicitações dos principais usuários, entrevistas com mais de 20 usuários, resultados de pesquisas de usabilidade e resultados de lançamento do MVP.
• Resultados de teste médio: com base em longas pesquisas com usuários, resultados de lançamento de MVP em larga escala, versões alfa, beta, experimentos A / B.
• Alto - dados após o lançamento.

Nota Se outra evidência for usada em seu produto ou setor, você poderá criar sua própria versão da Confidence Tool, apenas considere o que é forte e o que é evidência fraca. Mais informações em uma postagem anterior .

Vamos voltar ao nosso exemplo e examinar a ferramenta Confiança em ação.

• Evidências de suporte para o chatbot: sua própria confiança (você acha que é uma boa ideia), suporte temático (a indústria acredita que é uma boa ideia) e as opiniões de outros (seus líderes e colegas acreditam que essa é uma boa ideia). Isso fornece um valor final de Confiança de 0,1 em 10, ou seja, perto de zero. A ferramenta claramente não considera as opiniões como um indicador confiável. Interessante.
• Para o painel, há a seguinte evidência: autoconfiança (você acha que é uma boa ideia), evidência não oficial (um punhado de clientes solicitou isso). De fato, isso aumenta o valor de Confiança para 0,5 de 10, o que significa um baixo nível de confiança. Infelizmente, os usuários não prevêem bem seu comportamento futuro.

Cálculo do coeficiente de ICE:

Texto na figura: ao longo do eixo Y - pontuação do ICE, ao longo do eixo X - uma rodada de priorização. O ponto azul é o painel, o ponto vermelho é o bot de bate-papo.

No momento, o painel parece uma ideia mais adequada, mas a Ferramenta mostra que o nível de confiança é baixo. Até agora, simplesmente não há informações suficientes para tomar uma decisão.

Avaliação e verificação de viabilidade

Em seguida, você se reúne com colegas de desenvolvimento e UX e discute as duas idéias juntos. Ambos os projetos, à primeira vista, parecem bastante viáveis. O timlid de desenvolvimento retorna com estimativas aproximadas de mão-de-obra: um painel levará 12 pessoas-semana para ser lançado e um bot de bate-papo - 16. De acordo com a sua escala Simplicity, isso significa os indicadores 4 e 3, respectivamente.

Paralelamente, você faz cálculos em um guardanapo e atualiza a coluna "Influência". Em uma inspeção mais detalhada, o painel parece um pouco menos promissor e recebe 3. O chatbot ainda parece sólido, às 8.

O uso da ferramenta Confidence mostra que agora as duas idéias passam no teste "Avaliações e planos" e recebem novos indicadores do parâmetro Confidence. O painel agora possui 0,8, chatbot - 0,4.

Assim, o bot de bate-papo eliminou a lacuna. No entanto, o nível de confiança ainda é baixo por uma boa razão - esses são principalmente números obtidos no ar, e você entende que é necessário reunir mais evidências.

Dados de mercado

Você envia um questionário com uma pesquisa aos usuários atuais, solicitando que eles escolham um dos cinco recursos em potencial, a lista inclui um bot de bate-papo e um painel. Você recebe centenas de respostas. Os resultados são muito positivos para o chatbot - esse é o recurso número 1, 38% dos entrevistados o escolheram. O painel ocupa o terceiro lugar com 17% dos votos.

Isso dá aos dois recursos um pouco de suporte com os dados do mercado, mas o chatbot tem um indicador mais alto - 1,5. O painel também obtém um valor aumentado para a coluna Confiança, mas até agora apenas 1.

O Chatbot está se tornando um líder forte. Parece que seus colegas e a indústria estavam certos. É hora de puxar o gatilho? Provavelmente não. Os projetos são muito caros e ainda temos um pouco de confiança no sucesso. Infelizmente, os resultados da pesquisa não criam um sinal suficientemente forte. Continuamos a trabalhar!

Evidência dos clientes

Para saber mais, você realiza um estudo com dez usuários atuais, mostrando protótipos interativos de cada recurso. Paralelamente, você realiza uma entrevista por telefone e entrevista 20 entrevistados que devem escolher uma das duas funções candidatas.

O estudo mostra uma imagem mais detalhada:

• 8 em cada 10 clientes acharam o painel útil e disseram que o usariam pelo menos uma vez por semana. O entendimento da funcionalidade deles coincide com o que você queria transmitir e eles não tiveram dificuldades no processo de trabalhar com o painel. As entrevistas por telefone confirmaram o entendimento e o desejo de usar, em média, uma vez por semana.
• 9 em cada 10 participantes do estudo disseram que usariam o chatbot, seu nível de entusiasmo era muito alto. Todos imediatamente entenderam como o chatbot pode ajudá-los, e muitos pediram acesso o mais rápido possível. No entanto, foram identificados problemas importantes de usabilidade, além de alguns usuários expressarem preocupação de que seus clientes podem não estar satisfeitos com as respostas não naturais do bot.

Este estudo qualitativo forneceu alimento para o pensamento. O painel parece mais procurado do que se pensava anteriormente. E o chatbot agora parece um projeto com maiores riscos e maior potencial. Observando a Confidence Tool, você define o painel e o chatbot para 3 e 2,5, respectivamente. Você atualiza os valores de influência para 6 no painel e 9 no chatbot. Além disso, de acordo com os resultados da pesquisa de usabilidade, você entende que a interface do usuário do bot de bate-papo exigirá mais trabalho, reduzindo o parâmetro Simplicity para 2.

A tabela mudou novamente e agora o painel está na liderança. Você traz resultados para sua equipe e liderança. A previsão, estritamente baseada no ICE, declara o painel o vencedor, por outro lado, o nível de confiança ainda está longe de ser alto. Não quero deixar de lado um recurso potencialmente bom, então a equipe decide continuar testando os dois.

Últimos testes e vencedor!

Você decidiu começar a criar MVP para o bot de bate-papo - o desenvolvimento levou seis semanas e o lançou para 200 entrevistados que participaram da pesquisa anterior que manifestaram o desejo de participar de testes beta. 167 incluíram o recurso, mas o número de usos caiu drasticamente dia a dia e, no final da segunda semana, apenas 24 pessoas eram usuários ativos. Nas pesquisas e ligações subsequentes, a imagem foi esclarecida. O chatbot é mais difícil de usar e significativamente menos útil do que os participantes esperavam; pior, é hostil para os clientes que parecem apreciar o contato pessoal. De fato, esse recurso faz com que os empresários trabalhem mais.

Analisando os resultados, você e a equipe concluem que o lançamento de uma versão conveniente do chatbot que atenda às expectativas dos clientes exigirá um mínimo de 40 a 50 pessoas-semana adicionais (Simplicidade = 1) e isso é muito arriscado. Também está claro que um número muito menor de usuários percebe o chatbot como conveniente do que o originalmente esperado. Portanto, você reduziu a influência para 2. Isso altera a ideia original de maneira fundamental, para que você não possa mais acreditar e aceitar os resultados da pesquisa do usuário, reduzindo o índice de confiança para 0,5.

O painel MVP foi lançado em cinco semanas para outros 200 usuários. Os resultados são muito bons. 87% dos participantes usam, na maioria dos dias, a saída é pequena. O feedback é extremamente positivo, a maioria está pedindo acesso a todas as funcionalidades. Você entende que o Impacto é maior do que o esperado - 8. A equipe de desenvolvimento estima que a finalização da versão completa levará 10 semanas, portanto, Simplicity 4. De acordo com a ferramenta, você define Confidence para 6,5 ​​em 10.

A priorização agora é muito simples. Ninguém argumenta que o painel é o recurso que deve ser abordado. Você deixa um chatbot no seu banco de ideias para registrar descobertas futuras, mas é claro que é classificado até o fim devido ao baixo coeficiente de ICE.

Total

1. Pare de investir em más idéias

Este exemplo ilustra como é arriscado apostar em recursos que exigem muito esforço e são baseados em talento, opiniões, tendências de mercado etc. A maioria das idéias é mais como um chatbot do que um painel. Eles trazem menos resultados e custam muito mais do que você pensa. A única maneira de encontrar idéias vencedoras é testá-las e reduzir o nível de incerteza.

2. Preocupe-se com resultados, não com recursos

Parece uma maneira lenta e demorada de criar produtos, mas, na realidade, é uma maneira mais eficiente que as alternativas. O teste para determinar o indicador de confiança não apenas reduz a quantidade de esforço desperdiçado em más idéias, mas também concentra as equipes em etapas curtas e tangíveis de aprendizado, com resultados rápidos e mensuráveis, o que melhora o foco e o desempenho. No processo, aprendemos muito sobre nosso produto, usuários, mercado e, como resultado, temos o melhor produto final que já foi testado pelos clientes. Por esse motivo, é menos provável que nos surpreendamos com os resultados do lançamento e são necessárias muito menos correções.

3. Deixe milhares de flores florescerem

Na realidade, muitas vezes temos que fazer uma escolha, não entre duas idéias, mas entre dezenas. Ao limitar a quantidade de esforço de cada um, dado o nível de confiança, temos a oportunidade de testar muitas idéias em paralelo, evitando as armadilhas da abordagem tradicional do desenvolvimento. Você pode ler mais sobre isso no artigo "Por que você deve parar de usar roteiros de compras e experimentar o GIST" .

Neste exemplo, a equipe testa quatro idéias em paralelo, iniciando vários projetos de etapas. Cada um aprimora gradualmente a ideia, como resultado do teste que aumenta o nível de confiança nos resultados.

4. Como arrastar a liderança e as partes interessadas para o lado deles

O que mais incomoda as pessoas quando explico este tópico é a questão de como "vendê-lo" para a gerência e as partes interessadas. Podemos realmente fazê-los limitar seu nível de influência sobre o produto? Bem, você ficará surpreso. Ouvi de muitos executivos que eles preferem não tomar decisões sobre questões de produtos, mas se a equipe oferece opções fracas, eles sentem a necessidade de se envolver. O fato de existirem opções fracas e fortes é, obviamente, uma opinião subjetiva até que você mostre não apenas uma apresentação refinada, mas venha com evidências reais que sejam credíveis. Você ficará surpreso ao perceber o quanto a discussão é mais fácil. Por outro lado, na próxima vez que seu CEO vier com outro lote de idéias essenciais, tente mostrar a ele como essas idéias são avaliadas: quais indicadores de influência, simplicidade e confiança você indica, qual coeficiente de ICE como resultado, como é a comparação com os outros idéias e como testá-las para aumentar a confiança.

As pessoas mais razoáveis ​​concordam que esse é um bom caminho. Se eles ainda não estão convencidos, jogue para eles um link para a tradução ou o post original do Itamar , onde ele está pronto para defender essa abordagem nos comentários.

Na empresa unida “Wheels | Telhado Market ”, estamos procurando gerentes de produto que estejam dispostos a experimentar, testando hipóteses de forma rápida e barata. Você pode solicitar a vaga no Headhunter e no site corporativo .