Um exemplo de como trabalhar com o método ICE do gerente de produto do Google e da Microsoft

Trabalhar com prioridades é uma tarefa que requer preparação, experiência e consideração de uma variedade de tecnologias, abordagens científicas e métodos de direitos autorais.

Este artigo é uma tradução do material de Hackernoon.com. Seu autor oferece o uso de sua própria ferramenta para avaliar prioridades no âmbito da ICE Scoring. Este artigo descreve a abordagem em detalhes e discute um exemplo simples e acessível que é compreensível para qualquer gerente de produtos.



Itamar Gilad é um conhecido consultor de gerenciamento de produtos e palestrante de sucesso. Em seus muitos anos de experiência - cargos seniores em gerenciamento de produtos no Google, Microsoft e outras empresas conhecidas. Oferecemos uma tradução de seu artigo:

Suponha que você esteja gerenciando um produto para uma pequena empresa e seus clientes. Seu objetivo é melhorar a retenção e o envolvimento do cliente. Você tem duas idéias na agenda:

• Implementação da barra de ferramentas principal (painel), que permite ao proprietário da empresa rastrear estatísticas de engajamento e todas as tendências.
• Chatbot (chatbot) para automatizar a comunicação com os clientes.

Uma ideia com uma barra de ferramentas surgiu várias vezes nas negociações com os clientes e você sente que tem um bom potencial, mas existe o risco de que ela seja usada apenas por usuários experientes.

A idéia com um chatbot é agradável em toda a empresa, e a gerência é bastante otimista. Além disso, o recurso parece ganhar para os clientes.

O que você escolheria?

Esses problemas de priorização estão no centro do gerenciamento de produtos. A taxa para fazer a escolha errada pode ser muito alta e incluir o custo de desenvolvimento, implantação, manutenção e outros custos não planejados.

Muitas vezes somos tentados a tomar decisões com base em sinais não convincentes: opiniões da maioria, opiniões de chefes, tendências do setor etc. Mas o tempo mostra que esses sinais são precisos no nível de um gerador de números aleatórios.

Este post é sobre, na minha opinião, encontrar as melhores idéias. Consiste em três partes:

• Indicadores ICE
• Níveis de confiança
• Verificação adicional

Pontuação ICE

A ICE Scoring é um método de definição de prioridades que foi usado pela primeira vez por Sean Ellis, conhecido por sua participação ativa no desenvolvimento de empresas como DropBox e Eventbrite, e pela promoção do termo Growth Hacking. O ICE foi originalmente projetado para priorizar experimentos de crescimento, mas logo se tornou usado para avaliar quaisquer idéias.

No ICE, você avalia idéias da seguinte maneira:

• A influência demonstra como a idéia afetará positivamente o principal indicador que você está tentando melhorar.
• Facilidade de implementação ou simplicidade é uma avaliação de quanto esforço e recursos são necessários para implementar essa idéia.
• A confiança demonstra como você está confiante na avaliação do impacto e da facilidade de implementação.

Os valores no ICE são classificados em uma escala de 1 a 10, para que todos os fatores equilibrem a pontuação total. Pelos valores de 1 a 10, você pode significar qualquer coisa, o principal é que os valores são consistentes entre si.



Agora vamos ver um exemplo de como isso funciona.

ICE primeiro

Então, você decidiu calcular os pontos de ICE para duas idéias: painel e chatbot. Nesse estágio inicial, você usa significados grosseiros apenas com base em sua própria intuição.
Impacto - você presume que um painel aumentará significativamente a retenção de usuários, mas apenas os experientes - você concede 5 em 10. Um chatbot, por outro lado, pode ser uma solução inovadora para muitos clientes, e 8 em 10.

Facilidade de implementação - você estima que serão necessárias 10 semanas-homem para o painel e 20 para o chatbot.Mais tarde, você receberá melhores estimativas da equipe. Você usa esta tabela simples (escolhida por você e sua equipe) para converter sua nota em Facilidade:



Assim, a barra de ferramentas obtém um valor de Facilidade de 4 em 10 e um chatbot obtém um valor de 2.

Cálculo de Confiança

Há apenas uma maneira de calcular a confiança - esta é a busca por evidências de apoio. Para fazer isso, criei uma ferramenta que pode ser vista abaixo. Ele lista os tipos gerais de testes e evidências que você pode ter e o nível de confiança que eles fornecem: resultados dos testes, data de lançamento, confiança pessoal, suporte temático, opiniões de outras pessoas, dados de mercado, etc.

Ao usar a ferramenta, considere quais indicadores você já possui, quantos e o que você precisa para obter mais confiança.



Se outra prova de evidência for possível em seu produto ou setor, fique à vontade para criar sua própria versão desta ferramenta.

Vamos voltar ao exemplo para avaliar a ferramenta em ação.

Evidências de suporte para um chatbot: confiança pessoal (você acha que é uma boa ideia), suporte temático (a indústria também acredita que é uma boa ideia) e as opiniões de outras pessoas (seus superiores e colegas consideram essa uma boa ideia). Isso fornece um valor de confiança geral de 0,1 em 10 ou quase zero de confiança. A ferramenta claramente não considera as opiniões um indicador confiável.

E o painel? Aqui está a confiança pessoal (você acha que é uma boa ideia) e suporte ocasional (vários clientes pediram isso). Na verdade, isso aumenta seu valor de confiança para 0,5 em 10, o que é baixa confiança. Infelizmente, os clientes não prevêem bem seu comportamento futuro.

A pontuação do ICE neste caso:



Nesse momento, a barra de ferramentas parece a melhor ideia, mas nossa ferramenta mostra que você não foi além da baixa confiança. Simplesmente não há informações suficientes para tomar uma decisão.

Validação e viabilidade

Em seguida, você se reúne com seus colegas responsáveis ​​pelo desenvolvimento e pela experiência do usuário e, juntos, começa a avaliar as duas idéias. Ambos os projetos parecem viáveis ​​à primeira vista. O desenvolvedor principal oferece uma estimativa aproximada dos custos de mão-de-obra: trabalhar com a barra de ferramentas levará 12 pessoas / semana para a liberação e com um chatbot - 16 pessoas / semana. De acordo com sua escala de facilidade, isso facilita a implementação em 4 e 3, respectivamente.

Paralelamente, você faz cálculos detalhados. Após uma inspeção mais detalhada, o painel parece um pouco menos promissor e obtém 3. O chatbot ainda olha para 8.
O uso da ferramenta de confiança mostra que agora as duas idéias passam no teste de estimativas e planos e ganham alguma confiança. Agora a barra de ferramentas se move para 0.8 e o bot de bate-papo para 0.4.



O Chatbot se reabilitou um pouco. No entanto, o nível de confiança é baixo por uma boa razão - estes são principalmente números do nada, e você entende que é necessário reunir mais evidências.

Dados de mercado

Você envia um questionário aos clientes existentes, solicitando que eles escolham um dos 5 possíveis novos recursos, incluindo um chatbot e uma barra de ferramentas. Obtenha centenas de respostas. Os resultados são muito positivos para o chatbot - esta é a função número 1 do questionário e 38% dos entrevistados o escolhem. O painel ocupa o 3º lugar com 17% dos votos.

Isso oferece suporte ao mercado de ambos os recursos, mas a pontuação do chatbot é 1,5 maior. Para o painel de controle, a confiança também aumentou, mas apenas para 1.



Claramente, o chatbot avançou bastante. Parece que seus colegas e dados da indústria provaram estar certos. Esses dados devem ser aceitos como 100%? Provavelmente não - o projeto é bastante caro e todos temos essa confiança média. Infelizmente, os resultados da pesquisa não dão um sinal muito revelador. Continuamos trabalhando.

Palavra aos clientes

Para saber mais, você executa um estudo personalizado em 10 clientes existentes, mostrando protótipos interativos dos dois recursos. Paralelamente, você realiza entrevistas por telefone com 20 participantes da pesquisa que escolheram um dos dois recursos propostos.

O estudo mostra uma imagem mais interessante:

• 8 em cada 10 participantes do estudo consideraram o painel útil e disseram que o usariam pelo menos uma vez por semana. O entendimento dessa função correlacionava-se bem com o que você tinha em mente inicialmente, e eles não tiveram problemas em usá-la. As entrevistas por telefone confirmaram o entendimento e o desejo de usar o recurso em média uma vez por semana.
• 9 em cada 10 participantes do estudo disseram que estariam dispostos a usar o chatbot. O nível de entusiasmo deles era muito alto - todos entenderam imediatamente por que isso poderia ser útil e muitos perguntaram a ele o mais rápido possível. No entanto, houve problemas com a usabilidade e alguns clientes expressaram preocupação de que eles não gostariam das respostas repetidas e "hackneyed" do bot.

Este estudo de qualidade fornece mais informações para reflexão. A barra de ferramentas parece mais popular do que você esperava. O Chatbot agora parece mais um projeto com um alto nível de risco e um preço alto. Considerando nossa ferramenta de confiança, você atribui barras de ferramentas e valores de confiança de chatbot de 3 e 2,5, respectivamente.

Você configura o efeito assim: 6 para um painel e 9 para um chatbot. Por fim, com base na pesquisa de usabilidade, você percebe que obter uma interface do usuário de qualidade para um chatbot exigirá mais trabalho - você reduz a Facilidade para 2.



A tabela passou por alterações novamente e agora a barra de ferramentas está na liderança.
Você traz resultados para sua equipe e sua liderança. De acordo com os resultados do ICE, a barra de ferramentas deve ser declarada vencedora, no entanto, por outro lado, os indicadores de confiança para os dois recursos estão longe de ser altos. Não querendo deixar de lado um recurso potencialmente bom, a equipe decide continuar testando os dois.

Testes finais e vencedor!

Você decide começar criando uma versão do chatbot para um produto mínimo viável (MVP). O desenvolvimento leva 6 semanas e você executa o MVP para 200 participantes que concordaram em participar do teste. 167 pessoas ativam o recurso, mas seu uso diminui acentuadamente todos os dias e, no final da segunda semana, você tem apenas 24 usuários ativos.

Nas pesquisas subsequentes, surge uma imagem clara - o chatbot é mais difícil de usar, é muito menos útil do que os participantes esperavam e, ainda pior, cria um negativo para os clientes que valorizam o contato pessoal.

Você pode refinar o chatbot do MVP e torná-lo muito mais útil para seus clientes, mas isso leva de 40 a 50 semanas por homem.

Também é óbvio que muito menos clientes do que o esperado anteriormente chamariam o recurso de útil. Portanto, você reduz o impacto de 9 para 2. Isso altera significativamente o recurso; portanto, você não pode mais confiar nos resultados da pesquisa do usuário; portanto, reduza a confiança para 0,5 usando a ferramenta de confiança.

Você inicia as barras de ferramentas do MVP em 200 outros clientes em 5 semanas. Os resultados são muito bons: 87% dos participantes usam esse recurso, muitos deles diariamente. O feedback é extremamente positivo. Você entende que o impacto é maior do que o esperado - 8 pontos em vez de 6. A equipe de desenvolvimento estima que serão necessárias mais 10 pessoas-semana para iniciar a barra de ferramentas na íntegra, para que a facilidade de implementação seja 4. Como resultado, você aumenta a classificação de confiança de 3 a 6,5.



A priorização se torna muito simples neste momento. Agora, todos concordam que o painel é o recurso certo para o desenvolvimento de produtos. Você mantém o recurso de chatbot no seu banco de ideias, mas ele naturalmente permanecerá "na parte inferior", dado o baixo ICE.

Conclusões

1. Pare de investir em más idéias
Nosso exemplo mostra como é arriscado apostar em recursos que exigem muito esforço e baseiam-se em sentimentos, opiniões, dados do setor, tendências de mercado etc. A maioria das idéias acaba sendo muito menos útil e mais cara do que pensamos antes de desenvolver. A única maneira real de encontrar as melhores idéias é testá-las e reduzir o nível de incerteza.

2. Preocupe-se com os benefícios, não com os resultados.
A adição de uma etapa de priorização de recursos reduz a velocidade do desenvolvimento do produto - parece à primeira vista. Mas, na verdade, não diminui, mas aumenta a velocidade. Graças à avaliação da confiança, você simplesmente não faz alguns recursos ruins. Também concentra a equipe em objetivos específicos de curto prazo e aumenta a produtividade da equipe. Esse processo nos permite aprender sobre o produto, os consumidores, o mercado e, finalmente, obter um produto melhor que já foi testado em usuários reais. Portanto, menos surpresas nos aguardam no dia do lançamento.

3. Incentive uma variedade de abordagens
De fato, muitas vezes precisamos escolher não entre duas idéias, mas entre dezenas. Reduzimos o custo de desenvolver uma ideia com base na confiança nela. Isso nos permite testar muitas idéias diferentes em paralelo e evitar as armadilhas associadas ao planejamento tradicional de longo prazo.



Neste exemplo, a equipe testa 4 idéias em paralelo, executando vários projetos (caixas amarelas), cada um dos quais refina gradualmente a idéia e a testa para aumentar a confiança.

4. Obtenha a localização da gerência e das partes interessadas
Geralmente, quando explico esse método, as pessoas estão mais preocupadas em obter o consentimento de seus gerentes e partes interessadas para implementar esse processo de priorização.

Podemos limitar o poder deles sobre o produto? Você ficará surpreso. Eu ouvi muito dos gerentes que eles são forçados a mergulhar no processo de tomar decisões sobre produtos devido à falta de opções fortes. Uma opção fraca ou forte é, obviamente, um conceito subjetivo, mas até você ver a situação real com evidências reais e um nível claro de confiança na avaliação do recurso.

Por outro lado, na próxima vez que o CEO forçar você a fazer sua super ideia, mostre a ele como a ideia é avaliada usando fatores de influência, esforço e confiança, como os indicadores de ICE nessa ideia são comparados com indicadores de outras idéias e como podemos testar ela para esclarecer o fator de confiança.

Você pode ler sobre as deficiências do método ICE, bem como sobre um método alternativo de priorização em nosso último artigo “ Pontuação do RICE e do ICE: técnicas simples de priorização para gerentes avançados de produto ”.

Este artigo foi útil para você? Gostaria de ler os materiais deste autor? Por favor, compartilhe isso nos comentários.