Provavelmente, apenas os comerciantes e gerentes de produto mais ecológicos não ouviram falar dos testes A / B, mas mesmo especialistas experientes às vezes não sabem como conduzi-los e o que fazer com os resultados. É por isso que você pode ouvir com frequência que o teste A / B não funciona e geralmente é inútil.
Para dissipar os rumores, conversamos com o profissional de análise A / B da agência Agima Sergey Filatov, e ele nos falou sobre o trabalho de metodologias de teste A / B, ferramentas que ajudam a realizar testes para um aplicativo móvel e sobre as perspectivas que se abrem para dominar isso. conjunto de habilidades.
Os testes A / B são na verdade qualquer pesquisa dedicada à escolha da melhor opção dentre várias. O fato é que o termo é muito amplo: são testes de profissionais de marketing e o tipo de análise de produtos digitais. Isso geralmente causa confusão quando você vê o caso em que "a empresa realizou o teste A / B" e precisa entender qual é geral ou técnico. Falaremos especificamente sobre testes A / B para avaliar a funcionalidade de aplicativos móveis. (No entanto, esse conhecimento pode ser facilmente transferido para o campo da pesquisa de marketing.)
Este material faz parte de uma série preparada para o lançamento de um curso conjunto na Skillbox Online University e na Agima, Fullstack Mobile Developer . Já falamos sobre como acessar a AppStore pela primeira vez e como desenvolver interfaces de aplicativos , oferecendo vários descontos de dez por cento e quatro de 20% no processo.
Aqueles que já resolveram dois quebra-cabeças e querem mais (para aumentar o desconto acumulado), hoje terão uma charada sobre a ferramenta de teste. Procure por ela no texto! E o resto do habroiser ainda pode solicitar qualquer curso por 10.000 rublos mais baratos usando o código promocional Habr (lembre-se de que isso não corresponde aos descontos que os abusos desvendados dão).
O teste A / B é geralmente percebido como uma ferramenta analítica que permite avaliar o efeito das alterações do produto em sua conversão - um aumento no número de leads que são transferidos para pedidos. A conversão aqui não é necessariamente a compra de algo: é qualquer transição do usuário de um estágio para outro, à medida que ele passa pelo funil da ordem, e todas as suas interações com as formas e elementos do serviço ao longo do caminho.
O teste A / B é necessário para:
- escolha entre várias opções para a tela ou página da melhor forma;
- avalie a possibilidade de alterar certos indicadores do seu produto;
- calcular a eficácia da substituição de certos elementos em uma página ou tela;
- entender como aumentar a conversão em cada estágio do funil de vendas e, portanto, aumentar seu número;
- dentro do aplicativo móvel, os testes A / B oferecem uma oportunidade de melhorar a experiência do usuário, permitindo que você organize elementos de forma mais conveniente e torne o conteúdo mais interessante e mais útil para o usuário.
Declaração do problema
Qualquer teste A / B começa com uma hipótese. Eles vêm em duas formas. Os primeiros são mais de marketing, visando aumentar o tráfego, o número de pessoas que cometem uma ação específica e esclarecem em qual público o aplicativo está focado. Nesse caso, não são apenas as funcionalidades do aplicativo testadas, mas também os canais de marketing e as conversões de cada ferramenta de publicidade. Vamos nos concentrar no segundo tipo de hipótese.
Está no fato de que, alterando um ou outro funcional interno - um elemento ou bloco, o relacionamento entre eles ou a lógica de sua interação - podemos obter mudanças em certos indicadores da aplicação (no entanto, tudo isso se aplica aos sites).
Essas hipóteses podem dizer respeito aos elementos que estão localizados nas telas do serviço ou às conexões das telas dentro dele. Infelizmente, o teste das conexões entre telas é tecnicamente problemático devido a dificuldades na configuração do teste; portanto, o analista geralmente se limita a trabalhar em blocos específicos e telas individuais.
A essência do teste A / B, neste caso, é que um grupo de usuários mostra uma opção para a localização ou configuração da interface e a segunda para outro.
E aqui está o rébus! Lembre-se de que o inglês aqui pode interferir no russo, e o assunto do enigma é móvel. E não esqueça que iremos monitorar cuidadosamente os comentários e remover dicas e respostas deles! O prólogo, criptografado no rebus, deve ser chamado quando nosso gerente entrar em contato com você após o envio de um aplicativo para o curso. Os descontos para quebra-cabeças resolvidos são resumidos entre si (levando em conta este artigo, já existem três), mas não com descontos no site. Você não deve demorar muito. A promoção funciona até 30 de agosto de 2018.
Do resultado desejado à busca de soluções
Hipóteses desse tipo têm uma regra geral: no início, é definido um determinado indicador final, que queremos aumentar ou diminuir. As hipóteses podem ser formuladas com base em relatórios e outras informações analíticas semelhantes, mas geralmente são feitas sem preparação especial, com base em suposições heurísticas dos desenvolvedores.
Começamos formulando o problema que queremos resolver: baixa conversão, um pequeno número de cliques em um ou outro elemento, a ausência de furtos ou rolagens de documentos.
Em seguida, selecionamos ações específicas que podem levar ao resultado desejado. Isso pode incluir novos botões, alterar a organização dos blocos na tela ou, por exemplo, alterar a organização do menu do “hambúrguer” à esquerda para a barra lateral inferior, como é feito no Instagram.
Um exemplo de como a eficácia das alterações testadas no aplicativo Optimizely é avaliada.Ou seja, estamos começando a apresentar várias maneiras de influenciar o indicador principal. Portanto, a hipótese assume um formulário completo.
Componentes obrigatórios da hipótese:
- fórmula "se - então";
- verbo - descreve a ação que realizamos em relação ao elemento selecionado;
- descrição do resultado esperado.
" Se aumentarmos o tamanho da fonte e repintarmos o botão em verde, a conversão aumentará em 15% ."
Qualidade se transforma em quantidade
Usando testes A / B, você pode realizar dois tipos de estudos: qualitativo e quantitativo.
A pesquisa qualitativa visa trabalhar com a experiência emocional de uma pessoa, a fim de descobrir se ela gosta da solução que usamos: é conveniente para a percepção, afeta o tempo de interação ou não. Esses testes têm como objetivo descobrir quais sentimentos um usuário experimenta ao trabalhar com um aplicativo ou serviço.
Os estudos quantitativos visam aumentar uma determinada figura no indicador de meta: o volume de cliques no botão, dicas para aumentar a probabilidade de uma venda e assim por diante. Este é um cálculo seco de cliques, tráfego, vendas, tráfego no funil.
Todos os indicadores que precisam ser encontrados devem ser convertidos em métricas numéricas. Por exemplo, a pergunta "o usuário está interessado no conteúdo" se transforma em indicadores da quantidade de tempo gasto na tela, a profundidade da rolagem, clique em um determinado elemento-chave.
Importante! Siga a regra: uma tela - um experimento. Não teste duas hipóteses relacionadas a itens na mesma tela ao mesmo tempo. Além disso, existem duas hipóteses associadas a um elemento; caso contrário, você não poderá lidar com os resultados (se a descrição da hipótese significar "trocar dois elementos" - esta é uma ação).
Tipos de testes A / B e profundidade do estudo
Testes multivariados envolvem uma combinação de várias opções. Por exemplo, temos um bloco que consiste em um botão e uma chamada à ação. Nesse caso, você pode formar todos os tipos possíveis desse botão com chamadas diferentes. Mas é importante lembrar que esses testes são adequados apenas para aplicativos grandes com uma grande quantidade de tráfego.
Testes divididos são testes de telas inteiras para entender qual deles está causando uma resposta maior. Por exemplo, você pode comparar diferentes versões do tutorial da tela de inicialização para entender se os usuários leem as dicas que você preparou ou as ignoram, indo diretamente para a funcionalidade do aplicativo.
Na estrutura do teste A / B habitual por elementos, é possível avaliar cabeçalhos, links, localização do menu, qualidade das frases de ação, presença e eficácia de vários blocos e ilustrações funcionais ou de texto, interação do usuário com o aplicativo, dependendo do dispositivo e do usuário que o acessou durante o teste versão adaptável do aplicativo.
Existem testes A / B / C / N, nos quais não escolhemos necessariamente apenas duas opções. Eles também não são adequados para todos os serviços: exigem muito tráfego, caso contrário, o teste simplesmente não passará do limite da confiabilidade estatística. Para que possamos ter certeza de que a alteração no indicador principal não foi acidental, usuários suficientes devem visitar a tela.
Para um projeto pequeno, que ao testar oferece apenas as opções A e B, pode haver milhares de pessoas que cometeram a ação. Para grandes, seu número pode ser muito maior.
A duração usual de um experimento é de duas semanas a um mês e meio. Isso é necessário para garantir que nenhum fator externo influencie seu curso: por exemplo, campanhas publicitárias, condições climáticas ou algo mais. (O clima aqui não é apenas sobre o humor dos usuários, mas também sobre o fato de que, por exemplo, para aplicativos de entrega, é importante considerar se está chovendo agora ou não - isso afeta a conversão).
Se o seu produto (ou um item de teste específico) não depende do clima, da moda ou da atividade de marketing dos concorrentes, então as conclusões sobre a adequação das alterações já podem ser feitas a partir das ações dos primeiros mil usuários. Depois de coletar os dados, você pode começar a interpretá-los e introduzir alterações que se justificaram.
Ferramentas de teste A / B
É muito mais fácil realizar experimentos em sites devido à flexibilidade de suas configurações nos painéis de controle, mas, felizmente, existem várias soluções para dispositivos móveis que se estabeleceram como práticas recomendadas.
Optimizely é uma das ferramentas mais populares. Possui uma interface intuitiva e agradável, um editor visual e ampla integração com as classes, possui recursos integrados para editar a funcionalidade dos elementos e pendurá-los, anexando novos eventos a eles. No entanto, o serviço não está disponível para todos os desenvolvedores devido ao alto preço.
O teste de cinco segundos é mais relevante para conduzir pesquisas de usabilidade e estudar a eficácia e a compreensibilidade do design de blocos e elementos específicos.
Convert Experiments é a plataforma mais acessível, o custo de uma assinatura do serviço começa em US $ 9 por mês. Ao mesmo tempo, possui um editor visual que permite ao testador trabalhar com elementos sem ter as habilidades de um programador. Existem menos métricas disponíveis e não análises internas avançadas, mas, para configurar rapidamente o teste A / B e executá-lo, o programa é bastante adequado.
O Apptimize possui um sistema mais avançado de análise interna e SDK, que é bastante simples de dominar. Há também um editor visual.
As experiências do Google Analytics concentram-se em aplicativos móveis baseados na Web e aplicativos híbridos.
Testes A / B e atualizações de aplicativos
Apenas alguns anos atrás, para executar testes A / B, não era necessário publicar uma versão atualizada do aplicativo: as alterações foram feitas em tempo real, introduzindo certos trechos no código. No entanto, devido ao fato de que essa abordagem contornou as políticas de segurança e as restrições da Apple e do Google, esse recurso foi fechado para os desenvolvedores. Hoje, para realizar um teste A / B, você precisará lançar uma versão atualizada do seu aplicativo.
O que aprender e onde crescer
Para realizar testes A / B, não é necessário ser um analista descolado - basta entender os indicadores e tirar as conclusões corretas com base.
Uma das principais habilidades de um especialista que realiza testes A / B é a capacidade de interpretar indicadores quantitativos em qualitativos e, ao contrário, decompor hipóteses qualitativas em números disponíveis para análise.
Os especialistas iniciantes devem se familiarizar mais com as regras da análise de produtos, já que suas práticas estão mais próximas dos testes A / B do que as utilizadas na análise da web e no comércio eletrônico.
É útil estudar metodologias flexíveis, em particular inicialização de linha. Para o testador, o produto se torna sua "inicialização interna". Portanto, essas decisões o servirão bem. Muitas informações úteis sobre a realização de pesquisas podem ser obtidas visitando as incubadoras de empresas e seus eventos; é também uma poderosa fonte de inspiração. Lá você pode viver para ver muitas opções de testes A / B - automáticos e tradicionais, como pesquisas e entrevistas detalhadas.
Obviamente, também são necessárias habilidades para trabalhar com números - desde a realização de pesquisas de opinião até a experiência em matemática aplicada e ciência da computação. Sem isso, você terá problemas ao processar os resultados do teste.
Todas essas habilidades permitirão, com o tempo, se houver um desejo, avançar no trabalho de marketing como estrategista, análise de UI / UX ou na posição de proprietário de um produto, e até criar seu próprio projeto. Onde quer que surjam dúvidas, onde não está claro para onde ir, onde encontrar o solo, para investigar o público e seu humor, em todas essas áreas o conhecimento adquirido durante os testes A / B pode ser usado.
Assim, tendo aprendido como coletar dados preliminares para uma hipótese, desenvolvendo soluções e testando-os com análises subsequentes - que, em essência, estão ocultas por trás do curto prazo "Teste A / B", você poderá descobrir muito mais perspectivas do que apenas o desenvolvimento no papel de QA ou analista.
A Skillbox recomenda cursos temáticos:
Lembramos que: para todos os leitores de Habr - um desconto de 10.000 rublos ao se inscrever em qualquer curso Skillbox usando o código promocional Habr.
Ainda existem alguns materiais de nossa série sobre desenvolvimento móvel, e é hora de perguntar: o que você gostaria de ler? Diga-nos nos comentários quais tópicos relacionados ao celular parecem importantes, mas não suficientemente divulgados, e tentaremos satisfazer seu interesse.