Agora, muitas, muitas pessoas (geralmente chamadas analistas, mas em geral pode ser qualquer especialidade) estão preparando várias tabelas e gráficos bonitos, com base nos quais decisões importantes devem ser tomadas.
Os conceitos que começam com as palavras Data Driven são agora bem conhecidos.
Mas as decisões nem sempre são tomadas realmente com base nos dados. E às vezes há problemas objetivos com a tomada de decisão.
Existem materiais suficientes sobre como gerar bons dados, armazenar e servir lindamente.
Todo mundo que deseja praticar um pouco na tomada de decisões com base em dados de alguma forma recebidos e formalizados - bem-vindo ao gato.
Antes de começar
Tomaremos decisões com base em tarefas ("casos").
É simples:
- Contexto (quem somos? Onde estamos? O que queremos?)
- Dado (um conjunto de dados, o que é, existem)
- Decisões que podem ser tomadas com base em
- Informações para consideração
- Possíveis respostas com comentários.
O nível de dificuldade de todas as tarefas está no nível do Capitão Evidence. A tarefa não é construir uma "teoria de tudo", mas falar em termos de tomada de decisão com base em dados.
Estes exercícios são recomendados.
- como uma leitura divertida para analistas,
- tomadores de decisão como um aquecimento fácil,
- assim como aqueles que precisam entrevistar urgentemente o candidato em uma hora, e as tarefas dos “pro gnomos” causam perplexidade e / ou desgosto.
Nenhum programa especial foi usado para criar este artigo; qualquer pessoa pode usar qualquer parte deste artigo para qualquer finalidade legal.
E alguns pensamentos mais simples, mas importantes:
- qualquer exemplo retirado do contexto de um modelo de negócios pode ser malsucedido e até fundamentalmente errado
- Eu recomendo tratar todos os exemplos como um guia de estudo e não como recomendações para ação no mundo real
- mesmo com uma pequena alteração na redação das condições e dos objetivos estabelecidos com antecedência, a solução recomendada pode mudar (e veremos isso)
- não há e não pode haver respostas “certas” para a maioria das tarefas; no final de cada tarefa, haverá pensamentos e apenas soluções possíveis
- e, é claro, todos os dados são números aleatórios que nada têm a ver com indicadores reais, todas as semelhanças são coincidências
E agora - vamos lá.
Tarefa número 1
Retorno do investimento
Contexto
Imagine que você tem dinheiro. E você investiu esse dinheiro em ativos.
Talvez esta seja sua loja online e, em seguida, os ativos sejam canais de marketing. Talvez você seja um investidor de risco e, em seguida, os ativos sejam algum tipo de startup. Pode haver muitas opções.É importante que você tenha investido dinheiro com uma meta claramente definida - pagar por 1 ano civil.
Este ano passou e é hora de analisar o resultado financeiro.
É assim:

São apresentados indicadores médios mensais para não levar em consideração a diferente sazonalidade dos ativos.
E uma programação adicional:
ROI - (retorno de investimentos) um indicador da efetividade dos investimentos, é considerado como (receita-custo) / custo. Se ROI = 0, então estamos "em zero", se ROI> 0, então estamos "em mais", ou seja, ganhou mais do que gastou.Suponha que
- nosso mercado é estável, ou seja, não joga para cima ou para baixo (suprima uma risada nervosa em nós mesmos, um exemplo de treinamento)
- o mercado está estabelecido, não há mudanças tectônicas (por exemplo, de offline para online),
- o mercado é grande o suficiente
Declaração de tarefa
Indique o número de ativos nos quais você investiria para o mesmo objetivo no próximo ano.
Informações para consideração
Veja se você está prontoUm grande mercado estável sugere que a situação não mudará muito de ano para ano.
Nas tarefas nesse nível de detalhe, é lógico supor que os custos para o próximo ano em cada ativo serão aproximadamente os mesmos.
Respostas possíveis
Veja se você está prontoResposta 1:
Se o nível de complexidade for declarado como "evidência do capitão", negligenciaremos tudo e estupidamente indicamos todos os ativos que pagaram, ou seja, pelo qual o ROI> 0:
1,2,5,9,10,11,12
Resposta 2:
Ano a ano não é necessário, você pode investir em ativos com um pequeno sinal de menos, talvez no próximo ano seja melhor. Além de 1,2,5,9,10,11,12, 3,6,7,13,14 podem ser adicionados
Resposta 3:
Vamos voltar ao primeiro cronograma (receitas e despesas), analisar e entender que, de acordo com nossas despesas, os ativos são divididos em 3 categorias: caro, médio e barato.
Tudo o resto é igual, faz sentido investir em ativos mais baratos. Os riscos (a probabilidade de perda investida) são os mesmos, mas corremos menos riscos. Os ativos com os números 3, 7 e 14 têm o mesmo ROI (-4%). Destes, é melhor levar o número 14 da carteira (corremos o risco de quantias menores).
Tarefa número 2
Desempenho das ações
Contexto
Agora vamos imaginar que não temos apenas dinheiro, mas algum tipo de negócio estável. Por exemplo, um serviço de vendas de serviços on-line (
tutores, barbearias, alguns anúncios de postagem de blog, o que for ). Temos um subordinado de marketing. Ele decidiu realizar uma campanha de marketing em outubro. Você insistiu que a ação deveria ter um objetivo claro.
Após as discussões, foi formulado da maneira mais simples possível: ganhar dinheiro agora. (
Um caso raro na vida real, na maioria das vezes o objetivo é ganhar dinheiro algum tempo depois, estimular vendas repetidas, vincular-se a uma marca ou eliminar os saldos das ações ).
Como resultado da ação, vemos o seguinte cronograma de vendas:

Vamos supor que estamos geralmente “no mercado” em termos de preço e qualidade em relação aos nossos concorrentes, nossa esfera é bastante grande, estável e não apareceu ontem, nenhuma grande mudança externa ocorreu nos últimos meses. Além disso, não há alterações na estrutura dos produtos vendidos.
Suas ações?
1. Dispensar um profissional de marketing
2. Deixe um profissional de marketing sem bônus
3. Apresente um bônus padrão ao profissional de marketing
4. Dê ao profissional de marketing um prêmio duplo
5. Dados insuficientes para tomar uma decisão
Informações para consideração
Veja se você está prontoVocê precisa avaliar as ações de um profissional de marketing para atingir seu objetivo.
Serviços (ao contrário do varejo clássico “compre mais barato, venda mais caro”) implica um modelo de negócios em que o custo dos serviços pode ser negligenciado.
Diferentemente da vida real, neste exemplo, não sabemos as especificidades do negócio, e isso pode ser importante. Mas muitas vezes com as especificidades que você pode se familiarizar com os dados, o principal é fazer uma pergunta corretamente.
Respostas possíveis
Veja se você está prontoPara avaliar a eficácia da ação, precisamos ter certeza de que são nossas ações de marketing a razão do crescimento das vendas.
Existe uma versão em que uma venda regular funciona aqui (os preços caíram - a demanda aumentou), mas não há dados suficientes para confirmar essa ideia.
Além disso, as condições estabelecidas excluem uma mudança na demanda como a mudança esperada na demanda (por exemplo, moda) ou as ações dos concorrentes.
Mas é perfeitamente possível que em outubro possamos ter um crescimento sazonal natural (um pequeno pico de demanda em fevereiro com o aumento dos preços mostra que isso é possível).
Portanto,
5. Não há dados suficientes para tomar uma decisão - queremos saber a sazonalidade.
Idealmente, haveria gráficos semelhantes para nossos principais concorrentes (sonhar, é claro, não é prejudicial, tudo bem, podemos ficar sem essa informação).
Comentários
Vemos "zero" no eixo vertical no gráfico, ou seja, não há manipulação de escala.
Os valores que afetam a receita (vendas e verificação média) são refletidos em um gráfico, o que significa que é fácil ver a interação deles. Cenários em que um valor diminui com o crescimento de outro são suficientes. Em dois gráficos adjacentes, casos menos óbvios podem ser invisíveis.
Na tarefa atual, não estamos interessados em números exatos, mas em dinâmica, portanto, há um mínimo de assinaturas nos gráficos.
Tarefa nº 2a
A eficácia da ação (e recebemos sazonalidade)
Contexto
Todas as condições da tarefa anterior permanecem válidas, mas recebemos dados do último ano e, como bônus, crescimento:

Encomendas:
ganhar
- para o mesmo mês do ano passado: + 77%
- para o mês anterior: + 52%
Verificação média:
ganhar
- para o mesmo mês do ano passado: -22%
- em relação ao mês anterior: -25%
Suas ações?
1. Dispensar um profissional de marketing
2. Deixe um profissional de marketing sem bônus
3. Apresente um bônus padrão ao profissional de marketing
4. Dê ao profissional de marketing um prêmio duplo
5. Dados insuficientes para tomar uma decisão
Informações para consideração
Veja se você está prontoA sazonalidade existe claramente conosco, embora pequena. Obviamente, não há pico de sazonalidade em outubro.
É difícil pensar em outros fatores significativos além de uma campanha de marketing (embora seja possível).
Respostas possíveis
Veja se você está prontoPara remover todas as dúvidas, é claro, quero fazer um teste A / B, mas isso nem sempre é e nem sempre é possível. E, ainda mais frequentemente, isso não se justifica (os benefícios de informações precisas podem ser menores que a perda de tempo no próprio teste).
A propósito, nesse caso, nem precisamos de um histórico de campanhas de marketing anteriores. Se tivéssemos visto um crescimento de vendas em outubro (principalmente quando os preços caíram), é lógico supor que no ano passado já havia uma promoção semelhante ao mesmo tempo.
Na vida real, o histórico de vendas do ano passado geralmente é muito mais fácil de obter do que o histórico de alterações no produto, grandes estoques no passado etc.
Portanto, consideramos a mudança de preço a razão do crescimento.
Porque negligenciamos o preço de custo, uma promoção bem-sucedida é uma ação com a qual ganhamos mais do que a situação em que não faríamos nada.
Você pode calcular os valores exatos ou simplesmente comparar o crescimento de cheques e a queda de preços. Nesse caso, vemos que nossa receita neste mês aumentou (as vendas cresceram mais do que o cheque médio declinou) e, portanto, a promoção foi bem-sucedida.
Você pode escolher uma das opções
2. Deixe o profissional de marketing sem prêmio (“Ele acabou de fazer o trabalho dele”)
3. Dê ao profissional de marketing um bônus padrão ("Alguma porcentagem da receita extra")
4. Apresente ao profissional de marketing um prêmio duplo ("Uau! O marketing funciona! Não se preocupe em irritar meu coração")
dependendo de acordos prévios e nosso estilo de gerenciamento
Comentários
Quando tudo estiver claro com as tendências e você precisar calcular algo com precisão, é melhor fornecer números específicos de forma explícita, em vez de lê-los nos gráficos.
Como um bônus para esta tarefa, vemos a taxa de inflação para o ano: essa é a diferença média entre a verificação média do ano atual e do ano passado (excluindo o mês promocional).
Tarefa número 3
Eficiência de estoque (e temos um modelo de negócios diferente)
Contexto
Todas as condições da tarefa anterior permanecem as mesmas, mas não vendemos serviços, mas mercadorias. (Comprou mais barato - vendido mais caro).

Encomendas:
ganhar
- para o mesmo mês do ano passado: + 77%
- para o mês anterior: + 52%
Verificação média:
ganhar
- para o mesmo mês do ano passado: -22%
- em relação ao mês anterior: -25%
Suas ações?
1. Dispensar um profissional de marketing
2. Deixe um profissional de marketing sem bônus
3. Apresente um bônus padrão ao profissional de marketing
4. Dê ao profissional de marketing um prêmio duplo
5. Dados insuficientes para tomar uma decisão
Respostas possíveis
Veja se você está prontoAqui, sem custo, de maneira alguma.
5. Dados insuficientes para tomar uma decisão
Comentários
Alterar uma palavra em uma declaração de problema leva a uma solução completamente diferente. Os detalhes geralmente podem ser importantes.
Tarefa número 3a
Eficiência de estoque (e temos um preço de custo)
Contexto
Todas as entradas da tarefa anterior permanecem, uma programação de custo dinâmico é adicionada (
suponha que sejam levados em consideração os custos de armazenamento em um armazém, flutuações de moeda, retração, etc. ).
Como resultado da ação, vemos o seguinte cronograma de vendas:

Encomendas:
ganhar
- para o mesmo mês do ano passado: + 77%
- para o mês anterior: + 52%
Verificação média:
ganhar
- para o mesmo mês do ano passado: -22%
- em relação ao mês anterior: -25%
Suas ações?
1. Dispensar um profissional de marketing
2. Deixe um profissional de marketing sem bônus
3. Apresente um bônus padrão ao profissional de marketing
4. Dê ao profissional de marketing um prêmio duplo
5. Dados insuficientes para tomar uma decisão
Respostas possíveis
Veja se você está pronto1. Dispensar o profissional de marketing ("estamos no vermelho, dispensa!")
2. Deixe o profissional de marketing sem prêmio (“reconhecemos o experimento como malsucedido, resolvemos os problemas de comunicação interna e seguimos em frente”)
Comentários
Vendas "no vermelho" com a inconsistência dos departamentos - este é um grande problema. Na maioria das vezes, essas ações têm mais probabilidade de revender.
Talvez o número de linhas no gráfico atual seja o máximo que você pode pagar sem perda de legibilidade.
Tarefa 4
Resumindo o teste A / B / C
Contexto
Imagine que temos um bom negócio lucrativo, pelo qual não temos vergonha: temos muitos clientes fiéis.
Por exemplo, temos uma loja on-line e uma assinatura com um catálogo de mercadorias, no qual um grande público é legal e eticamente inscrito. Eles veem uma carta de sua marca favorita em sua caixa de entrada, abrem-na, examinam as descrições de mercadorias (estoques, ofertas especiais - bem, alguma coisa); no final da carta, há um botão "Comprar" (cor neutra como um botão normal na interface) depois de clicar em qual vá para o site. Lá você já pode comprar alguma coisa.
A equipe do produto teve a ideia de aumentar as vendas alterando a cor do botão (
tivemos sorte novamente, não psicologia, nem apego à marca, nem previsões de longo prazo, mas vendas aqui e agora ). Decidimos realizar um teste: dividimos todo o nosso público leal (
consentindo com o processamento de dados pessoais e mala direta ) em três grupos: um controle (no qual aproximadamente 90% da audiência) e dois experimentais, com um botão verde e vermelho (cerca de 5% cada).
Estamos aguardando um tempo fixo e observamos os seguintes resultados do teste:
Esses resultados são destacados em verde, onde o resultado do teste é estatisticamente melhor que a linha de base. Se algum lugar fosse estatisticamente pior, seria destacado em vermelho.Porque alguns dos resultados podem causar ceticismo, algumas provas de uma fonte independente (uma das muitas calculadoras online de teste A / B www.evanmiller.org/ab-testing/chi-squared.html ):Seus próximos passos
1. Realize um teste A / A
2. Deixe a versão básica
3. Coloque a opção com o botão verde
4. Coloque a opção com o botão vermelho
5. Continue o teste ABC em outras proporções
6. Dados insuficientes para tomar uma decisão
Informações para consideração
Veja se você está prontoA realização de um teste A / A é o mesmo teste A / B, no qual a mesma parte é mostrada para duas partes da audiência. Obviamente, os resultados devem ser estatisticamente insignificantes. Se isso falhar, temos claramente problemas com o teste.
O mecanismo de teste pode ser imperfeito.
A mecânica da correspondência nesta tarefa é importante.
Às vezes você também precisa de cuidados.
Respostas possíveis
Veja se você está prontoNo momento da abertura da carta, o usuário não vê o botão. Portanto, o resultado estatisticamente significativo no botão vermelho é algo inimaginável. Dividimos mal os usuários (“aleatório ruim”) ou na letra há alguma diferença não apenas no botão, mas em outros lugares (hora do envio, segmento de envio, cabeçalho, “teste desigual”) ou nível de significância de 90% para não somos suficientes ("estamos sem sorte"). É melhor realizar um teste A / A.
O resultado significativo do botão vermelho não é realmente sobre o botão. Mas o verde começou a colher melhor. Isso não afetou as vendas, pois a amostra é pequena. Mas o negócio não espera, é necessário lançar algum resultado, então coloque o botão verde e siga em frente.
Nós precisamos de vendas. Há casos em que uma alta conversão por clique leva a baixas vendas (por exemplo, quando prometemos algo bom por um centavo e a realidade é pior ou muito mais cara). Parece que este não é o nosso caso, apenas a cor do botão. Mas em algumas áreas (exames de regulamentação de trânsito, futebol, reciclagem de lixo etc.), a cor verde pode causar associações inesperadas e, teoricamente, reduzir as vendas. Porque Para avaliar objetivamente as vendas dessas amostras, é necessário continuar o teste em outras proporções: dê 90% ao botão verde, 5% ao botão vermelho e ao grupo de controle.
Comentários
O exemplo da cor do botão é muito teórico. Embora às vezes coisas pequenas possam realmente levar a resultados significativos.
O principal problema dos testes é que eles levam tempo. Portanto, muitas vezes você precisa tomar decisões tímidas: uma empresa não espera tanto, é necessário tanto para total confiança.
Tarefa 5
Analisando mudanças nos segmentos de público-alvo
Contexto
Imagine que estamos gerando algum tipo de margem de negócios altamente competitivos, ou seja, não podemos dar descontos a todos os que estão à esquerda e à direita, e qualquer um dos nossos erros levará à saída do público para os concorrentes.
Por exemplo, somos uma operadora móvel das Três Grandes. Ou um provedor de internet. Ou um cabeleireiro.Com base em considerações gerais, formamos os seguintes segmentos de nosso público:
Iniciantes são aqueles que acabaram de conhecer o produto.
Saída - aqueles que não gostaram do nosso produto, pararam de usá-lo
Fiel é o mais legal, usa e fica feliz (talvez até nos recomende a amigos)
Saída de lealdade - os usuários que ainda estão “conosco”, mas estão descontentes, estão procurando ativamente uma alternativa e terão prazer em procurar quem oferecerá um serviço mais barato ou mais conveniente.
Para operadoras de telefonia móvel ou bancos, esse segmento é especialmente grande: poucas pessoas estão completamente satisfeitas com as suas, mas a “mudança” é carregada de altos custos e precisamos decidir sobre isso .
Você tem as seguintes informações sobre a dinâmica das transições de segmento para segmento:
A diferença horária entre "era" e "tornou-se" é significativa para o nosso produto.Suas ações:
1. Não faça nada
2. Faça um desconto para iniciantes
3. Faça um desconto para quem está agora no segmento "Leal"
4. Faça um desconto para quem está agora no segmento “Saída de lealdade”
5. Dados insuficientes para tomar uma decisão
Informações para consideração
Veja se você está prontoPara fazer um bom produto, otimizar despesas, promover-se ativamente - por si só, faremos isso sem essas informações.
Não poderemos dar um desconto a todos.
Manter um usuário com desconto é, na maioria dos casos, mais barato do que atrair um novo usuário.
Respostas possíveis
Veja se você está pronto, . .
. , . , . , , .
, . . (, )
Comentários
Nesse caso em particular, é possível alterar a metodologia de divisão em leal e efetiva da lealdade ou introduzir gradações intermediárias, conforme é difícil trabalhar com um segmento tão "fluido".Tarefa 6
Criar KPI em marketing
Você está envolvido em promoção paga em um serviço que fornece serviços pagos online. Seu KPI principal é o ROI mensal médio dos canais que você gerencia.Declaração de tarefa
Como você pode garantir a implementação do KPI da maneira mais confiável?1. Trabalhe na qualidade dos materiais de publicidade (banners, páginas de destino etc.)2. Trabalhe no conjunto correto de canais e campanhas3. Resposta rápida a campanhas malsucedidas baseadas nas principais métricas4. Trabalhe apenas com canais baratos5. Trabalhe em locais estreitos, mas público-alvo sem redimensionamentoInformações para consideração
Veja se você está pronto, , , .
.
, , , KPI.
Respostas possíveis
Veja se você está pronto— , , . .
, KPI, , .
, ROI . ROI 20% , .
(, - ) , . ( ) ROI .
, , . , , , .
Comentários
Os KPIs definidos incorretamente podem levar ao fato de que o desejo natural de cumpri-los prejudicará os negócios e não o ajudará.Tarefa número 7
Criar KPI no produto
Você está desenvolvendo um site que fornece serviços pagos.Seu KPI principal é a conversão mensal média de visitas a pedidos pagos.Declaração de tarefa
Como você pode garantir a implementação do KPI da maneira mais confiável?1. Melhorar a funcionalidade do site usando a experiência do usuário2. Introduzir novos recursos3. Melhorar a qualidade dos serviços e o tempo de feedback4. Fornecer mais materiais gratuitos5. Reduzir os preços dos produtos6. Fechar o acesso do site a todos, exceto usuários antigos pagantesInformações para consideração
Veja se você está pronto, , , .
.
, , , KPI.
Respostas possíveis
Veja se você está pronto.
.
. , . , , , .
Comentários
Os KPIs definidos incorretamente podem levar ao fato de que o desejo natural de cumpri-los prejudicará os negócios e não o ajudará.Isso é tudo para as tarefas de hoje. Ficarei feliz em ouvir seus pensamentos e soluções alternativas nos comentários.