Métricas não triviais da eficácia das campanhas publicitárias

Ao analisar as cadeias de canais de publicidade, algumas idéias bastante simples, mas úteis, passam despercebidas. Os analistas familiarizados com a matemática imediatamente querem mergulhar no aprendizado de máquina, enquanto os analistas que estão longe da matemática realmente não entendem onde e como olhar isoladamente dos relatórios padrão do Google Analytics.

Ao mesmo tempo, algo banal como a distribuição de comprimentos de cadeias de atribuição por um período pode lhe dizer coisas muito eloqüentes, e não apenas sobre a eficácia de sua publicidade.

Neste artigo, mostrarei como para esta distribuição:

1. Distinguir entre os que passam por canais de publicidade os usuários que respondem à publicidade;
2. Avalie a eficácia do impacto de sua campanha publicitária neste grupo;
3. Avaliar como as pessoas reagiriam ao seu produto se você soubesse tudo sobre o que queria contar;
4. Estime a frequência ideal de exibição de anúncios em termos de taxa de conversão.

Grupos de envolvimento do usuário

Suponha que você tenha dados em todas as cadeias de canais que os usuários passaram em um mês. Para começar, vamos dividi-los em dois grupos:

1. Cadeias que terminaram em conversão.
2. Cadeias que não encerraram a conversão.

Crie uma tabela contendo o número de cadeias de um determinado comprimento:

Comprimento da corrente	1	2	3	4	...
Número de conversões	200	400	600	1000	...
Número de conversas sem conversões	400.000	300.000	30000	7000	...

Depois disso, você pode plotar o logaritmo do número de cadeias convertidas e não convertidas em seu comprimento e examiná-las juntas. Por exemplo, aqui criamos um cronograma para um de nossos clientes B2C por um certo período de tempo:


Fig. 1. A dependência do número de cadeias no comprimento da cadeia

Cada ponto do gráfico define um determinado grupo de usuários que, durante o período considerado, completou a conversão (linha verde) ou não (a linha azul) enquanto completava uma cadeia de um determinado comprimento. Ambos os gráficos diminuem porque o número de cadeias diminui exponencialmente com seu comprimento. Para cadeias curtas (de 2 a 7-8), o nível de conversão (a distância entre as linhas) aumenta gradualmente.

Existem alguns pontos extremamente interessantes que podem ser destacados observando este gráfico:


Fig. 2. Dependência do número de cadeias em seu comprimento com regiões sobrepostas, destacando vários tipos de comportamento.

Temos 4 grupos de usuários distintos:

1. Correntes de comprimento 1 e 2 (amarelo). O número de conversões está aumentando, mas esse crescimento em si e os valores da taxa de conversão (taxa de conversão) não correspondem à tendência principal. Esses são usuários familiarizados apenas com o produto.
2. Correntes de comprimento de 3 a 9 (verde). A principal tendência é quando o número de conversões diminui. Os gráficos estão convergindo, o que indica que a proporção de cadeias está mudando na direção de aumentar a proporção de cadeias com conversão. I.e. a taxa de conversão está aumentando. Isso é apropriado para usuários que clicam especificamente em anúncios.
3. Correntes de 9 a 15 (azul). O número de conversões é reduzido e o nível de conversão permanece inalterado. Os gráficos são paralelos, o que indica que o nível de conversão é inalterado. Os usuários têm uma idéia de como a organização pode satisfazer suas necessidades, e publicidade adicional não aumenta a probabilidade de uma compra.
4. Maior que 15 (rosa). Menos de 10 conversões e conversões sem conversões. Poucos dados para dizer algo.

Destacar esses quatro grupos ajuda a entender o volume de pessoas que potencialmente respondem à publicidade. Este é o grupo em sua maioria (2).

Análise de conversão de grupo

Para começar, jogue fora tudo o que não é necessário. Comprimentos superiores a 15 (dentro desses dados) não são muito informativos para nós. Poucas cadeias desse comprimento não permitem conclusões. Vamos desenhar um gráfico do nível de conversão versus o comprimento da cadeia:


Fig. 3. Taxa de conversão x comprimento da corrente

Este gráfico é aproximadamente com o Igmoid oh. Tais dependências são descritas por regressão logística . A descrição da dependência obtida usando a regressão logística ajuda a tirar conclusões úteis adicionais, no entanto, dois fatos interferem em uma boa aproximação usando a regressão logística:

• A cauda inferior é muito baixa, a regressão superestima muito a probabilidade de conversão para comprimentos de cadeia curtos.
• À medida que o número de cadeias aumenta, o gráfico tende a não 1, como um sigmóide, mas a 0,5.

Ambos os problemas são resolvidos de maneira bastante simples.

Por que a cauda inferior tem probabilidades tão inadequadas (para regressão logarítmica)?

É intuitivamente óbvio que, se uma pessoa clicou nos links para seu recurso pelo menos três vezes, provavelmente isso não aconteceu por acaso. E a chance de uma vez é muito provável. Assim, a questão colocada é resolvida de maneira simples e radical - todas essas pessoas estavam no site por acaso (provavelmente) e não precisavam dos seus produtos ou serviços. Mas aqui estão eles no seu site e é provável que sejam convertidos.

Portanto, simplesmente não consideraremos mais esse grupo. Para aproximar a regressão logística, consideraremos apenas os grupos de usuários (2) e (3).

Como se livrar do fato de que a probabilidade não tende a 1, se em regressões logísticas deve tender a 1?

O que as empresas de publicidade dão? Eles permitem que o cliente se familiarize totalmente com a empresa, seus serviços e comodidades. Se uma pessoa já aprendeu tudo sobre a empresa, isso significa necessariamente que ela comprará alguma coisa? Não. Provavelmente, existem dezenas e centenas de alternativas ao serviço anunciado. Uma pessoa que já sabe tudo sobre o seu serviço em particular provavelmente está familiarizada com vários outros serviços. E agora ele tem informações suficientes para escolher com certa probabilidade uma determinada empresa na qual ele solicitará alguma coisa. E essa probabilidade é menor que 1. Aumentar o número de passes nos anúncios a partir de uma certa quantidade fica sem sentido. Portanto, para o gráfico tender para 1, basta dividir todos os valores dos níveis de conversão pelo valor de probabilidade para o qual o gráfico tende a aumentar o número de passes na publicidade.

Avaliação integral da eficácia da organização e sua estratégia de marketing

Vejamos o exposto do outro lado. Para cadeias suficientemente longas, o número de usuários adicionais transmitidos pela publicidade não desempenha mais um papel. Algo mais importa. Chamamos isso de grau de conveniência da empresa como tal. Ela é constante para a organização.

Em seguida, a probabilidade geral de conversão é dividida no produto de duas probabilidades:

$$

$$P_ {conv.} (L) = P_ {marketing} (l) * P_ {empresa},$$

onde $$$P_ {empresa}$- uma avaliação integrada da eficácia da organização, ou seja, a probabilidade de comprar algo em uma organização sobre a qual você já sabe tudo o que pode e escolhe conscientemente entre essa organização e alternativas (passagens adicionais pelos canais de publicidade não afetam a decisão de compra). $$$P_ {marketing} (l)$- uma avaliação integrada da eficácia de uma estratégia de marketing, ou seja, a probabilidade de comprar algo na organização, desde que apenas o marketing influencie e, se uma pessoa souber tudo o que é possível, ela definitivamente comprará nessa organização e não considerará uma alternativa. E, é claro, essa probabilidade depende do comprimento da cadeia. $$$l$.

Se voltarmos à Figura 3 novamente, veremos que a área de influência $$$P_ {marketing} (l)$estende-se apenas ao (2) grupo de usuários. Para o grupo (3) - $$$P_ {marketing} (l) = 1$, o que significa que a probabilidade de compra é $$$P_ {empresa}$. No nosso caso, em média $$$P_ {empresa} = 0,55$o que é extremamente bom. Esta figura diz que, com todas as cartas em mãos, uma pessoa escolhe essa organização dentre todas as alternativas possíveis em 55% dos casos.

Bem, resta acrescentar que agora temos uma racionalização para $$$P_ {marketing} (l)$, que tende a 1. Uma regressão logística simples de um fator agora pode ser aplicada a ela. Faremos isso aproximando os dados normalizados por 1, dividindo os dados por sigmóide $$$P_ {empresa}$.


Fig. 4. Dependência da conversão no comprimento da cadeia com uma curva imposta para regressão logística.

No gráfico $$$l$- comprimento da corrente, P _m - $$$P_ {marketing} (l)$. O expoente para o expoente é log-odds ratio = 0,53. Se uma empresa tivesse 100% de chance de uma "conversão consciente" ( $$$P_ {empresa} = 1$), isso significaria aproximadamente que, a cada aumento da cadeia em um, a proporção do número de cadeias com e sem conversão mudaria em [exp (0,53) = 1,699].

Este indicador mede o grau de eficácia da estratégia de marketing como um todo. Quanto mais rápida a probabilidade é alcançada $$$P_ {empresa}$, mais eficaz é a estratégia. Naturalmente, você precisa garantir que $$$P_ {empresa}$assumiu valores satisfatórios para o seu negócio; caso contrário, uma estratégia de marketing eficaz forçará um cliente em potencial a comprar algo que não seja de você.

Estimativa da frequência ideal de publicidade no canal

Considere a figura (3), que mostra a dependência da probabilidade de conversão do número de canais pelos quais o usuário viajou atualmente. Cada ponto no gráfico corresponde a uma determinada seção condicional do público-alvo. Por exemplo, as pessoas que passaram por 10 canais são um pouco diferentes daquelas que passaram por apenas 2, porque a maioria das pessoas que passaram por dois canais não alcançará 10.

Além disso, para aqueles que passaram por 10 canais, os programas de marketing provavelmente não funcionam mais. Eles já viram todos os anúncios possíveis. Para aqueles que passaram por apenas dois canais, a publicidade pode funcionar. Assim, toda a estratégia de marketing deve ser focada especificamente no grupo (2). Pessoas que passaram por mais de dois canais, mas ainda não passaram, por exemplo, 10.

Nosso estudo dos dados mostrou que, para o grupo (2), há uma correlação negativa significativa entre o nível de conversão e o número total de cliques no anúncio por um determinado período. I.e. quanto mais pessoas da Ásia Central, em princípio, passaram por um determinado canal de publicidade, menor a probabilidade de um membro do grupo (2) desse canal ser convertido.


Fig. 5. A relação entre correlação e diferentes comprimentos de cadeia. Correlação é o coeficiente de correlação da pearson entre o nível de conversão e o número total de cliques nos canais de publicidade.

Isso pode ser devido ao fato de o aumento nas conversões estar associado a um aumento nas impressões. Algoritmos inteligentes de plataformas de publicidade tentam mostrar publicidade da parte mais eficaz do público-alvo, mas essa parte é limitada. Assim, com um aumento no número de impressões, os algoritmos são forçados a começar a exibir anúncios para a parte menos eficaz do público-alvo. Essa parte da CA tem menos probabilidade de conversão.

Pode-se supor que exista alguma escolha ideal da frequência de impressões do anúncio no canal, o que afetaria apenas a parte mais eficaz do público-alvo. O grau de adequação da escolha da frequência atual pode ser estimado calculando a correlação entre o número total de transições para o período e o nível de conversão. Se essa correlação for negativa, você precisará reduzir a frequência das impressões. Se for aproximadamente igual a 0, o tamanho é ideal. Se for positivo, o tamanho da audiência pode ser aumentado.

No nosso caso, uma alteração na frequência de impressões, que levou a uma redução no número de conversões em 25%, levou a um aumento no nível médio de conversão do grupo (2) de 3,5% para 4%.

Conclusões e limitações

Principais métricas sugeridas:

1. Tamanho do grupo (2). Ele permite estimar quantas pessoas no período do relatório reagiram ativamente a anúncios.
   
2. A probabilidade de conversão de uma pessoa que geralmente aconteceu por acaso e ela não precisa de nada da organização. É estimado pela taxa de conversão de cadeias "de uma etapa". No caso dos dados revisados ​​aqui, isso é de 0,06%.
   
3. Dividindo a probabilidade de conversão por dois comprimentos de cadeia $$$P_ {empresa}$e $$$P_ {marketing}$pode ser estimado:
   
   • Avaliação integral da eficácia organizacional. I.e. A probabilidade de comprar o produto, desde que, com uma visualização adicional do anúncio, a opinião da pessoa sobre o produto e a empresa não mude. No nosso caso, é de 55%.
     
   • Uma avaliação integrada da eficácia de uma estratégia de marketing pelo indicador de regressão logística, que pode aproximar a dependência existente do nível de conversão no comprimento da cadeia. Com cada aumento da cadeia em um, a probabilidade de conversão aumenta e chegaria a 100% em algum momento se $$$P_ {empresa} = 1$. O índice de regressão logística indica a gravidade desse aumento.
     
4. A correlação entre o nível de conversão e o número total de cliques de grupo (2) no canal de publicidade do período permite estimar a frequência ideal de impressões no canal.

Todas as opções acima têm várias limitações na interpretação. E a principal limitação nos impõe o tempo final de consideração. Obviamente, cadeias suficientemente longas ainda podem terminar com a conversão em algum lugar no futuro (o que ainda não encontramos), e algum nível "real" de conversão da cadeia pode ser um pouco maior. É razoável supor que a Pfirm esteja subestimada e essa avaliação é uma avaliação integral da eficácia da organização a partir de baixo. Para evitar essas dificuldades, podemos considerar um intervalo de tempo em que todos esses efeitos em tempo finito seriam muito pequenos. Por exemplo, um ano inteiro.

PS Para acompanhar as notícias do Maxilect e ser o primeiro a saber sobre todas as publicações, assine nossas páginas nos canais VK , FB ou Telegram .