Usamos ciência de dados para determinar o ciclo de vida de um cliente

Olá Habr! Apresento a você a tradução do meu artigo "Entendendo o valor da vida do cliente com a ciência de dados" .

O relacionamento com o cliente é importante para todas as empresas e desempenha um papel fundamental no crescimento dos negócios. Uma das métricas mais importantes nessa área é o valor da vida útil do cliente (doravante referido como LTV) - a previsão do lucro líquido associado a todos os relacionamentos futuros com o cliente. Quanto mais os clientes continuarem a usar os produtos da empresa, aumentando os lucros, maior será o seu LTV.

Existem muitos artigos de marketing sobre a importância do LTV e da segmentação de clientes. Mas, como cientista de dados, estou mais interessado em fórmulas e quero entender como o modelo realmente funciona. Como prever LTV usando apenas 3 atributos? Neste post, mostrarei alguns modelos usados ​​para a segmentação de clientes de marketing e explicarei a matemática em que eles se baseiam. Haverá muitas fórmulas aqui, mas não se preocupe: tudo está pronto nas bibliotecas Python. O objetivo deste blog é mostrar como a matemática faz todo o trabalho.

Modelo binomial beta-geométrico / negativo para determinar a probabilidade de o cliente estar “vivo”

Considere este exemplo [do serviço on-line para encomendar viagens (táxi) na cidade]: um usuário registrado há 1 mês, fez 4 viagens e a última viagem ocorreu 20 dias atrás. Com base apenas nesses dados, esse modelo pode prever a probabilidade de o cliente permanecer ativo por um determinado período de tempo (como mostrado no gráfico), bem como o número de transações no futuro (que é a base para entender o valor do cliente ao longo de sua "vida" - relacionamento com clientes e empresas).

O modelo fornece um guia direto de ação para o negócio: tome medidas de marketing em relação ao usuário quando sua probabilidade de atividade diminuir abaixo de um determinado nível para impedir sua saída.

Esse modelo foi proposto por Fader, Hardie e Lee e é chamado de modelo de distribuição binomial geométrico / negativo beta (BG / NBD).

O modelo BG / NBD possui as seguintes propriedades:

Quando o usuário está ativo, o número de transações no período t é descrito pela distribuição de Poisson com o parâmetro de transação λ .

A distribuição Poisson ajuda a prever eventos que ocorrem usando dados sobre a frequência com que os eventos ocorreram no passado. Por exemplo, se o usuário fez uma média de 2 viagens por semana ( $$$λ = 2$ no gráfico abaixo), a probabilidade de ele fazer três pedidos na próxima semana é de 0,18.

1. A heterogeneidade do parâmetro de transação entre os usuários (o que significa como os clientes diferem entre si no comportamento de compra) possui uma distribuição gama com os parâmetros r (forma) e α (escala) .

A distribuição gama é adequada para processos com um tempo de espera entre eventos com uma distribuição Poisson (no nosso caso, para o parâmetro de transação λ ). Por exemplo, considere um usuário que faz uma média de 2 transações por semana. Nesse caso, a probabilidade de que o tempo de espera antes de o usuário fazer três compras seja superior a 4 semanas é igual à área no gráfico à direita da linha tracejada vertical (abaixo da linha de distribuição azul) - 0,13.

1. Os usuários podem ficar inativos após qualquer transação com probabilidade p , e o ponto de partida (quando ficam inativos) é distribuído entre as compras de acordo com a lei geométrica.

A distribuição geométrica é semelhante aos resultados de Bernoulli e é usada para modelar o número de resultados antes (e incluindo) do primeiro resultado bem-sucedido. Se para algum usuário $$$p = 0,2$ , a probabilidade de ficar inativo após três transações é de 0,12 (linha azul no gráfico).

1. A heterogeneidade (variação entre os usuários) na probabilidade de retirada tem uma distribuição Beta com os parâmetros de forma α e β .

A distribuição beta é mais adequada para representar distribuições probabilísticas de probabilidade - o caso em que não conhecemos a probabilidade antecipadamente, mas temos algumas suposições a priori razoáveis ​​descritas por α e β (mat. Expectativa da distribuição beta) $$$α / (α + β))$ .

Para o exemplo anterior, com um usuário cuja probabilidade a priori de retirada é 0,2, a linha laranja no gráfico com $$$α = 2$ e $$$β = 8$ descreve a função de densidade de probabilidade para a probabilidade de um usuário sair.

1. O parâmetro da transação e a probabilidade de retirada são distribuídos independentemente entre os usuários.

Notação matemática para atributos do usuário X :

onde $$$x$ - o número de transações por um determinado período de tempo $$$(0, T]$ e $$$t_x (<= T)$ - hora da última compra.
Com base apenas nessas características, o modelo prevê o futuro histórico de compras dos usuários:
$$$P (X (t) = x)$ - probabilidade $$$x$ transações para o período $$$t$ no futuro
$$$E (Y (t) | X = x, t_x, T)$ - O número esperado de transações por período para um usuário com um comportamento específico.

Agora podemos encontrar esses dois indicadores principais. Sem entrar em detalhes, mostrarei as fórmulas finais (mais cálculos nos artigos).

Probabilidade de ser ativo:

Transações esperadas:

onde $$$_2F_1$ - Função hiper-geométrica de Gauss

Modelo gama-gama para avaliar LTV

Até o momento, utilizamos apenas a frequência e as compras recentes do cliente. Além disso, podemos aplicar o componente monetário de suas transações. Adicione novos dados ao nosso exemplo: o usuário fez essas quatro viagens ao preço de 10, 12, 8, 15. O modelo gama-gama ajuda a prever o valor mais provável de uma transação no futuro.
Para resumir tudo juntos, agora temos todos os elementos para determinar o cliente LTV:

LTV = número esperado de transações $$$*$ preço de transação $$$*$ margem

onde o primeiro elemento é do modelo BG / NB, o segundo é do modelo Gamma-Gamma e a margem é definida pelo negócio.

Notação matemática para modelos gama-gama:
Usuário confirmado $$$x$ transações de valor $$$z_1, z_2, ...$ e $$$m_x = Z_i / x$ - o valor médio observado da transação.
$$$E (M)$ - a média oculta do valor da transação e o que nos interessa é $$$E (M | m_x, x)$ - o valor monetário esperado do usuário com base no seu comportamento de compra.

Propriedades do modelo gama-gama:
O valor monetário das transações do usuário é aleatório e se enquadra nos valores médios de transação.

O valor médio da transação varia entre os usuários, mas não varia para um usuário específico ao longo do tempo.

O valor médio da transação possui uma distribuição gama entre os usuários.

Os artigos descrevem em detalhes a derivação da fórmula através de várias distribuições gama. O resultado é:

onde p é o parâmetro de forma ev é o parâmetro de escala da distribuição gama para transações $$$Zi, q$ parâmetro de forma e $$$γ$ o parâmetro de escala para a distribuição gama v (suposição do modelo de que p é constante - os coeficientes de variação no nível individual são os mesmos para os usuários). Para encontrar os parâmetros do modelo, podemos usar o método de máxima verossimilhança.

Terminamos a matemática e agora podemos avaliar o LTV dos usuários. Mas e a precisão desse modelo?

Avaliação da precisão do modelo

A abordagem tradicional sugere dividir os dados em dois grupos - parte para treinamento e parte para teste. Nos artigos, os autores mostram que sua abordagem funciona bem. Eu também tentei esses modelos com dados reais e também obtive resultados semelhantes.

O gráfico mostra a distribuição de transações reais e previstas para dados do grupo de teste: o erro aqui é de 2,8%.

Como se inscrever

Como eu disse no começo, todos os modelos já estão implementados. Por exemplo, a biblioteca " lifetime " do Python contém todas as funções e métricas necessárias para definir o LTV. A documentação detalhada contém muitos exemplos e explicações. Existem também exemplos de consultas sql para receber dados no formato necessário. Assim, você pode começar a trabalhar em apenas alguns minutos.

Conclusão

Neste post, mostrei em detalhes como os usuários do LTV podem ser avaliados usando apenas alguns atributos.

Quero observar que, às vezes, você pode se afastar das árvores impulsionadas por gradiente frequentemente usadas e tentar outras abordagens que têm um nível comparável de precisão. O treinamento estatístico ainda pode ser colocado em prática e pode ajudar as empresas a entender melhor os clientes.

Referências

Fader, Peter e GS Hardie, Bruce e Lok Lee, Ka. (2005). “Contando seus clientes” da maneira mais fácil: uma alternativa ao modelo Pareto / NBD. Ciência de Marketing.
Fader, Peter e GS Hardie, Bruce (2013). O modelo gama-gama de valor monetário.
Fader, Peter S., Bruce GS Hardie e Ka Lok Lee (2005), "RFM e CLV: Usando curvas de valor ISO para análise da base de clientes", Journal of Marketing Research.