10 hackers que desenvolvem sistemas de recomendação

Em um artigo anterior, discutimos o básico da recomendação de sistemas e casos de uso. Aprendemos que o princípio principal é recomendar produtos que pessoas de gosto semelhante gostem e aplicar o algoritmo de filtragem colaborativa.

Neste artigo, serão considerados os hacks de vida dos sistemas de recomendação baseados em casos reais de negócios. Ele mostrará quais métricas são melhor usadas e que grau de proximidade escolher para previsão.



O aprendizado de máquina usa várias métricas para avaliar o desempenho dos algoritmos. Mas nos negócios, a métrica básica é a mesma: quanto dinheiro a implementação da solução trará. Com base nisso, em nossos casos que a equipe do Data4 implementa , tentamos aumentar a receita total por usuário.

Para maximizar a receita, é útil saber quais produtos o usuário comprou. Infelizmente, se construirmos a matriz de preferências do produto apenas nos dados de compra, nossa matriz será escassa e a qualidade sofrerá.

Lifehack número 1


Vamos usar na matriz de preferências do produto não apenas as compras, mas também as etapas intermediárias: clicar em um cartão, adicionar à cesta, fazer um pedido.

Atribuímos um coeficiente de ponderação para cada ação, e nossa matriz se tornará mais "densa".

Mas nem todos os produtos são igualmente de conversão. Depois de abrir o cartão, uma pessoa não pode continuar a compra devido às propriedades "internas" dos bens. Exemplo: itens de luxo são frequentemente visualizados, mas compram pouco.

Life hack número 2


Vamos criar a distribuição de mercadorias para cada estágio do funil e remover das recomendações de 5 a 10% dos produtos de conversão mais baixos em cada estágio. O principal é não "espirrar o bebê com água". Os bens restantes terão propriedades "internas" que não interferem na compra. Um exemplo de propriedade interna são os tamanhos de roupas disponíveis. Se o produto for bom, mas apenas de um tamanho, a conversão será baixa.

Nós descobrimos as mercadorias, agora vamos ver como medir a "semelhança" do usuário.

Existem muitas métricas de similaridade, começando com proximidade de cosseno, mínimos quadrados e terminando com opções exóticas.

Lifehack número 3


Com base na experiência do Data4 na construção de sistemas de recomendação para lojas on-line, o trabalho está em andamento com matrizes descarregadas. Para essas matrizes, é melhor usar o coeficiente de proximidade - Jacquard. Isso aumenta mais as métricas do que uma alteração de algoritmos.

Lifehack número 4


Antes de usar redes neurais, tente SVD e máquinas de fatoração. Isso funciona.



Fig. 1 Princípio de operação de máquinas de fatoração

Lifehack número 5


É divertido reconhecer produtos semelhantes por imagem, mas a qualidade usando SVDs baseados em comportamento é melhor.

Lifehack número 6


Recomendamos produtos populares para novos usuários (é assim que o problema do arranque a frio é superado) e para usuários regulares da longa cauda da distribuição da popularidade de mercadorias. As recomendações funcionam bem quando recomendam produtos de baixa frequência adequados para o usuário. Não faz sentido recomendar o filme Titanic, se o usuário quiser assistir, ele já o assistiu. Mas um filme ou produto pouco conhecido pode surpreender agradavelmente o usuário.



Lifehack número 7


Faça uma variedade de recomendações, ninguém quer abrir a página, ver 10 casacos de pele idênticos ou apenas filmes de um diretor. Uma variedade de conteúdo aumenta a probabilidade de uma compra.



Lifehack número 8


Escolha uma métrica para entender como ela funciona. Deixe um RMSE simples, mas um resultado confiável que nDCG @ K (essa métrica é adequada) e um resultado aleatório.

Lifehack número 9


As pessoas podem ficar ofendidas com as recomendações; portanto, as mulheres não devem recomendar roupas de tamanho grande se você não souber o tamanho delas.

Lifehack número 10


Somente a realização de um teste A / B nos usuários informará como a solução funciona. Métricas de qualidade - um resultado intermediário, teste A / B - confirmação, que pode decepcioná-lo, mas que muitas vezes agrada.

Usando as técnicas descritas, nossa equipe do Data4 realizou vários casos de implementação de sistemas de recomendação.

No artigo, falamos que, para melhorar a qualidade do sistema de recomendação, você pode: 1) levar em consideração ações intermediárias do usuário; de acordo com a imagem, se o orçamento for limitado 6) Recomende produtos não óbvios para usuários antigos, desde o final da distribuição da popularidade 7) Recomende vários produtos 8) Use as métricas de qualidade certas wa 9) Não ofenda as pessoas com recomendações 10) Use o teste A / B para verificar o resultado.

Source: https://habr.com/ru/post/pt476224/


All Articles