Análise de tendências do YouTube russo para 2018

Os veteranos, provavelmente, nem se lembrarão, mas no final de 2017, nas discussões na Internet, foi divulgada a ideia de que as tendências do YouTube costumavam exibir vídeos "acabados".

Portanto, na véspera do novo ano de 2018, escrevi um utilitário para coletar informações sobre vídeos que entraram em tendências. Para cada vídeo, um nome, uma lista de tags, uma data de criação são solicitados e um histórico de alterações em vernizes / desgostos / visualizações também é mantido. O desenvolvimento foi realizado no TypeScript for NodeJS, o código em si é publicado no GitHub .

Como resultado, agora há a oportunidade de criar belos gráficos:

Há também a oportunidade de criar gráficos de mudanças de tendência por palavras-chave. No total, para o ano de 2018, foram coletadas informações em 29.271 vídeos. As estatísticas estão sendo coletadas agora.

Princípio geral do trabalho

1. A cada 5 minutos, é feita a lista atual de tendências.
2. Para cada novo vídeo, as informações básicas são salvas (título, lista de tags, data de criação)
3. Com base no título e nas tags, cada vídeo é mapeado para uma nuvem de palavras-chave.
4. De acordo com a programação, são solicitadas informações sobre gostos / desgostos / visualizações para cada vídeo. As estatísticas são coletadas dentro de dois dias, na primeira vez em que as solicitações são enviadas em intervalos de 2 minutos, o intervalo aumenta. Se houver suspeita de trapaça, o intervalo será novamente definido para 2 minutos.

Se o gráfico de alterações no número de gostos / desgostos em qualquer uma das seções for uma linha reta, apenas o primeiro e o último valor nesta seção serão salvos. Isso é feito para reduzir o volume do banco de dados. Agora, na tabela com estatísticas, existem apenas 6908449 registros, no disco a tabela ocupa 458 mb.

O princípio da detecção automática de marcações

Para mim, formulei o problema da seguinte maneira: você precisa marcar o vídeo que tem uma “escada” no gráfico de alterações de que gosta / não gosta. Os passos desta mesma escada são determinados com base em três medidas estatísticas adjacentes. O ângulo entre duas linhas é levado em consideração: uma linha é desenhada entre a primeira e a segunda medidas, a segunda - entre a segunda e a terceira, bem como os comprimentos dos segmentos. Gráficos com muitas pequenas irregularidades também são anotados.

Um exemplo de gráfico suspeito:

Todos os parâmetros do algoritmo foram determinados por mim manualmente e verificados no vídeo já coletado naquela época e durante o ano foram feitas alterações nesse algoritmo. Portanto, tratar seriamente esses resultados para cada vídeo individual provavelmente não vale a pena. Em minha defesa, posso dizer que, ao alterar os parâmetros, uma recontagem foi iniciada para todos os vídeos já coletados, portanto o mesmo algoritmo foi aplicado a todos os vídeos.

Em geral, é impossível dizer se houve uma marcação em um (ou vários) gráficos de alterações nos gostos / desgostos. Quaisquer diferenças suspeitas podem ser explicadas pela operação do CQRS ou explosões solares. Sim, um gráfico é suave e o outro é gradual, mas é possível que todos os vídeos encontrem esse comportamento ocasionalmente? Por isso, para compilar a imagem geral, foram coletadas informações de todos os vídeos que atingiram as tendências.

Agrupar estatísticas

Para 2018, o algoritmo apresentou os seguintes resultados:
Suspeita de fraude: 180 vídeos (0,32% do número total de vídeos)
Suspeita de trapaça em antipatias: 1303 vídeos (4,45% do número total de vídeos)

Existem poucos vídeos com gráficos de gostos suspeitos, mas esse nem sempre foi o caso: no primeiro mês de 2018, 96 vídeos foram gravados (mais de 50% de todos os gostos suspeitos por ano). No entanto, em fevereiro, havia muito menos vídeos, apenas 8.

Aqui, você provavelmente deve recorrer novamente aos veteranos que podem se lembrar (ou não) do evento que ocorreu em 10 de janeiro de 2018, quando o YouTube bloqueou muitos canais . Da minha parte, posso dizer que, entre os bloqueados, havia aqueles em que meu utilitário conseguiu coletar informações. Agende um dos vídeos excluídos:

Supondo que realmente houvesse truques, parece que o YouTube deu muito trabalho e agora você pode encontrar vídeos populares suspeitos de gostos não todos os dias (e os que ocorrem com mais frequência parecem um acidente ou um erro). Por outro lado, essa diferença nas marcações pode ser explicada pelo fato de que, diferentemente da antipatia, não faz sentido encerrar os gostos de vídeos que já estão na moda.

E mais algumas estatísticas. Em média, 21.569 curtidas e 2.863 dislags ganham em vídeos de tendências.
Suspeita de traição: 15502/4250
Trapaças suspeitas em desvios: 16868/22087
Portanto, se você observar o resultado, não haverá utilidade para criar curtidas, enquanto é possível aumentar a porcentagem de não curtidas.

Os gráficos suspeitos de não gostar são desiguais. Por exemplo, no canal de Yevgeny Roizman, dos 21 vídeos que se tornaram tendência, mais da metade é marcada pelo algoritmo como sendo prejudicada por aversões.

Em relação ao gráfico do título deste artigo. Se assumirmos que há um conjunto de contas no valor de 5 a 10 mil, que recebeu primeiro o comando de não gostar e, em seguida, sem aguardar o término do trabalho no mesmo conjunto, eles deram o comando para colocar curtidas, provavelmente é possível obter um cronograma semelhante.

O gráfico mais estranho que já vi:


Ficaria muito grato se alguém oferecer uma explicação sobre o que diabos está acontecendo aqui. A propósito, você pode ver que, de acordo com este gráfico, as estatísticas foram coletadas por quase uma semana, não dois dias.

O princípio do algoritmo para medir a popularidade das palavras-chave

Como já foi dito, para cada vídeo, o nome e o conjunto de tags são salvos. Em seguida, o nome e cada uma das tags são divididos em palavras separadas. Elas são executadas na raiz e salvas como uma nuvem de palavras-chave para o vídeo.

Com informações sobre quando o vídeo entrou nas tendências e quando saiu das tendências, bem como conjuntos de palavras para o vídeo, você pode fazer um gráfico da mudança de popularidade para cada uma das palavras-chave. No momento, está sendo criada uma programação para alterar os segmentos de palavras-chave diariamente. Como medida, é usado o tempo total (em horas), que todos os vídeos com essa palavra-chave estavam em tendências.

Exemplo: nas tendências, havia apenas dois vídeos correspondentes à palavra-chave. Um vídeo durou 5 horas em tendências, o outro 10 horas. Em seguida, a popularidade da palavra-chave é definida como 10 + 5 = 15.

Exemplos de popularidade de palavras-chave

De acordo com o algoritmo que escrevi acima, o evento mais ressonante e mais perceptível de 2018 não foram as eleições ou o futebol, mas a tragédia em Kemerovo:

Ao contrário de todos os outros eventos, a tragédia de Kemerovo afetou a todos, e o vídeo sobre esse incidente afastou todos os demais das tendências.

Bem, um pouco de política:

Como se sentir

Veja gráficos e brinque com as tendências aqui .

Agora, o sistema é executado no Amazon Cloud, duas instâncias são usadas:

• t2.micro - servidor web
• O t3.small é um servidor com MySQL. Os utilitários para coletar estatísticas são executados no mesmo servidor.

Talvez, em caso de carga, o servidor web caia primeiro, enquanto o segundo servidor continuará a coletar estatísticas. Sou eu o fato de que não há necessidade de se surpreender se tudo parar de funcionar.

O próprio banco de dados a partir de 23/01/2019 pode ser baixado aqui .

Além disso, ele escreveu dois plugins para chrome e filrefox . Agora, o único benefício: diretamente na lista de tendências do YouTube, você pode ver o número de curtidas / não curtidas para cada vídeo.