Visualisation des nouvelles de Runet

Imaginez que vous vous disputiez avec un ami, ce qui s'est passé avant - un poulet ou un œuf, une augmentation de taxe, par exemple, ou des nouvelles sur ce sujet, ou un événement important a complètement noyé un nuage de nouvelles sur une nouvelle chanson, par exemple, Kirkorov. Il serait utile de calculer la quantité de nouvelles sur chaque sujet à un moment donné, puis de la visualiser. En fait, c'est ce que le projet "Runet News Radar" traite. Sous la coupe, nous vous dirons ce que l'apprentissage automatique a à voir avec cela et comment tout volontaire peut y participer.

Référence rapide

L'apprentissage automatique pour le bien social (ML4SG) est une initiative au sein de la communauté ODS visant à créer les conditions des projets, comme son nom l'indique, qui utilisent l'apprentissage automatique pour apporter des avantages à la société. La création de conditions se réfère ici principalement aux ressources organisationnelles. Cela ressemble à ceci: quelqu'un formule l'idée du projet et encourage les bénévoles, tandis que quelqu'un se joint simplement au projet, pour le bien d'une idée, d'une expérience ou d'autres intérêts. Tout repose sur l'enthousiasme, le plus souvent en temps libre du travail principal. Le radar de presse Runet, ou comme nous l'appelons brièvement dans l'équipe de presse, est l'un des projets du ML4SG.

Clause de non-responsabilité

Dans certaines illustrations de cet article, certains événements politiques ou personnes seront mentionnés. Laissons-nous les opinions à leur sujet. Habr n'est pas pour la politique.

Ce que nous faisons

En un mot sur la motivation

Désormais, le projet se positionne comme un outil d'analyse des médias dans leur ensemble. S'il y a une hypothèse sur la façon dont l'attention dans les nouvelles s'est développée sur divers sujets, événements, personnes, etc., alors nous pouvons parler sur la base de chiffres spécifiques, pas de spéculations.

L'idée initiale était la suivante: nous prenons toutes les nouvelles que nous trouvons, appliquons une modélisation thématique, présentons les résultats dans le temps et dessinons le résultat.


Il est clair que cela nécessite les nouvelles elles-mêmes et nous les téléchargeons. Et puisque nous aurons un grand corps de nouvelles, vous pouvez faire beaucoup de choses plus intéressantes, sans se limiter au thème. Mais compte tenu des conditions réelles, dont nous parlerons, à savoir que la foule de bénévoles, et non une équipe de spécialistes rémunérés, mettra en œuvre le projet, au début, nous résolvons toujours le problème presque inchangé.



Maintenant, nous sommes arrivés à ce format de visualisation, il est appelé tracé de ligne de crête. Sur la diapositive, d'ailleurs, ces sujets sont un écran d'une ancienne démo interne. Autrement dit, nous avons ici le temps sur l'axe des abscisses, l'épaisseur de la bande est proportionnelle à la façon dont le sujet à ce moment est représenté parmi d'autres nouvelles. Dans ce cas, agrégation par mois.

Dans le plan de base, nous avons le choix d'une source d'actualités et un choix de la façon d'afficher un graphique. Vous pouvez également sélectionner des données supplémentaires ne provenant pas des actualités, par exemple, comment le prix du pétrole ou tout autre indicateur s'est comporté à ce moment-là au cours de la même période. Le choix des titres et un ensemble de sujets. En plus de cela, il y a beaucoup plus d'idées, mais plus à ce sujet plus tard.

Projets similaires

Il existe de nombreux autres projets liés à la visualisation des nouvelles. J'aime ces deux-là . Le premier compare la façon dont la même actualité est présentée dans différentes sources, et en même temps une très bonne forme de présentation et d'interactivité. Le second a tout simplement un très bon rapport information / simplicité. Il compare ce qui est dit sur les différentes causes de décès dans les actualités, la fréquence à laquelle les causes de décès sont mentionnées dans les requêtes de recherche et leur état statistique. Eh bien, dans les conclusions sur la façon dont le terrorisme est catastrophiquement surestimé et comment les maladies cardiaques et le cancer sont sous-estimés.

Comment on fait

Le projet est assez simple. Nous téléchargeons d'abord les données, puis nous les traitons, nous effectuons tout apprentissage automatique et nous dessinons des graphiques. Ensuite, nous créons un site Web, et tout le monde regarde. Tout est clair (enfin, oui, bien sûr).

Collecte de données

Pour commencer, nous avions un ensemble de données sur bande ru depuis 20 ans. Fondamentalement, nous avons fait toutes les expériences à ce sujet. Maintenant, nous avons collecté plusieurs autres sources et continuons à collecter tout ce que nous atteignons. Il y a beaucoup de matériaux détaillés sur le grattage et les araignées, nous ne nous attarderons donc pas sur ce sujet ici en détail.

Nlp

J'étais le plus inquiet pour la partie PNL, car il est difficile de formaliser les exigences pour le résultat de la thématisation. De plus, il existe de nombreuses sous-tâches secondaires. Maintenant, nous avons fait beaucoup d'expériences avec différents outils de modélisation thématique, avant de nous débarrasser du prétraitement, de faire beaucoup de repères et de comparaisons. À l'heure actuelle, bigARTM s'est avéré être le leader incontesté de la thématique en termes de ressources et de qualité. Maintenant, c'est notre option de travail, jusqu'à ce que quelqu'un montre quelque chose de mieux.

En général, tout l'apprentissage automatique est concentré principalement dans cette section. En plus de la tâche principale initialement définie de la thématisation, il y en a beaucoup d'autres qui apporteront également des conclusions intéressantes. Par exemple, NER. Nous avons déjà retiré tous les noms des données que nous avons, des dictionnaires compilés, comptés que nous mentionnons plusieurs fois. Il s'est avéré, par exemple, que sur Porochenko dans Lente.ru pendant tout le temps, ils ont écrit quatre fois plus que sur Poutine. Il est devenu intéressant pour moi qu'Assange soit synchronisé avec Magnitsky, et tout cela exactement après le départ de Bush. Mais Batman est plus populaire que Medvedev.





Bien que cette étape soit encore en cours, nous avons effectué un grand nombre d'expériences et comparé de nombreux outils et approches. Dans le processus, un grand tutoriel sur diverses tâches PNL avec des exemples de code et des tests de performance des outils les plus populaires et inhabituels.

Visualisation

Cette étape ne semblait pas trop compliquée, mais pour une raison quelconque, presque personne n'était prêt à y faire face. Les exigences de visualisation vont un peu plus loin que l'approche EDA habituelle dans le sens des données. Dessiner un graphique pour vous-même ou un autre centre de données est beaucoup plus facile que de dessiner un graphique pour le grand public. Nous étions occupés avec les formats et les outils depuis très longtemps et maintenant nous sommes arrivés à certaines approches qui semblent les plus raisonnables, mais il reste encore beaucoup de travail à faire, car il n'y a pratiquement pas d'outils prêts à l'emploi pour nos tâches. Par exemple, le graphique avec les visages ci-dessus a été réalisé en deux étapes - les principaux éléments ont été générés dans le code, puis une longue étape de redessinage manuel a suivi afin qu'au moins quelque chose soit lu. En termes d'analyse détaillée de cette visualisation dans un article séparé, elle reflète dans une certaine mesure l'histoire de la Russie au cours des 20 dernières années.

L'équipe

Il est conditionnellement possible de diviser les participants en deux groupes: débutants et pros. Pour les débutants, la motivation est simple - mettre dans une tirelire une sorte de projet à montrer aux employeurs, ou tout simplement acquérir de l'expérience, apprendre quelque chose. Et j'ai déjà été informé que les différentes choses que nous avons faites dans le cadre du projet ont été utiles dans le travail des participants, ont apprécié les autorités. Les pros viennent soit à cause de l'objectif même du projet, soit parce qu'ils sont intéressés à se joindre à l'idée, soit parce qu'ils veulent essayer certaines de leurs idées dans les actualités.

En fait, il y a un autre groupe de participants - ce sont les ninjas insaisissables qui s'intègrent et ne font rien ou commencent simplement, puis disparaissent. Mais comme je l'ai déjà expliqué, personne ne travaille dans le projet pour de l'argent, donc la désorganisation des ressources humaines est inévitable. L'observation du côté de la curiosité est également possible.



Maintenant, officiellement, il y a environ 80 personnes, dont environ 10-20 sont actives et 2-4 personnes sont actives presque constamment. Dans ce format, vous pouvez compenser le manque d'expérience au fil du temps. Beaucoup de gens écrivent qu'il n'y a aucune connaissance de la façon de le faire, il y a une peur d'échouer à cause de l'ineptie, mais en fait il est important de le faire et de ne pas attendre un instant. Parce que ml4sg est une activité très cool. Vous pouvez apporter des avantages et en même temps obtenir des bénéfices sous la forme d'expérience et de portefeuille, alors que le risque n'est que du temps, le gestionnaire a également une réputation, bien sûr, mais la principale ressource ici est le temps, qui est finalement payant.

Plans supplémentaires

J'essaie maintenant de le positionner comme un outil de recherche. Nous prévoyons d'ajouter une recherche «exploratoire» qui peut évaluer le sujet de la demande et fournir des statistiques sur les nouvelles de ce sujet, des graphiques de diverses données non nouvelles, mais pertinentes pour le sujet du projet. Ensuite, il sera possible de tester toutes sortes d'hypothèses sur le comportement des médias, la relation entre événements et autres indicateurs arbitraires, sociaux ou économiques. Un tel outil pour rechercher les médias dans leur ensemble.

Qui a besoin d'un projet

• Nous avons très peu de personnes impliquées dans la visualisation. Nous allons au-delà des outils habituels des centres de données comme matplotlib ou complot, nous avons donc besoin de personnes qui aiment vraiment la visualisation des données et qui veulent y pénétrer profondément.
• Nous avons besoin de personnes qui comprennent quelque chose dans le développement Web.
• Nous avons besoin de gens qui nous diront quoi chercher. En fait, ce devrait être nos clients qui souhaitent mener une étude et aller au fond de certaines choses sur la façon dont les médias de langue russe ont changé récemment.
• Nous avons toujours besoin de spécialistes en PNL, je pense qu'il n'y a pas besoin d'expliquer ici. Et il y a quelque chose à faire pour ceux qui veulent apprendre et pour les gars expérimentés, car il y a beaucoup de problèmes intéressants dans ce domaine.
• Et bien sûr, nous devons construire un projet décent pour que tout ne fonctionne pas sur du ruban électrique, donc si vous tâtonnez dans l'architecture des projets, vous pouvez rassembler un tas d'expériences dans un pipeline et êtes prêt à partager votre expérience, puis n'hésitez pas à. Si vous voulez apprendre en déplacement, alors bienvenue aussi.