C'est le genre d'Internet que nous voulons: comment les médias sociaux sont devenus une arme mortelle

Nous sommes déjà habitués au fait que les réseaux sociaux influencent les élections et la politique dans les pays occidentaux. Mais ils peuvent coûter la vie aux gens, et il n'y a pas encore de solution.


En mars 2019, 49 personnes ont été tuées dans deux mosquées en Nouvelle-Zélande . Les organisateurs du massacre l'ont diffusé sur les réseaux sociaux afin d'attirer l'attention du plus grand nombre possible. Patrick Crusius faisait partie des téléspectateurs de l'autre côté de l'écran qui, sous l'impression de ce qu'il a vu, ont organisé une fusillade de masse dans le grand magasin Walmart à El Paso le 4 août, tuant 21 personnes et en blessant 26 autres. Les enquêteurs affirment que le suspect a publié des informations plusieurs mois avant la tragédie. ses intentions sur l'une des ressources extrémistes du réseau, où il a exprimé, entre autres, son soutien à un combattant néo-zélandais. À la suite d'une enquête sur les causes de la catastrophe, la France et la Nouvelle-Zélande se sont tournées vers d'autres pays et sociétés technologiques pour trouver des technologies qui empêcheraient la diffusion de tels contenus. L'initiative a été soutenue par 17 pays, l'UE et 8 grandes entreprises technologiques, dont Google et Facebook.

En avril 2019, une série d'explosions au Sri Lanka a tué plus de 200 personnes. Les autorités ont déclaré avoir averti Facebook des conséquences potentielles de l'aggravation de la violence sur les réseaux sociaux. La compréhension n'a pas été atteinte et à la suite de victimes humaines, il a été décidé de bloquer l'accès à un certain nombre de réseaux sociaux et de messageries instantanées, dont Facebook et WhatsApp. Selon les autorités, la diffusion d'informations erronées sur les événements pourrait provoquer une escalade de la violence dans le pays.

Le blocage des réseaux sociaux et des messageries instantanées lors des flambées de violence se produit plus souvent. Par exemple, à l'été 2018, la propagation virale des rumeurs d'enlèvement de WhatsApp a provoqué une série d'affrontements en Inde. Et en février 2019, la désinformation qui s'est répandue sur Facebook, Instagram et WhatsApp a accru les tensions entre l'Inde et le Pakistan. Maintenant, les responsables en Inde craignent que la diffusion de fausses nouvelles via Facebook ne puisse alimenter la situation lors des prochaines élections. En ligne engendre la violence dans les pays plus développés: au Mexique , aux États-Unis et en Allemagne .

D'une part, lorsque les gouvernements bloquent les réseaux sociaux, cela est perçu comme une tentative de restreindre la liberté d'expression. Mais d'un autre côté, les cas susmentionnés montrent que la déconnexion des réseaux sociaux est le seul outil pour les pays pour prévenir la violence et les pertes de vie. Comment les réseaux sociaux sont-ils devenus un environnement agressif et existe-t-il un moyen de mettre fin à la violence sans désactiver Internet?

Du nettoyage ethnique aux attaques terroristes

Des études de l' ONU ont montré que Facebook a joué un «rôle déterminant» dans la montée du sentiment anti-musulman au Myanmar, au Sri Lanka voisin. La propagation des rumeurs dans les réseaux sociaux a fait des victimes parmi la population: l'hystérie anti-musulmane dans les réseaux sociaux du Myanmar s'est transformée en un nettoyage ethnique à grande échelle. Les forces gouvernementales utilisent Facebook depuis plusieurs années pour se propager contre l'ethnie rohingya du pays. Au moins 6 700 personnes sont devenues des victimes dans le monde réel, selon un rapport de Médecins sans frontières. En novembre 2018, Facebook a publié une évaluation indépendante de ce qui se passait au Myanmar et a admis que la société n'avait pas fait assez pour empêcher sa plate-forme d'inciter aux désaccords et à l'incitation à la violence dans la vie réelle.

Un an avant les attentats terroristes au Sri Lanka, de fausses rumeurs dans les réseaux sociaux ont incité les bouddhistes à dénoncer les musulmans: le fil d'actualité Facebook a également joué un rôle fatal . Dans le même temps, le gouvernement du pays apprécie les réseaux sociaux pour aider à établir la démocratie après de nombreuses années de guerre civile, de sorte que leurs critiques pour avoir incité à la haine raciale peuvent être considérées comme objectives. Les représentants de Facebook n'ont répondu aux critiques du gouvernement que lorsque l'accès à leurs ressources a été bloqué dans le pays. Ce n'est qu'après cela que l'entreprise américaine a promis d'embaucher plus de modérateurs et d'améliorer l'interaction avec les autorités locales.

Algorithmes de mort

La grande majorité des éditeurs et des distributeurs de contenu extrême sur le Web ne commettent pas de crimes de haine dans la vie réelle. Mais les crimes de haine qui se produisent sont souvent liés aux activités des instigateurs en ligne. Le modèle mathématique du comportement social calculé par les scientifiques russes montre qu'il y a un tournant, après lequel certaines personnes deviennent tellement obsédées par la version déformée de la réalité créée par Internet qu'elle commence à agir.

Une étude de l'Université de Warwick en Grande-Bretagne a révélé une corrélation entre les attaques contre les réfugiés en Allemagne entre 2015 et 2017 avec des zones à forte popularité sur Facebook et la diffusion des messages du parti populiste d'extrême droite «Alternative pour l'Allemagne» (AfD) contre les réfugiés . Sur 3335 attaques, 3171 se sont produites dans des municipalités à forte activité de menace en ligne. À Chemnitz, en Allemagne, de fausses rumeurs concernant des tueurs de migrants sur Twitter et Facebook ont ​​conduit à des manifestations de masse , rassemblant 6000 participants en août 2018.

Accéder aux technologies et aux plates-formes qui fournissent du contenu viral n'est pas si difficile. Une étude du Massachusetts Institute of Technology (MIT) de plus de 126 000 articles rédigés par environ 3 millions de personnes a montré que les mensonges se propagent sur les réseaux sociaux beaucoup plus rapidement et plus largement que la vérité dans toutes les catégories d'informations. L'influence des réseaux sociaux est renforcée par les soi-disant bulles idéologiques: pour garder l'attention des gens sur leurs sites le plus longtemps possible, des entreprises comme Facebook et YouTube utilisent des algorithmes qui recommandent les publications potentiellement les plus intéressantes à l'utilisateur. Si le système capte la popularité d'une vidéo particulière, il la distribue davantage et, par conséquent, le contenu reçoit plus de vues et YouTube - plus d'argent, car les utilisateurs passent plus de temps sur la ressource et voient plus de publicité.

Les utilisateurs dans des bulles idéologiques voient une version du monde dans laquelle leurs opinions ne sont jamais contestées et les opinions opposées ne sont pas trouvées. Le spectateur de YouTube tombe dans les conditions envisagées dans le modèle de " confrontation informationnelle " des sociologues russes: l'utilisateur ne rencontre pas d'irritant sous la forme de points de vue alternatifs. Cela crée un cercle extrêmement étroit et fidèle d'adhérents qui sont prêts à imiter un programme plus radical s'il se produit. Des bulles comme celles-ci apportent des «points de basculement» dans lesquels la violence se répand.

L'ingénieur Guillaume Chaslo, qui a travaillé sur les systèmes de recommandation de YouTube pendant trois ans, a créé le site Web Algotransparency en 2016, où il tente de démêler les algorithmes d'hébergement vidéo: comment un contenu est promu par rapport aux autres. La veille du tournage à la synagogue de Pittsburgh en 2018, Algotransparency a enregistré que l'algorithme YouTube distribue une vidéo du thérapeute du complot David Ike, dans laquelle il accuse le milliardaire juif, philanthrope et cible bien-aimée de l'extrême droite George Soros de "manipuler des événements politiques dans le monde". La vidéo avait moins de 1 000 vues, lorsque l'algorithme a commencé à la promouvoir, elle en compte maintenant plus de 70 000. Cela ne prouve pas une relation de cause à effet entre la vidéo et le tournage, mais elle permet de comprendre comment trouver des vidéos provocantes et lutter contre leur distribution.

Violence en ligne

Un autre problème lié à la violence et aux médias de réseau est la distribution incontrôlée de vidéos avec massacres et suicides. Il y a quatre ans , une vidéo tournée indépendamment par le tueur de deux journalistes en Virginie a été distribuée sur Facebook et Twitter; il y a trois ans, les tirs de masse à Dallas sont devenus viraux. Les plates-formes de médias sociaux peuvent offrir une audience mondiale aux personnes qui souhaitent se faire du mal ou se faire du mal. Ce n'est probablement pas ce sur quoi Facebook comptait quand il a présenté Facebook Live au public il y a plusieurs années .

Étant donné que le streaming vidéo est un outil relativement nouveau sur Internet dans lequel Facebook, Twitter, Amazon et d'autres sociétés continuent d'investir, on ne sait pas quoi faire en cas de diffusion d'attaques terroristes en direct. Même si Facebook bloque rapidement le contenu violent, de tels incidents sont instantanément connus, ce qui incite les utilisateurs à rechercher des vidéos originales via Google et d'autres moteurs de recherche.

L'attaque susmentionnée en Nouvelle-Zélande, qui a tué 50 personnes, a été diffusée en direct sur Facebook, republiée sur YouTube et discutée sur Reddit avant que l'une de ces plateformes ne réagisse. De nombreux utilisateurs parviennent à le placer dans leurs comptes, ce qui nécessite un deuxième audit non seulement par des moyens automatiques, mais aussi avec la participation de modérateurs afin de supprimer toutes les copies. Par exemple, près de deux mois après la tragédie de Christchurch, CNN a trouvé des copies des émissions du massacre toujours disponibles sur de nombreux sites.

Sauvetage de la noyade

Ces dernières années, la désactivation d'Internet est devenue de plus en plus courante dans le monde, en particulier en Asie et en Afrique, après des manifestations ou d'autres activités antigouvernementales.

Cependant, les experts en politique d'Internet doutent que les blocages empêchent les terroristes de réaliser leurs intentions. Le chercheur de l'Université de Stanford, Jan Ridgak, a constaté que le blocage des réseaux sociaux et des sites Web en Inde s'accompagnait d'une escalade de la violence ... Le blocage des déversements de fausses nouvelles et des rumeurs par d'autres canaux, en l'absence de communications Internet de masse rapides, il est plus difficile à réfuter.

Dans tous les cas, les interdictions ne sont efficaces que dans une certaine mesure, car les utilisateurs peuvent utiliser des applications appelées VPN ou réseaux privés virtuels pour contourner le blocage ou les messageries instantanées qui communiquent avec les appareils environnants via Wi-Fi si Internet est désactivé.

En mars, la commission parlementaire indienne a demandé à Joel Kaplan, le responsable de la politique mondiale de Facebook, de resserrer le contrôle sur WhatsApp et Instagram, obligeant les entreprises à vérifier les publications des utilisateurs pour s'assurer qu'elles ne contiennent rien d'illégal. Cette approche est ambiguë pour deux raisons: elle conduit des sociétés telles que WhatsApp, qui utilisent le chiffrement de bout en bout, à changer radicalement leurs plates-formes et, d'autre part, soulève des préoccupations concernant la confidentialité et le contrôle excessif de l'État.

Commande manuelle

En Chine, une véritable armée de censeurs lutte contre le contenu inapproprié des médias sociaux avec des centaines de millions d'utilisateurs. Des chercheurs de l'Université Harvard ont évalué leur nombre à des dizaines de milliers de participants sans précédent, y compris des blogueurs gouvernementaux et la soi-disant police Internet, qui filtrent le contenu des ressources du réseau. Grâce au développement rapide des applications chinoises, l'influence des censeurs s'étend bien au-delà des frontières de l'Empire du Milieu: le fondateur de Facebook Mark Zuckerberg a accusé le réseau social TikTok de bloquer les contenus liés aux manifestations à Hong Kong, même aux États-Unis.

Si un contenu dangereux se trouve en dehors de l'Empire céleste, le Grand Arme à feu est utilisé , ce qui ralentit le travail des ressources répréhensibles. Par exemple, selon Pavel Durov, le gouvernement chinois a mené une attaque DDoS pour ralentir Telegram le 13 juin, lorsque des centaines de milliers de citoyens de Hong Kong ont encerclé le bâtiment du gouvernement pour protester contre le projet de loi , qui permet d'extrader les gens vers la Chine continentale pour les juger.

Mais même un système aussi puissant et une armée de modérateurs ne peuvent pas afficher manuellement chaque fichier téléchargé dans un délai raisonnable, et la croissance de la diffusion en continu entraîne de nouvelles difficultés pour reconnaître le contenu cruel, car la vidéo peut être diffusée avant que le censeur ne sache qu'il a été diffusé.

Les technologies automatisées sont loin d'être parfaites et offrent la seule possibilité de signaler et d'empêcher la répétition du contenu le plus flagrant du Web. Selon les statistiques YouTube, seulement 73% des vidéos marquées automatiquement sont supprimées avant qu'au moins une personne ne les voie.

Depuis de nombreuses années, Facebook et Google ont développé et mis en œuvre des outils automatisés qui peuvent détecter et supprimer des photos, des vidéos et du texte qui violent leurs politiques. Par exemple, Facebook utilise PhotoDNA de Microsoft pour détecter la pornographie enfantine. Google a développé sa propre version de ce logiciel open source. Ces entreprises ont également investi dans des technologies pour détecter les messages extrémistes, rejoignant un groupe appelé Global Internet Forum on Counterterrorism pour échanger des informations sur le contenu terroriste connu. Pour le contenu illégal détecté, des signatures numériques sont générées qui permettent de le reconnaître lors de téléchargements répétés (et de l'interdire).

Mais la modération automatisée devient beaucoup plus difficile s'il ne s'agit pas de photos et de vidéos, mais de la vidéo en streaming. Comme l'écrivait l'avocat général de Google, Kent Walker sur son blog en 2017, "les voitures peuvent aider à identifier les vidéos problématiques, mais le facteur humain joue toujours un rôle décisif dans les nuances de la détermination de la frontière entre la propagande violente et les déclarations religieuses". Les sociétés technologiques n'ont pas encore été en mesure de créer une IA efficace pour bloquer de manière proactive un tel contenu, bien qu'il s'agisse de l'industrie la plus riche du monde. Par conséquent, Facebook et YouTube ont des équipes de censeurs qui regardent des vidéos dans le monde entier et sont en même temps de plus en plus confrontées au problème du volume de données. Peut-être que YouTube et Facebook sont devenus trop grands pour être modérés.

Il semble que Mark Zuckerberg lui-même ne soit pas sûr des capacités des systèmes automatisés: il est prêt à transférer le contrôle des actifs en difficulté à l'État , y compris le contenu «tueur» et la publicité politique. «Jusqu'à récemment, Internet dans presque tous les pays en dehors de la Chine était défini par des plateformes américaines, dans lesquelles les valeurs de la liberté d'expression sont fortes. Il n'y a aucune garantie que ces valeurs gagneront », a déclaré le milliardaire dans un discours à l'Université de Georgetown. Mais y a-t-il une garantie qu'en cas de transfert du contrôle du contenu au gouvernement d'un pays, nous ne recevrons pas la censure du Réseau mondial selon le scénario chinois? Est-ce le genre d'Internet que nous voulons, Mark?

---

Nikita Tsaplin

Minute de soins OVNI

Ce matériel peut provoquer des sentiments contradictoires, donc avant d'écrire un commentaire, rafraîchissez quelque chose d'important dans votre mémoire:

Comment écrire un commentaire et survivre

• N'écrivez pas de commentaires offensants, ne soyez pas personnels.
• Abstenez-vous d'un langage obscène et d'un comportement toxique (même sous une forme voilée).
• Pour signaler des commentaires qui enfreignent les règles du site, utilisez le bouton "Signaler" (si disponible) ou le formulaire de commentaires .

Que faire si: moins de karma | compte bloqué

→ Code des auteurs Habr et habraetiket
→ Version complète des règles du site