Recherche d'image inversée: un guide de l'agence de détective Bellingcat


Plan d'une des enquêtes en ligne de Bellingcat

L'agence internationale Bellingcat a publié plusieurs astuces pour identifier les personnes et les lieux géographiques sur les photos à l'aide de la fonction «Recherche d'images» des moteurs de recherche.

Il s'est avéré que dans cette relation il n'y a pas d'égal au moteur de recherche russe Yandex. Images " . Selon un exemple, le moteur trouve des photographies de ce visage dans un cadre et un éclairage complètement différents, ce qui indique une reconnaissance de visage avancée. Google et d'autres sociétés n'ont rien de tel, admettent les experts. Ainsi, Yandex peut être considéré comme le leader incontesté de la recherche d'image inversée.

Le guide publié explique les méthodes de base des enquêtes en ligne, en mettant l'accent sur l'identification des individus et des adresses.

Recherchez des photos similaires par modèle de visage dans Yandex, Google et Bing.



Dans le premier exemple, Yandex a trouvé de nombreuses photographies de la personne souhaitée de diverses sources (parmi les meilleurs résultats, seuls des étrangers étaient représentés dans deux cas), et les résultats diffèrent de l'image d'origine, mais montrent la même personne. Google n'a rien trouvé du tout, et dans les résultats de recherche Bing, il n'y avait qu'un seul résultat avec la même personne (cinquième image, deuxième ligne).

Les experts de Bellingcat utilisent constamment Yandex dans les enquêtes et n'expriment pas de paranoïa particulière quant à son origine russe. Il s'agit du premier outil auquel ils ont recours au travail. En deuxième place se trouve Bing, où dans la recherche, il existe plusieurs fonctions uniques, telles que la mise en évidence d'une zone spécifique de l'image pour la recherche.

Google convient à la recherche inversée la plus simple. Par exemple, identifier des personnages célèbres sur des photographies, rechercher la source des images, déterminer l'auteur d'une œuvre d'art, etc. Cependant, si vous souhaitez trouver des images similaires (pas des copies exactes), vous serez déçu.

Par exemple, lorsque vous recherchez une personne qui a tenté d'attaquer un journaliste de la BBC lors d'un rassemblement Trump, Google trouve la source de l'image recadrée, mais ne trouve aucune image supplémentaire de lui ou de quelqu'un au moins un peu similaire.





Bien que Google n'ait pas vraiment aidé à trouver d'autres exemples du visage de cette personne ou de personnes similaires à lui, il a quand même trouvé la version originale et non recadrée de la photo à partir de laquelle la capture d'écran a été prise.

Test


Pour tester diverses méthodes et mécanismes de recherche d'images inversées, les spécialistes de Bellingcat ont pris plusieurs images représentant différents types d'études, y compris des photographies originales (auparavant non téléchargées sur Internet) et traitées. Ils notent que maintenant la recherche peut ne pas fonctionner comme lors des tests, car après la publication de l'article, les moteurs de recherche ont déjà indexé ces photos et les ont intégrées dans leurs résultats.

Les photos de test incluent un certain nombre de régions géographiques différentes avec des matériaux sources en Europe occidentale, en Europe de l'Est, en Amérique du Sud, en Asie du Sud-Est et aux États-Unis. Sur chacune de ces photos, les objets individuels de l'image sont mis en évidence pour vérifier les forces et les faiblesses de chaque moteur de recherche.

L'une des photos de test: Palais Olisov à Nizhny Novgorod, Russie (original, non précédemment téléchargé sur le réseau):



Séparément: SUV blanc à Nizhny Novgorod:



Séparément: remorque à Nijni Novgorod:



Sur un bâtiment à Nizhny Novgorod, comme sur d'autres photographies, les meilleurs résultats ont été montrés par les images Yandex. Les journalistes de Bellingcat disent que ses résultats sont si impressionnants qu'ils ressemblent parfois à une sorte de magie noire, mais pas sans erreurs.

Dans ce cas, Yandex a facilement reconnu ce bâtiment. Il a trouvé des photographies prises sous le même angle, et également sous d'autres angles, y compris à 90 ° dans le sens antihoraire (voir les deux premières images de la troisième rangée) du point de vue de l'image d'origine.



Yandex a également facilement reconnu le SUV blanc au premier plan de la photo comme le Nissan Juke.



Enfin, dans la recherche isolée la plus complexe de cette image, Yandex n'a pas pu identifier la remorque grise discrète devant le bâtiment. Certains résultats sont identiques à ceux de l'image d'origine, mais aucun d'eux n'est vrai.



Par rapport à ces résultats, l'affichage de Google et de Bing semble ridicule, bien que Google ait correctement classé la remorque comme une roulotte de voyage .

Si la recherche d'images échoue, des astuces simples aident dans certains cas:

  • image miroir de la photo;
  • l'utilisation de filtres de couleur;
  • Suppression des éléments inutiles du cadre qui peuvent compliquer la recherche.

Outils auxiliaires


En plus de la recherche d'images standard, Bellingcat recommande plusieurs outils de support pour mener des enquêtes en ligne.

Premièrement, il existe des outils spécialisés pour traiter certains types de photos. Par exemple, l' application Merlin Bird ID de Cornell Lab identifie de manière extrêmement précise le type d'oiseau sur une photo ou suggère des options.

Ou FlagID , où vous pouvez saisir manuellement des informations sur le drapeau et découvrir son origine.



Si la photographie contient des caractères d'une langue inconnue, vous pouvez les répéter manuellement à l'aide de l'outil d'écriture manuscrite Google Translate.







Pixélisation et flou


Comme décrit en détail dans ce fil Twitter , vous pouvez pixelliser ou brouiller les éléments d'une photo pour tromper un moteur de recherche - et vous concentrer uniquement sur l'arrière-plan. Sur cette photo de la porte-parole Rudi Giuliani, l'image exacte ne permet pas de comprendre où la photo a été prise.



Mais si vous brouillez / pixelisez une femme au milieu de l'image, alors Yandex est capable d'analyser d'autres éléments de l'image: chaises, peintures, lustres, tapis, motifs muraux, etc.



Après cela, Yandex sait exactement où l'image a été prise: c'est un hôtel populaire à Vienne.





Les chercheurs de Bellingcat concluent que les moteurs de recherche d'images inversées ont considérablement progressé au cours de la dernière décennie, et les progrès se poursuivent à un rythme rapide.

La progression est facilitée par une forte augmentation de la base de recherche. De grandes sociétés Internet ont réussi à convaincre les utilisateurs de placer des archives de photos personnelles sur leur hébergement, sur lesquelles l'intelligence artificielle est formée:

À cette fin, Google Photos et Yandex.Disk offrent un stockage de photos gratuit en quantités illimitées. Il s'agit d'une quantité infinie de matériel pour l'apprentissage automatique.

Ils prédisent que bientôt un programme de reconnaissance de visage public commencera à fonctionner sur Facebook ou Instagram, ce qui portera un coup sérieux à la vie privée sur Internet, mais augmentera également l'efficacité des enquêtes numériques.



Source: https://habr.com/ru/post/fr483736/


All Articles