Comment un smartphone peut écouter, regarder et suivre

Récemment, un fait intéressant est apparu dans les médias: lors d'une communication avec un journaliste de Wired, un employé de Facebook a demandé d' éteindre le smartphone afin qu'il soit plus difficile pour les réseaux sociaux d'enregistrer le fait de leur communication. Facebook pourrait utiliser la navigation par satellite ou un microphone pour cela, bien que les désactiver suffirait à empêcher l'espionnage. Il y a probablement quelque chose d'autre dans le téléphone dont vous devriez avoir peur. Un smartphone moderne regorge de capteurs: 2-3 caméras, un capteur de lumière ambiante, un accéléromètre, un gyroscope, un GPS et un GLONASS, un magnétomètre et autres. En tant que chercheurs de la NASA utilisant des capteurs pour réparer incorrectement un vaisseau spatial à d'autres fins, les attaquants peuvent en apprendre beaucoup sur le propriétaire d'un smartphone en accédant à un ou plusieurs capteurs. Il ne s'agit pas de cas de piratage physique de gadgets en installant des puces ou en ajoutant du fil , mais de résoudre des capteurs tels que le suivi des utilisateurs, l'écoute électronique ou la réception d'un code PIN.


Illustration pour l'application PlaceRaider qui crée un modèle 3D d'une pièce à partir de cadres réalisés à l'insu de l'utilisateur


L'accéléromètre est capable de suivre le mouvement de l'appareil le long de trois axes. En particulier, il aide le téléphone à retourner l'image, à la définir verticalement ou horizontalement en fonction de la position de l'appareil. En 2006, le capteur d'accélération est apparu pour la première fois dans les téléphones, puis c'était le modèle Nokia 5500, dans lequel l'accéléromètre a aidé à mettre en œuvre des fonctions «sportives» - un podomètre. Le gyroscope a d'abord été ajouté au smartphone Apple - dans l'iPhone 4. Le capteur vous permet de contrôler la voiture dans les jeux de course sans cliquer sur les flèches et assure la direction de la personne sur la carte affichée. Pour ces commodités, vous devez payer une sécurité. Les attaquants, ayant accès aux données d'un ou plusieurs capteurs, peuvent en extraire de nombreuses informations utiles. Cet accès est facile à obtenir: allez, par exemple, sur cette page depuis votre smartphone, et vous verrez que JavaScript reçoit facilement les données du gyroscope. La même chose est possible avec HTML5.

Les smartphones sur iOS et Android sont bloqués à l'aide d'un code PIN numérique, d'un graphique ou d'une empreinte digitale. Dans les deux premiers cas, le téléphone peut être piraté en déterminant comment il change de position lorsque l'utilisateur le déverrouille. Dans le cas du code PIN numérique, des chercheurs de l'Université de Newcastle au Royaume-Uni ont appris à le deviner la première fois dans 74% des cas en utilisant plusieurs capteurs - un accéléromètre, un gyroscope et un magnétomètre. À la troisième tentative, ils ont déchiffré le code dans 94% des cas.

Les navigateurs populaires Safari, Chrome, Firefox, Opera et Dolphin ont initialement accès à des capteurs, donc les attaquants doivent simplement ajouter l'exploit approprié au site, et ne pas demander au propriétaire l'autorisation requise lors de l'installation de l'application à partir des magasins.


Le code PIN graphique implique la saisie rapide d'un mot de passe de quatre points ou plus sur un champ 3x3. Le domaine a 389 112 combinaisons possibles, mais les chercheurs de l'Université de Pennsilvan sont convaincus qu'en réalité, les utilisateurs utilisent des schémas d'un ordre de grandeur moins. Certaines combinaisons ne conviennent pas pour une utilisation constante. Une application exécutée en arrière-plan démarre l'accéléromètre au bon moment, puis le désactive et transfère les données aux fraudeurs. Les chercheurs n'avaient besoin que d'un seul capteur de piratage.



Une méthode similaire a été utilisée en 2015 par des scientifiques de l'Université informatique de Copenhague, mais dans ce cas, la montre intelligente surveillait non seulement le code sur le smartphone, mais également la broche de la carte au guichet automatique ou dans le magasin. Les données du capteur gyroscopique de l'horloge ont été transférées vers le smartphone, d'où elles ont été envoyées au serveur et téléchargées sur CSV.







Des millions de personnes travaillent quotidiennement sur des ordinateurs portables et des ordinateurs de bureau. Les fraudeurs peuvent découvrir ce qu'une personne tape sur le clavier, si le smartphone n'est pas loin de lui. Des scientifiques du Georgia Institute of Technology ont programmé en 2011 des appareils mobiles pour surveiller le texte saisi sur le clavier: des gadgets mesuraient les vibrations de la surface de la table. Selon les scientifiques, la procédure n'était pas facile, mais la précision de la détermination à cette époque atteignait 80%.

Le smartphone iPhone 3GS n'était pas adapté à un tel travail, mais l'iPhone 4, le premier smartphone avec capteur gyroscopique intégré, a montré d'excellents résultats. Une équipe de chercheurs a tenté d'utiliser un microphone, un capteur plus sensible, pour le suivi. L'accéléromètre s'est finalement avéré être la méthode préférée, car il est traditionnellement moins protégé par le système.

Une technique développée par les scientifiques cherchait des paires de touches consécutives. L'application découvre où les touches ont été enfoncées - en haut à gauche et en bas à droite, en bas à droite et en haut à droite - et détermine également la distance pour chaque paire de touches. Il compare ensuite les résultats avec un dictionnaire préchargé. La méthode a fonctionné avec des mots de trois lettres ou plus.



Vous pouvez non seulement voler des données de l'accéléromètre, mais également contrôler l'appareil avec son aide, forçant le smartphone à effectuer les actions nécessaires pour les fraudeurs. Un haut-parleur de 5 $ a aidé à casser 20 accéléromètres de 5 fabricants utilisant des ondes sonores. Une équipe de chercheurs de l'Université du Michigan et de l'Université de Caroline du Sud a utilisé le «virus de la musique», comme ils ont appelé leur technique dans une interview avec le New York Times, pour faire croire à l'application Fitbit que l'utilisateur a pris des milliers de mesures et contrôler la petite voiture à l'aide d'un téléphone. L'objectif des chercheurs était de créer des solutions logicielles pour contrer de telles attaques.





Étant donné que le gyroscope capte également les vibrations sonores, il peut, comme un disque dur d'ordinateur , être utilisé pour des écoutes téléphoniques cachées. Des scientifiques de l'Université de Stanford et des spécialistes de la société de défense israélienne Rafael ont trouvé un moyen de transformer le gyroscope d'un smartphone Android en un microphone allumé en permanence. Ils ont développé l'application Gyrophone: les capteurs de nombreux appareils Android captent les vibrations du son à des fréquences de 80 à 250 hertz.

La voix d'un homme adulte a une fréquence de 85 à 155 Hz, les femmes - de 165 à 255 Hz. Par conséquent, le capteur gyroscopique est capable d'écouter la parole humaine. Le gyroscope de l'iPhone utilise une fréquence inférieure à 100 Hz, il n'est donc pas adapté au même objectif, mais peut néanmoins, par des mots individuels, aider à reconnaître le sexe du locuteur. La précision de l'outil en 2014 n'était pas très élevée - jusqu'à 64%.



Le travail coordonné de plusieurs capteurs dans le smartphone et l'apprentissage automatique aideront à suivre les mouvements du propriétaire de l'appareil lorsque la navigation par satellite est désactivée. L'illustration ci-dessous montre avec quelle précision l'itinéraire est déterminé par la méthode proposée par une équipe de chercheurs de l'Institut des ingénieurs électriciens et électroniciens (IEEE). Le vert indique le chemin parcouru par l'utilisateur pendant le transport, l'orange indique la distance parcourue et le noir indique les données GPS.

L'application PinMe compare les informations des capteurs avec les données ouvertes. Tout d'abord, l'exploit reçoit des informations sur la dernière adresse IP du smartphone et la connexion Wi-Fi pour déterminer le point de départ de l'itinéraire. Ensuite, en direction, vitesse et fréquence, l'arrêt reconnaît la différence entre marcher, conduire une voiture et les transports en commun, voler en avion. PinMe compare les données reçues avec des informations provenant de sources ouvertes: il prend les données de navigation d'OpenStreetMaps, une carte d'altitude de Google Maps, les données d'itinéraire des horaires des compagnies aériennes et ferroviaires. Pour clarifier l'itinéraire, l'application a utilisé le service météo de Weather Channel: des informations précises sur la température et la pression atmosphérique permettent de niveler l'influence des conditions météorologiques sur les informations collectées par les capteurs.

En 2010, la société japonaise de télécommunications KDDI a utilisé une technique similaire: l'accéléromètre du smartphone a été utilisé pour surveiller les employés. Les données du capteur ont permis de comprendre si une personne montait des escaliers ou sur une surface plane, si des déchets secouaient leurs poubelles ou lavaient des sols. En 2015, des experts de l'Université de Nanjing en Chine ont utilisé les données d'un accéléromètre pour surveiller les déplacements des personnes dans le métro.



Localisez le propriétaire du smartphone peut l'application qui reçoit des données sur l'état de la batterie. Toute application peut recevoir ces informations, car cela ne nécessite pas d'autorisations supplémentaires. Des scientifiques de Stanford et des experts de la société de défense Rafael, déjà mentionnés ci-dessus, ont développé la technologie Power Spy.

L'emplacement de l'utilisateur est déterminé avec une précision de 90% en raison de l'analyse de la vitesse de décharge de la batterie: c'est ainsi que les scientifiques ont déterminé la distance entre le gadget et les répéteurs. Mais une telle précision n'est possible que si l'utilisateur n'est pas le premier à passer sur cette route.





En 2012, le centre de recherche militaire américain de l'Indiana et les scientifiques de l'Université de l'Indiana ont développé l'application PlaceRaider pour les smartphones Android 2.3, qui pourrait reconstruire l'environnement de l'utilisateur en 3D.

L'utilisateur devait télécharger une application avec la possibilité de prendre des photos et lui donner la permission d'utiliser l'appareil photo et de les envoyer. PlaceRaider, travaillant en arrière-plan, a coupé le son de l'obturateur afin de ne pas inquiéter l'utilisateur. Ensuite, le programme a pris des photos au hasard, stockant des informations sur l'heure, le lieu et l'orientation du smartphone. Après avoir filtré la photo et supprimé les mauvais cadres créés, par exemple, dans la poche de l'utilisateur, l'application les a envoyés au serveur, où un modèle 3D de la pièce a été créé.



Pour tester l'efficacité de cette idée, les scientifiques ont donné des téléphones «infectés» à vingt volontaires qui ne connaissaient pas l'application et les ont envoyés au bureau avec diverses tâches simples. À l'étape suivante, deux groupes de personnes ont examiné les résultats: l'un - des photographies individuelles, le second - des modèles 3D. Les deux groupes ont recherché des codes QR, des chèques, des documents et des calendriers que les attaquants pouvaient utiliser pour déterminer quand la victime ne se trouverait pas à un endroit particulier.



L'application pour "l'utilisateur final", qui est, dans le pire des cas, un criminel, et dans notre cas, des scientifiques, a permis d'apporter certaines parties du cadre dans les meilleures traditions des films hollywoodiens. Dans ce cas, la personne qui a ouvert le modèle 3D pouvait cliquer sur un certain point, après quoi l'application recherchait de meilleures photos de la base de données, prises plus près de l'endroit souhaité. L'image ci-dessous montre le numéro du chèque posé sur la table.



Plus il y a de puissance - plus de responsabilité: il faut se souvenir des développeurs de smartphones et d'applications pour eux, qui offrent aujourd'hui des possibilités illimitées pour pirater les portefeuilles des utilisateurs, suivre les mouvements et identifier les intérêts pour un ciblage publicitaire plus précis. Dans la vraie vie, bien sûr, la plupart de ces chercheurs intéressent au mieux les scénaristes du Black Mirror.

Les vrais hackers développent périodiquement de bonnes façons de prendre de l'argent à la population, mais ils ne le réalisent pas très bien. Par exemple, en février 2018, ils ont pu télécharger le mineur sur des sites gouvernementaux au Royaume-Uni, aux États-Unis et au Canada, les forçant à gagner de la crypto-monnaie pendant quatre heures. Au lieu d'obtenir une énorme quantité d'informations sur ces sites et de les vendre, ils ont connecté un mineur et gagné 24 $. Cependant, après clarification des circonstances et de cet argent, le service minier ne les a pas payés.