Photo: Lisa Alert .Si une personne a disparu dans la forêt, la meilleure façon de la retrouver est d'envoyer des moteurs de recherche qualifiés pour le peigner. Aucune technologie de recherche ne peut encore remplacer les gens. Au début de l'été, nous avons
écrit sur plusieurs équipes qui, dans le cadre du concours Odyssey, ont développé des solutions pour la faune. De nombreux ingénieurs s'appuyaient sur des drones équipés de caméras et de vision par ordinateur, mais n'étaient pas confrontés à des problèmes évidents - mauvaise communication, faible traitement et transmission de données énormes, cimes d'arbres denses, et bien plus encore.
En conséquence, pas une seule solution avec vision par ordinateur n'a atteint la finale du concours. Mais les experts techniques ont déclaré que si les équipes unissaient leurs forces, constituaient un ensemble de données et s’entraînaient à des algorithmes, la vision par ordinateur pourrait avoir une chance.
La semaine dernière, le 9 août, l'équipe de recherche Lisa Alert et Beeline ont annoncé le lancement d'un outil qui recherchera des personnes sur les photos des drones. Nous sommes allés à une conférence de presse dédiée au lancement et avons découvert comment cela fonctionne.
Des dizaines de milliers de photos
La présentation a eu lieu le lendemain de l'annonce scandaleuse par le ministère des Urgences de l'ouragan, qui a été suspendu pendant dix minutes par les principales chaînes de télévision. L'ouragan n'a pas eu lieu, mais le temps était encore terrible. Pour le détachement de Liza Alert, c'est parfois à portée de main - le nombre de demandes de personnes disparues dans la forêt diminue fortement, car par mauvais temps, elles n'y vont tout simplement pas. Cela libère des forces pour des recherches plus complexes. En revanche, lors d'une vague de froid, les personnes disparues sont encore plus en danger.
Par exemple, en juillet, Lisa Alert a reçu 1 083 demandes pour la forêt. Environ 700 d'entre eux sont en banlieue. De nombreuses personnes perdues ont toujours un téléphone et se trouvent dans la zone de couverture du réseau. De la forêt, ils sont dirigés par le groupe «Forest in touch», qui explique comment sortir par le soleil ou les sites naturels. Parfois, ils envoient un groupe qui met en place une sirène ou fait sortir une personne.
Mais les recherches les plus difficiles sont celles où il n'y a aucun lien avec les disparus. Par exemple, au moment de la conférence de presse de plusieurs jours, une femme de 73 ans a été recherchée dans la région de Shchelkovo. Des groupes de moteurs de recherche ont parcouru un total de 2 300 kilomètres et pris 8 400 photos du drone au-dessus de la forêt.
«Maintenant, notre technologie fonctionne comme ça», explique Grigory Sergeyev, «Nous prenons des photos, les téléchargeons sur le service, qui a été écrit par nos bénévoles, et des groupes spéciaux voient des photos. Un grand nombre de personnes extérieures à l'équipe peuvent également vous aider. Dans ces cadres, nous recherchons quelque chose de différent de la forêt. Des groupes de randonneurs sortent immédiatement pour voir ce que c'est. Maintenant, dans les recherches à Shchelkovo, nous avons plus d'une centaine de marques qui doivent être vérifiées. Pour les contourner tous, il faut parcourir plus de trois cents kilomètres. »
Lorsque nous nous sommes entretenus avec les participants au concours Odyssey, ils étaient sceptiques quant à la prise de vue aérienne de la forêt. Mais cette année, «Lisa Alert» trouve au moins une personne par semaine avec l'aide de copters. Selon Gregory, il y a deux ans, ils n'avaient trouvé que deux personnes pour toute la saison. L'année dernière - six.
Les drones survolent des territoires où il est très difficile pour une personne de se rendre - brise-vent, marécages. Alexander Lomonosov, chef du véhicule aérien sans pilote Lisa Alert, a montré des enregistrements de pisteurs de groupes de recherche. Le peignage avec les unités a laissé beaucoup de taches blanches. Les drones couvraient complètement ce territoire.
«Si le groupe devenait orageux, ils passeraient au moins trois heures. Le drone a travaillé cette zone en 15 minutes. C'est là qu'un homme a été trouvé - depuis les airs. Il pouvait entrer dans le brise-vent, et il n'y avait plus assez de force pour sortir de là. Plusieurs personnes formées l'ont évacué pendant plus de quatre heures. Et pendant ce temps, 370 mètres seulement sont passés. Un drone, des champs ouverts et des marécages, le drone fonctionnera plusieurs fois plus rapidement qu'un groupe de marche régulier. Si le champ est recouvert d'herbe de 15 cm, un groupe ambulant de moteurs de recherche formés le peignera pendant 6 à 8 heures et le drone pendant une heure. Il apportera des photos de toute la zone et les zones mortes seront complètement exclues. »
En moyenne, une recherche apporte 250 photos. Pendant six mois, ils en accumulent 33 mille. Mais maintenant, il y a peu de copilotes et de pilotes dans l'équipe. Si le nombre augmente et que des drones sont utilisés dans les 20 régions où Lisa Alert opère, 33 000 images seront collectées en une journée. Et le détachement a passé 240 heures à regarder des photos d'une recherche à Shchelkovo.
Ensembles de données des moteurs de recherche et de l'énergie des télécommunications
Il y a deux mois, Lisa Alert et Beeline ont commencé à tester l'algorithme Beeline AI - People Search, qui analyse les photos des drones.
Le projet a commencé avec l'idée d'apprendre à filtrer automatiquement les photos vides afin que seules les photos suspectant la présence d'une personne soient envoyées au groupe qui regardait.
«À une époque, j'ai essayé de trouver des ensembles de données spéciaux, mais ils n'existaient pas dans le monde, bien que certains aient essayé de les collecter», explique Alexander Lomonosov, «nous avons donc nous-mêmes transmis aux développeurs des photographies où se trouvaient des gens: des passants ordinaires qui montaient dans le cadre, des cueilleurs de champignons , les moteurs de recherche eux-mêmes au travail. Tout cela a jeté les bases de l'ensemble de données sur lequel fonctionne la vision industrielle. »
Assembler un tel ensemble de données est également une tâche avec de nombreuses subtilités subtiles. Les gens peuvent entrer dans le cadre dans n'importe quelle position: assis, couché, debout. Ils peuvent être tellement recouverts de branches que seule une petite partie est visible. Le fond autour est très différent selon le paysage, la région et la saison.
«Dans de nombreuses régions, nous avons spécifiquement demandé aux gens de prendre des poses typiques pour les victimes et de les photographier. Ensuite, les images ont été reproduites artificiellement. Par exemple, ils ont pris une personne photographiée à Rostov et l'ont mise sur des substrats d'autres régions », explique Grigory Sergeev.
Dans les photographies reçues, les scientifiques des données de Beeline ont commencé à apprendre les algorithmes.
«En tant qu'opérateur, nous sommes habitués à travailler avec une énorme quantité de données. Nous avons cinq énormes centres de données. Seul le centre de données de Yaroslavl, que nous utilisons pour travailler avec Lisa Alert, traite 15 pétaoctets de données. Grâce à cela, nous avons appris à construire des modèles très modernes », explique George Held, vice-président du développement commercial numérique chez Beeline.
«Les photos arrivent dans notre système et nous devons déterminer s'il y a une personne dessus ou non. Voir un chapeau, une botte, une main, une oreille, peu importe. Par conséquent, nous coupons chaque image en 30 à 35 couches. Un travail gigantesque a été fait pour trouver l'architecture appropriée à cela et pour créer un algorithme, car toute erreur entraînera le fait que les gens nous manqueront sur les photos. D'énormes ressources informatiques sont nécessaires pour traiter rapidement chaque couche. Nous utilisons les mêmes modèles que nous utilisons pour le ciblage. Nous prenons leurs composants et les réutilisons sur ce projet. »
Le modèle est capable de rechercher non seulement la personne entière, mais remarque tous les petits artefacts suspects dans la forêt sur les photos. Vient maintenant la première étape des tests, lorsque l'algorithme supprime toutes les photos pour lesquelles il y a 98% de probabilité qu'il n'y ait personne.
Les images restantes sont immédiatement transmises aux volontaires qui recherchent des personnes sur place et, si nécessaire, elles sont envoyées vers des moteurs de recherche ou des drones pour des prises de vue supplémentaires. Pendant que le système est testé, les personnes qui ont jeté les images sont également contrôlées, mais en deuxième lieu.
L'étape suivante, les développeurs prévoient d'enseigner l'algorithme pour déterminer plus précisément les images des personnes et construire des modèles prédictifs de leurs mouvements dans la forêt.
Pourquoi la 5G ici
Maintenant, le système a deux options. Le premier est un programme hors ligne pour traiter les images sur les ordinateurs portables dans des conditions où il n'y a pas de connexion. Sa puissance est limitée, et il doit être mis à jour à chaque fois que vous vous connectez au réseau, car l'algorithme apprend en permanence. Le service en ligne fonctionne à son plein potentiel - les photos y sont téléchargées sur les serveurs Beeline. Déjà 15 millions d'images ont transité par les centres de données.
Lisa Alert utilise des drones DJI dans la recherche, car elle utilise leurs programmes pour le vol autonome. Une photo du modèle Mavic 2 Pro pèse environ 20 Mo, et après chaque vol, vous devez télécharger et transférer en moyenne 20 Go de photos au service. C'est beaucoup même pour les endroits avec une bonne couverture réseau.
George Held estime que le travail des algorithmes de recherche est un argument en faveur de la
construction de réseaux 5G .
«Il est très important que les informations soient transmises sur un grand réseau de haute qualité, nous investissons donc beaucoup d'argent dans l'amélioration des stations de base, un réseau 5G est en cours de construction. De nombreux opérateurs le disent avec fierté. Mais la plus grande question est - à quoi ça sert? Pour simplement regarder une vidéo sur YouTube? Cela fonctionnera également très bien sur 4G. La 5G a besoin de vraies raisons. Travailler avec Lisa Alert est un très bon exemple, car une énorme quantité d'informations doit être transmise rapidement. »
Aucun imageur thermique nécessaire
Au début de l'été, dans une compétition sur les technologies de recherche, une seule équipe basée sur la vision par ordinateur s'est qualifiée pour la finale. Mais elle a utilisé un imageur thermique pour filmer. Grigory Sergeev y fait référence avec scepticisme.
«Depuis 9 ans, nous n'avons pas trouvé une seule personne à l'aide d'un imageur thermique. Tout le monde veut croire que c'est une bonne chose. Oui, nous pouvons l'utiliser pour ne pas arrêter de chercher, par exemple la nuit dans des espaces ouverts. Mais pour tout le reste, il ne convient pas. L'herbe n'est pas transparente, toutes les couronnes sont opaques. Une personne est dans la forêt en vêtements et les vêtements ont une température ambiante. L'imageur thermique est un fantasme cool, mais il est inefficace pour les recherches. Nous avons essayé tous nos appareils de défense, essayé des modèles étrangers. "Ils sont adaptés à la duplication, mais étant donné le coût et l'efficacité, je dirais non aux imageurs thermiques."
Lorsqu'on lui a demandé pourquoi personne dans cette compétition n'était en mesure d'utiliser efficacement la vision par ordinateur, Georgy répond simplement: «ils n'avaient pas la puissance de développement que nous avons maintenant.»