Lunettes AR en action. Cas réels de la façon dont la réalité augmentée a trouvé une application dans une grande variété de domaines d'activité

En parlant des lunettes vidéo Epson Moverio , nous rencontrons souvent du scepticisme (à la fois dans les commentaires et dans les messages PM): «Vos lunettes ne sont qu'un jouet coûteux. Ou jouer à Pokemon Go, peut-être . " Ou, comme l'a gracieusement noté l'un de nos lecteurs, «sifflet à bijoux»:




Par conséquent, en fouillant sur Internet, j'ai décidé de collecter des cas réels du monde entier qui montrent comment un tel appareil ( pas nécessairement fabriqué par Epson ) peut être utile là où vous devez libérer les mains des employés, augmenter l'efficacité du travail et réduire le risque d'erreurs humaines.


J'ai essayé de choisir les projets les plus intéressants dans plusieurs domaines: la logistique, la médecine, le support technique, la fabrication d'avions et l'aide aux personnes handicapées.




VR ou AR?


Au cas où, je commencerai par séparer les concepts de VR et AR. Les deux technologies poursuivent leurs objectifs et conviennent à différentes tâches.


La tâche de la réalité virtuelle est de transférer l'utilisateur dans un monde complètement créé artificiellement. Il est le plus souvent utilisé pour les projets de simulation et les jeux. C'est pourquoi l'effet maximal de l'immersion se fait sentir dans un casque spécial qui bloque la plupart des signaux de l'extérieur. La VR peut être stationnaire et mobile, y compris l'utilisation de gadgets inhabituels comme des lunettes avec des miroirs .




Réalité augmentée - il est facile de deviner de quoi il s'agit, si vous vous souvenez du film "Iron Man". Tous les indicateurs nécessaires étaient affichés sur la vitre du casque de Tony, tandis que l'affichage lui-même était transparent.




Apportons les points principaux à un tableau simple:

VRAR
AppareilsCasque (+ smartphone), manette (+ trackers)Smartphone, tablette, lunettes vidéo
Direction principaleJeux, simulations, développement des compétencesJeux, guides visuels, inspection visuelle, entretien de l'équipement
La mobilitéLa plupart des casques VR fixes ont des fils. Ils doivent être suffisamment longs pour ne pas restreindre sévèrement les mouvements et forts, car il est clair pourquoi.

Pour se déplacer, un ajustement supplémentaire est nécessaire pour les paramètres de la pièce. Un placement correct du capteur, un étalonnage et une configuration ultérieure du casque sont nécessaires.

Les casques VR mobiles sont exempts de ces problèmes, mais vous pouvez tomber sur quelque chose. La situation évolue pour le mieux avec la sortie d'Oculus Quest et de Rift S avec caméras intégrées. Nous observons attentivement.
L'affichage des lunettes est transparent, de sorte que l'utilisateur voit tout ce qui se passe autour.

Cependant, les instructions pour nos lunettes, par exemple, indiquent qu'il est interdit de conduire une voiture à l'intérieur. Bien que, si vous y réfléchissez, je ne conduirais même pas dans un casque ...

Une tablette ou un téléphone doit être gardé sous vos yeux lorsque vous regardez un écran de projection au-dessus d'une image de caméra.
Confort physiqueBeaucoup d'inconvénients, à commencer par la réticence à gâcher les cheveux, se terminant par le fait que de nombreux utilisateurs ont un visage transpirant sous le masque.

Le port prolongé du casque VR rend les yeux et le cou très fatigués. Je ne parlerai pas des étourdissements et des chocs de l'appareil vestibulaire lorsque je me déplace dans un espace virtuel sans bouger en réalité - quiconque l'a essayé, ils savent ce que c'est que de survivre à un tel «mal des transports».
Les lunettes AR sont beaucoup plus faciles à mettre / à enlever plus rapidement, dans nos dernières versions, par exemple, elles sont bien fixées, de sorte qu'elles ne "volent" pas même avec les inclinaisons les plus sévères de la tête. Du fait qu'il est transparent, il n'y a pas d'effet "bue-e" lors du déplacement, car le véritable espace environnant est toujours sous vos yeux. C'est d'ailleurs l'une des raisons pour lesquelles ce sont les lunettes AR qui sont utilisées dans l'environnement professionnel, pas les casques: vous n'avez pas à chercher une personne avec un fort «vestibulaire» - presque tout le monde peut le manipuler.

Je ne m'attarderai pas sur la description des lunettes elles-mêmes, on en a déjà parlé à plusieurs reprises. Par exemple, ici (Epson BT-200) , ici (Epson BT-300) et ici (Epson BT-35E) .


Les deux principaux types d'utilisation de la RA «en action»


Le premier est une démonstration d'informations. L'opérateur travaille avec des manuels préinstallés qui montrent clairement le processus d'assemblage, de démontage, de maintenance de quelque chose ou visualise les données préchargées, qui au sens littéral devraient être sous vos yeux.


Le second est l'assistance à distance dans les situations d'urgence. En temps réel, le spécialiste à distance voit l'image de la caméra intégrée et envoie des conseils interactifs et guide l'utilisateur dans ses actions.


Il est important de noter que les capacités de l'application dépendent uniquement des logiciels développés pour une tâche spécifique. C'est pourquoi toutes les versions de lunettes Epson, par exemple, ont un SDK ouvert.


Passons à des cas intéressants dans les catégories principales, sinon je suis déjà fatigué!


La logistique


Il y a quelques années, DHL a testé la réalité augmentée dans un entrepôt à Bergen op-Som (Pays-Bas), où les employés ont reçu des lunettes intelligentes. Sur les affichages des points, l'itinéraire vers les marchandises était affiché et uniquement les marchandises qui devaient être collectées dans un ordre spécifique. Le projet pilote a donné d'excellents résultats: la logistique et le processus de sélection sont devenus 25% plus efficaces.



Soit dit en passant, des lunettes intelligentes avec la fonction de réalité augmentée seraient également utiles dans les entreprises qui ont un grand nombre d'articles avec des noms différents dans leurs entrepôts, ou où des travailleurs temporaires sont souvent embauchés. Afin de se mettre à l'aise et de savoir où et quel est le temps nécessaire, respectivement, l'utilisation d'un tel «assistant» a un grand potentiel.



Au fait, une excellente solution pour la poste russe ...


ST Logistics et MGG Software ont développé une application qui fournit simplement ces fonctionnalités:



Médecine




En 2017, les chirurgiens de la clinique espagnole Gregorio Marañon ont été les premiers au monde à utiliser des lunettes de réalité augmentée pour effectuer une opération. Le médecin pouvait voir les antécédents médicaux, les données des analyses et le moniteur du patient, les images radiographiques, l'IRM, la TDM, ainsi que contrôler ces mouvements de la main. La caméra intégrée a enregistré ce qui se passait dans la salle d'opération et diffusé le flux vidéo aux moniteurs pour la formation des stagiaires.


Un autre cas intéressant également dans le domaine de la chirurgie est la mise en œuvre de la chirurgie endovasculaire dans des lunettes vidéo en réalité augmentée ( vidéo par référence , car pour une raison quelconque, l'empiètement sur des ressources tierces est interdit pour cela).




Soit dit en passant, l'opération a été effectuée à l'aide de l' Epson Moverio BT-35E , dont nous avons récemment parlé sur Habré .


La chirurgie endovasculaire est un domaine relativement nouveau, mais très prometteur en médecine moderne. Son principal avantage est peu invasif , lorsque seule une petite incision cutanée et l'introduction d'un conducteur à travers le vaisseau suffisent pour accéder à des structures anatomiques complexes ou à des organes internes.


Malheureusement, étant donné que le sujet lui-même n'est absolument pas essentiel pour moi, il est difficile de commenter. Peut-être que Habraexperts vous aidera dans les commentaires sur le post.


Les dentistes sont aussi "dans le sujet"


Les dentistes ne sont pas loin derrière leurs collègues et utilisent la réalité augmentée dans les procédures quotidiennes. Par exemple, avec des prothèses. Le médecin utilise un bâton spécial avec une caméra vidéo HD pour scanner la zone nécessitant des prothèses. Basé sur le modèle tridimensionnel scanné, le prothésiste crée des images informatiques des couronnes et des ponts.


L'inconvénient du processus est que l'image de la caméra est transmise à un moniteur externe, généralement situé du côté du médecin (apparemment, tous les médecins n'ont pas la possibilité de la mettre devant ses yeux): il doit donc constamment se tourner vers le patient, puis vers l'écran pendant la numérisation . Ceci est gênant et peut entraîner certains inconvénients pour le patient. Le logiciel EyeCad affiche l'image de la caméra du scanner directement sur les écrans de lunettes, de sorte que le médecin regarde le patient et voit la zone de travail. Les développeurs ont également fourni un contrôle gestuel.



Un autre exemple, l'application ICNOS, permet à un patient de communiquer avec un médecin. Si pendant le traitement, le patient doit dire au médecin quelque chose, par exemple, qu'il a besoin d'une pause, ou lui demander combien de temps il reste jusqu'à la fin de la procédure, il peut le faire en utilisant une application spéciale qui reproduit le texte spécifié en utilisant la connexion Bluetooth avec le haut-parleur .


Et, si le patient s'ennuie, alors il peut regarder une nouvelle série de sa série préférée ou "surfer" sur Internet.


Support technique et maintenance à distance


Le géant industriel russe SIBUR développe une plateforme de RA industrielle basée sur les technologies de réalité augmentée. Selon les développeurs, la solution permettra au spécialiste de recevoir un soutien opérationnel pendant la maintenance et la réparation par des experts internes et externes géographiquement éloignés.



Dans leur blog, Digital SIBUR, ils parlent en détail des perspectives et des difficultés qu'ils rencontrent dans la mise en œuvre de la solution.


Et les employés de l'Université de Columbia ont mené une étude pour évaluer les avantages de la réalité augmentée lors de l'entretien d'une tourelle de transport de troupes blindée (« Évaluation des avantages de la réalité augmentée pour la localisation des tâches de maintenance d'une tourelle de transport de troupes blindée »). Cela semble même réussi.



L'industrie aéronautique


La société militaro-industrielle Lockheed Martin (USA), qui fabrique du matériel aéronautique, a introduit des lunettes de réalité augmentée avec une application spécialement développée dans l'arsenal de ses ingénieurs. Avec leur aide, la tâche de support d'information pour les spécialistes a été grandement simplifiée - pendant le processus d'assemblage, le technicien voit à l'écran les données sur où et comment connecter la pièce nécessaire. La société NGRAIN, engagée dans la mise en œuvre de cet équipement, estime que grâce à cette solution, les travailleurs passent 30% de temps en moins sur les tâches, et la précision du travail a augmenté jusqu'à 96%.



Aide aux personnes handicapées


Pour les personnes malentendantes, l'utilisation d'appareils AR permet de visualiser ou de traduire des informations audio au format texte. Ainsi, au musée des traditions locales d'Astrakhan, une version de la visite avec traduction en langue des signes est disponible.


Et le National British Theatre, avec son partenaire d'innovation Accenture et StageText, a développé un projet dans lequel les lunettes vidéo de réalité augmentée Epson Moverio BT-350 sont utilisées pour produire la transcription de dialogues et de sons synchronisés avec les productions sur les écrans de lunettes.



La technologie Open Access Smart Capture utilise un logiciel de reconnaissance vocale et synchronise les sous-titres avec la mise en scène du texte. Pour un étalonnage précis, le programme lit les balises lumineuses, sonores et vidéo qui sont uniques à chaque paramètre. Les téléspectateurs peuvent personnaliser la taille de la police, la couleur et l'emplacement des sous-titres à leur guise.


Les spécialistes continuent d'améliorer le projet. Le logiciel est en cours de finalisation afin que les lunettes puissent être utilisées pour générer des légendes en temps réel.


Pour les personnes handicapées physiques, les dispositifs de réalité augmentée pourront créer des cartes d'information d'un environnement accessible, permettre de tracer des itinéraires pratiques et avertir des endroits difficiles ou difficiles.


Au lieu de la sortie


Les exemples qui ont été trouvés ne sont qu'une démonstration d'une petite partie des possibilités ouvertes par les gadgets de réalité augmentée. Epson propose des lunettes vidéo en réalité augmentée , à l'aide desquelles il devient possible de réaliser une grande partie de ce qui a été décrit dans l'article.

Peut-être les trouverez-vous à utiliser dans votre prochain projet AR?

Source: https://habr.com/ru/post/fr457444/


All Articles