🔌 🦅 🧜🏾 Où la technologie immersive nous plonge 👵🏻 🤾 🤷

Bonjour, Habr! Voici Sergey Lukashkin, et aujourd'hui nous parlerons des technologies immersives.
Le terme "immersif" est maintenant devenu couramment utilisé, il peut être trouvé dans les rapports de sociétés de recherche éminentes (recherche stratégique future) comme Gartner (expérience immersive) ou CBInsights .

La technologie immersive est également appelée technologie de réalité augmentée. Leur liste comprend la réalité virtuelle et augmentée, ainsi que la vidéo 360 °. Ils fournissent l'effet d'une présence totale ou partielle dans un espace alternatif et changent ainsi l'expérience de l'utilisateur dans des domaines complètement différents. Dans cet article, nous parlerons du niveau actuel de ces technologies, de la façon dont elles sont mises en œuvre et utilisées pour les entreprises.

Définissons d'abord les termes et abréviations que vous pouvez voir dans les rapports, articles et présentations:

Immersive (eng. Immersive - immerse) - technologies pour une immersion totale ou partielle dans le monde virtuel ou divers types de mélange de réalité réelle et virtuelle.
RR (réalité réelle) - littéralement «réalité réelle» ou réalité objective dans laquelle nous sommes et que nous percevons avec nos sens. Il convient de noter que la réalité doit être déterminée. Mais vous devez comprendre avec quoi nous confondons la réalité virtuelle.
VR (réalité virtuelle) - réalité virtuelle - une réalité entièrement simulée utilisant la technologie moderne. Ce ne sont pas seulement des scènes 3D ou 360, c'est aussi du son, des sensations tactiles et même des odeurs. Plus d'informations à ce sujet plus tard.
AR (réalité augmentée) - réalité augmentée - augmentée devrait être traduit plus comme "ajouté". Autrement dit, nous ajoutons des éléments de réalité virtuelle simulée à notre réalité réelle (RR).
MR (réalité mixte) - réalité mixte - le terme est apparu en raison du lancement de Windows Mixed Reality. D'une part, le terme lui-même permet, à mon avis, de se reconstruire à partir de concurrents. D'autre part, il parle d'un certain type d'appareils et de méthodes spécifiques pour mélanger la réalité. Bien qu'il s'agisse en réalité de VR avec quelques ajouts de RR. Ou AR en utilisant Hololens.
XR (réalité étendue) - la réalité augmentée est un nom commun pour les technologies AR et VR.
360 photos, vidéo - contenu composé d'un 360 ° - ou de plusieurs photos et vidéos assemblées. Les émissions à 360 ° sont également courantes. Russia Today fait beaucoup de ce contenu , vous pouvez le voir sur un carton avec un téléphone plus ou moins puissant.

Nous allons maintenant analyser plus en détail ce qui est caché sous ces abréviations.

Photo ou vidéo panoramique et 360 °

Les caméras sont disponibles depuis un certain temps, depuis 2018, elles sont soutenues par Facebook. En fait, ce sont des ensembles d'images séquentiels assemblés à l'aide d'algorithmes. Vous pouvez les créer en tant que caméra unique ou caméras 360 ° spéciales. C'est un format très pratique avec lequel vous pouvez, par exemple, faire une visite virtuelle du musée Pouchkine.

Vidéo 360 °

Comment est-il mis en œuvre? Les caméras à 360 ° tournent la zone environnante, après quoi les vidéos résultantes sont assemblées dans des programmes spéciaux. Des solutions homogènes existent, mais elles sont plus coûteuses pour l'entreprise. Parfois, des graphiques supplémentaires sont ajoutés à la vidéo terminée.

Désormais également des diffusions en ligne "panoramiques" très répandues. Lorsque vous avez plusieurs points avec une vue panoramique, installez simplement l'équipement et commencez la prise de vue. Mais ce format a des exigences assez élevées pour le matériel, et nécessite également un réglage soigneux du son.

Où utilisé. Cette technologie est largement utilisée dans la démonstration de biens immobiliers. Une simple recherche Google vous donne beaucoup d'agences B2B qui font des visites virtuelles pour les besoins des agents immobiliers et des développeurs: 360 Real Estate , 360walkthruproperty , Forj et autres.

Des vidéos panoramiques sont également utilisées dans les médias. Ci-dessus, j'ai déjà donné un lien vers le projet RT 360 , qui donne au spectateur l'opportunité de "être présent dans l'instant" - que ce soit la célébration du Nouvel An à Berlin ou la coupe internationale de superbike . En plus d'être publiés sur Internet, ces documents immersifs sont également exposés à l'exposition permanente du Bureau des affaires spatiales des Nations Unies à Vienne.

Réalité augmentée

Comme de nombreuses technologies innovantes, la réalité augmentée est apparue au milieu du siècle dernier pour les développements militaires. Il a été planifié puis utilisé avec succès pour projeter d'importantes lectures d'instruments sur le casque du chasseur ou le pare-brise d'un chasseur afin de réduire le temps de réception des informations et d'augmenter la vitesse de réaction des pilotes.

Aujourd'hui, plusieurs domaines de la réalité augmentée se développent. Le plus courant est l' AR dans le smartphone . Apple développe son kit AR depuis plusieurs années. Aujourd'hui, il y a plus de 5 milliards de smartphones dans le monde, et il s'agit potentiellement d'une très large couverture pour les produits avec AR. Un exemple frappant de succès est le jeu Pokemon Go, qui a tonné dans le monde entier. Il existe des projets de marketing dans lesquels, par exemple, les pièces sont dispersées dans AR, et l'utilisateur doit les rechercher et les collecter afin d'obtenir une remise. Les pièces sont dispersées de sorte que sur elles comme dans les miettes l'utilisateur arrive au seuil du magasin. Il convient également de rappeler le projet Google Street récemment lancé aux États-Unis, qui aide à la navigation. Des scénarios plus simples sont également demandés: par exemple, en 2017, Positive Technologies a publié un merch - un calendrier et un journal sur lesquels les images prenaient vie lorsque le téléphone planait.

D'autres dispositifs pour travailler avec la réalité augmentée sont des lunettes de réalité augmentée . Google Glass est un projet pas si réussi. Hololens, un projet Microsoft, est une solution coûteuse, mais son avantage est qu'elle est immédiatement intégrée à l'écosystème de l'entreprise. En outre, le marché compte de nombreuses autres lunettes de réalité augmentée - d'Ericsson, Huawei et de nombreuses autres grandes entreprises et startups.

Des solutions distinctes sont mises en œuvre pour l'industrie selon le modèle d'abonnement, qui comprend le conseil et la réparation d'équipements.

Comment est-il mis en œuvre? La projection d'un objet virtuel dans le monde réel peut se faire à l'aide d'un téléphone. Marques souvent utilisées, projection sur la vitre d'une voiture, d'un avion, de lunettes - par exemple, dans des lunettes Microsoft Hololens. Si vous utilisez la technologie de réalité virtuelle dans la rue, vous devez accorder une attention particulière à l'éclairage, car dans une lumière trop brillante, les objets AR peuvent sembler ternes. En général, bien que ce ne soit pas la technologie la plus avancée, elle vous permet même de créer des applications de divertissement.

Où utilisé. Hologrammes, images superposées dans l'air des chaînes de télévision, utilisation d'écrans interactifs - ce sont les incarnations de la RA qui nous semblent familières. Cependant, il existe des exemples plus inattendus de l'utilisation de la technologie.

Par exemple, Pepsi Max a utilisé la technologie AR pour créer sa propre publicité . La société a installé des moniteurs de réalité augmentée spéciaux à l'un des arrêts de Londres et a filmé la réaction des passants aléatoires.

Un autre exemple est l'aménagement intérieur IKEA:

La réalité augmentée est, comme je l'ai dit, l'un des secrets du succès de PokemonGo, également une caractéristique de l'application Argon4 sur le SDK du navigateur AR, avec laquelle vous pouvez, par exemple, fournir des informations de référence sur les sites lorsque vous pointez la caméra du smartphone vers eux.

Quant aux lunettes AR, ce domaine est encore moins développé, car les modèles actuels sont assez volumineux et chers. Mais chaque année, les verres deviennent plus faciles et plus jolis. Une autre direction de la RA est la projection sur les lentilles de contact. Son inconvénient jusqu'à présent est que la grille est visible sur l'objectif. Mais en même temps, cette méthode présente de nombreux avantages.

Réalité virtuelle

Comment est-il mis en œuvre? La réalité virtuelle est principalement un contenu visuel et sonore. Le son dans ce cas est d'une importance capitale: il complète la virtualité et crée l'effet d'être dans un endroit irréaliste en simulant la réflexion et la direction des ondes sonores.

Vous pouvez entrer dans une réalité virtuelle alternative, par exemple, en portant des lunettes spéciales. Divisant l'image devant les yeux en deux parties, elles créent un effet stéréoscopique. S'il y a un suivi des positions du corps, l'espace virtuel prendra également en compte les mouvements de la tête et du corps.

Il existe d'autres façons d'entrer dans la réalité virtuelle:

Un smartphone avec une application VR spéciale, qui est inséré dans un étui spécial avec des lentilles. La solution la plus simple est Google Cardboard Cardboard. Si vous possédez un appareil Samsung Galaxy, vous pouvez acheter Gear VR - un boîtier avancé, complété par des gyroscopes et des commandes.
Systèmes de suivi. Vous permet de déplacer l'utilisateur dans un espace virtuel. Des costumes sont également en cours de développement qui véhiculent des sensations de la réalité virtuelle - par exemple, des parfums - mais jusqu'à présent, c'est un produit cher et pas très parfait.
Gants spéciaux au lieu du joystick habituel. Cet élément est nécessaire pour que les mains humaines interagissent naturellement avec le monde virtuel. Les gants sont désormais inférieurs aux joysticks en termes de qualité d'étalonnage, mais leur qualité augmente.
Casques VR mobiles avec moniteurs intégrés (HTC Vive, Oculus Go et autres) . De tels appareils sont plus optimisés pour fonctionner en VR par rapport aux étuis pour smartphones, ils ont des graphismes de haute qualité, il y a un son intégré et un joystick pour le contrôle.
Casques «Heavy VR» (comme l'Oculus Rift). Les graphiques traités sont transmis au casque par fil à partir d'un ordinateur de jeu avec une puissante carte graphique. La nécessité de communiquer avec un PC crée des restrictions d'utilisation, mais en même temps, les casques VR lourds ont de meilleurs graphismes et une expérience utilisateur potentielle plus riche. Les caméras de suivi enregistrent la position du joystick et la position d'une personne, l'immergeant de façon plus réaliste dans la réalité virtuelle. Des contrôleurs sont également inclus avec ces casques.

Presque tous les principaux fabricants de téléphones et d'ordinateurs portables ont publié leurs casques de réalité virtuelle: HTC, Lenovo, Xiaomi, Samsung, Oculus et d'autres sociétés les ont. Certains tentent de créer un écosystème: par exemple, HP fait la promotion d'une gamme d'ordinateurs portables et de casques avec manipulateurs et suivi externe.

Pour de telles décisions, un autre nom est utilisé - réalité mixte . En fait, il s'agit plus de marketing, apparu avec la sortie de Windows Mixed Reality - une plateforme de développement d'applications. À la base, c'est un constructeur avec des modèles 3D, un ensemble spécifique d'actifs dans le kit. En termes de qualité du produit en cours de création, la solution Windows est beaucoup plus faible que les moteurs Unreal Engine et Unity. Contrairement à la plate-forme Windows Mixed Reality, ils ont non seulement la capacité de concevoir et de créer des objets virtuels, de travailler avec des textures et de la lumière, mais également de créer une logique métier spécifique.

Où utilisé. IKEA a réalisé un projet intéressant dans le domaine de la réalité virtuelle. L'entreprise a invité ses clients à porter des lunettes spéciales et à se retrouver dans la cuisine virtuelle. Ici, à l'aide d'un joystick, ils pouvaient lire un livre de recettes, cuisiner des boulettes de viande, envoyer de la nourriture pour transformation.

La compagnie allemande Deutsche Bahn expérimente également la réalité virtuelle. Depuis quatre ans, l'entreprise propose à ses collaborateurs potentiels de mettre des lunettes VR et de démontrer leurs capacités à simuler une vraie journée de travail.

La société de technologie israélienne Actiview a développé une plate - forme pour le recrutement à distance d'employés utilisant les technologies VR. «La simulation en réalité virtuelle nous permet de contrôler ce que l'utilisateur voit, entend, ressent. Nous voyons son comportement et pouvons collecter ces données », commente Roy Elishkov, vice-président de la stratégie et du développement commercial.

Des entreprises de VR dans divers domaines sont également impliquées dans des entreprises russes. Par exemple, Modum Lab crée des projets VR pour la formation et d'autres scénarios.

Développement VTB

Chez VTB, nous travaillons également sur plusieurs cas «virtuels». Le premier est un service de vote VR pour les actionnaires au format réalité virtuelle, intégré à un robot consultant. Nous avons utilisé ce produit dans le cadre de l'assemblée annuelle des actionnaires de la banque en juin 2019. Le service est facilement transformable: nous nous attendons à ce qu'il puisse être adapté pour le vote des actionnaires dans toutes les grandes organisations comparables en taille à VTB. Et il a été développé pour une filiale de VTB Registrar, membre du groupe VTB.

Le deuxième cas, qui est actuellement au stade de projet pilote, est celui des investissements en réalité virtuelle, dont l'objectif principal est d'intégrer des clients pour des services de courtage. Ici, la VR est un moyen de fournir à distance la consultation automatisée initiale dans un format de quête. En 5 minutes d'une session VR, l'utilisateur est complètement «immergé» dans le monde de l'investissement, sélectionne le but de la compilation du portefeuille et apprend quelles opportunités offrent les produits de courtage VTB. Après cela, le gestionnaire aide le client à ouvrir un compte de courtage et à y transférer des fonds. D'un point de vue commercial, ce cas vous permet d'optimiser le coût de formation des salariés et le nombre de managers nécessaires pour vendre des services de courtage.

La VR a un grand potentiel pour l'activité hypothécaire de la banque. Nous avons lancé la plate-forme d'hypothèque VR VTB, une plate-forme qui unit les développeurs et les clients. Il fournit un service de consultation à distance et de visualisation à distance des biens immobiliers. La plateforme vous permet de créer un espace virtuel avec la possibilité de choisir la configuration de l'appartement, un calculateur d'hypothèque et des outils de vente intégrés, ainsi que de connecter un consultant qui consultera à distance des acheteurs potentiels d'une autre région.

La RA peut devenir un outil universel pour diffuser des offres marketing personnalisées à nos clients. Certes, alors que les utilisateurs dans leur ensemble sont encore loin, par exemple, de pointer les caméras de leur smartphone vers une affiche intéressée dans une succursale bancaire. Nous devons donc garder cela à l'esprit lors du développement d'une stratégie d'implémentation AR et proposer aux clients des scénarios de jeu non triviaux, les incitant à un nouveau format d'interaction.

Tendances générales

En fin de compte, je vais essayer de résumer l'expérience de l'industrie et de suggérer ce qui se passera ensuite. En recherchant une image réaliste, nous serons confrontés à des limitations en termes de vitesse de traitement graphique et d'information. Les systèmes hybrides avec la participation de nuages peuvent être une issue. Dans le même temps, l'image «cartoony» actuelle vous permet toujours de créer du contenu «immersif», car cela suffit pour le cerveau. Essayez de marcher sur une planche VR au-dessus d'un abîme VR.

La pénétration des casques VR est désormais faible, nous créons donc des installations VR dans nos bureaux et y invitons les consommateurs. Il est clair que cette approche a la perspective de vendre des produits coûteux et complexes - immobilier, yachts, voitures, circuits touristiques. La clé ici est la transition des solutions adhoc, c'est-à-dire des applications qui implémentent un cas spécifique, à des plateformes XR entières qui permettront aux acheteurs et aux vendeurs de se retrouver.

Dans le domaine des technologies immersives, la monétisation nette n'est pas encore visible, les joueurs agissent comme au toucher. La raison en est que peu de gens utilisent la réalité augmentée dans la vie quotidienne. Pour les essayer, vous devez au moins télécharger une application supplémentaire - cela complique la façon dont les consommateurs obtiennent les technologies.

Dans tous ces développements, il n'y a pas de gamification significative; au contraire, il y a un désir de réalisme. La création d'outils d'interaction faciles n'est que la tâche principale des développeurs, le développement de contenu est désormais secondaire au développement de l'UX / UI. La résolution d'image est encore faible et non photoréaliste, la technologie a donc la possibilité de croître et de se développer. L'amélioration de l'expérience utilisateur est associée aux performances du processeur, à la vitesse de transfert et de traitement des données.

Eventuellement, des solutions hybrides apparaîtront bientôt: par exemple, le traitement d'image sera effectué sur le serveur en ligne, puis il sera transmis par radio, Wi-Fi ou canal Bluetooth au casque mobile de l'utilisateur. Cependant, jusqu'à présent, ce ne sont que des hypothèses. Dans tous les cas, nous sommes convaincus que les technologies immersives trouveront application dans de nombreux secteurs, y compris dans notre secteur financier.