Astuce: ce gif démarre et s'arrête au clicS3D: aucune douleur n'est un gain
En avril de cette année, Google a annoncé les détails techniques d'un nouveau format pour VR-vidéo -
VR180 . Les spécifications de format ont été téléchargées dans le référentiel
Google sur GitHub , les fabricants d'appareils photo ont été invités à fabriquer
des appareils photo spéciaux , le format est devenu pris
en charge
sur YouTube .
L'idée de base est assez simple. Dans la vidéo VR «normale» - vidéo
360 - vous pouvez tourner la tête horizontalement dans toutes les directions, tandis que l'action principale se produit, en règle générale, d'un côté, et le flux entier est transmis à l'appareil, ce qui conduit à la transmission et au stockage informations
redondantes . En fait, dans la grande majorité des cas, il n'est pas nécessaire d'implémenter la visualisation à 360 degrés - 180 degrés sont tout à fait suffisants pour obtenir le même effet. Dans ce cas, la "seconde moitié" du cadre est utilisée pour le deuxième angle, c'est-à-dire que la stéréo est obtenue.
Ainsi, le format proposé offre un sentiment d'immersion encore plus grand que celui de la vidéo 360, est moins cher à fabriquer, plus facile à filmer et n'a aucun problème de
couture .
Comment est-ce possible et qu'offrait Google?
Qui se soucie de la vidéo VR dans un avenir proche? Bienvenue chez Cat!
Introduction à VR180
Tout d'abord sur le bien.
Le VR180 est nettement plus facile à filmer que la vidéo 360. Jusqu'à 17 caméras sont utilisées pour filmer
des vidéos 360 de
haute qualité (un exemple de Xiaomi ci-dessous), ce qui provoque beaucoup de problèmes avec la taille de la vidéo de travail, une panne partielle, une surchauffe, une mise au point instable des caméras, etc. En même temps, du point de vue d'un simple utilisateur, ils ont été reconnus comme les meilleurs appareils photo avec
deux objectifs fisheye (
un ,
deux ,
trois ).
SourceLe nouveau format est également tourné avec deux caméras. Cela réduit considérablement le coût du périphérique final. Dans le même temps, la technique de prise de vue est grandement simplifiée, car toutes les astuces de travail avec un appareil photo conventionnel restent pertinentes (seul le résultat est potentiellement plus spectaculaire et avec une grande immersion). Pour le succès du format, il est important que chaque femme au foyer et chaque élève de l'école puisse facilement l'utiliser. Par conséquent, plus c'est simple, mieux c'est.
De plus, dans VR180, les problèmes de ce que l'on appelle l'assemblage (collage) disparaissent - des artefacts extrêmement visibles dans les endroits où les images de deux caméras ont été assemblées. Jusqu'à récemment, il semblait que le temps passerait et que les problèmes de couture seraient résolus. Hélas, ils se sont révélés beaucoup plus compliqués. S'il y a un objet en mouvement rapide ou translucide à la frontière de collage, alors au niveau actuel de développement des algorithmes de traitement vidéo en mode automatique, le problème n'est pas résolu. Bien sûr, les algorithmes de matage automatiques évoluent, mais l'
absence d'artefacts n'est pas garantie même avec les méthodes d'apprentissage en profondeur . Il n'y a pas de couture dans VR180, ce qui signifie qu'en principe, il n'y a aucun problème associé.
Et enfin, presque toujours tourné, la vidéo 360 est plate. Autrement dit, du point de vue de la vision binoculaire, l'image est perçue comme suspendue sur un écran devant les yeux, ce qui réduit souvent «l'effet wow» et l'effet d'immersion, et VR180 est initialement et par défaut un format stéréo.
Tous ces points semblent très prometteurs en termes de prévision du succès du format. En conséquence, les fabricants ont commencé très activement à produire des caméras spécifiquement axées sur VR180, par exemple:
Le fait que
Xiaomi soit entré sur le marché VR180 est certainement encourageant.
Il existe également des solutions qui vous permettent d'assembler l'appareil photo pour filmer le VR180 à partir de deux appareils photo ordinaires avec des objectifs fisheye. Parfois, il suffit d'imprimer ou d'acheter une monture pour commencer des expériences (ci-dessous sont des exemples de GoPro, des "porte-savons" numériques, des miroirs Sony):
Source
Source: http://products.entaniya.co.jp/en/products/equipment-for-3d-stereo-180-vr/De plus, il y avait des solutions amusantes lorsqu'une caméra prend en charge la prise de vue aux formats vidéo VR180 et 360 (il s'agit d'une «coquille» qui prend 360 en état réduit et VR180 en état étendu):
SourceEntre autres choses, de
nouveaux horizons se sont ouverts pour
expérimenter la prise de vue vidéo VR (sur la photo de la caméra Xiaomi YI Horizon VR180):
Le nombre de nouveaux appareils pour la prise de vue en VR180 est très important, ce qui contribue considérablement à la popularité du nouveau format.
L'introduction de VR180
Aujourd'hui, les entreprises tentent d'implémenter la VR dans la mesure du possible, elles souhaitent rendre le format plus populaire et plus répandu. Et surtout - pas cher. Google ne fait pas exception. Tout le monde se souvient de sa décision budgétaire d'introduire le "Head Mounted Display, HMD" dans un usage général -
Google Cardboard .
Bien sûr, sa fonctionnalité ne peut pas être comparée à celle des HMD coûteux, mais l'objectif principal a été atteint: rendre la VR plus accessible et transformer chaque smartphone en casque de réalité virtuelle à un coût supplémentaire de moins de 1 $.
Fort de son succès, Google lance un nouveau format
VR180 avec prise en charge des téléchargements sur YouTube et un filtre de recherche spécial:
Voici à quoi ressemble l'image
vidéo du nouveau format «de l'intérieur»:
Dans MP4, des métadonnées spéciales ont été ajoutées qui transforment la vidéo en une sphérique. D'une manière générale, si vous suivez simplement le lien, vous verrez très probablement une vidéo plate régulière. Cela est dû au fait qu'en plus de la vidéo VR180, une projection de l'un des angles (à gauche) sur un rectangle régulier est également téléchargée sur le site. Pour voir l'image comme dans la figure ci-dessus, vous devez, par exemple, télécharger la vidéo au format MP4 pur. Fondamentalement, ils ont une résolution de 4K. La possibilité de déplacer la caméra est garantie d'apparaître lorsqu'elle est vue sur un appareil mobile avec l'application Cardboard ( Google Play , AppStore ). Eh bien, bien sûr, dans un HMD à part entière.Le tournage de telles vidéos, similaires aux casques en carton, aurait également dû s'avérer assez bon marché pour
une large diffusion auprès des utilisateurs. Un appareil photo qui prend des vidéos dans ce format coûte environ 300 $. Comparé aux
chaînes stéréo coûteuses
, il s'agit d'un
tout nouveau niveau. Il semblerait que tout va bien. Cependant, le problème est que le nouveau format est un format stéréo et stéréo, comme vous le savez, il y a beaucoup de problèmes difficiles à résoudre.
Qualité stéréo en VR
Dès qu'il s'agit de stéréo (dans le langage courant, 3D), on se souvient immédiatement des
maux de
tête d'aller au cinéma 3D. Nous avons examiné les causes d'un tel inconfort dans une grande série d'articles (
un ,
deux ,
trois ,
quatre ,
cinq ,
six ,
sept ) de manière beaucoup plus détaillée, mais en ce qui concerne les films stéréo. En bref, pour un certain nombre de raisons, de nombreux films 3D sont réalisés (ou convertis) afin que les téléspectateurs sensibles aux artefacts de la vidéo stéréo ne puissent emporter de la citramon qu'avec eux à l'avance. Malheureusement, la plupart des problèmes des films 3D sont liés aux artefacts stéréoscopiques, qui se retrouvent également dans VR180. Ainsi, tous les facteurs qui provoquent une gêne dans de tels films entraîneront également une gêne lors du visionnement d'une vidéo en réalité virtuelle. Même une vérification de base de la qualité du contenu du VR180 a montré qu'il est comparable à la qualité de la stéréo conventionnelle vers le milieu du siècle dernier ...
En d'autres termes, les amateurs seront ravis, mais le public de masse se plaindra.
Pour analyser la qualité de la vidéo stéréo, nous avons utilisé le projet
VQMT3D , qui est développé dans le
groupe vidéo du laboratoire d'infographie et multimédia de la faculté de VMK, Université d'État de Moscou. Son objectif est de fournir aux auteurs de films stéréo la possibilité de suivre l'occurrence de
tous les artefacts possibles au stade de la post-production. Et comme le VR180 est également stéréo, le projet est de facto applicable à ce format avec quelques réserves. Dans les exemples suivants, les informations de trame sont obtenues à l'aide de VQMT3D.
Distorsion des couleurs
Ce problème est le plus facile à comprendre et relativement facile à résoudre. Fermez un œil et regardez un objet. Faites de même avec l'autre œil et répondez à la question: les couleurs changent-elles lorsque l'œil change? Dans le cas général, non. Ainsi, en vidéo stéréo, il ne devrait pas y avoir de différences de couleur des mêmes objets pour les angles gauche et droit. Cependant, voici ce que nous voyons dans de vraies vidéos prises sur YouTube (faites attention aux zones solides, comme le ciel ou l'eau):
Lien vidéoLa distorsion des couleurs peut se produire pour de nombreuses raisons, par exemple, en raison du calibrage différent des caméras, du chauffage de leurs matrices ou lorsque le bord de l'objectif est exposé à la lumière. Par conséquent, même avec des paramètres de prise de vue identiques pour les mêmes appareils photo, les couleurs peuvent sensiblement diverger.
Il est plus pratique de visualiser cet artefact à l'aide d'un «damier» lorsque l'angle droit est réduit à gauche en utilisant la compensation de mouvement, puis les blocs à partir de la gauche et les angles droits réduits sont sélectionnés dans un motif en damier.
Voici un exemple lorsque des sources de lumière tombent dans le cadre:
Lien vidéoNon seulement les sources de lumière elles-mêmes sont très différentes sous différents angles, mais elles déforment également les couleurs de l'image avec des reflets.
Un exemple plus difficile lorsque le soleil frappe le cadre:
Lien vidéoEn raison du réglage infructueux de la caméra face au soleil, un terrible artefact apparaît sous la forme d'un reflet rouge sur la matrice. Les distorsions de couleur sont assez rares dans la vie réelle, et les artefacts du type indiqué ci-dessus ne sont pas du tout trouvés, ce qui conduit finalement à l'accumulation de fatigue lors de la visualisation. Malheureusement, dans la partie la plus sensible du public, la fatigue se transforme en mal de tête.
Différences de netteté
Un autre problème qui se pose lors de la prise de vue vidéo stéréo est la différence de netteté dans les angles gauche et droit. Dans la vraie vie, ce problème est assez courant. Par exemple, si vous êtes assis pendant 10 à 12 heures devant l'ordinateur, en regardant attentivement l'écran
( vous devez être d'
accord, cela se produit) , à la fin de la journée, les yeux droit et gauche peuvent diverger sensiblement de mise au point, et une légère myopie / hypermétropie est assurée jusqu'au soir. Dans le même temps, le cerveau compense avec succès ce problème. Relativement parlant, nous obtenons des détails clairs de l'image de l'œil droit ou gauche pour les objets éloignés / proches. Autrement dit, dans le langage d'ingénierie, le problème est régulièrement résolu par des outils intégrés. Et le matin, en règle générale, la vision est rétablie. Et tout irait bien, mais dans une vraie vidéo stéréo, la mise au point peut «sauter» d'une scène à l'autre. Il s'avère que le "droitier" devient soit l'œil droit, puis l'œil gauche, et parfois les deux voient bien, ce qui entraîne un inconfort notable lors de la visualisation. Surtout pour les personnes majeures dont les yeux sont déjà "immobiles" divergents de netteté.
Exemples de divergences pour VR180, où, pour une meilleure visualisation, des fragments agrandis de la même zone sont présentés sous deux angles:
Lien vidéoVoici un autre morceau de ce cadre:
Lien vidéoL'apparition de cet artefact est due à la divergence de la mise au point des caméras pour des raisons techniques. Et en raison du manque de post-traitement professionnel, même des scènes «vyrviglaznye» sont diffusées sur YouTube.
Lien vidéoLa netteté de presque toutes les étiquettes sur l'image agrandie varie. Faites attention à l'inscription "12 CH", qui sera inconfortable pour "stroboscopique" lors de la visualisation.
Décalage horaire
Curieusement, bien que les cœurs d'ordinateur aient été synchronisés avec succès pendant des millions de secondes pendant une longue période, les caméras stéréo tournent toujours en centièmes, voire en dixièmes de seconde, lors de la prise de vue. Un œil voit des événements qui ne se sont pas encore produits pour l'autre œil! Vous ne pouvez même pas penser à un analogue pour ce problème dans le monde réel. Et cet artefact a également été trouvé dans VR180.
Faites attention à la fenêtre avec une enseigne au néon sur le côté droit du cadre:
Lien vidéoCe décalage temporel a été remarqué par hasard lors de l'analyse de la différence de couleur, qui est également présente ici. Un signe vacillant est frappant même sans l'utilisation de mesures spéciales visant à trouver un
changement temporaire . Simplement, le cadre gauche est derrière la droite!
Voici un autre exemple de la même scène. Regardez le pied des piétons:
Lien vidéoIci, il est clairement visible que sur le cadre droit, le pied est déplacé plus loin que sur la gauche, comme si un cadre était derrière l'autre de plusieurs instants, bien qu'ils auraient dû être abattus exactement au même moment. Nous avons mené une expérience dans laquelle nous avons
montré à 302 téléspectateurs de courts fragments de films stéréo avec différents artefacts et demandé à chaque fragment d'un smartphone / ordinateur portable de remplir un formulaire indiquant le niveau de douleur. Le décalage temporel s'est révélé être l'artefact le plus douloureux - il s'agit d'une situation impossible pour le cerveau et une tentative de «traiter» cela conduit à un inconfort tangible clair. Malheureusement, le plus souvent, un décalage de moins d'une image est courant, et il n'est pas si facile de le corriger.
Soit dit en passant, dans l'exemple ci-dessus, le cadre peut également être vu entre les angles de la caméra (en particulier dans le coin inférieur gauche) à l'œil nu, ce qui est également très inconfortable, mais il est beaucoup plus facile à fixer. Cependant, d'autres artefacts sont une grande histoire distincte, sur laquelle nous espérons revenir.
Google a "foiré"?
Il peut sembler que ces artefacts sont inhérents à la vidéo obtenue lors d'un tournage amateur, et s'ils sont utilisés correctement, les mêmes appareils photo peuvent donner une bonne image. Ce n'est malheureusement pas le cas. Voici un
clip vidéo promotionnel au format VR180 , qui se trouve sur la page officielle du
VR180 . Il semblerait qu'il devrait fixer la norme de qualité. Mais si vous regardez attentivement ...
Écarts de couleur:
Absolument sur tous les points, il y a une distorsion des couleurs. Comme si l'un des raccourcis définissait par erreur une balance des blancs légèrement plus grande.
Et voici déjà la majorité du cadre sans distorsion. Mais le coin inférieur droit diverge toujours sensiblement de couleur, ce qui provoque un «stroboscope» visuel caractéristique lors de la visualisation.
Il est à noter que la distorsion des couleurs sur la route a également été remarquée sans outils spéciaux pour l'analyse stéréo. Il a été découvert simplement en regardant une vidéo image par image (similaire au traitement vidéo avec différents paramètres).
Différences de netteté:
Ici, l'écart est le plus visible sur le sol et sur les coutures du canapé. La plus grande différence de netteté se situe précisément aux limites des objets.
Conclusion
Qu'avons-nous finalement?
La VR, y compris la vidéo 360, est activement distribuée. La technologie attire les utilisateurs et semble très prometteuse. Mais la qualité technique de l'implémentation actuelle provoque un inconfort de visualisation. En conséquence, un certain nombre de personnes intéressées à essayer un nouveau format éprouvent des maux de tête et si la prise de vue échoue (généralement avec un mouvement vif de l'appareil photo) - en plus des étourdissements et des nausées, ce qui entraîne une déception dans le format.
Que peut-on faire avec ça?
À l'heure actuelle, beaucoup (dont nous) développent des
outils pour le contrôle de la qualité , ainsi que pour résoudre les problèmes stéréo.
Voici, par exemple, des exemples de correction des couleurs:
À gauche, les angles d'origine, à droite, les couleurs sont corrigées à l'aide de notre algorithme. L'angle en surbrillance est complètement corrigé.
La couleur du plafond a rebondi.
Pour plus d'exemples de correction automatique des couleurs, consultez l'article séparé
sur la distorsion des couleurs en stéréo .
Au total, environ 20 types d'artefacts de vidéo stéréo capturés et convertis sont actuellement détectés, dont la plupart sont également pertinents pour VR180. À l'avenir, il est prévu d'étendre les méthodes de surveillance et d'amélioration de la qualité de la vidéo VR:
- adaptation des méthodes actuelles de contrôle qualité à la réalité virtuelle
- ajout et mise en œuvre de méthodes de correction d'artefacts
- rapport automatique de vidéo avec la prédiction de la douleur causée par le visionnement afin d'avertir les utilisateurs et d'évaluer le contenu des fabricants, les motivant à être plus attentifs à la qualité
Quelles sont les perspectives pour le format dans son ensemble?
De toute évidence, les problèmes actuels sont les problèmes de la petite enfance de la technologie et ils seront activement traités. On peut s'attendre à ce que:
- les fabricants d'appareils photo fourniront un logiciel qui résoudra certains des problèmes de base
- au fil du temps (s'il y a une demande), un logiciel professionnel pour corriger les artefacts apparaîtra
- il est très probable que YouTube implémente automatiquement une correction d'artefact lors du chargement des vidéos VR180, tout comme la gigue et l'entrelacement des bonnes vieilles vidéos 2D sont désormais automatiquement corrigées
Du drôle: il y a maintenant une mode pour les smartphones avec 3-4 caméras à l'arrière, qui offrent une augmentation spectaculaire de la qualité des photos.
Source: Samsung Galaxy A7 (2018) et Samsung Galaxy A9 (2018)Il est logique de s'attendre à ce qu'avec la popularité croissante du VR180, son support «prêt à l'emploi» soit intégré à tous les principaux modèles de smartphones.
Oui, très probablement l'angle de vue ne sera pas de 180 °, mais moins.
Oui, la qualité sera probablement pire que celle des caméras spécialisées.
Oui, la prise de vue vidéo stéréo nécessitera la compression de grands flux d'informations (pour lesquels les smartphones d'aujourd'hui sont encore mal conçus).
Oui, vous devrez placer deux caméras grand angle à une plus grande distance.
Mais techniquement, il n'y a pas aujourd'hui d'obstacles sérieux à la mise en œuvre du support VR180 dans les modèles phares. La seule question est la popularité croissante du format afin que la demande devienne massive, créant une incitation à cela.
Et il est clair que lorsque les smartphones haut de gamme commenceront à prendre en charge le tournage VR180, le nombre de vidéos pertinentes sur YouTube commencera à croître comme une avalanche.
Lors des expositions, vous pouvez également voir des écrans autostéréoscopiques de smartphones et de tablettes, qui avec une augmentation de la résolution montrent une qualité de plus en plus intéressante. Du moins, elle ne peut être comparée à ce qui a pu être
observé en masse en 2010-2011 lors de la dernière vague. Au moment d'écrire ces lignes,
RED Hydrogen One a été annoncé - le premier smartphone SERIAL avec un écran 3D de nouvelle génération, donc il était possible d'acheter ce que les professionnels ont vu lors des expositions.
Le processus est en cours et, comme la résolution d'écran augmente, il ira certainement plus vite. Le principal obstacle est le manque de contenu.De toute évidence, ce problème de «poulet et œuf» sera bientôt résolu.
Conclusions générales:
Le VR180 présente les avantages importants suivants:
- Immersion considérablement plus élevée en 3D pour VR180 par rapport à la vidéo 360
- Il n'y a aucun artefact de l'assemblage (collage) de la vidéo à partir de plusieurs caméras
- Les caméras VR180 sont suffisamment bon marché et moins chères
- La prise de vue VR180 est sensiblement plus proche de la prise de vue avec un appareil photo ordinaire et beaucoup plus facile pour les non-professionnels, c'est-à-dire qu'une énorme masse de fans sera relativement facile à filmer leur vidéo au format VR180
- Vous pouvez vous attendre à la prise en charge de VR180 dans les smartphones au fil du temps
- , VR180 ( , )
VR180:
Total:
- VR180 , , , , «»
- Avec la popularité croissante du VR180, bon nombre des "problèmes des enfants", y compris ceux liés à la stéréo, peuvent être résolus relativement facilement même sans la participation des utilisateurs, simplement sur le service lors du téléchargement de la vidéo. Algorithmiquement c'est déjà possible
- La popularité du format repose sur le problème du «poulet et œufs»: suffisamment d'appareils devraient apparaître pour la prise de vue et la visualisation. Dans le même temps, contrairement au VR180 à 360 vidéos, il sera bientôt facile de filmer sur n'importe quel smartphone. Et si Google Pixel 5 XL prend en charge VR180 «prêt à l'emploi» - ce sera naturel
- Résultat: à terme, le VR180 10 ans est voué à la popularité!
Moins de maux de tête pour tout le monde!Bien à vous Konstantin Kozhemyakov et Dmitry VatolinRemerciements PS
Je remercie chaleureusement:- de nos confrères du groupe vidéo, grâce auxquels les algorithmes présentés ci-dessus ont été créés et les résultats ont été calculés,
- Google pour les artefacts de la publicité VR180 et pour la promotion de nouveaux formats, quoi qu'il en soit,
- Laboratoire d'infographie VMK Université d'État de Moscou MV Lomonosov pour la puissance de calcul et pas seulement
- Vitaliy Ludvichenko pour l'algorithme de correction des couleurs développé en vidéo stéréo,
- et, enfin, Alexander Ploshkin, Sergey Lavrushkin, Yegor Sklyarov, Aidar Khatiullin, Ivan Molodetsky et Evgeny Lyapustin pour un grand nombre de commentaires judicieux et de corrections qui ont rendu ce texte bien meilleur!
Voir aussi: