Sugerencia: este gif comienza y se detiene al hacer clicS3D: ningún dolor es ganancia
En abril de este año, Google anunció los detalles técnicos de un nuevo formato para video VR:
VR180 . Las especificaciones de formato se cargaron en el repositorio de
Google en GitHub , se pidió a los fabricantes de
cámaras que hicieran
cámaras especiales , el formato se admitió
en YouTube .
La idea básica es bastante simple. En el video VR “normal” - video
360 - puede girar la cabeza horizontalmente en todas las direcciones, mientras que la acción principal ocurre, por regla general, desde un lado, y toda la transmisión se transmite al dispositivo, lo que conduce a la transmisión y almacenamiento Información
redundante . De hecho, en la gran mayoría de los casos, no es necesario implementar la visualización a 360 grados; 180 grados son suficientes para lograr el mismo efecto. En este caso, la "segunda mitad" del cuadro se usa para el segundo ángulo, es decir, se obtiene estéreo.
Por lo tanto, el formato propuesto proporciona una sensación de inmersión aún mayor que la del video 360, es más barato de fabricar, más fácil de disparar y no tiene problemas con las
costuras .
¿Cómo es esto posible y qué ofreció Google?
¿A quién le importa el video VR para el futuro cercano? ¡Bienvenido a Cat!
Introducción a VR180
Primero sobre lo bueno.
VR180 es notablemente más fácil de grabar que el video 360. Se utilizan hasta 17 cámaras para grabar videos de
alta calidad de 360 grados (un ejemplo de Xiaomi a continuación), lo que causa muchos problemas con el tamaño del video de trabajo, fallas parciales, sobrecalentamiento, enfoque inestable de las cámaras, etc. Además, desde el punto de vista de un usuario simple, fueron reconocidos como los mejores cámaras con
dos lentes de ojo de pez (
uno ,
dos ,
tres ).
FuenteEl nuevo formato también se toma con dos cámaras. Esto reduce significativamente el costo del dispositivo final. Al mismo tiempo, la técnica de disparo se simplifica enormemente, ya que todos los trucos de trabajar con una cámara convencional siguen siendo relevantes (solo el resultado es potencialmente más espectacular y con una gran inmersión). Para el éxito del formato, es importante que cada ama de casa y cada estudiante de la escuela puedan usarlo fácilmente. Por lo tanto, cuanto más simple, mejor.
Además, en VR180 desaparecen los problemas de las llamadas costuras (pegado), artefactos extremadamente notables en lugares donde se cosieron las imágenes de dos cámaras. Hasta hace poco, parecía que pasaría un poco de tiempo y los problemas de costura se resolverían. Por desgracia, resultaron ser mucho más complicados. Si hay un objeto translúcido o de movimiento rápido en el borde de pegado, en el nivel actual de desarrollo de algoritmos de procesamiento de video en modo automático, el problema no se resuelve. Por supuesto, los algoritmos automáticos de matización están evolucionando, pero la
ausencia de artefactos no está garantizada incluso con los métodos de Deep Learning . No hay costuras en VR180, lo que significa que, en principio, no hay problemas asociados.
Y, por último, casi siempre el video 360 es plano. Es decir, desde el punto de vista de la visión binocular, la imagen se percibe como colgada en alguna pantalla ante los ojos, lo que a menudo reduce el "efecto wow" y el efecto de inmersión, y VR180 es inicialmente y por defecto un formato estéreo.
Todos estos puntos parecen muy prometedores en términos de pronosticar el éxito del formato. Como resultado, los fabricantes comenzaron a producir cámaras enfocadas específicamente en VR180, por ejemplo:
El hecho de que
Xiaomi ingresó al mercado VR180 es ciertamente alentador.
También hay soluciones que le permiten ensamblar la cámara para disparar VR180 desde dos cámaras normales con lentes de ojo de pez. A veces es suficiente imprimir o comprar una montura para comenzar los experimentos (a continuación se muestran ejemplos de GoPro, “platos de jabón” digitales, espejos de Sony):
Fuente
Fuente: http://products.entaniya.co.jp/en/products/equipment-for-3d-stereo-180-vr/Además, aparecieron soluciones divertidas cuando una cámara admite disparos en formatos de video VR180 y 360 (esta es una "cubierta" que dispara 360 en un estado minimizado y VR180 en un estado expandido):
FuenteEntre otras cosas,
se han abierto
nuevos horizontes para
experimentar con la grabación de video VR (en la foto de la cámara Xiaomi YI Horizon VR180):
La cantidad de dispositivos nuevos para disparar en VR180 es muy grande, y esto contribuye significativamente a la popularidad del nuevo formato.
La introducción de VR180
Hoy en día, las empresas intentan implementar la realidad virtual siempre que sea posible, quieren que el formato sea más popular y extendido. Y lo más importante: barato. Google no es la excepción. Todos recuerdan su decisión de presupuesto de introducir "Pantalla montada en la cabeza, HMD" en uso general:
Google Cardboard .
Su funcionalidad, por supuesto, no se puede comparar con los costosos HMD, pero el objetivo principal se ha logrado: hacer que la realidad virtual sea más accesible y convertir cada teléfono inteligente en un casco de realidad virtual a un costo adicional de menos de $ 1.
Basándose en el éxito, Google está lanzando un nuevo formato
VR180 con soporte para cargas a YouTube y un filtro de búsqueda especial:
Así es como se ve el cuadro de
video del nuevo formato "desde adentro":
En MP4, se agregaron metadatos especiales que convierten el video en uno esférico. En términos generales, si simplemente sigue el enlace, lo más probable es que vea un video plano normal, esto se debe al hecho de que, además del video VR180, también se carga en el sitio una proyección de uno de los ángulos (izquierda) en un rectángulo regular. Para ver la imagen como en la figura anterior, necesita, por ejemplo, descargar el video en formato MP4 puro. Básicamente, tienen una resolución de 4K. Se garantiza que la capacidad de mover la cámara aparecerá cuando se vea en un dispositivo móvil con la aplicación Cardboard ( Google Play , AppStore ). Bueno, por supuesto, en un HMD completo.La filmación de tales videos, similar a los cascos de cartón, también debería haber resultado ser lo suficientemente barata
para una amplia distribución entre los usuarios. Una cámara que graba videos en este formato cuesta alrededor de $ 300. En comparación con los
estereojuegos caros
, este es un nivel
completamente nuevo. Parece que todo está bien. Sin embargo, el problema es que el nuevo formato es un formato estéreo, y el estéreo, como usted sabe, tiene muchos problemas difíciles de resolver.
Calidad estéreo en realidad virtual
Tan pronto como se trata de estéreo (en lenguaje común, 3D), uno recuerda de inmediato los
dolores de
cabeza de ir a los cines 3D. Examinamos las causas de tales molestias en una gran serie de artículos (
uno ,
dos ,
tres ,
cuatro ,
cinco ,
seis ,
siete ) con mucho más detalle, pero con respecto a las películas estéreo. En resumen, por una serie de razones, muchas películas en 3D se hacen (o convierten) para que los espectadores que son sensibles a los artefactos del video estéreo solo puedan llevar citramon con anticipación. Desafortunadamente, la mayoría de los problemas en las películas 3D están relacionados con artefactos estereoscópicos, que también se encuentran en VR180. Por lo tanto, todos los factores que causan molestias en tales películas también causarán molestias al mirar un video en realidad virtual. Incluso una verificación básica de la calidad del contenido del VR180 mostró que es comparable a la calidad del estéreo convencional a mediados del siglo pasado ...
En otras palabras, los entusiastas estarán encantados, pero la audiencia masiva se quejará.
Para analizar la calidad del video estéreo, utilizamos el proyecto
VQMT3D , que se está desarrollando en el
grupo de video del laboratorio de gráficos por computadora y multimedia en la facultad de VMK, Universidad Estatal de Moscú. Su propósito es proporcionar a los autores de películas estéreo la capacidad de rastrear la ocurrencia de
todos los artefactos posibles en la etapa de postproducción. Y dado que el VR180 también es estéreo, el proyecto es aplicable de facto a este formato con algunas reservas. En los siguientes ejemplos, la información de trama se obtiene usando VQMT3D.
Distorsión de color
Este problema es el más fácil de entender y relativamente fácil de solucionar. Cierra un ojo y mira algún objeto. Ahora haga lo mismo con el otro ojo y responda la pregunta: ¿cambian los colores cuando cambia el ojo? En el caso general, no. Entonces, en video estéreo no debería haber diferencias en el color de los mismos objetos para los ángulos izquierdo y derecho. Sin embargo, esto es lo que vemos en videos reales tomados en YouTube (preste atención a áreas sólidas, como el cielo o el agua):
Enlace de videoLa distorsión del color puede ocurrir por muchas razones, por ejemplo, debido a la diferente calibración de las cámaras, el calentamiento de sus matrices o cuando el borde de la lente está expuesto a la luz. Por lo tanto, incluso con parámetros de disparo idénticos para las mismas cámaras, los colores pueden diferir notablemente.
Es más conveniente visualizar este artefacto usando un "tablero de ajedrez" cuando el ángulo derecho se reduce a la izquierda usando la compensación de movimiento, y luego se seleccionan los bloques desde el ángulo derecho e izquierdo en un patrón de tablero de ajedrez.
A continuación se muestra un ejemplo cuando las fuentes de luz caen en el marco:
Enlace de videoLas fuentes de luz no solo son muy diferentes en diferentes ángulos, sino que también distorsionan los colores en toda la imagen con deslumbramiento.
Un ejemplo más duro cuando el sol golpea el marco:
Enlace de videoDebido a la configuración fallida de la cámara frente al sol, surge un terrible artefacto en forma de un resaltado rojo en la matriz. Las distorsiones de color son bastante raras en la vida real, y los artefactos del tipo indicado anteriormente no se encuentran en absoluto, lo que en última instancia conduce a la acumulación de fatiga durante la visualización. Desafortunadamente, en la parte más sensible de la audiencia, la fatiga se convierte en dolor de cabeza.
Diferencias de nitidez
Otro problema que surge cuando se graba video estéreo es la diferencia en la nitidez en los ángulos izquierdo y derecho. En la vida real, este problema es bastante común. Por ejemplo, si se sienta de 10 a 12 horas frente a la computadora, mirando atentamente la pantalla
( debe
estar de acuerdo, esto sucede) , al final del día los ojos derecho e izquierdo pueden diferir notablemente en el enfoque, y se garantiza una ligera miopía / hipermetropía hasta la noche. Al mismo tiempo, el cerebro compensa con éxito este problema. Relativamente hablando, obtenemos detalles claros de la imagen del ojo derecho o izquierdo para objetos distantes / cercanos. Es decir, en lenguaje de ingeniería, el problema se resuelve regularmente con herramientas integradas. Y por la mañana, como regla, se restablece la visión. Y todo estaría bien, pero en un video estéreo real, el enfoque puede "saltar" de una escena a otra. Resulta que el "vidente derecho" se convierte en el ojo derecho, luego en el izquierdo, y a veces ambos ven bien, lo que conduce a una notable incomodidad al ver. Especialmente para personas mayores de edad cuyos ojos ya "estacionarios" divergieron en nitidez.
Ejemplos de discrepancias para VR180, donde, para una mejor visualización, se presentan fragmentos ampliados de la misma área para dos ángulos:
Enlace de videoAquí hay otra pieza de este marco:
Enlace de videoLa aparición de este artefacto se debe a la divergencia del enfoque de las cámaras por razones técnicas. Y debido a la falta de posprocesamiento profesional, incluso las escenas de "vyrviglaznye" aparecen en YouTube.
Enlace de videoCasi todas las etiquetas de la imagen ampliada varían en nitidez. Preste atención a la inscripción "12 CH", que será incómoda para "estroboscópico" al ver.
Turno de tiempo
Por extraño que parezca, aunque los núcleos de las computadoras se han sincronizado con éxito durante millones de segundos durante mucho tiempo, las cámaras estéreo todavía disparan en centésimas, o incluso en décimas de segundo, cuando se dispara. ¡Un ojo ve eventos que aún no han ocurrido para el otro ojo! Ni siquiera puedes pensar en un análogo para este problema en el mundo real. Y este artefacto también se encontró en VR180.
Presta atención a la ventana con un letrero de neón en el lado derecho del marco:
Enlace de videoEste cambio de tiempo se notó por casualidad al analizar la discrepancia en el color, que también está presente aquí. Un signo parpadeante es sorprendente incluso sin el uso de métricas especiales destinadas a encontrar un
cambio temporal . ¡Simplemente, el marco izquierdo está detrás del derecho!
Aquí hay otro ejemplo de la misma escena. Mira los pies de los peatones:
Enlace de videoEs claramente visible aquí que en el marco derecho el pie se mueve más lejos que en el izquierdo, como si un marco estuviera detrás del otro por varios momentos, aunque deberían haber sido disparados exactamente en el mismo momento. Llevamos a cabo un experimento en el que
mostramos a 302 espectadores fragmentos cortos de películas estéreo con diferentes artefactos y les pedimos a cada fragmento de un teléfono inteligente / computadora portátil que llenara un formulario que indicara el nivel de dolor. El cambio de tiempo ha demostrado ser el artefacto más doloroso: esta es una situación imposible para el cerebro y un intento de "procesar" lleva a una clara incomodidad tangible. Desafortunadamente, la mayoría de las veces un cambio de menos de 1 cuadro es común, y no es tan fácil arreglarlo.
Por cierto, en el ejemplo anterior, el marco también se puede ver entre los ángulos de la cámara (especialmente en la esquina inferior izquierda) a simple vista, lo que también es muy incómodo, pero es mucho más fácil de arreglar. Sin embargo, otros artefactos son una gran historia separada, a la que esperamos volver.
Google "en mal estado"?
Puede parecer que estos artefactos son inherentes al video obtenido durante el rodaje de aficionados, y si se usan correctamente, las mismas cámaras pueden dar una buena imagen. Lamentablemente, esto no es así. Aquí hay un
video promocional del formato VR180 , que se encuentra en la página oficial de
VR180 . Parecería que debería establecer el estándar de calidad. Pero si te fijas bien ...
Discrepancias de color:
Absolutamente en todos los puntos hay una distorsión de color. Como si uno de los escorzos estableciera por error un balance de blancos ligeramente mayor.
Y aquí ya hay una gran parte del marco sin distorsión. Pero la esquina inferior derecha aún diverge notablemente en color, lo que provoca un "destello" visual característico al ver.
Es de destacar que la distorsión del color en la carretera también se notó sin herramientas especiales para el análisis estéreo. Fue descubierto simplemente viendo un video cuadro por cuadro (similar al procesamiento de video con diferentes parámetros).
Diferencias de nitidez:
Aquí la discrepancia es más notable en el piso y en las costuras del sofá. La mayor diferencia en la nitidez es precisamente en los límites de los objetos.
Conclusión
¿Qué tenemos al final?
La realidad virtual, incluido el video 360, se distribuye activamente. La tecnología atrae a los usuarios y parece muy prometedora. Pero la calidad técnica de la implementación actual causa molestias por la visualización. Como resultado, a un cierto número de personas interesadas en probar un nuevo formato les duele la cabeza, y si la filmación no tiene éxito (generalmente con un movimiento brusco de la cámara), obtienen mareos y náuseas, lo que conduce a la decepción en el formato.
¿Qué se puede hacer con esto?
En este momento, muchos (incluidos nosotros) están desarrollando
herramientas para el control de calidad , así como para solucionar problemas de estéreo.
Aquí, por ejemplo, ejemplos de corrección de color:
A la izquierda están los ángulos originales, a la derecha se corrige el color usando nuestro algoritmo. El ángulo resaltado está completamente corregido.
El color en el techo se recuperó.
Para obtener más ejemplos de corrección automática de color, consulte el artículo separado
sobre distorsión de color en estéreo .
En total, se están detectando alrededor de 20 tipos de artefactos de video estéreo capturado y convertido, la mayoría de los cuales también son relevantes para VR180. En el futuro, se planea expandir los métodos para monitorear y mejorar la calidad del video VR:
- Adaptación de los métodos actuales de control de calidad a la realidad virtual
- adición e implementación de métodos de corrección de artefactos
- informe automático de video con la predicción del dolor causado por la visualización para advertir a los usuarios y calificar el contenido de los fabricantes, motivándolos a ser más cuidadosos con la calidad
¿Cuáles son las perspectivas para el formato en su conjunto?
Obviamente, los problemas actuales son los problemas de la infancia de la tecnología y se abordarán activamente. Se puede esperar que:
- los fabricantes de cámaras suministrarán software que resolverá algunos de los problemas básicos
- con el tiempo (si hay demanda), aparecerá un software profesional para corregir artefactos
- es muy probable que YouTube implemente alguna corrección de artefactos automáticamente al cargar videos VR180, al igual que el jitter y el entrelazado de viejos videos 2D ahora se corrige automáticamente
De lo divertido: ahora hay una moda para teléfonos inteligentes con 3-4 cámaras en la parte posterior, que proporcionan un aumento dramático en la calidad de las fotos.
Fuente: Samsung Galaxy A7 (2018) y Samsung Galaxy A9 (2018)Es lógico esperar que con la creciente popularidad de VR180, su soporte "listo para usar" se incorporará a todos los principales modelos de teléfonos inteligentes.
Sí, lo más probable es que el ángulo de visión no sea 180 °, sino menor.
Sí, lo más probable es que la calidad sea peor que la de las cámaras especializadas.
Sí, grabar video estéreo requerirá la compresión de grandes flujos de información (para los cuales los teléfonos inteligentes de hoy en día todavía están mal diseñados).
Sí, deberá colocar dos cámaras gran angular a una distancia mayor.
Pero técnicamente hoy no existen obstáculos serios para la implementación del soporte VR180 en los modelos insignia. La única pregunta es la creciente popularidad del formato para que la demanda se vuelva masiva, creando un incentivo para esto.
Y está claro que cuando los teléfonos inteligentes de gama alta comiencen a admitir el disparo VR180, la cantidad de videos relevantes en YouTube comenzará a crecer como una avalancha.
También en las exposiciones puede ver pantallas autostereoscópicas de teléfonos inteligentes y tabletas, que con un aumento en la resolución muestran una calidad cada vez más interesante. Al menos, no se puede comparar con lo que se pudo
observar en masa en 2010-2011 durante la última ola. En el momento de escribir este artículo, se anunció
RED Hydrogen One , el primer teléfono inteligente SERIAL con una pantalla 3D de nueva generación, por lo que hubo una oportunidad de comprar lo que los profesionales vieron en las exposiciones.
El proceso está en marcha y, a medida que aumenta la resolución de la pantalla, ciertamente irá más rápido. El principal obstáculo es la falta de contenido.Obviamente, este problema de "pollo y huevo" se resolverá pronto.
Conclusiones generales:
VR180 tiene las siguientes ventajas significativas:
- Inmersión significativamente mayor en 3D para VR180 en comparación con video 360
- Faltan artefactos de video de costura (pegado) de múltiples cámaras
- Las cámaras VR180 son lo suficientemente baratas y baratas
- Disparar VR180 está notablemente más cerca de disparar con una cámara normal y es mucho más fácil para los no profesionales, es decir, una gran masa de fanáticos será relativamente fácil de grabar su video en formato VR180
- Puede esperar soporte para VR180 en teléfonos inteligentes con el tiempo
- , VR180 ( , )
VR180:
Total:
- VR180 , , , , «»
- Con la creciente popularidad de VR180, muchos de los "problemas de los niños", incluidos los relacionados con el estéreo, se pueden resolver de manera relativamente fácil incluso sin la participación de los usuarios, simplemente en el servicio al subir videos. Algorítmicamente ya es posible
- La popularidad del formato se basa en el problema de "pollo y huevos": deben aparecer suficientes dispositivos para disparar y ver. En este caso, a diferencia del VR180 de video 360, técnicamente pronto será fácil filmar en cualquier teléfono inteligente. Y si Google Pixel 5 XL es compatible con VR180 "listo para usar", será natural
- Como resultado: a largo plazo, ¡10 años VR180 está condenado a la popularidad!
¡Menos dolor de cabeza para todos!Suyo Konstantin Kozhemyakov y Dmitry VatolinPD Agradecimientos
Me gustaría agradecerle cordialmente:- , , ,
- Google VR180, , ,
- . .. ,
- ,
- , , , , , , , !
Ver también: