Video computarizado en 755 megap√≠xeles: ple√≥pticos ayer, hoy y ma√Īana



Hace alg√ļn tiempo, el autor tuvo la oportunidad de dar una conferencia en VGIK, y hab√≠a mucha gente de la c√°mara en la audiencia. Se le pregunt√≥ a la audiencia: "¬ŅCon qu√© resoluci√≥n m√°xima dispar√≥?", Y result√≥ que alrededor de un tercer disparo 4K u 8 megap√≠xeles, el resto, no m√°s de 2K o 2 megap√≠xeles. Fue un reto! Ten√≠a que contar sobre la c√°mara con una resoluci√≥n de 755 megap√≠xeles (resoluci√≥n bruta, para ser precisos, ya que tiene un 4K final) y qu√© posibilidades encantadoras ofrece esto para el disparo profesional.

La c√°mara en s√≠ se ve as√≠ (una especie de peque√Īo elefante):



Además, abriré un terrible secreto, para tomar esta foto buscábamos un mejor ángulo y una persona más grande. Por casualidad sentí esta cámara en vivo, diré que se ve mucho más grande. La imagen a continuación con Yon Karafin, con quienes tenemos aproximadamente la misma altura, refleja con mayor precisión la escala del desastre:



A quién le importa en principio las capacidades del video calculado sobre el que rara vez escriben: ¡toda la verdad está por debajo! )

Las discusiones sobre las posibilidades de los pleópticos me recuerdan las discusiones sobre el primer avión:





Lo que dijo la gente:
- Es muy caro ...
- SI!
- Es completamente poco pr√°ctico y ahora no da resultado ...
- SI!
- Es peligroso usar ...
- Maldita sea, ¬°S√ć!
- ¬° Se ve miserable!
- Maldita sea, sí, pero vuela, ya ves, LE-TA-ET!


Despu√©s de 50 a√Īos, estos experimentos dieron lugar a una forma fundamentalmente nueva, conveniente y bastante segura de moverse a trav√©s de los oc√©anos (y no solo).

La situación es la misma aquí. Absolutamente lo mismo! Ahora requiere costos irrazonables, es muy inconveniente de usar y parece miserable, ¡pero realmente VUELA! Y para estar al tanto de los principios y las perspectivas emergentes, ¡es simplemente más que inspirador (al menos su humilde servidor)!

El monstruo de la foto de arriba recuerda a las primeras cámaras, que también eran grandes, con una lente enorme y giraban en un marco especial:


Fuente: rodaje televisivo de los Juegos Olímpicos en 1936 en los albores de la televisión.

Aqu√≠ se ve mucho, tambi√©n una lente enorme (porque tampoco hay suficiente luz), una c√°mara pesada con una suspensi√≥n especial, tama√Īos enormes:


Fuente: Lytro a punto de cambiar para siempre el cine

De lo interesante: la "maleta" a continuación es un sistema de refrigeración líquida, en caso de falla de la cual la cámara no puede tomar más fotos.

El gran rect√°ngulo debajo de la lente (claramente visible en la primera foto de arriba) no es la luz de fondo, sino el lidar, un buscador l√°ser que proporciona una escena tridimensional frente a la c√°mara.

Un torniquete negro grueso en la parte inferior izquierda en el fondo es un paquete de cables de fibra óptica de aproximadamente 4 centímetros de diámetro, a través del cual la cámara envía un flujo monstruoso de información a un almacenamiento especial.

Aquellos en el tema ya han reconocido Lytro Cinema , de los cuales se crearon 3 piezas. El primero, que generalmente aparece en todas las im√°genes, es f√°cil de reconocer con un lidar debajo de la lente. Despu√©s de 1,5 a√Īos, se cre√≥ una segunda c√°mara con problemas estructurales corregidos del primero y los dos lidares (y, por desgracia, casi nadie escribe al respecto). Adem√°s, el progreso en el desarrollo, por ejemplo, de los lidares en 1.5 a√Īos fue tan grande que dos lidares de la segunda c√°mara dieron 10 veces m√°s puntos que un lidar de la primera. Se supon√≠a que la tercera c√°mara ten√≠a aproximadamente las mismas caracter√≠sticas de resoluci√≥n (para satisfacer los requisitos de los cineastas), pero ten√≠a la mitad del tama√Īo (lo cual es cr√≠tico para el uso pr√°ctico). Pero ... pero m√°s sobre eso m√°s tarde.

En cualquier caso, reconociendo en todos los sentidos el papel sobresaliente que jug√≥ Lytro en la popularizaci√≥n de la tecnolog√≠a de disparo ple√≥ptico , me gustar√≠a se√Īalar que la luz no convergi√≥ en √©l. En el Instituto Fraunhofer se fabric√≥ una c√°mara similar, Raytrix , un productor de c√°maras ple√≥pticas, existe de manera segura, y nuevamente no se me permiti√≥ fotografiar Lytro Cinema, porque ten√≠a mucho miedo de varias compa√Ī√≠as chinas que trabajaban activamente en esta direcci√≥n (no pude encontrar informaci√≥n fresca sobre ellas).

Por lo tanto, anotemos los puntos de todas las ventajas que los pleópticos brindan, y sobre los cuales casi no escriben. Pero precisamente por eso está garantizado para tener éxito.

En lugar de presentar


Solo en Habré y solo Lytro se menciona en aproximadamente 300 páginas , por lo tanto, seremos cortos.

El concepto clave para el disparo plenoóptico es el campo de luz, es decir, no fijamos el color del píxel en cada punto, sino una matriz bidimensional de píxeles, que convierte un cuadro bidimensional miserable en un cuadro normal de cuatro dimensiones (generalmente con muy poca resolución en t y s hasta ahora):



En la Wikipedia en ingl√©s , y luego en el ruso en art√≠culos sobre el campo de luz, se dice que "la frase" campo de luz "fue utilizada por A. Gershun en ... 1936". Para ser justos, notamos que esto no fue por casualidad una "frase usada", sino el nombre de un peque√Īo libro de 178 p√°ginas , que se llam√≥ "Campo de luz":



E incluso en ese momento, estas obras se aplicaron bastante en la naturaleza y el autor 6 a√Īos despu√©s, en el apogeo de la guerra en 1942, recibi√≥ el Premio Stalin de segundo grado por el m√©todo de apag√≥n.

En la pr√°ctica, disparar un cuadro de cuatro dimensiones del campo de luz proporciona una gran variedad de microlentes ubicadas frente al sensor de la c√°mara:


Fuente: plenoptic.inf¬ģ (puede hacer clic y ver en resoluci√≥n completa)

En realidad, es precisamente porque tenemos un conjunto de microlentes con una peque√Īa distancia entre ellos lo que permiti√≥ crear Lytro Cinema, cuyo sensor se ensambl√≥ a partir de un conjunto de sensores cuyos l√≠mites caen en el borde de las lentes. Se requiri√≥ enfriamiento l√≠quido para enfriar un macizo muy caliente.


Fuente: Uso de c√°maras plenopticas enfocadas para capturar im√°genes ricas

Como resultado, tenemos la posibilidad más famosa de cámaras pleópticas, de las cuales solo los perezosos no escribieron, para cambiar la distancia de enfoque después de la toma (estas lindas aves no esperarían para enfocar):


Fuente: Lytro

Y poco se ha escrito sobre cómo se ven los pleópticos en una resolución adecuada para una película (se abre por clic):


Fuente: Mira Lytro Change Cinematography Forever

Abro otro secreto: el foco calculado es la punta del iceberg de los ple√≥pticos. Y el 90% de las oportunidades que quedan por debajo del nivel de inter√©s de los periodistas en mi opini√≥n son a√ļn m√°s interesantes. Muchos de ellos son dignos de art√≠culos separados, pero al menos corrijamos la injusticia y al menos los llamemos. Vamos!

Forma de apertura calculada


Como estamos hablando de desenfoque, vale la pena mencionar el llamado efecto bokeh , en el que el resplandor no es necesariamente redondo.



Para los fotógrafos, se lanza el llamado Kit Bokeh , que le permite obtener reflejos de varias formas:



Esto le permite obtener im√°genes bonitas, y la foto a continuaci√≥n muestra claramente que los destellos en forma de corazones incluso tienen piedras en primer plano, solo los corazones son m√°s peque√Īos. Y est√° claro que tratar de desenfocar naturalmente de manera similar en Photoshop es extremadamente dif√≠cil, al menos es recomendable usar un mapa de profundidad:



Al mismo tiempo, para los pleópticos "calcular" una apertura diferente es una tarea relativamente fácil:



Entonces! Calculamos la distancia de enfoque, calculamos la forma de la apertura, fuimos más allá, ¡es más interesante allí!

Estéreo Computado


Una caracter√≠stica muy √ļtil del sensor ple√≥ptico, sobre la que casi nadie menciona, pero que ya le da una segunda vida, es la capacidad de calcular una imagen desde diferentes puntos. La ubicaci√≥n del punto est√° realmente determinada por el tama√Īo de la lente. Si la lente es peque√Īa, el marco puede moverse ligeramente hacia la izquierda y hacia la derecha, como en este ejemplo (que esta foto est√©reo es visible si mira el cofre del p√°jaro m√°s cercano):


Fuente: Lytro

Si la lente es grande, como, por ejemplo, Lytro Cinema, el punto de disparo se puede desplazar 10 cent√≠metros. Perm√≠teme recordarte que entre nuestros ojos tenemos unos 6.5 cent√≠metros, es decir, con una distancia m√°xima de 10 cm, puedes disparar tanto el plano general (y ser√° "tridimensional" como si lo miras con los ojos) y de cerca (con cualquier paralaje sin molestias). De hecho, esto significa que podemos grabar video est√©reo completo con una lente. Adem√°s, no solo ser√° est√©reo, sino est√©reo con una calidad perfecta y eso suena fant√°stico hoy en d√≠a, con una distancia variable entre los ejes √≥pticos de las c√°maras virtuales DESPU√ČS del disparo. Tanto eso como otro: oportunidades absolutamente impensables que pueden cambiar radicalmente una situaci√≥n con la grabaci√≥n est√©reo en el futuro.

Dado que el futuro est√° de alguna manera en los disparos tridimensionales, deteng√°monos en estos dos puntos con m√°s detalle. No es ning√ļn secreto que hoy en d√≠a la mayor√≠a de las pel√≠culas en 3D, especialmente los √©xitos de taquilla, no se eliminan, sino que se convierten a 3D. Esto se hace porque al disparar, surge una larga lista de problemas (a continuaci√≥n se incluye parte de la lista):

  • Los fotogramas se pueden rotar, desplazar verticalmente o agrandar uno en relaci√≥n con el otro (no digas que esto se arregla f√°cilmente, mira con qu√© frecuencia esos fotogramas entran en los estrenos de pel√≠culas; esto es un horror silencioso ... y un dolor de cabeza). Entonces, el est√©reo pleno√≥ptico est√° PERFECTAMENTE alineado, incluso si el operador decidi√≥ hacer un acercamiento (debido a la mec√°nica de las dos c√°maras, es extremadamente dif√≠cil hacer que la aproximaci√≥n sea estrictamente sincr√≥nica).
  • Los marcos pueden variar en color , especialmente si el disparo requiere una peque√Īa distancia entre los ejes √≥pticos de las c√°maras y tiene que usar un divisor de haz (hab√≠a una publicaci√≥n detallada sobre esto). Resulta que, en una situaci√≥n en la que al disparar cualquier objeto de bengala (el autom√≥vil en el fondo en un d√≠a soleado), estamos condenados al entretenimiento en la postproducci√≥n con la gran mayor√≠a de las c√°maras, con el ple√≥ptico tendremos una imagen PERFECTA con cualquier resplandor. Esta es una fiesta!
  • Los marcos pueden variar en nitidez ; de nuevo, un problema notable en los divisores de haz, que est√° completamente ausente en los ple√≥pticos. Con qu√© nitidez se necesita, con esto calcularemos, absolutamente PERFECTO desde los √°ngulos.
  • Los marcos pueden flotar en el tiempo . Los colegas que trabajaron con el material de Stalingrado hablaron sobre la discrepancia entre las marcas de tiempo de las pistas en 4 cuadros, raz√≥n por la cual el cracker sigue siendo relevante. Encontramos m√°s de 500 escenas con diferencias de tiempo en 105 pel√≠culas. La diferencia horaria, desafortunadamente, es dif√≠cil de detectar, especialmente en escenas con c√°mara lenta, y al mismo tiempo es el artefacto m√°s doloroso seg√ļn nuestras mediciones. En el caso de los ple√≥pticos, tendremos una sincronizaci√≥n de tiempo PERFECTA.
  • Otro dolor de cabeza al disparar en 3D son los paralaje demasiado grandes que causan molestias al ver en una pantalla grande, cuando los ojos pueden divergir hacia los lados para buscar objetos "m√°s all√° del infinito" o converger demasiado para algunos objetos en primer plano. El c√°lculo correcto de paralaje es un tema dif√≠cil por separado que los operadores deben tener un buen dominio, y un objeto que accidentalmente entra en el marco puede arruinar la toma, haci√©ndolo inc√≥modo. Con los ple√≥pticos, nosotros mismos elegimos el paralaje DESPU√ČS del disparo, por lo que cualquier escena se puede calcular con paralaje PERFECTO, adem√°s, la misma escena ya filmada se puede calcular f√°cilmente para pantallas grandes y pantallas peque√Īas. Este es el llamado cambio de paralaje, que generalmente es extremadamente dif√≠cil y costoso sin p√©rdida de calidad, especialmente si ten√≠a objetos transl√ļcidos o bordes en primer plano.

En general, la capacidad de CALCULAR el est√©reo perfecto es la base real de la pr√≥xima ola de popularidad en 3D, ya que en los √ļltimos 100 a√Īos se han distinguido 5 ondas de este tipo. Y, a juzgar por el progreso en la proyecci√≥n l√°ser y el ple√≥ptico, un m√°ximo de 10 a√Īos (cuando caducan las patentes principales de Lytro o un poco antes en China) nos esperan un nuevo hierro y un nuevo nivel de pel√≠culas 3D de calidad.

Entonces! Obtuvieron el estéreo calculado perfecto de una lente (algo imposible para la mayoría, por cierto). Y no solo lo entendieron, sino que también contaron la paralaje después del hecho, incluso si el objeto está desenfocado en primer plano. ¡Vamos más profundo!

Punto de disparo calculado


Cambiar el punto de disparo tiene una aplicación en video 2D ordinario.

Si estaba en el set o al menos vio fotografías, probablemente prestó atención a los rieles en los que viaja la cámara. A menudo, para una escena, debe colocarlos en varias direcciones, lo que lleva un tiempo notable. Los rieles aseguran el buen funcionamiento de la cámara. Sí, por supuesto, hay una cámara estable , pero en muchos casos los rieles, por desgracia, no tienen alternativa.

La capacidad de cambiar el punto de disparo en Lytro se utiliz√≥ para demostrar que hay suficientes ruedas. De hecho, cuando la c√°mara se mueve, formamos un "tubo" virtual con un di√°metro de 10 cm en el espacio, dentro del cual podemos cambiar el punto de disparo. Y esta tuber√≠a le permite compensar peque√Īas fluctuaciones. Esto se muestra bien en este video:


Además, a veces necesita resolver el problema inverso, es decir, agregar oscilaciones durante el movimiento. Por ejemplo, no hubo suficiente dinámica y el director decidió hacer una explosión. No es largo aplicar un sonido, pero es aconsejable sacudir la cámara sincrónicamente, y es mejor no solo mover la imagen plana, será visible, sino sacudirla "honestamente". Con los pleópticos, el punto de disparo se puede sacudir completamente "honestamente", con un cambio en el punto de disparo, ángulo, desenfoque de movimiento, etc. Habrá una completa ilusión de que la cámara se sacudió violentamente, que suavemente y con seguridad montó sobre ruedas. De acuerdo, ¡una oportunidad increíble! La próxima generación de steadicam mostrará milagros.

Por supuesto, para que esto se convierta en realidad, debe esperar hasta que el tama√Īo de la c√°mara ple√≥ptica se reduzca a uno razonable. Pero considerando cu√°nto dinero se est√° invirtiendo en miniaturizaci√≥n y aumentando la resoluci√≥n de los sensores para tel√©fonos inteligentes y tabletas, parece que la espera no es tan larga. ¬°Y ser√° posible crear una nueva c√°mara ple√≥ptica! Cada a√Īo se hace m√°s y m√°s f√°cil.

Entonces! Se calculó el punto de disparo y, si es necesario, se movió, estabilizando o desestabilizando la cámara. ¡Vamos más allá!

Iluminación computarizada


Como estamos hablando de una explosión cerca ...

A veces se hace necesario cambiar la iluminación del sujeto, por ejemplo, agregar un flash de manera realista. Los estudios de posproducción saben bien qué problema tan difícil es este, incluso si la ropa de nuestro personaje es relativamente simple.

Aquí hay un ejemplo de un video con una superposición de flash, teniendo en cuenta la ropa, sus sombras, etc. (se abre por clic):


Fuente: Entrevista con Yon Karafin

Debajo del capó, parece un complemento para Nuke, que funciona con un modelo tridimensional completo del actor y le da una nueva luz, teniendo en cuenta el mapa normal, los materiales, el desenfoque de movimiento, etc.




Fuente: Lytro Materials

Entonces! Se calculó la nueva iluminación del objeto ya capturado. ¡Vamos más allá!

Resolución calculada


Aquellos que experimentaron con el primer Lytro a menudo notaron: sí, el juguete es genial, pero la resolución es completamente insuficiente para la fotografía normal.

En nuestro √ļltimo art√≠culo sobre Habr, se describi√≥ c√≥mo peque√Īos cambios en el punto de disparo pueden ayudar a aumentar significativamente la resoluci√≥n. Pregunta: ¬ŅSon estos algoritmos aplicables a los ple√≥pticos? Respuesta: s√≠! Adem√°s, los algoritmos de Super Resoluci√≥n son m√°s f√°ciles de trabajar en im√°genes ple√≥pticas, ya que hay un mapa de profundidad, todos los p√≠xeles se toman al mismo tiempo y los cambios se conocen con bastante precisi√≥n. Es decir, la situaci√≥n de los ple√≥pticos es simplemente m√°gica en comparaci√≥n con las condiciones bajo las cuales los algoritmos de Super Resoluci√≥n funcionan en 2D ordinario. El resultado es correspondiente:


Fuente: Restauraci√≥n de cuadros ple√≥pticos ingenuos, inteligentes y de s√ļper resoluci√≥n del Informe t√©cnico de Adobe "Superresoluci√≥n con c√°mara plenoptic 2.0"

El √ļnico problema importante (¬°realmente grande!) Es la cantidad de datos y la cantidad de c√°lculo que se requiere. Sin embargo, hoy en d√≠a es completamente realista cargar una granja de c√≥mputo por la noche y obtener el doble de resoluci√≥n ma√Īana donde sea necesario.

Entonces, descubrí la resolución calculada. ¡Vamos más allá!

Ambiente Computado


Una tarea separada que surge en la etapa de postproducci√≥n, especialmente si se trata de alg√ļn tipo de proyecto fant√°stico o de fantas√≠a, es pegar cuidadosamente los objetos capturados en una escena tridimensional. A nivel mundial no hay un gran problema. Hoy en d√≠a, la norma es el escaneo tridimensional del √°rea de tiro y todo lo que queda es combinar cuidadosamente el modelo de disparo y la escena tridimensional para que no haya cl√°sicos del g√©nero cuando las piernas de los actores a veces caen un poco en el piso desigual pintado (esta jamba no es muy visible en la pantalla peque√Īa, pero se puede ver claramente en el cine, especialmente en alg√ļn lugar de IMAX).

No sin humor, para un ejemplo del funcionamiento de la cámara, se utilizó la escena del disparo del alunizaje (las "sombras tridimensionales" son claramente visibles en lugares que la cámara no ve):


Fuente: Luna | Lytro | VR Playhouse | Postproducción Lightfield

Dado que, por definici√≥n, un video de m√ļltiples √°ngulos se graba en una c√°mara ple√≥ptica, construir un mapa de profundidad no es un gran problema. Y si la c√°mara se combina con el LIDAR, filmamos inmediatamente una escena tridimensional, lo que simplifica categ√≥ricamente la combinaci√≥n de disparos reales y gr√°ficos en la siguiente etapa.

Entonces, contamos la escena tridimensional alrededor (combinando datos LIDAR y datos de ple√≥pticos). Ahora, lo has adivinado, ¬°la representaci√≥n del reconocimiento lunar ser√° a√ļn mejor! Adelante

Clave de croma calculada


¬°Pero eso no es todo!

La tecnolog√≠a habitual de un set de filmaci√≥n moderno son las pantallas verdes , cuando en lugares donde se supone que el fondo de una computadora se coloca sobre escudos de madera contrachapada verde o se tiran pancartas verdes. Esto se hace para que no haya problemas en los bordes transl√ļcidos cuando cambia el fondo.Y dado que en 4K al mover objetos, la mayor√≠a de nuestros bordes se vuelven transl√ļcidos: la relevancia de las pantallas verdes (o azules, dependiendo del color de la ropa de los actores) es extremadamente alta.

Esto es extremadamente inusual para los cineastas, pero como nosotros mismos podemos cambiar la nitidez de los objetos, tenemos la oportunidad de procesar cuadros con diferentes profundidades de campo y, como resultado, leer el mapa de translucidez de los bordes y el color exacto del objeto capturado. Esto le permite disparar sin el uso de pantallas verdes, incluida una imagen bastante compleja, y luego restaurar el mapa de transparencia:


Fuente: entrevista con Yon Karafin

Lytro grab√≥ especialmente un video en el que se usan escaleras en el fondo (ya que debealgo no encaja en el marco: ¬°esta es la ley inquebrantable de la filmaci√≥n!), y el confeti borroso cae en primer plano (lo que convierte inmediatamente la limpieza de los hombres con escaleras en un desaf√≠o para los ni√Īos), pero en el marco estos objetos distantes se recortan de manera relativamente f√°cil y todav√≠a tenemos ordenado primer plano, incluso con un mapa de bordes transl√ļcidos (se selecciona un fondo contra el cual es f√°cil evaluar la calidad del confeti que no lo enmascara): un



lector competente preguntar√°, ¬Ņqu√© pasa con el movimiento o el mismo cabello? Y tendr√° toda la raz√≥n. Sus dificultades, por supuesto, a√ļn permanecen (y muchas). Otra cosa es que conociendo el fondo con precisi√≥n y teniendo la capacidad de mover ligeramente el objeto delante del fondo, tenemos oportunidades completamente nuevas para construir autom√°ticamente y mejor un mapa de transparencia .

En realidad, en virtud de los √ļltimos tres puntos, es posible predecir el √©xito futuro de las c√°maras ple√≥pticas en series de disparos como "Juegos del Trono", cuando se puede poner en marcha una gran cantidad de efectos especiales. Lo que significa una reducci√≥n significativa en su costo. Ah√≠ no es tan simple, pero las posibilidades de calcular mapas de transparencia debido al reenfoque y la capacidad de cambiar el punto de disparo son un orden de magnitud mayor que las de las c√°maras 2D convencionales. Y las herramientas se apretar√°n.

Entonces, descubrimos el mapa de transparencia calculado sin pantallas verdes y seguimos adelante.

Exposición calculada


Un tema importante separado es la exposición calculada o el obturador calculado. Este tema no está directamente relacionado con los pleópticos, pero en condiciones modernas, cuando la diagonal, el contraste y la resolución de la pantalla crecen juntos y rápidamente, se vuelve cada vez más relevante. El problema es el efecto estroboscópico, que es típico del movimiento rápido de objetos en el cuadro durante el disparo "normal".

Para reducir drásticamente este efecto al hacer que el movimiento sea "suave" y calcular el obturador "ideal", puede grabar un video con una velocidad de cuadro más alta y luego contarlo a una frecuencia más baja usando varias funciones de conversión, que incluyen no solo sumar cuadros, sino también restar (Lytro Cinema tenía 300 fps para dejar en claro cómo interpretar estos gráficos):



Esto hace posible "grabar" un video con un obturador que es físicamente extremadamente difícil, si no imposible de crear, pero que proporciona extrema "suavidad" y "placer" de los objetos en movimiento en la escena sin el efecto estroboscópico de las ramas, las ruedas y otros objetos que se mueven rápidamente ( especialmente preste atención a los discos de las ruedas, y cuánto se ha vuelto más visible el automóvil detrás de los obstáculos):


Fuente: https://vimeo.com/114743605

O aquí hay dos disparos más, el movimiento de la cámara en el que será mucho más agradable de percibir a simple vista, especialmente en la pantalla grande:


Fuente: https: / /vimeo.com/114743605 Uf

, calculamos la exposición. ¡Sigamos adelante!

Cámara Plenoptic en teléfono inteligente hoy


Por lo general, cuando se trata de los ple√≥pticos hoy en d√≠a, hay conversaciones t√≠picas en el estilo de "El jefe se ha ido: se retira el yeso, ¬°el cliente se va!" Lytro compr√≥ Google a bajo precio el a√Īo pasado, los experimentos de Pelican Imaging no entraron en producci√≥n en masa y, en general, todo sigui√≥ siendo una teor√≠a hermosa ...


Fuente: Pelican Imaging: Módulos de cámara plenoptica para teléfonos inteligentes por 20 dólares

¡Ahí tienes! Los rumores sobre la muerte de los pleópticos son muy exagerados. Muy fuerte!

Por el contrario, en este momento los sensores pleópticos se producen y utilizan en una escala que nunca antes había estado en la historia.

La notoria compa√Ī√≠a de Google sin mucha fanfarria lanz√≥ Google Pixel 2 y Google Pixel 3 con sensores ple√≥pticos. Si miras el tel√©fono, puedes ver claramente que la c√°mara tiene una c√°mara:



Sin embargo, al mismo tiempo, el teléfono difumina muy bien el fondo, en general, no es peor que sus colegas de "dos ojos", "tres ojos" y "cuatro ojos" (de acuerdo, la siguiente foto se beneficia especialmente de este efecto):


Fuente: AI Google Blog (puede hacer clic y ver un tama√Īo m√°s grande, principalmente en los bordes del objeto en primer plano)

¬ŅC√≥mo hacen eso?

Se est√° utilizando una fuente de milagros m√°gicos, ineludibles en los √ļltimos tiempos: ¬Ņmagia infantil de redes neuronales?

Las redes neuronales, especialmente en Pixel 3, también se usan activamente en esta tarea, pero más sobre eso más adelante. Y el secreto de la calidad del efecto es que el sensor del teléfono inteligente es plenoéptico, aunque la lente cubre solo dos píxeles, como se muestra en la imagen:


Fuente: AI Google Blog

Como resultado, obtenemos una imagen micro-estéreo, aquí se ve un cambio muy leve en el movimiento (la imagen derecha está animada y se mueve hacia arriba y hacia abajo, porque el teléfono se mantuvo así cuando se disparaba):



Pero incluso este cambio extremadamente peque√Īo es suficiente para construir un mapa de profundidad para la foto que se est√° tomando (sobre el uso de cambios de subp√≠xeles en un art√≠culo anterior ):



Al mismo tiempo, con el uso del aprendizaje automático, los resultados se pueden mejorar significativamente y esto ya está implementado en Pixel 3. En el siguiente ejemplo, Aprendido significa Estéreo + Aprendido, más sobre esto, con suerte, habrá una publicación separada:







Para aquellos a quienes les gusta mirar la profundidad en resolución completa, hay más ejemplos en una galería especial .

Se ve claramente que no todo es perfecto, y tenemos artefactos t√≠picos que son t√≠picos para construir un mapa de profundidad desde est√©reo (que, por cierto, tambi√©n est√°n disponibles en los colegas de dos ojos de Pixel), y un poco de paralaje afecta. Pero ya est√° claro que la calidad de la profundidad es suficiente para segmentar con confianza la imagen por profundidad e imponer a√ļn m√°s efectos diferentes, agregar objetos con m√°s confianza a la escena, etc. Los resultados de la profundidad MEDIDA son un orden de magnitud mejor que los resultados basados ‚Äč‚Äčen varios supuestos (redes neuronales arbitrarias).

¡Felicitaciones a todos los que han leído hasta este momento! ¡Vives durante el lanzamiento de cámaras pleópticas en un producto exitoso del mercado masivo, incluso si ni siquiera lo sabes!

La historia no termina ahí, por supuesto:

  • En primer lugar, es interesante que los ple√≥pticos fueran "casi gratis", ya que en las c√°maras de tel√©fonos inteligentes modernas con una miniaturizaci√≥n del sensor y un aumento de la resoluci√≥n, hay una falta catastr√≥fica de flujo luminoso, por lo que cada p√≠xel est√° cubierto con una microlente. Es decir, dicho sensor no cuesta m√°s (¬°esto es muy importante!), Aunque estamos sacrificando algo una resoluci√≥n que acabamos de aumentar debido a otra tecnolog√≠a . Como resultado de la aplicaci√≥n de dos tecnolog√≠as, el resultado se vuelve mejor en 2D (menos ruido, mayor resoluci√≥n, HDR) y al mismo tiempo se complementa con la profundidad medida, es decir, se convierte en 3D. El precio de la emisi√≥n es un aumento dram√°tico en el n√ļmero de c√°lculos por fotograma. Pero para las fotos esto ya es posible hoy y ya funciona en tel√©fonos inteligentes reales.
  • En segundo lugar, en una conferencia, un empleado de Google dijo que estaban pensando en cubrir 4 p√≠xeles con una lente, despu√©s de lo cual la calidad del mapa de profundidad ser√° dram√°ticamente m√°s alta, ya que habr√° 2 pares est√©reo con una base est√©reo 1.4 veces m√°s grande (dos diagonales), esto mejorar√° dram√°ticamente la calidad del mapa de profundidad, incluyendo muchos artefactos est√©reo en las fronteras. Los competidores pueden lograr esta calidad solo colocando al menos 3 c√°maras seguidas. Tal aumento en la calidad es importante para AR.
  • En tercer lugar, Google ya no est√° solo, aqu√≠ hay un ejemplo de una descripci√≥n de una tecnolog√≠a similar en el Vivo V11 Pro, ya ves, acabas de ver una imagen similar:


Fuente: ¬ŅQu√© es la tecnolog√≠a Dual Pixel?


Plenoptics tambi√©n se utiliza en el enfoque autom√°tico de c√°maras profesionales, por ejemplo, con Canon (google DPAF - Dual Pixel Auto Focus). ¬ŅQui√©n hubiera pensado que una broma te√≥rica de hace 30 a√Īos, la capacidad de disparar est√©reo con una lente, ser√≠a la primera aplicaci√≥n masiva de los ple√≥pticos ...

En general, ¬°el tema fue para los productos!

Ella ya est√° volando! Ya ves, LE-TA-ET!



Para resumir


Filmoptica en el cine


Arriba, examinamos dos casos de uso de ple√≥pticos: en la producci√≥n de pel√≠culas y en los tel√©fonos inteligentes. Esta no es una lista completa, por ejemplo, los ple√≥pticos son muy relevantes en microscop√≠a : puede hacer micrograf√≠as est√©reo calculadas con una gran profundidad de campo "honesta"; los ple√≥pticos son relevantes para las c√°maras industriales, especialmente si necesita tomar fotos de objetos multinivel transl√ļcidos, etc. Pero al respecto de alguna otra manera.



Recordemos que para su uso en la producción de películas son relevantes:

  1. Distancia de enfoque calculada
  2. Bokeh calculado
  3. Resolución calculada
  4. Estéreo perfecto calculado
  5. Punto de disparo calculado
  6. Iluminación computarizada
  7. Ambiente Computado
  8. Pantalla verde calculada
  9. Obturador calculado


En los pr√≥ximos a√Īos, con la miniaturizaci√≥n y una mayor resoluci√≥n de los sensores, se puede desarrollar tecnolog√≠a para crear una c√°mara de cine pr√°ctica y fundamentalmente nueva que le permite eliminar material para aplicar efectos especiales m√°s r√°pido (sin una pantalla verde) y con menos tomas (m√°s puntos son m√°s f√°ciles de arreglar). Las nuevas caracter√≠sticas son tan interesantes que, para cuando el sensor pleno√≥ptico con una resoluci√≥n de pel√≠cula adecuada se puede compactar, estas c√°maras est√°n condenadas al √©xito.

¬ŅCu√°ndo puede aparecer una c√°mara as√≠?

Una respuesta cautelosa es en los pr√≥ximos 10 a√Īos.

¬ŅDe qu√© depende el t√©rmino?

De muchos factores. Buena pregunta: ¬Ņcu√°l ser√° la situaci√≥n con la capacidad de licenciar las patentes de Lytro que ahora posee Google? Esto puede ser cr√≠tico. Afortunadamente, las claves expirar√°n en 10 a√Īos (aqu√≠ no recordamos cort√©smente a los colegas chinos de Lytro que pueden acelerar el proceso). Adem√°s, el trabajo con cantidades colosales de datos generados por la c√°mara ple√≥ptica debe simplificarse: con las nubes modernas, esto es cada vez m√°s f√°cil. De las buenas noticias: en un momento gracias a Lytro, en un programa de composici√≥n muy popular , que se utiliza en una gran cantidad de estudios para el procesamiento est√©reo, se admiti√≥ el formato de datos ple√≥pticos. Como dicen, Lytro muri√≥, pero la oportunidad de escribir complementos para Nuke con soporte para video plenoptic permaneci√≥ con nosotros. Esto simplifica la "entrada" en este mercado con un producto profesional, ya que es importante que los estudios puedan trabajar inmediatamente con el formato de las nuevas c√°maras de inmediato sin necesidad de capacitar al personal y en los mismos programas.

Plenoptika en teléfonos inteligentes


Si hablamos de tel√©fonos inteligentes, entonces todo se ve a√ļn mejor. Lo m√°s relevante para esta industria es la capacidad de la c√°mara ple√≥ptica para medir la profundidad con un solo sensor (potencialmente r√°pido) y esta caracter√≠stica pronto ser√° de gran demanda.

¬ŅCu√°ndo puede aparecer una c√°mara as√≠?

Ya existe Y ma√Īana, la tecnolog√≠a ser√° repetida por otros fabricantes. Adem√°s, el factor clave de la pr√≥xima etapa ser√° la realidad aumentada en tel√©fonos inteligentes y tabletas, que hoy carece de precisi√≥n y la capacidad de "ver" una escena tridimensional.

¬ŅDe qu√© depende el t√©rmino?

Es probable que la capacidad de medir la distancia con el sensor principal en tiempo real aparezca pronto con Google Pixel, ya que Google se ha estado desarrollando en esta direcci√≥n durante mucho tiempo (consulte Proyecto Tango , que est√° cerrado, pero cuyo negocio sigue vivo). Y ARCore se ve muy prometedor, as√≠ como el ARKit de la competencia. Y el avance, como ahora supones, no tiene que esperar mucho, ya que el valor del p√≠xel del sensor cae exponencialmente, llaman a la velocidad promedio 10 veces en 10 a√Īos, y necesitamos una ca√≠da de 2 veces. Entonces cuenta por ti mismo. No ma√Īana, pero no por mucho tiempo.

En lugar de una conclusión


¬ŅRecuerdas que al principio est√°bamos hablando de una conferencia en VGIK? Debo decir que no esperaba la reacci√≥n que se produjo al final. Para decirlo en una palabra, estaba de luto. Si en dos palabras, entonces luto universal. Y al principio no entend√≠ cu√°l era el problema. El operador que apareci√≥ despu√©s de la conferencia me explic√≥ muy bien la situaci√≥n. Ni siquiera era que el arte de la c√°mara estaba disminuyendo. Aunque hubo un gran ejemplo: un fragmento de pel√≠cula durante unos 6 segundos, cuando una persona se acerca a la puerta del departamento, golpea, otra persona abre la puerta, saluda y se mueve un poco hacia adelante, mientras la c√°mara enfoca el pasillo, luego el marco de la puerta, luego enfoca instant√°neamente en la persona que lo descubri√≥, y luego en la habitaci√≥n. Y el operador necesita dominar la c√°mara a la perfecci√≥n, de modo que con una profundidad de campo poco profunda como la del cine, opere el zoom de manera magistral, recordando la luz de fondo, la composici√≥n del marco, el mareo al disparar con las manos y otras 1000 peque√Īas cosas importantes. Entonces aqu√≠. Ni siquiera es que esto sea cada vez m√°s f√°cil. Esto es incluso bueno. Menos tomas se echar√°n a perder debido al hecho de que el operador en alg√ļn lugar no tuvo tiempo o se perdi√≥. Cont√≥ c√≥mo recientemente film√≥ una serie en 4K para el canal. Y el stock de resoluci√≥n result√≥ ser grande. Como resultado, el director cort√≥ los cuadros en la posproducci√≥n, y en algunos lugares solo se usaron fragmentos del cuadro para las interrupciones. Como resultado, la composici√≥n fue simplemente horrible y este operador quer√≠a eliminar su nombre de los cr√©ditos.

Las características descritas anteriormente de las cámaras para cineastas significan la transferencia de muchos efectos desde la etapa de filmación hasta la etapa de postproducción. Y habrá una gran tristeza si quienes procesan las escenas tomadas son analfabetos en materia de composición, control de distancia de enfoque, etc. Si saben leer y escribir, estas son nuevas oportunidades fantásticas.

Por lo tanto, nos deseamos a todos m√°s competencia, ¬°lo cual no siempre es f√°cil en este mundo que cambia r√°pidamente!

Y Cartago ... ¬° todo el video ser√° tridimensional para fines de siglo!

Agradecimientos


Me gustaría agradecerle cordialmente:

  • Laboratorio de Computaci√≥n Gr√°fica VMK Universidad Estatal de Mosc√ļ MV Lomonosov por su contribuci√≥n al desarrollo de gr√°ficos por computadora en Rusia y no solo
  • Nuestros colegas del grupo de videos, gracias a los cuales vieron este art√≠culo,
  • personalmente Konstantin Kozhemyakov, quien hizo mucho para hacer este art√≠culo mejor y m√°s visual,
  • Jon Karafin cuando era jefe de video de campo de luz en Lytro, gracias a lo cual casi comenzamos a trabajar para mejorar su producto (y no comenzamos por razones ajenas a nuestro control o de nosotros),
  • Lytro por su contribuci√≥n a la popularizaci√≥n de los campos de luz y sus capacidades, Google, que atrap√≥ la bandera que cae, y otras compa√Ī√≠as que fabrican productos basados ‚Äč‚Äčen esta interesante tecnolog√≠a,
  • y finalmente, muchas gracias a Sergey Lavrushkin, Roman Kazantsev, Ivan Molodetsky, Evgeny Kuptsov, Yegor Sklyarov, Evgeny Lyapustin y Denis Kondranin por una gran cantidad de comentarios y correcciones sensatas que hicieron que este texto fuera mucho mejor.

Source: https://habr.com/ru/post/440652/


All Articles