Dica: este gif inicia e para quando clicaS3D: sem dor é ganho
Em abril deste ano, o Google anunciou os detalhes técnicos de um novo formato para o VR-video -
VR180 . As especificações de formato foram carregadas no repositório do
Google no GitHub , os fabricantes de câmeras foram solicitados a fazer
câmeras especiais e o formato foi suportado
no YouTube .
A ideia básica é bastante simples. No vídeo VR "normal" - vídeo
360 - você pode girar a cabeça horizontalmente em todas as direções, enquanto a ação principal ocorre, via de regra, de um lado, e todo o fluxo é transmitido ao dispositivo, o que leva à transmissão e armazenamento informação
redundante . De fato, na grande maioria dos casos, não há necessidade de implementar a visualização em 360 graus - 180 graus são suficientes para obter o mesmo efeito. Nesse caso, a "segunda metade" do quadro é usada para o segundo ângulo, ou seja, o estéreo é obtido.
Assim, o formato proposto oferece uma sensação de imersão ainda maior que a dos vídeos em 360 °, é mais barato de fabricar, mais fácil de fotografar e não apresenta problemas de
costura .
Como isso é possível e o que o Google ofereceu?
Quem se importa com o vídeo VR em um futuro próximo?
Introdução ao VR180
Primeiro sobre o bem.
O VR180 é visivelmente mais fácil de gravar que o vídeo em 360 °. Até 17 câmeras são usadas para gravar vídeo em 360 de
alta qualidade (exemplo da Xiaomi abaixo), o que causa muitos problemas com o tamanho do vídeo de trabalho, falha parcial, superaquecimento, foco instável das câmeras, etc. Além disso, do ponto de vista de um usuário simples, eles eram reconhecidos como os melhores câmeras com
duas lentes olho de peixe (
uma ,
duas ,
três ).
FonteO novo formato também é filmado com duas câmeras. Isso reduz significativamente o custo do dispositivo final. Ao mesmo tempo, a técnica de fotografia é bastante simplificada, pois todos os truques de trabalhar com uma câmera convencional permanecem relevantes (apenas o resultado é potencialmente mais espetacular e com grande imersão). Para o sucesso do formato, é importante que toda dona de casa e todo aluno da escola possam usá-lo facilmente. Portanto, quanto mais simples, melhor.
Além disso, no VR180 os problemas da chamada costura (colagem) desaparecem - artefatos extremamente visíveis em locais onde as imagens de duas câmeras foram costuradas. Até recentemente, parecia que passaria um pouco de tempo e os problemas de costura seriam resolvidos. Infelizmente, eles se mostraram muito mais complicados. Se houver um objeto translúcido ou em movimento rápido na borda da colagem, no nível atual de desenvolvimento de algoritmos de processamento de vídeo no modo automático, o problema não será resolvido. Obviamente, os algoritmos de fosqueamento automático estão evoluindo, mas a
ausência de artefatos não é garantida, mesmo com os métodos de Deep Learning . Não há costura no VR180, o que significa que, em princípio, não há problemas associados a ele.
E, finalmente, quase sempre filmado em vídeo em 360 ° é plano. Ou seja, do ponto de vista da visão binocular, a imagem é vista como pendurada em alguma tela diante dos olhos, o que geralmente reduz o “efeito uau” e o efeito de imersão, e o VR180 é inicialmente e por padrão um formato estéreo.
Todos esses pontos parecem muito promissores em termos de previsão do sucesso do formato. Como resultado, os fabricantes começaram a produzir ativamente câmeras focadas especificamente no VR180, por exemplo:
O fato de a
Xiaomi entrar no mercado
do VR180 é certamente encorajador.
Existem também soluções que permitem montar a câmera para fotografar o VR180 a partir de duas câmeras comuns com lentes olho de peixe. Às vezes, basta imprimir ou comprar uma montagem para iniciar os experimentos (abaixo estão exemplos de GoPro, saboneteiras digitais, espelhos da Sony):
Fonte
Fonte: http://products.entaniya.co.jp/en/products/equipment-for-3d-stereo-180-vr/Além disso, surgiram soluções engraçadas quando uma câmera suporta gravação nos formatos de vídeo VR180 e 360 (esta é uma "garra" que grava 360 em um estado minimizado e VR180 em um estado expandido):
FonteEntre outras coisas,
novos horizontes se abriram para
experimentar a gravação de vídeo em VR (na foto da câmera Xiaomi YI Horizon VR180):
O número de novos dispositivos para fotografar no VR180 é muito grande e isso contribui significativamente para a popularidade do novo formato.
A introdução do VR180
Hoje, as empresas estão tentando implementar a VR sempre que possível, querem tornar o formato mais popular e difundido. E o mais importante - barato. Google não é excepção. Todos se lembram de sua decisão orçamentária de introduzir o "Head Mounted Display, HMD" em uso geral -
Google Cardboard .
Sua funcionalidade, é claro, não pode ser comparada com HMDs caros, mas o principal objetivo foi alcançado: tornar a VR mais acessível e transformar cada smartphone em um capacete de realidade virtual a um custo adicional de menos de US $ 1.
Com base no sucesso, o Google está lançando um novo formato
VR180 com suporte para uploads para o YouTube e um filtro de pesquisa especial:
É assim que o quadro de
vídeo do novo formato "de dentro" se parece:
No MP4, foram adicionados metadados especiais que transformam o vídeo em um esférico. De um modo geral, se você simplesmente seguir o link, provavelmente verá um vídeo plano regular. Isso se deve ao fato de que, além do vídeo VR180, uma projeção de um dos ângulos (à esquerda) em um retângulo regular também é carregada no site. Para ver a imagem como na figura acima, é necessário, por exemplo, baixar o vídeo no formato MP4 puro. Basicamente, eles têm uma resolução de 4K. A capacidade de mover a câmera é garantida para aparecer quando exibida em um dispositivo móvel com o aplicativo Cardboard ( Google Play , AppStore ). Bem, é claro, em um HMD de pleno direito.A gravação de tais vídeos, semelhante aos capacetes de papelão, também deveria ter sido barata o suficiente
para ampla distribuição entre os usuários. Uma câmera que grava vídeos nesse formato custa cerca de US $ 300. Comparado com os
estereótipos caros
, esse é um nível
totalmente novo. Parece que está tudo bem. No entanto, o problema é que o novo formato é estéreo e, como você sabe, há muitos problemas difíceis de resolver.
Qualidade estéreo em VR
Assim que se trata de estéreo (em linguagem comum, 3D), lembra-se imediatamente das
dores de
cabeça de ir aos cinemas em 3D. Examinamos as causas desse desconforto em uma grande série de artigos (
um ,
dois ,
três ,
quatro ,
cinco ,
seis ,
sete ) com muito mais detalhes, mas com relação aos filmes estéreo. Em resumo, por várias razões, muitos filmes em 3D são feitos (ou convertidos) para que os espectadores sensíveis a artefatos de vídeo estéreo possam levar o citramon apenas com antecedência. Infelizmente, a maioria dos problemas em filmes em 3D está relacionada a artefatos estereoscópicos, que também são encontrados no VR180. Portanto, todos os fatores que causam desconforto nesses filmes também causarão desconforto ao assistir a um vídeo em realidade virtual. Mesmo uma verificação básica da qualidade do conteúdo do VR180 mostrou que é comparável à qualidade do estéreo convencional em meados do século passado ...
Em outras palavras, os entusiastas ficarão encantados, mas o público em massa reclamará.
Para analisar a qualidade do vídeo estéreo, utilizamos o projeto
VQMT3D , que está sendo desenvolvido no
grupo de vídeos do laboratório de computação gráfica e multimídia da faculdade de VMK, Universidade Estadual de Moscou. Seu objetivo é fornecer aos autores de filmes estéreo a capacidade de rastrear a ocorrência de
todos os artefatos possíveis no estágio de pós-produção. E como o VR180 também é estéreo, o projeto é de fato aplicável a esse formato com algumas reservas. Nos exemplos a seguir, as informações do quadro são obtidas usando o VQMT3D.
Distorção de cores
Esse problema é o mais fácil de entender e relativamente fácil de corrigir. Feche um olho e olhe para algum objeto. Agora faça o mesmo com o outro olho e responda à pergunta: as cores mudam quando o olho muda? No caso geral, não. Portanto, no vídeo estéreo, não deve haver diferenças na cor dos mesmos objetos para os ângulos esquerdo e direito. No entanto, eis o que vemos nos vídeos reais gravados no YouTube (preste atenção em áreas sólidas, como céu ou água):
Link de vídeoA distorção da cor pode ocorrer por vários motivos, por exemplo, devido a diferentes calibrações das câmeras, aquecimento de suas matrizes ou quando a borda da lente é exposta à luz. Portanto, mesmo com parâmetros de disparo idênticos para as mesmas câmeras, as cores podem divergir visivelmente.
É mais conveniente visualizar esse artefato usando um "tabuleiro de damas" quando o ângulo reto é reduzido para a esquerda usando a compensação de movimento e, em seguida, os blocos da esquerda e dos ângulos retos reduzidos são selecionados em um padrão quadriculado.
Abaixo está um exemplo quando as fontes de luz caem no quadro:
Link de vídeoAlém de as fontes de luz serem muito diferentes em ângulos diferentes, elas também distorcem as cores da imagem com brilho.
Um exemplo mais difícil quando o sol atinge o quadro:
Link de vídeoDevido ao cenário mal sucedido da câmera oposta ao sol, um artefato terrível surge na forma de um destaque vermelho na matriz. As distorções de cores são bastante raras na vida real, e artefatos do tipo indicado acima não são encontrados, o que acaba levando ao acúmulo de fadiga durante a visualização. Infelizmente, na parte mais sensível da platéia, o cansaço se transforma em dor de cabeça.
Diferenças de nitidez
Outro problema que surge ao gravar vídeo estéreo é a diferença de nitidez nos ângulos esquerdo e direito. Na vida real, esse problema é bastante comum. Por exemplo, se você ficar sentado por 10 a 12 horas no computador, olhando atentamente para a tela
( você deve
concordar, isso acontece) , no final do dia os olhos direito e esquerdo poderão divergir visivelmente do foco, e a miopia / miopia leve será garantida até a noite. Ao mesmo tempo, o cérebro compensa com sucesso esse problema. Em termos relativos, obtemos detalhes claros da imagem do olho direito ou esquerdo para objetos distantes / próximos. Ou seja, na linguagem de engenharia, o problema é resolvido regularmente por ferramentas internas. E de manhã, via de regra, a visão é restaurada. E tudo ficaria bem, mas em vídeo estéreo real, o foco pode “pular” de cena para cena. Acontece que o "míope" se torna o olho direito, depois o esquerdo, e às vezes ambos enxergam bem, o que leva a um desconforto perceptível ao ver. Especialmente para pessoas maiores de idade cujos olhos já "estacionários" divergiam em nitidez.
Exemplos de discrepâncias para VR180, onde, para melhor visualização, fragmentos ampliados da mesma área são apresentados para dois ângulos:
Link de vídeoAqui está outra parte desse quadro:
Link de vídeoA aparência desse artefato se deve à divergência do foco das câmeras por razões técnicas. E devido à falta de pós-processamento profissional, até as cenas "vyrviglaznye" chegam ao YouTube.
Link de vídeoQuase todas as etiquetas na imagem ampliada variam em nitidez. Preste atenção à inscrição "12 CH", que será desconfortável para "estroboscópica" ao visualizar.
Time shift
Curiosamente, embora os núcleos dos computadores tenham sido sincronizados com sucesso por milhões de segundos por um longo tempo, as câmeras estéreo ainda gravam em centésimos, ou mesmo décimos de segundo, ao fotografar. Um olho vê eventos que ainda não ocorreram para o outro olho! Você não consegue nem pensar em um análogo para esse problema no mundo real. E esse artefato também foi encontrado no VR180.
Preste atenção na janela com um sinal de néon no lado direito do quadro:
Link de vídeoEssa mudança de tempo foi notada por acaso ao analisar a discrepância de cores, que também está presente aqui. Um sinal tremulante é impressionante mesmo sem o uso de métricas especiais destinadas a encontrar uma
mudança temporária . Simplesmente, o quadro esquerdo está atrás do direito!
Aqui está outro exemplo da mesma cena. Veja o pé dos pedestres:
Link de vídeoÉ claramente visível aqui que, no quadro direito, o pé se move mais do que no esquerdo, como se um quadro estivesse atrás do outro por vários momentos, embora devessem ter sido baleados exatamente no mesmo momento. Realizamos um experimento no qual
mostramos a 302 espectadores pequenos fragmentos de filmes estéreo com diferentes artefatos e pedimos a cada fragmento de um smartphone / laptop que preenchesse um formulário indicando o nível de dor. A mudança de tempo mostrou ser o artefato mais doloroso - essa é uma situação impossível para o cérebro e uma tentativa de "processá-la" leva a um claro desconforto tangível. Infelizmente, na maioria das vezes é comum um turno de menos de 1 quadro e não é tão fácil corrigi-lo.
A propósito, no exemplo acima, o quadro também pode ser visto entre os ângulos da câmera (especialmente no canto inferior esquerdo) a olho nu, o que também é muito desconfortável, mas é muito mais fácil de corrigir. No entanto, outros artefatos são uma grande história separada, à qual esperamos retornar.
Google "bagunçado"?
Pode parecer que esses artefatos sejam inerentes ao vídeo obtido durante a gravação amadora e, se usadas corretamente, as mesmas câmeras podem fornecer uma boa imagem. Infelizmente, isso não é verdade. Aqui está um
videoclipe promocional do formato VR180 , localizado na página oficial do
VR180 . Parece que ele deve definir o padrão de qualidade. Mas se você olhar de perto ...
Discrepâncias de cores:
Absolutamente em todos os pontos, há uma distorção de cor. Como se um dos foreshortenings definisse por engano um balanço de branco ligeiramente maior.
E aqui já existe uma grande parte do quadro sem distorção. Mas o canto inferior direito ainda diverge visivelmente em cores, o que causa um "estroboscópio" visual característico durante a visualização.
Vale ressaltar que a distorção de cores na estrada também foi notada sem ferramentas especiais para análise estéreo. Foi descoberto simplesmente assistindo a um vídeo quadro a quadro (semelhante ao processamento de vídeo com parâmetros diferentes).
Diferenças de nitidez:
Aqui a discrepância é mais visível no chão e nas costuras do sofá. A maior diferença de nitidez está exatamente nos limites dos objetos.
Conclusão
O que temos no final?
VR, incluindo vídeo em 360 °, é distribuído ativamente. A tecnologia atrai usuários e parece muito promissora. Mas a qualidade técnica da implementação atual causa desconforto na visualização. Como resultado, um certo número de pessoas interessadas em experimentar um novo formato fica com dor de cabeça e, se as filmagens não forem bem-sucedidas (geralmente com um movimento acentuado da câmera) - além de tonturas e náuseas, o que leva à decepção no formato.
O que pode ser feito com isso?
No momento, muitos (inclusive nós) estão desenvolvendo
ferramentas para controle de qualidade , bem como para corrigir problemas estéreo.
Aqui, por exemplo, exemplos de correção de cores:
À esquerda, estão os ângulos originais, à direita, as cores são corrigidas usando nosso algoritmo. O ângulo destacado é completamente corrigido.
A cor do teto retornou.
Para mais exemplos de correção automática de cores, consulte o artigo separado
sobre distorção de cores em estéreo .
No total, atualmente estão sendo detectados cerca de 20 tipos de artefatos de vídeo estéreo capturado e convertido, a maioria também relevante para o VR180. No futuro, está planejado expandir métodos para monitorar e melhorar a qualidade do vídeo VR:
- adaptação dos métodos atuais de controle de qualidade à RV
- adição e implementação de métodos de correção de artefato
- relatórios automáticos em vídeo com a previsão de dor causada pela visualização, a fim de alertar os usuários e classificar o conteúdo dos fabricantes, motivando-os a ter mais cuidado com a qualidade
Quais são as perspectivas para o formato como um todo?
Obviamente, os problemas atuais são os da infância da tecnologia e serão abordados ativamente. Pode-se esperar que:
- os fabricantes de câmeras fornecerão software que resolverá alguns dos problemas básicos
- com o tempo (se houver demanda), um software profissional para corrigir artefatos aparecerá
- é muito provável que o YouTube implemente alguma correção de artefato automaticamente ao carregar vídeos VR180, assim como o tremor e o entrelaçamento de bons vídeos 2D antigos agora são corrigidos automaticamente
Do engraçado: agora existe uma moda para smartphones com 3-4 câmeras na parte de trás, o que proporciona um aumento dramático na qualidade das fotos.
Fonte: Samsung Galaxy A7 (2018) e Samsung Galaxy A9 (2018)É lógico esperar que, com a crescente popularidade do VR180, seu suporte "pronto para uso" seja incorporado a todos os principais modelos de smartphones.
Sim, provavelmente o ângulo de visão não será de 180 °, mas menor.
Sim, provavelmente a qualidade será pior do que a de câmeras especializadas.
Sim, a gravação de vídeo estéreo exigirá a compactação de grandes fluxos de informações (para as quais os smartphones de hoje ainda são mal projetados).
Sim, você precisará colocar duas câmeras grande angulares a uma distância maior.
Hoje, tecnicamente, não existem obstáculos sérios à implementação do suporte VR180 nos principais modelos. A única questão é a crescente popularidade do formato, para que a demanda se torne massiva, criando um incentivo para isso.
E é claro que, quando os smartphones de ponta começarem a suportar o disparo VR180, o número de vídeos relevantes no YouTube começará a crescer como uma avalanche.
Também nas exposições, você pode ver telas autoestereoscópicas de smartphones e tablets, que com um aumento na resolução mostram qualidade cada vez mais interessante. Pelo menos, não pode ser comparado com o que pode ser
observado em massa em 2010-2011 durante a última onda. No momento da redação deste artigo, o
RED Hydrogen One foi anunciado - o primeiro smartphone SERIAL com uma tela 3D de nova geração, para que houvesse a oportunidade de comprar o que os profissionais viram nas exposições.
O processo está em andamento e, à medida que a resolução da tela aumenta, certamente irá acelerar. O principal obstáculo é a falta de conteúdo.Obviamente, esse problema do “ovo e galinha” será resolvido em breve.
Conclusões gerais:
O VR180 possui as seguintes vantagens significativas:
- Imersão significativamente maior em 3D para VR180 em comparação com vídeo 360
- Não há artefatos de costura (colagem) de vídeo de várias câmeras
- As câmeras VR180 são baratas e baratas
- Gravar VR180 é visivelmente mais próximo de fotografar com uma câmera comum e muito mais fácil para não profissionais, ou seja, uma enorme massa de fãs será relativamente fácil de gravar seu vídeo no formato VR180
- Você pode esperar suporte para VR180 em smartphones ao longo do tempo
- , VR180 ( , )
VR180:
Total:
- VR180 , , , , «»
- Com a crescente popularidade do VR180, muitos dos "problemas das crianças", incluindo os relacionados ao aparelho de som, podem ser resolvidos com relativa facilidade, mesmo sem a participação dos usuários, simplesmente no serviço ao carregar o vídeo. Algoritmicamente, já é possível
- A popularidade do formato está no problema de “frango e ovos”: dispositivos suficientes devem aparecer para fotografar e visualizar. Ao mesmo tempo, diferentemente do VR180 de 360 vídeos, tecnicamente em breve será fácil filmar em qualquer smartphone. E se o Google Pixel 5 XL for compatível com VR180 "pronto para uso" - será natural
- Como resultado: a longo prazo, 10 anos VR180 está fadado à popularidade!
Menos dor de cabeça para todos!Seu Konstantin Kozhemyakov e Dmitry VatolinAgradecimentos PS
Gostaria de agradecer cordialmente:- dos nossos colegas do grupo de vídeos, graças aos quais os algoritmos apresentados acima foram criados e os resultados calculados,
- Google pelos artefatos do comercial VR180 e por promover novos formatos, não importa o quê,
- Laboratório de Computação Gráfica VMK Moscow State University MV Lomonosov para poder de computação e não apenas
- Vitaliy Ludvichenko pelo algoritmo de correção de cores desenvolvido em vídeo estéreo,
- e, finalmente, Alexander Ploshkin, Sergey Lavrushkin, Egor Sklyarov, Aidar Khatiullin, Ivan Molodetsky e Evgeny Lyapustin por um grande número de comentários e correções sensatas que tornaram esse texto muito melhor!
Veja também: