Ficamos presos à digitalização do Hermitage Hall por cerca de um mês. Inicialmente, pensamos que as soluções disponíveis para transferir objetos para 3D (como scanners a laser) funcionariam perfeitamente e a pergunta era exclusivamente técnica. De fato, verificou-se que essa área não está muito bem desenvolvida e há armadilhas no mar.
Para o projeto, chegamos à conferência FMX sobre tecnologias de imersão e gráficos. Os desenvolvedores russos chegam a esta conferência com um relatório pela primeira vez. Estamos brincando com a Pixar e os caras que fizeram o Game of Thrones. Não é que sejamos tão legais quanto a Pixar, simplesmente agregamos tudo de melhor que havia no mercado, as melhores práticas em fotogrametria e aplicamos experimentalmente tudo isso. Acabou que ninguém tinha feito isso ainda.
Mas vamos começar com o que pode ser difícil de digitalizar uma sala com uma estátua. Negócios por alguns dias, certo?
Desafio
Há um Museu Hermitage em São Petersburgo.
Eles, há 3 ou 4 anos, tiveram a ideia de fazer cópias digitais de objetos. E os próprios objetos impiedosamente colocados no corredor. Do ponto de vista de um trabalhador de museu, é quase o mesmo que destruir. Apenas o processo está atrasado. Na verdade não, mas é o entendimento de que você precisa copiar objetos para salvar suas imagens.
Dirigimos até eles pela primeira vez, tiramos estátuas em câmeras para testar a técnica da fotogrametria. É como um scanner 3D, apenas fotos de todos os lados do objeto são combinadas (cerca de 400 fotos por estátua), o software procura por nós semelhantes e, em seguida, é criada uma nuvem de pontos.
Acabou torto e torto.
Em geral, adiamos a ideia das fotografias para o estágio de “voltar quando a mineração de dados estiver normal, em cerca de cinco anos”. Dois passaram e o Hermitage precisava de uma sala totalmente digital.
Por que o Hermitage precisa de uma sala virtual?
Para se mostrar no cenário mundial. Sério, eles nos explicaram muitas coisas inteligentes sobre o
papel da tecnologia em um museu moderno e assim por diante, mas apenas percebemos que ninguém realmente poderia resolver esse problema. Mas quero fazer com que qualquer estudante da universidade em algum lugar do Extremo Oriente ou da Itália possa ver o belo. Para fazer isso, ele receberá óculos de realidade virtual e será enviado ao Hermitage. Virtualmente. Primeiro de tudo, nas representações do Hermitage. Já mostrado em Omsk e Vladivostok.
É importante que isso seja interativo - na realidade, você não chegará perto da estátua de Júpiter, e agora os críticos de arte só podem lambê-la em VR. Você não pode olhar para o tio de cima, mas agora pode. E assim por diante E, é claro, aqueles que não podem dirigir até o Hermitage agora chegarão à realidade virtual.
A tarefa completa é digitalizar todo o museu em geral. Mas você precisa começar de um salão. Deve ser real.
Começamos a aplicar outras abordagens.
No começo, eles sugeriram a renderização, como nos jogos. O artista desenha, o artista cospe. Modelar do zero não é adequado, porque você precisa de uma obra de arte de um escultor grego e não de um modelador moderno. Eu vejo.
Tentamos um scanner a laser. Ele dá uma boa geometria, mas não cai na cor.
Eles removeram a textura da câmera e combinaram - parece normal.
Os críticos foram extremamente críticos para transmitir as menores nuances da forma da estátua. Escrevemos isso para nós mesmos: você precisa de uma resolução muito alta ou de uma precisão poligonal muito alta.
No final, decidimos ainda usar medidas de referência e fotogrametria. Iniciamos experimentos no escritório com diferentes câmeras: eles experimentaram DSLRs e até alugaram uma PhaseOne de tamanho médio com uma matriz de 100 megapixels. Descobriu-se que o problema não estava na câmera, mas na precisão da escolha dos pontos. A menor oscilação levou ao desfoque da imagem, o que causou distorções nos modelos. Filmamos na abertura 11, tentamos fechar mais - difração e desfocagem. O problema com a agitação foi que removemos a estátua do topo de uma escada de 4 metros de altura. E ela balançou.
Quase 17 mil fotos foram tiradas. Começamos a contar.
Nossas estações de trabalho são poderosas, como um aquecedor doméstico, mas ainda têm grandes períodos de erro de cálculo. Eu tive que implantar uma infraestrutura separada para uma nuvem de pontos e obter um modelo. Compramos um servidor GPU, implantamos a infraestrutura nele.
Descobriu-se uma nuvem que precisava ser otimizada.
O salão foi otimizado por quatro pessoas em dois meses.
Por que otimizado?
VR é algo que não deve ser jogado em dispositivos super poderosos. Existem três categorias de dispositivos para este projeto:
- PCs domésticos para jogos (resolução e qualidade máximas) e instalações de VR para museus.
- Computadores escolares. Eles precisavam ser otimizados para que a qualidade não se perdesse. Isso é feito à mão, muito tempo.
- Dispositivos móveis Sob eles, era necessário fazer os modelos mais otimizados.
A otimização também está relacionada ao fato de que, de longe, o avião é visível como curvas. Precisávamos alcançar a percepção ideal - "como no mundo real". Isso foi seguido pelos críticos e curadores de arte: tudo no mundo da arte é julgado pelo grau de “sim” ou “não” deles.
O que aconteceu?
O Hermitage conseguiu mostrar seu salão com sua estátua no exterior em importantes exposições e dar às crianças a oportunidade de se juntar à nudez. A propósito, brincadeiras sobre como otimizamos por um mês ... as costas de Júpiter, imediatamente deixadas de lado. E em outro lugar ele tem uma venda nos olhos, e isso salvou muito nossa psique.
O salão e as estátuas não são transportáveis (mais precisamente, a estátua é incrivelmente indesejável de carregar). Agora eles podem ser transportados virtualmente ao redor do mundo. O Hermitage agora está competindo com o Louvre com confiança, porque o museu é para todos - e isso é muito legal.
O modelo de otimização após a otimização consiste em 120 mil polígonos (possui 3 graus de detalhe, dependendo da distância do visualizador, pelo menos 12 mil polígonos). Além disso - mais grosseiro, mais próximo - melhor.
Como resultado, verificou-se que não há outros projetos em que todo o salão foi otimizado para a BP. Existem bicos que são escaneados de maneira limpa, sem otimização, curvas e oblíquos em locais diferentes. Mas não há trabalhador sólido. Em geral, temos a mais alta qualidade do mundo hoje. Porque o único é tão completo.
No mundo real, com pessoas trêmulas e elevadores oscilantes para câmeras sem bilhões de custos, isso é muito legal. Sim, o primeiro quarto era muito longo, 4 meses ou mais. Mas nós pisamos em todos os ancinhos, elaboramos a metodologia e estamos prontos para fazer o salão em cerca de 1,5 a 2 meses.
Ah, bem, um momento da realidade russa. Depois que o Hermitage começou a distribuir um passeio de VR (gratuito), em Vladivostok, algumas astúcia começaram a vender ingressos para visitar o salão Hermitage em realidade virtual.
Para todas as perguntas, você pode escrever nos comentários ou pelo correio - infoVR@croc.ru