Como um pequeno projeto amador, experimentei as redes neurais da AI Gigapixel para aprimorar uma de minhas séries favoritas de ficção científica - Star Trek: Deep Space Nine (DS9), na tradução russa de Star Trek: Deep Space 9.

Perspectivas para o espaço profundo nove

Assim como Final Fantasy 7, onde eu faço um upscale de planos de fundo, texturas e vídeos no mod Remako , o DS9 não tem planos de lançar uma versão em HD. Enquanto as temporadas populares Original Series e The Next Generation (TNG) foram filmadas, o DS9 foi filmado em meados dos anos 90 com efeitos visuais (batalhas espaciais, etc.).

O filme analógico pode ser digitalizado novamente com uma resolução mais alta, mas isso não funcionará com vídeo digital. Remasterizar a série está se tornando muito mais caro: esse é um dos motivos pelos quais não foi lançado em HD.

Aprendizado de máquina remasterizado DS9

Eu pensei que seria útil usar redes neurais aqui. Usando ferramentas como o AI Gigapixel, os quadros de baixa resolução DS9 podem ser redimensionados para alta definição: 1080p ou 4K. Eles nunca se comparam a uma boa remasterização, mas este é um passo na direção certa.

Portanto, tentei em alguns quadros o que acontece. Os resultados são ótimos. O AI Gigapixel usa redes neurais treinadas em fotos reais. Eles são adequados para as renderizações de luxo dos videogames de Final Fantasy, mas também escalam os quadros DS9 e efeitos especiais com uma qualidade incrível.

Aqui estão alguns exemplos:


Resolução original 480p (clique para ampliar)


Resolução 1080p aprimorada (clique para ampliar)


Resolução original 480p (clique para ampliar)


Resolução 1080p aprimorada (clique para ampliar)

Esses tiros únicos pareciam promissores. No primeiro conjunto de imagens, a equipe da estação em trajes espaciais representa apenas alguns pontos. Após o upscale, figuras muito mais nítidas apareceram.

O close do braço também melhorou. As rugas e rugas na pele parecem muito mais detalhadas, e o beisebol mostra melhor brilho e firmware intrincado.

Vídeo

No entanto, a verdadeira verificação é como as redes neurais lidam com a sequência de quadros, ou seja, vídeo. Aparecerão artefatos e outros problemas? Afinal, o AI Gigapixel foi projetado para melhorar imagens individuais e não leva em consideração a relação entre os quadros individuais de um vídeo.

Para verificação, decidi processar parte do episódio "Vítima dos Anjos" da 6ª temporada. Esta é uma excelente série sobre a Guerra de Domínio, onde ocorrem batalhas espaciais épicas e momentos mais pessoais pessoalmente.

Vou contar mais sobre esse processo em artigos futuros, mas, resumindo: extrair e dimensionar quadros e, em seguida, gerar um novo vídeo a partir deles, levou cerca de dois dias. Este é o processamento dos cinco primeiros minutos do episódio (resumo, cena de abertura e introdução). Um tempo bastante normal para PCs de médio e alto padrão com software de código aberto.

O resultado me levou a admirar. Ele parecia melhor do que eu esperava. Sem problemas e artefatos. Como as imagens (em movimento) valem mais que mil palavras, aqui estão dois vídeos para comparação.

O primeiro demonstra a situação “antes e depois” em quadros estáticos.


O segundo compara dois vídeos. Observe como a versão melhorada é mais nítida.


Eu recomendo assistir a esses vídeos pelo aplicativo do YouTube na sua TV, se possível. Isso dá uma sensação melhor da aparência do DS9 aprimorado diretamente na TV.

As comparações são boas, mas como é um vídeo real? Aqui estão os primeiros cinco minutos do episódio na íntegra, com uma resolução de 1080p :

E o 4K?

Honestamente, eu não sei. Embora eu possa aumentar o zoom para 4K, não tenho uma TV ou monitor com essa resolução para verificar se há melhorias. No entanto, eu gravei este vídeo. É interessante ouvir a opinião de pessoas com equipamento 4K se parece melhor em comparação com a versão 1080p.

A renderização quase derreteu meu computador, já que é muito mais intenso que 1080p, por isso nos limitaremos a este exemplo de 4K.

O que vem a seguir?

Como não possuo os direitos do DS9, não posso fazer o que quero com a série. Eu lançaria episódios completos, mas é legalmente impossível. Esses vídeos são mais uma prova de conceito para os detentores de direitos autorais da CBS examinarem o aprendizado de máquina e as redes neurais para uma possível remasterização do DS9, o que aproximará nosso filme favorito da era HD.

Imagine o que uma equipe profissional pode fazer com equipamentos poderosos, redes neurais especialmente treinadas (talvez treinando na temporada TNG - usando um conjunto de dados de quadros e quadros originais após a remasterização) e acesso a fontes SD em vez de DVDRip, como a minha.

Bem, da minha parte, posso falar mais sobre o processo de alto nível, como o conduzi, que será o tópico de um artigo futuro.

Deixe-me saber o que você pensa sobre isso.