Como un peque帽o proyecto amateur, experiment茅 con las redes neuronales
AI Gigapixel para mejorar una de mis series de ciencia ficci贸n favoritas: Star Trek: Deep Space Nine (DS9), en la traducci贸n al ruso de Star Trek: Deep Space 9.
Perspectivas para el espacio profundo nueve
Al igual que Final Fantasy 7, donde hago un fondo exclusivo de fondos, texturas y videos en el
mod Remako , DS9 no tiene planes de lanzar una versi贸n HD. Mientras que las temporadas populares Original Series y The Next Generation (TNG) se filmaron principalmente, DS9 se film贸 a mediados de los 90 con efectos visuales (batallas espaciales, etc.).
La pel铆cula anal贸gica se puede volver a escanear con una resoluci贸n m谩s alta, pero esto no funcionar谩 con video digital. Remasterizar la serie se est谩 volviendo mucho m谩s costoso: esta es una de las razones por las que no se lanz贸 en HD.
Aprendizaje autom谩tico remasterizado DS9
Pens茅 que ser铆a 煤til usar redes neuronales aqu铆. Usando herramientas como AI Gigapixel, los marcos de baja resoluci贸n DS9 se pueden escalar a alta definici贸n: 1080p o 4K. Nunca se comparar谩n con una buena remasterizaci贸n, pero este es un paso en la direcci贸n correcta.
Por lo tanto, prob茅 en un par de cuadros lo que sucede. Los resultados son geniales. AI Gigapixel utiliza redes neuronales entrenadas en fotos reales. Son muy adecuados para los renders exclusivos de los videojuegos de Final Fantasy, pero tambi茅n escalaron los marcos DS9 y los efectos especiales con una calidad incre铆ble.
Aqu铆 hay algunos ejemplos:
Resoluci贸n original 480p (haga clic para ampliar)
Resoluci贸n mejorada de 1080p (haga clic para ampliar)
Resoluci贸n original 480p (haga clic para ampliar)
Resoluci贸n mejorada de 1080p (haga clic para ampliar)Estos disparos individuales parec铆an prometedores. En el primer conjunto de im谩genes, el personal de la estaci贸n en trajes espaciales representa solo unos pocos puntos. Despu茅s del lujo, aparecieron figuras mucho m谩s n铆tidas.
El primer plano del brazo tambi茅n mejor贸. Las arrugas y las arrugas en la piel se ven mucho m谩s detalladas, y el b茅isbol muestra un mejor brillo y un intrincado firmware.
Video
Sin embargo, la verificaci贸n real es c贸mo las redes neuronales har谩n frente a la secuencia de cuadros, es decir, video. 驴Aparecer谩n artefactos y otros problemas? Despu茅s de todo, AI Gigapixel est谩 dise帽ado para mejorar las im谩genes individuales y no tiene en cuenta la relaci贸n entre fotogramas individuales de un video.
Para verificaci贸n, decid铆 procesar parte del episodio "V铆ctima de los 脕ngeles" de la sexta temporada. Esta es una excelente serie sobre la Guerra del Dominio, donde hay batallas espaciales 茅picas y m谩s momentos personales cara a cara.
Te contar茅 m谩s sobre este proceso en futuros art铆culos, pero en resumen: extraer y escalar cuadros, y luego generar un nuevo video a partir de ellos, tom贸 aproximadamente dos d铆as. Este es el procesamiento de los primeros cinco minutos del episodio (curr铆culum, escena de apertura e introducci贸n). Un tiempo bastante normal para PC de gama media y alta con software de c贸digo abierto.
El resultado me sorprendi贸. Se ve铆a mejor de lo que esperaba. Sin problemas y artefactos. Como las im谩genes (en movimiento) valen m谩s que mil palabras, aqu铆 hay dos videos para comparar.
El primero demuestra la situaci贸n de "antes y despu茅s" en cuadros fijos.
El segundo compara dos videos. Observe cu谩n n铆tida se ve la versi贸n mejorada.
Recomiendo ver estos videos a trav茅s de la aplicaci贸n de YouTube en su televisor, si es posible. Esto da una mejor idea de c贸mo se ver谩 el DS9 mejorado directamente en la TV.
Las comparaciones son buenas, pero 驴c贸mo se ve un video real? Aqu铆 est谩n los
primeros cinco minutos del episodio en su totalidad con una resoluci贸n de 1080p :
驴Qu茅 hay de 4K?
Honestamente, no lo se. Aunque puedo acercarme a 4K, no tengo un televisor o monitor con esa resoluci贸n para buscar mejoras. Sin embargo, grab茅 este video. Es interesante escuchar la opini贸n de las personas con equipos 4K si se ve mejor en comparaci贸n con la versi贸n 1080p.
El renderizado casi derriti贸 mi computadora, ya que es mucho m谩s intenso que 1080p, por lo que nos limitaremos a este ejemplo 4K.
Que sigue
Como no poseo los derechos de DS9, no puedo hacer lo que quiero con la serie. Lanzar铆a episodios completos, pero es legalmente imposible. Estos videos son m谩s una prueba de concepto para que los titulares de derechos de autor de CBS echen un vistazo al aprendizaje autom谩tico y las redes neuronales para una posible remasterizaci贸n de DS9, lo que acercar谩 un poco nuestra pel铆cula favorita a la era HD.
Imagine lo que un equipo profesional puede hacer con equipos potentes, redes neuronales especialmente entrenadas (tal vez entrenando en la temporada TNG, utilizando un conjunto de datos de cuadros originales y cuadros despu茅s de la remasterizaci贸n) y acceso a fuentes SD en lugar de DVDRip, como el m铆o.
Bueno, por mi parte, puedo contarte m谩s sobre el proceso exclusivo, c贸mo lo conduje, que ser谩 el tema de un art铆culo futuro.
D茅jame saber lo que piensas al respecto.