Mientras leía un artículo reciente sobre el exclusivo ( Exclusivo : escalar una imagen a una resolución más alta), esta vez sobre un producto comercial Topaz AI Gigapixel, dejé un comentario con el siguiente contenido:

Es una pena que la publicación sea una traducción simple, me gustaría compararla con algo gratis, como el mismo waifu2x. Creo que la diferencia será muy difícil de encontrar, a pesar de que waifu2x está diseñado para la animación.

Bueno, como el artículo era una traducción, decidí tomar el asunto en mis propias manos. Entonces, no perdamos el tiempo, conozcamos:

• Red Giant Shooter Instantáneo 4K
• Filtro de Lanczos (conocido por muchos como Lanczos)
• Interpolación bilineal (como referencia)
• Detalles de guardado de Adobe Photoshop 2.0
• Topacio Gigapixel AI
• Waifu2x con perfil UpResNet10

Bajo el corte, Longrid, así como guías de video de lujo con Instant 4K, Waifu2x, Lanczos y Topaz Gigapixel AI.

---

Los compararemos con nuestros propios ojos, porque podemos optimizar la imagen para varias soluciones para analizar la imagen ganando porcentajes "adicionales" ... Sin embargo, tampoco rechazaremos el último, por lo tanto, los resultados del análisis MITSU y VMAF se agregarán a los resultados en capturas de pantalla, ya que ambos programas funcionan con video sin muestra. SSIM, PSNR y otros no nos convienen en este caso, porque no tenemos un 4K real con el que se puedan comparar los resultados de la gama alta.

Contenido:

• Preparación de material para pruebas.
• Selección de material para pruebas.
• Programas seleccionados para pruebas
• Análisis de video:
• Archivo 1: "INTRO":
• Archivo 2: "ESCENA 1":
• Archivo 3: "FUENTE 4K":
• Archivo 4: "YOUTUBE":
• Análisis de resultados
• Para un principiante que quiere probar programas modernos de alto nivel en los negocios
• Planifique el próximo artículo y preguntas para los lectores.

Todos los archivos del artículo, incluidos los marcos PNG sin compresión, las comparaciones animadas, las muestras 4K H.265, las tablas y los archivos FFV1 están en Google . Espejo en Yandex . Hay 3 guías de video simples para usar Adobe Premiere Instant 4K, Waifu2x y Topaz.

1. Preparación de material para pruebas.

Configuración del banco de pruebas:

CPU: Intel Core i7-4980HQ 4.2 GHz
Placa base: MSI Z97 GAMING 5
^{(no preguntes)}
RAM: 32 GB DDR3 2400
GPU: NVIDIA GTX 1080ti FE 11GB, la frecuencia central se establece manualmente en 1923, la frecuencia de memoria es 5602.
SHD: sistema y programas en SSD M.2 SATA 850 EVO 250GB, archivos en HDD 2 TB WDC WD40EZRZ.

El exclusivo se realizó de acuerdo con el siguiente escenario:

• Si el método seleccionado admite el trabajo directamente desde el editor de video Adobe Premiere, entonces todo el trabajo se realizó en este editor, después de lo cual el resultado se exportó en el códec FFV1 con el parámetro GOP 1 para evitar pérdidas y utilizar una compresión de imagen exclusivamente reversible.
• Si el método seleccionado no admitía el trabajo del editor de video, entonces el video se descompuso en cuadros separados en formato PNG utilizando un simple archivo bat:
  
  
  Archivo BAT para guardar cuadros individuales en la carpeta de cuadros

  wmic process where name="cmd.exe" CALL setpriority 16384 @echo off :hugly if "%~1" EQU "" goto mugly ffmpeg -probesize 1000M -i "%~1" -vsync vfr frames\image-%%03d.png shift goto hugly :mugly pause 

  
  Para descomponer el video en cuadros, simplemente coloque este archivo en la carpeta a ffmpeg.exe y cree la carpeta de cuadros, después de lo cual es común arrastrar el archivo de video directamente al archivo bat.
  
  
  Después de eso, los cuadros procesados ​​se enviaron a FFMPEG para mezclarlos y se exportaron con exactamente la misma configuración que en el primer caso.
  
  
  Archivo BAT para convertir cuadros individuales en un archivo, sin sonido

   ffmpeg -framerate 24 -i image-%%03d.png -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -r 24 photoshop.mkv 

  
  Los parámetros -framerate y -r son responsables de establecer la velocidad de cuadros de video, ambos deben especificarse.
  

En ambos casos, la salida era un archivo MKV con el códec FFV1, de aproximadamente 700 megabytes de tamaño por cada 10 segundos de video.


Después de eso, cada uno de los archivos se abrió en MPC-HC con el objetivo de tomar capturas de pantalla, y luego se envió para su análisis a ffmpeg usando, nuevamente, un archivo bat:


MITSU, a su vez, no necesitaba ser configurado, los archivos bat listos requieren una pequeña modificación con un archivo (indiqué las rutas completas a ffprobe y ffmpeg, y también puse cygwin1.dll en la carpeta con el archivo ejecutable).

Los datos recibidos se importaron a Excel y se convirtieron en hermosos y no muy gráficos.
Los archivos FFV1 también se convirtieron a mp4 con el códec h265 (para minimizar el tamaño del archivo mientras se conservan los detalles máximos) con 25,000 kbps VBR y SAO desactivados, con la esperanza de lograr una calidad adecuada.

↑ Volver al contenido

2. La elección del material para la prueba.

En este artículo, consideramos una variedad de ejemplos: fragmentos de una serie en 1080P, animación dibujada a mano e incluso video 4K en una cámara profesional para obtener resultados objetivos para varios casos de uso de los programas en cuestión.

Se procesaron los siguientes tipos de videos:

• Escena de la serie " Persona de interés ", S02E20, introducción: muchos gráficos por computadora, mucho movimiento y cambio de planes.
• Una escena de la misma serie de la serie: poco movimiento, varios cambios de planos y muchos detalles en el fondo y en primer plano, desde las ramas de los árboles hasta los detalles de la cara.
  
  Ambas escenas están tomadas de un archivo con una resolución de 1920 × 1080 (Full HD), códec H.264, velocidad de bits: 12,664 kbps. Esta es una calidad inicial bastante buena para la serie. La comparación del resultado exclusivo se realizó con el archivo ampliado mediante interpolación bilineal simple (se indica en la lista como referencia).
• Video de muestra de RED.com : real 4K HD (3840x2160) filmado a 120FPS. El video se redujo a 1920x1080 usando Lanczos, y luego se aumentó a 4K usando los programas de la lista anterior. La velocidad de cuadros se ha reducido a ~ 24 cuadros por segundo. El resultado se comparó con el archivo fuente convertido de un archivo RED al FFV1 familiar (ffmpeg se niega a trabajar con archivos RED).
• Animación dibujada a mano "El libro sagrado del hombre lobo ", descargada de YouTube, sacudidas artificiales de la "cámara", muchos cambios de planes. Archivo fuente en resolución 1280x720, contenedor WEBM, códec VP9, ​​velocidad de bits 1556 kbps. Esta es una calidad muy baja, pero bastante común en YouTube.

↑ Volver al contenido

3. Programas seleccionados para pruebas

Exploraremos cada uno de los métodos exclusivos con un poco más de detalle:

• Red Giant Shooter Instantáneo 4K 13.1.5
  Pagado: sí ($ 99).
  Integración con Adobe Premiere (no requiere descomposición del video en cuadros): sí.
  
  Configuraciones de calidad: Tipo de filtro - Mejor, Nitidez 2, Calidad 25 (máximo), Anti-aliasing 6. Estas son configuraciones estándar, con la excepción de Calidad: se configuró al máximo manualmente.
  Tiempo de procesamiento para 914 cuadros INTRO: 532 segundos (11 veces más que las exportaciones regulares).
  
  Método exclusivo: desconocido ("algoritmos inteligentes")
  
  
  ^{La interfaz del complemento Instant 4K en la ventana del programa Adobe Premiere 2019, en la esquina superior izquierda.}
  
  Elija la resolución de destino (puede especificar la suya propia), seleccione el tipo de filtro (no veo ninguna razón para elegir algo que no sea Mejor), cambie o deje la Nitidez (nitidez), Calidad (calidad) y Anti-Aliasing (suavizado) predeterminados, y luego exporte el archivo de video y disfruta el resultado.
  
  Funciona lo suficientemente rápido, prácticamente no carga la GPU y la CPU más que la exportación habitual. Hace una semana fue mi plugin de video de lujo estándar. Realiza cambios que no son típicos para filtros matemáticos simples en los detalles de la imagen, por lo que es muy probable que sea una IA. Toma el segundo lugar en velocidad.
  
  Le permite ver el resultado antes de reproducir el video, ajuste la configuración. Para una reproducción fluida requiere renderizado, los cambios son visibles en el visor un par de segundos después de cambiar la configuración.
• Filtro de Lanczos (conocido por muchos como Lanczos).
  
  Pagado: no.
  
  Integración con Adobe Premiere (no requiere descomposición del video en cuadros): sí, como parte del complemento Voukoder .
  
  Ajustes de calidad: ninguno.
  
  Tiempo de procesamiento para 914 cuadros INTRO: 54 segundos (1,13 veces más que la exportación normal), excluyendo el tiempo que lleva convertir el video en cuadros separados y luego reducir los cuadros nuevamente al video.
  
  Método exclusivo: no AI.
  
  
  Línea de ejemplo para escalar un archivo de video desde Windows:

   ffmpeg -framerate 23.976 -i input.mp4 -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -vf scale=3840:2160 -sws_flags lanczos+full_chroma_inp -r 23.976 lanczos.mkv 

  
  
  
  No hay vista previa, así como la configuración. Es posible trabajar directamente con el video, sin descomponerlo en cuadros. Funciona muy bien desde ffmpeg. Funciona más rápido que todos los demás, solo en la CPU.
• Detalles de guardado de Adobe Photoshop 2.0
  Pagado: si.
  
  Integración con Adobe Premiere (no requiere descomposición de video en cuadros): no.
  
  Configuración de calidad: hay un parámetro de "reducción de ruido", establecido en 100%, como el autor del artículo.
  
  Tiempo de procesamiento para 914 cuadros INTRO: 3840 segundos (80 veces más que la exportación normal), excluyendo el tiempo que lleva convertir el video en cuadros individuales y luego volver a traerlos al video.
  
  Método exclusivo: desconocido.
  
  
  Requiere una configuración inicial en la forma de crear una plantilla "abrir archivo - cambiar tamaño - guardar archivo", pasa mucho tiempo directamente al abrir archivos y guardarlos: el formato de marco seleccionado afecta a PNG, funciona en la CPU. El penúltimo en velocidad.
  
  Le permite ver el resultado antes de ampliar la imagen y guardarla.
  Un usuario inexperto puede tener problemas para cambiar el espacio de color: vuelva a verificar el perfil de color después de guardar la imagen, compare los colores de la imagen original y amplíe la escala. Lo más probable es que el perfil de color sRGB IEC61966-2.1 sea adecuado para usted.
  
• Topacio Gigapixel AI
  Pagado: sí ($ 99).
  
  Integración con Adobe Premiere (no requiere descomposición de video en cuadros): no.
  
  Configuración de calidad: suprimir ruido y eliminar desenfoque. Además, es posible habilitar y deshabilitar los "modelos AI de máxima calidad". En nuestra comparación, estos modelos están incluidos.
  
  Tiempo de procesamiento para 914 cuadros INTRO: 7680 segundos (160 veces más que la exportación normal), excluyendo el tiempo que lleva convertir el video en cuadros separados y luego volver a traer los cuadros al video.
  
  Método exclusivo: AI.
  
  
  Una interfaz bastante agradable con una vista previa del resultado, tiene una prueba completamente funcional de 30 días, carga mucho la tarjeta de video y funciona, de hecho, solo en ella. Si lo desea, puede ejecutar en la CPU. En comparación con el resto, el más lento.
• Waifu2x con perfil UpResNet10
  Pagado: no.
  
  Integración con Adobe Premiere (no requiere descomposición de video en cuadros): no.
  
  Configuración de calidad: en Windows hay waifu2x-caffe , le permite seleccionar un perfil y ajustar la potencia de la "reducción de ruido" (Apagado / 1/2/3). Experimentalmente, elegí el perfil UpResNet10 para mostrar el mejor resultado. El cortador de ruido está configurado en AUTO 1.
  Tiempo de procesamiento para 914 cuadros INTRO: 879 segundos (18 veces más que la exportación normal), excluyendo el tiempo que lleva convertir el video en cuadros separados y luego volver a traer los cuadros al video.
  Método exclusivo: AI.
  
  Una interfaz simple que funciona en la GPU puede causar dificultades adicionales durante la configuración inicial (tuve que instalar cuDNN, tardó 10-15 minutos). Si lo desea, puede ejecutar en la CPU. La velocidad media, solo por delante de Photoshop y Topaz.

Esta no es una lista completa de programas que son adecuados para video exclusivo, y en el próximo artículo intentaré agregar aún más formas. ¡Sugiere tus opciones en los comentarios!
↑ Volver al contenido

4. Finalmente, pasamos al video:

4.1 Archivo 1: "INTRO":

Primer pasaje: gráficos por computadora.

^{Un fotograma de la serie ampliado mediante interpolación bilineal y reducido a 720P para previsualizaciones.}
Las principales diferencias: la calidad del procesamiento de texto y marcas en el mapa, incluidas las cuadrículas en todo el marco, así como el mantenimiento de la forma de la "vista" en el centro del marco.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP . También tanto los archivos como los marcos originales en PNG están disponibles aquí . Recomiendo ver videos y marcos localmente, no desde la página de Google Drive.
Las muestras 4K de tamaño completo en el códec H.265 están aquí (~ 100 MB cada una).

Comparación de centros de cuadros animados: MP4 H.264 , WEBP .
Comencemos con la vista en el centro. Cuadrado rojo: preste atención al comportamiento de dos líneas que se cruzan. Como nosotros (en algunos lugares) estamos tratando con IA, estamos buscando distorsiones no deseadas. Instant 4K hizo cambios bastante fuertes en este cuadrado, por lo que recibe un menos en el karma de mi parte. Todos los demás métodos se comportaron aproximadamente igual, el resultado más claro: con Photoshop. Topacio - en segundo lugar. UpResNet10, desafortunadamente, notó artefactos de compresión y amablemente decidió aumentarlos. Lanczos en realidad no es diferente del aumento habitual.
Cuadrado azul: siga la forma de los círculos, espere el círculo más suave posible. Instant 4K agregó huecos nuevamente y suavizó el círculo, eliminando el hueco en la parte inferior. Sin embargo, esta vez, por esto recibe un plus de mí. Sin embargo, Photoshop tiene el mejor resultado. UpResNet10 mostró demasiados detalles (cuadrícula) sobre el círculo, que pueden ser percibidos como artefactos.

Comparación de texto animado: MP4 H.264 , WEBP .
Pasamos al texto: Lanczos lo puso en negrita, por lo que obtiene un signo menos. UpResNet10 es aficionado a una red nuevamente, y nuevamente se muestra peor que sus competidores. Sobre todo me gustó el texto que produjo Topaz. Sin embargo, es aproximadamente igual a los resultados de otros métodos: ya es cuestión de gustos. Aquellos que están listos para perdonar Instant 4K por "pensar" pueden estar satisfechos con el texto que han publicado, el resto, creo, se dividirá entre Topaz y Photoshop. Este último, para mi gusto, sigue siendo "jabonoso".

Comparación de cuadrícula animada en el mapa: MP4 H.264 , WEBP .
El último punto es la cuadrícula en el mapa. Aquí, todos se mostraron más o menos iguales, con la excepción de dos distinguidos: UpResNet10 y Topaz. Topacio mató un montón de puntos y casi todos los detalles. UpResNet10, por el contrario, resaltó puntos donde antes eran prácticamente invisibles. Personalmente, ambas opciones no me convienen, así que comparto la victoria "por puntos" entre Instant 4K y Photoshop.
En general, Photoshop es el ganador en un mapa estático de gráficos de computadora, Instant 4K ocupa el segundo lugar, UpResNet10 ocupa el tercer lugar (sin embargo, queremos más detalles de 4K y nos los dio, aunque de dudosa calidad). El topacio mató demasiados detalles, mientras que Lanczos es muy poco diferente de la interpolación bilineal.

Nos fijamos en el siguiente cuadro: el centro de la animación con movimiento.

^{Un fotograma de la serie ampliado mediante interpolación bilineal y reducido a 720P para previsualizaciones.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP . También tanto los archivos como los marcos originales en PNG están disponibles aquí .
A primera vista, se espera la imagen: todas las opciones, excepto Lanczos, dieron una imagen más clara. Prestaremos especial atención a los detalles de Topaz, porque ha cambiado la imagen sobre todo. Estudiaremos al actor real, no dibujado, y los detalles de su ropa, así como el texto.

Comparación de actores animados: MP4 H.264 , WEBP .
En cuanto al actor, las diferencias aquí son realmente mínimas: aunque la última vez que UpResNet10 mostró detalles (a veces superfluos) que antes eran difíciles de ver, esta vez solo aumentó la nitidez de la cuadrícula diagonal desde abajo. Las diferencias entre Photoshop, Lanczos e Instant 4K realmente deben analizarse con una lupa, incluso un aumento del 400% no es suficiente para notar las diferencias. En general, Photoshop e Instant 4K produjeron una imagen ligeramente más nítida. Instant 4K está haciendo trabajo de aficionados nuevamente: el cuello de la camisa ha cambiado en el cuadrado rojo del actor. Sin embargo, se nota alguna diferencia real con solo un aumento, excepto para Topaz: el ruido de color alrededor de las bandas ha disminuido, y este es el único programa que tiene un aumento de nitidez en el cuadrado azul.

Comparación de texto animado: MP4 H.264 , WEBP .
Pasamos al texto a continuación: aquí Photoshop cedió a todos los demás métodos de ampliación y produjo una imagen idéntica a Lanczos. UpResNet10 e Instant 4K agregaron nitidez, pero también introdujeron una pequeña "mordaza" en forma de letras. Topacio nuevamente dio la imagen más clara, destacando las letras irregulares (buenas o malas, usted decide) y artefactos de compresión menores. El ruido de color se reduce nuevamente y las letras mayúsculas en la parte superior no se comparan con otros métodos de aumento.

El último fotograma del segmento: un fotograma de la serie con gráficos de computadora superpuestos encima.

^{Un fotograma de la serie ampliado mediante interpolación bilineal y reducido a 720P para previsualizaciones.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP . También tanto los archivos como los marcos originales en PNG están disponibles aquí .

Comparación de caras de actores animados: MP4 H.264 , WEBP .
Consideraremos en aumento solo la cara del actor a la derecha: Topaz agregó nitidez y resaltó muy bien la cuadrícula, como resultado, la cara del actor resultó ser muy clara. Instant 4K y UpResNet10 hicieron lo mismo, pero eliminaron menos desenfoque (desenfoque). Photoshop también cedió ante ellos, adelantando a menos que Lanczos. En general, nadie perdió ningún detalle, y Instant 4K no realizó cambios innecesarios.

En los tres cuadros seleccionados, el ganador para mí fue Topaz. A pesar de un montón de detalles perdidos en el primer cuadro, recuperó los dos últimos. El segundo lugar lo ocupó Instant 4K, para un enfoque más o menos estable en los tres cuadros, a pesar de los cambios menores. El tercero es para UpResNet10. En el primer cuadro mostraba una imagen que no me gustaba, pero en los dos últimos mostraba un buen aumento de nitidez. Photoshop comenzó bien en el primer fotograma, pero en los dos últimos casi no difirió del aumento habitual. Lanczos sin filo casi no es diferente de la interpolación bilineal en los tres cuadros.

Veamos qué dirán MITSU y VMAF:

<sup>El resultado del análisis de MITSU (tamaño completo) , Blur y Noise, más pequeño es mejor.

Resultado del análisis VMAF (tamaño completo) , más grande es mejor.</sup>
MITSU informa que la mayoría de los bluers contienen marcos procesados ​​por Topaz. Sin embargo, todos los demás métodos exclusivos, incluido Lanczos, mostraron una mejora en Blur y cruzaron la línea de 5 puntos, los números a continuación nos indican que el video no tiene demasiado desenfoque. Es decir, todos los métodos exclusivos han mejorado la claridad de la imagen.
En cuanto al ruido, la imagen es lo contrario: el menor ruido en la imagen original, la mayor cantidad en Topaz. En principio, esto es lógico porque:

1. Parte del ruido podría ser clasificado incorrectamente por todos los programas como detalles y "mejorado".
2. MITSU podría reconocer algunos detalles de la imagen como ruido.

En cualquier caso, no noté ningún aumento notable en la cantidad de ruido en la imagen, y todos los valores están por debajo del borde de 3.5 puntos, es decir, según la documentación de MITSU , no tienen ruido visible.
Dado que el ruido en todos los cuadros es mucho más bajo de lo que se nota, juzgaremos por el indicador de desenfoque.
En cuanto a VMAF, aquí todos los gráficos están básicamente en el valor máximo de 100. Sin embargo, en el gráfico VMAF podemos ver reducciones, como por ejemplo, en Instant 4K y Topaz tienen la misma apariencia, solo Topaz cae por debajo. En el medio del gráfico, Instant 4K se reemplaza por UpResNet10, que cae ligeramente con Topaz. Aquí, el último tiene una caída en VMAF a 77, y al final del gráfico para Photoshop este valor cae a 0. Al mismo tiempo, no hay diferencias visibles, artefactos o "fallas" en estos cuadros.
Entonces, los algoritmos distribuyeron los programas de la siguiente manera: en primer lugar UpResNet10, en el segundo - Instant 4K, en el tercero - Photoshop.
El archivo "original" FFV1 MKV 1080P, para aquellos que desean realizar sus propios experimentos o repetir los míos, se puede descargar aquí .
↑ Volver al contenido

4.2 Archivo 2: "Escena 1"

Segundo pasaje: una escena sin gráficos de computadora, detalles de caras y fondos.
Las principales diferencias: detalles de fondo, detalles de la cara, artefactos en ellos.

^{Un fotograma de la serie ampliado mediante interpolación bilineal y reducido a 720P para previsualizaciones.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP . También tanto los archivos como los marcos originales en PNG están disponibles aquí .
Las muestras 4K de tamaño completo en el códec H.265 están aquí (~ 97MB cada una).

Comparación de árboles animados: MP4 H.264 , WEBP .
Primero, considere el fondo, o más bien, los árboles: Instant 4K y UpResNet10 demostraron ser aproximadamente lo mismo, agregando un poco de nitidez, mientras que Photoshop, por el contrario, perdió algunos de los detalles al suavizar la imagen. Además, Instant 4K distorsionó ligeramente los árboles (ver cuadrados rojos). Pero Topaz agregó mucha nitidez e hizo árboles muy claros del fondo del jabón. Lanczos tampoco es diferente de la interpolación bilineal.


^{Un fotograma de la serie ampliado mediante interpolación bilineal y reducido a 720P para previsualizaciones.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP . También tanto los archivos como los marcos originales en PNG están disponibles aquí .
Una comparación animada del actor en el fondo de los árboles: MP4 H.264 , WEBP .
Ahora otra oportunidad: el actor nos enfrenta contra el fondo de los árboles.
Spoiler: no es necesario mirar los árboles, no difieren. Por lo tanto, estudiamos el cristal en la mano del actor y su rostro.

Comparación de caras de actores animados: MP4 H.264 , WEBP .
En el caso de la cara, Instant 4K y UpResNet10 nuevamente mostraron aproximadamente los mismos resultados, y Photoshop nuevamente perdió algunos de los detalles.Topaz agregó estos detalles, aunque no tanto como en el caso de los árboles en el fondo. Esta vez no se encontró la característica de los artefactos instantáneos 4K. Lanczos resultó ser ligeramente más agudo que la interpolación bilineal.

Comparación de vidrio animado: MP4 H.264 , WEBP .
Bueno, en la última comparación, un vaso de vidrio, las principales diferencias se notaron en su parte transparente sin una bebida. Topaz nuevamente agregó más detalles que el resto, Photoshop volvió a desenfocar la imagen (cuadrado azul), y UpResNet10 e Instant 4K nuevamente se comportaron de la misma manera. Repetibilidad completa del resultado.
El ganador en este marco fue sin duda Topaz, agregando detalles sin artefactos (!), UpResNet10 ocupó el segundo lugar, que aunque agregó un poco de nitidez, definitivamente no llegó a Topaz, pero no agregó artefactos, como lo hizo el tercer lugar Instantáneo 4K Photoshop tomó el último, no aumentó, pero redujo los detalles.


^{Un fotograma de la serie ampliado mediante interpolación bilineal y reducido a 720P para previsualizaciones.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP. También tanto los archivos como los marcos originales en PNG están disponibles aquí .
Comparación de caras animadas del segundo actor: MP4 H.264 , WEBP .
El último cuadro del mismo fragmento: el segundo actor.
Todo está claro para nosotros con árboles, fondos y anteojos, así que aquí estudiamos la cara del actor.
Aquí, el resultado corresponde aproximadamente a los cuadros anteriores, con una advertencia muy importante: Topacio pintó algo en la mejilla del actor.que comencé a notar un aumento del 500%, y logré verlo solo al 1000%: una "textura" muy desagradable, que obviamente no debería estar allí. Todos los demás métodos funcionaron aproximadamente de la misma manera, solo Photoshop perdió los detalles nuevamente (pero eliminó el ruido en la camisa blanca). El último lugar para tales presentaciones de aficionados es Topaz, el penúltimo es Photoshop, el resto toma el honorable "primer lugar".

De acuerdo con los resultados de la revisión de los tres cuadros, de mala gana, pero Topaz ocupa el primer lugar. Probablemente, su comportamiento desde el último cuadro puede ser reparado, pero esto te llevará más tiempo y mucho más. Sin embargo, este detalle no es muy visible a una escala del 100%, y se mostró perfectamente en la primera comparación con los árboles, por lo que será un ganador. El segundo lugar es para UpResNet10, para aumentar la claridad sin artefactos, el tercero es para Instant 4K, por lo mismo, pero con artefactos. Photoshop ocupa el último lugar por el deterioro de la claridad de la imagen.

¿Qué pasa con MITSU y VMAF?

<sup>El resultado del análisis de MITSU (tamaño completo) , Blur y Noise, más pequeño es mejor.

Resultado del análisis VMAF (tamaño completo) , más grande es mejor.</sup>
Aquí, todo es casi lo mismo que con el primer video: Topaz tiene menos Blur y tiene más ruido. Aunque el ruido una vez más ni siquiera alcanzó 1 punto, no como 3.5, así que nuevamente prestamos atención al desenfoque, donde todos cruzaron los límites de los 5 puntos permitidos. El topacio mostró una mejora notable aquí, reduciendo Blur casi dos veces, a 6, mientras que el resto está en un montón de 10-12 puntos.
De acuerdo con el gráfico VMAF, no se observan reducciones, excepto que en el gráfico VMAF, Topaz demuestra una no uniformidad de valores significativamente mayor en los cuadros vecinos que otros programas. Le dio el primer lugar a Instant 4K, el segundo a Topaz y el tercero a UpResNet10.
Por lo tanto, Topaz toma el primer lugar, Instant 4K toma el segundo y UpResNet10 toma el tercero.
El archivo "original" FFV1 MKV 1080P, para aquellos que desean realizar sus propios experimentos o repetir los míos, se puede descargar aquí .
↑ Volver al contenido

4.3 Archivo 3: "Fuente 4K"

^{Un fotograma de un archivo ROJO convertido a FFV1 y reducido a 720P para previsualizaciones.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP . También tanto los archivos como los marcos originales en PNG están disponibles aquí .
Las muestras 4K de tamaño completo en el códec H.265 están aquí (~ 49MB cada una).
La tercera comparación se realizará de la siguiente manera: el archivo fuente con una resolución de 3840x2160 en formato R3D se exportó de Adobe Premiere con la misma resolución, pero con una velocidad de fotogramas reducida de 120 FPS a 23.98 FPS.
Después de eso, el archivo FFV1 obtenido se redujo nuevamente, esta vez utilizando la interpolación bilineal, a una resolución de 1920x1080, después de lo cual el archivo resultante se ejecutó a través del programa exclusivo y se comparó con el archivo FFV1 en resolución 4K, es decir, la comparación no fue con la interpolación bilineal, como en tiempos anteriores, pero con la imagen original. El archivo es corto, solo 16 segundos, por lo que compararemos un solo cuadro.
La primera diferencia que llama la atención es el color y el brillo de la imagen. Verifiqué dos veces la configuración para dividir el video en cuadros y luego recopilar estos cuadros en video usando ffmpeg: el resultado es uno: ningún algoritmo pudo mantener los colores y el brillo sin cambios, ni siquiera Lanczos. Sin embargo, el brillo y el color de la imagen en este caso no juegan un papel para nosotros, por lo que veremos la claridad de la imagen, es decir, los detalles del automóvil, las imágenes y los reflejos.

Comparación de coches animados: MP4 H.264 , WEBP .
El 4K instantáneo agudizó ligeramente la imagen completa y dibujó un reflejo oscuro sobre la rueda. Además, todos los otros métodos exclusivos dibujaron esta sombra, lo cual es interesante: solo el 4K instantáneo "pensó" los detalles antes. Quizás los algoritmos descubrieron lo que es poco visible para nosotros: la transición desde el área con reflejo en la carrocería del automóvil. Topaz se esforzó al máximo, eliminando el ruido en toda la imagen (lo que, de hecho, no siempre es bueno, porque a menudo se agrega / se deja ruido intencionalmente) y se resaltan los detalles del automóvil, incluidas las imágenes. Sin embargo, no se puede eliminar tanto desenfoque, por lo que en muchos lugares Topaz dibujó contornos dobles, especialmente en el texto (cuadrado azul). UpResNet10 esta vez decepcionado al aumentar la pixelación de algunas partes del cuadro, probablemente reconociendo incorrectamente el ruido como "características" (cuadrado rojo). Lo que es característicoSe observa un comportamiento similar en Lanczos, que no tiene IA en absoluto. Photoshop hizo un fuerte nivel medio, reduciendo el ruido y sin agregar mucha pixelación.
En esta comparación, el ganador para mí fue una vez más Topaz, Photoshop tomó el segundo lugar, Instant 4K tomó el tercer lugar.

Pasemos a los gráficos: aquí agregamos SSIM y PSNR a los gráficos, ya que tenemos el original en 4K.

<sup>El resultado del análisis de MITSU (tamaño completo) , Blur y Noise, más pequeño es mejor.

Resultado del análisis VMAF (tamaño completo) , más grande es mejor.

Resultado del análisis SSIM (tamaño completo) , más grande es mejor.

Resultado del análisis PSNR (tamaño completo) , más grande es mejor.</sup>

PSNR puso Photoshop primero, SSIM Lanczos y VMAF Topaz. En segundo lugar, PSNR y SSIM se otorgaron a UpResNet10, mientras que VMAF prefirió Instant 4K. En tercer lugar, nuevamente tenemos mucho que hacer, y mientras PSNR coloca a Lanczos en tercer lugar, SSIM le da Instant 4K. VMAF - Photoshop. Al mismo tiempo, VMAF evalúa cada cuadro Topacio en 100 puntos de 100 posibles: lo verifiqué dos veces.
MITSU nuevamente muestra la imagen familiar y nos dice que el ruido en todos los resultados está prácticamente ausente. En cuanto al desenfoque, todo no es tan bueno aquí: la mayoría de los escaladores retenían el desenfoque del original, solo Topaz y UpResNet10 se separaron del grupo, por 4 y 2 puntos, respectivamente. Ambos no pudieron llegar a los 5 codiciados, pero hay un resultado.
De las cuatro métricas, las lecturas de VMAF y MITSU coinciden más con mis impresiones, mientras que PSNR y SSIM prefieren las "matemáticas" de IA. Según los resultados del análisis, es difícil nombrar al ganador con claridad.
El archivo "original" FFV1 MKV 4K, para aquellos que desean realizar sus propios experimentos o repetir los míos, se puede descargar aquí .
↑ Volver al contenido

4.4 Archivo 4: "Youtube"

^{Un fotograma de un video de Youtube, ampliado mediante interpolación bilineal, y reducido a 720P para vistas previas.}
Video de Youtube, de principio a fin. La calidad inicial es 720P, se ha añadido animación dibujada a mano, además de sacudidas de la cámara. La calidad es aceptable, pero deja mucho que desear, especialmente en un monitor 4K.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP . También tanto los archivos como los marcos originales en PNG están disponibles aquí .
Las muestras 4K de tamaño completo en el códec H.265 están aquí(~ 265MB cada uno).

En la primera comparación, el contraste del marco emitido por Instant 4K es sorprendente: difiere tanto en color como en brillo. Exporté este video varias veces desde varias versiones de Adobe Premiere y verifiqué el color: Instant 4K insistió en cambiar el color en cualquier configuración. El resultado final es de la versión 2019 con Display Color Management habilitado.

Comparación de caras animadas: MP4 H.264 , WEBP .
Sin un aumento, la diferencia es notable excepto en Instant 4K y Topaz, así que echemos un vistazo más de cerca a la cara.
Lanczos no mostró ninguna mejora, UpResNet10, curiosamente, también. Photoshop redujo el efecto de bloqueo de la imagen, que apareció en el original debido a demasiada compresión, sin perder ningún detalle. Para la animación, este método es bastante aceptable, eliminamos artefactos sin aumentar la nitidez, en general, la imagen se vuelve más agradable. Instant 4K aumentó la cantidad de artefactos y cambió los colores, también hay un ligero aumento en la nitidez, que se compensa con la aparición de aún más artefactos. Topacio, por otro lado, demostró exactamente lo que me gustaría ver de todos los demás métodos: los artefactos desaparecieron casi por completo, al igual que el efecto de bloqueo, y la nitidez no se puede comparar con el método original ni con ningún otro método exclusivo. El ganador, por supuesto, es Topaz, el segundo lugar es para Phtoshop,el tercero lo comparten UpResNet10 y Lanczos, porque al menos no han agregado nuevos artefactos, a diferencia de Instant 4K.


^{Un fotograma de un video de Youtube, ampliado mediante interpolación bilineal, y reducido a 720P para vistas previas.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP . También tanto los archivos como los marcos originales en PNG están disponibles aquí .

Pasamos al segundo cuadro: aquí tenemos muchos gradientes con artefactos, así como detalles faciales, nuevamente.
Será interesante ver cómo todos los métodos de primer nivel resolvieron los artefactos en los gradientes, así como buscar cambios no deseados. En cuanto a los artefactos en el gradiente de la izquierda (cuadrado azul), solo Topaz e Instant 4K llamaron la atención sobre ellos. Mientras que el primero eliminó estos bloques casi por completo, Instant 4K nuevamente falló, cambiando los colores y haciendo que los artefactos sean más notables que con Topaz. Por supuesto, el resultado todavía no se puede comparar con el resto: allí, estos bloques florecen y huelen.

Comparación de caras animadas: MP4 H.264 , WEBP .
En el original, nuevamente tenemos una mancha de macrobloques, y esperamos el mismo resultado que en el último fotograma. Instant 4K ajustó ligeramente las transiciones entre los bloques y los hizo más suaves, mientras que Photoshop tuvo peor resultado, a diferencia de la primera comparación. Sin embargo, la imagen después de procesar Photoshop todavía se volvió un poco más agradable. UpResNet10, desafortunadamente, nuevamente golpeó la tierra en la cara y no mejoró lo que está sucediendo en la pantalla, casi no difiere de Lanczos. Pero Topaz una vez más agregó claridad, eliminó artefactos y no agregó otros nuevos.
El ganador aquí nuevamente es Topaz, el segundo lugar es para Instant 4K (ya me he reconciliado con el cambio de color), el tercero es Photoshop.


^{Un fotograma de un video de Youtube, ampliado mediante interpolación bilineal, y reducido a 720P para vistas previas.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , resultados Waifu2x con perfil UpResNet10 y original.
Comparación animada: MP4 H.264 , WEBP . También tanto los archivos como los marcos originales en PNG están disponibles aquí .

El tercer y último cuadro: aquí seleccioné específicamente un cuadro más oscuro para ver cómo funcionarán todos los programas con artefactos en áreas oscuras.

En primer lugar, quiero llamar la atención sobre el cuadrado verde: esperamos que todos los escaladores reduzcan el bloqueo en este lugar. Desafortunadamente, nuestras silenciosas Topaz cumplieron nuestras expectativas, mientras que el resto, incluido Photoshop, no hizo que los artefactos fueran menos visibles. Instant 4K nuevamente se dispara en el pie, aumentando el brillo de la imagen y estirando incluso aquellos artefactos que simplemente no vimos antes. Quiero señalar que tampoco me gustó mucho el resultado de Topaz en este cuadro, creo que manchó demasiado los gradientes. Sin embargo, para esto eliminó casi todos los defectos visibles, por lo que simplemente no había nadie con quien compararlo; todos los demás, como dije, prácticamente no los afectaron.

Comparación de ropa animada: MP4 H.264 , WEBP .
Como ya hemos visto suficientes caras, consideraremos detalles más grandes de la ropa: aquí estamos presenciando un verdadero desfile de macrobloques, especialmente en gradientes. Desafortunadamente, una vez más, ninguno de los escaladores mejoró la imagen, con la excepción de Topaz, que suavizó todos los gradientes y eliminó casi por completo el bloqueo, por lo que ocupa el primer lugar en el análisis de este marco. Lamentablemente, no hay nadie para asignar el segundo y tercer lugar para esta toma.

Sorprendentemente, waifu2x, aparentemente agudizado por el aumento en el anime y los dibujos, fue completamente incapaz de darse cuenta de su ventaja. Fue una sorpresa para mí.

Compare mis impresiones con los resultados del análisis VMAF y MITSU, comenzando por el primero:

<sup>los resultados del análisis de MITSU (tamaño completo) , Blur y Noise, más pequeño es mejor.

Resultado del análisis VMAF (tamaño completo) , más grande es mejor.</sup>
VMAF organizó todos los métodos exclusivos en casi lo contrario de mi pedido, en primer lugar Lanczos, en último lugar: Topaz. Todos tienen reducciones frecuentes en la calidad, Topaz cae por debajo de todo en la métrica VMAF, y en las reducciones más largas, todos los demás se ponen detrás de él, excepto Lanczos. Sin embargo, no vi nada inusual en estos marcos.
Bueno, MISTU demuestra una vez más una gran brecha entre Topaz y el resto según la métrica de Blur, así como un ligero aumento en el ruido. Según MITSU, absolutamente todos los métodos exclusivos aclararon la imagen, e Instant 4K incluso redujo la cantidad de ruido invisible para nosotros.
Por lo tanto, el primer lugar está ocupado por Instant 4K, el segundo - UpResNet10, el tercero - Topaz.
Esta vez no estoy de acuerdo con VMAF.

El archivo "original" FFV1 MKV 720P, para aquellos que desean realizar sus propios experimentos o repetir los míos, se puede descargar aquí .
↑ Volver al contenido

5. Análisis de los resultados.

Para determinar el ganador, utilizaré los resultados de la métrica VMAF y las conclusiones subjetivas sobre cada archivo. Simplemente agrego la métrica VMAF usando el promedio de cada archivo. En cuanto a la evaluación subjetiva, aquí analizaré mis conclusiones sobre cada archivo, y daré para cada archivo el primer lugar es 3 puntos, el segundo lugar - 2 y el tercero - 1. Después de lo cual agrego estos puntos y los coloco verticalmente en el gráfico.


^{El resultado de agregar VMAF y análisis subjetivo (tamaño completo) , más grande es mejor.}

Según la métrica de VMAF, Instant 4K resultó ser el ganador, separándose de Topaz, que terminó en segundo lugar, por solo 0.58 puntos. Según el análisis subjetivo, por otro lado, la distancia entre el primer y el segundo lugar es mucho mayor: Topaz ocupó el primer lugar, separándose del Intsant 4K que ocupó el segundo lugar por 8 puntos, obtuvo 3 veces más puntos.

El ganador de mi comparación es Topaz, el segundo lugar es para Instant 4K y el tercero para UpResNet10.

Sin embargo, la comparación no estaría completa sin comparar la velocidad de los programas y mis comentarios sobre su trabajo. Comencemos con el primero: el

^{tiempo dedicado al procesamiento y los volúmenes de los archivos recibidos (tamaño completo) El}

mayor detalle de Topaz afecta incluso el tamaño de los archivos, y de manera significativa. Como regla general, los archivos Topaz son 2 veces "más pesados" que los archivos de otros escaladores y 4 veces "más pesados" que los archivos originales, ampliados por interpolación bilineal. La única excepción es el archivo "4K Source", donde la diferencia era inferior al 30%.

En cuanto a la velocidad de los programas, todos, excepto Topaz y Photoshop, funcionan a una velocidad muy razonable. Sin embargo, ¿aceptable para qué?
¿Qué sucede si queremos ampliar una película a través de Topaz, con una duración de 2 horas, a una velocidad de fotogramas de 25 fotogramas por segundo? Mi computadora tardará 421 horas o 17 días y medio de funcionamiento continuo. ¿Qué tal una serie de 40 minutos? 6 dias

Sí, la imagen con el mismo waifu2x es algo diferente: 2 días para la película, 16 horas para la serie. ¿Crees que el resultado mostrado por waifu2x vale dos días de representación continua? Propongo responder esta pregunta a todos independientemente.

Hace un mes, para video exclusivo, utilicé única y exclusivamente Instant 4K, para imágenes (logotipos, a veces fotos) waifu2x. El resultado demostrado por Topaz me obligó a agregarlo a mi colección de programas exclusivos, al menos para ampliar imágenes. A menudo agrando clips cortos con una duración de menos de 10 segundos, además, amplía perfectamente las imágenes, tanto dibujos como fotografías.

Volviendo al tema de las películas, en el caso de Topaz, solo veo una forma de resolver el problema: la distribución de cuadros para el procesamiento en varias máquinas.

^{Topaz AI puede correr más rápido. ¿Cuál es el truco?}
La desactivación de "modelos AI de alta calidad" reduce el tiempo de procesamiento de una película teórica en 4 días, a costa de reducir la precisión del procesamiento del color. Quizás te interese saber queEn el foro Topaz, muchos consideran que este modelo "lite" es de mayor calidad. Los marcos PNG y las comparaciones animadas se pueden ver aquí .

Instant 4K funciona a una buena velocidad y demuestra un resultado maravilloso (mejor que otros métodos, excepto Topaz, y al mismo tiempo más rápido y también más conveniente).

Lanczos , como se esperaba, no tiene sentido sin un filtro de enfoque adicional para el enfoque.

Photoshop definitivamente no vale la pena el tiempo que tomó, al menos con la configuración que utilicé. Quizás si usa JPEG y reemplaza todos los discos con un SSD, puede lograr un aumento significativo en la velocidad de procesamiento.

UpResNet10En general, reproduce Instant 4K. Pero si no está de acuerdo con su iniciativa, puede intentar reemplazar Instant 4K con UpResNet10. Personalmente, no encuentro los artefactos instantáneos 4K tan notables. Por otro lado, usar Instant 4K para ampliar imágenes es al menos extraño, y generalmente no es conveniente. Por lo tanto, es posible reemplazar waifu2x con un editor de video, pero no es necesario.

¿Se puede llamar universal a alguno de los métodos exclusivos? Quizás si. Creo que Topaz configurado correctamente puede producir una imagen consistentemente mejor que otros métodos exclusivos. Pero no hay barril de miel sin una mosca en la pomada, no debemos olvidarnos del rendimiento de Topaz.
↑ Volver al contenido

6. Un principiante que quiere probar programas de alto nivel en la práctica.

... Primero puedo recomendar Instant 4K como el más fácil de usar.

Simplemente ejecute el programa, importe su archivo en él, cree una secuencia de "Secuencia de Clip", vaya a su configuración (Configuración de secuencia) y cambie la resolución a lo que desea. Después de eso, arrastre el efecto Instant 4K a su pista de video, ajuste la resolución y los parámetros adicionales, y puede comenzar a exportar.

Desafortunadamente, para usar este programa, necesita comprar o encontrar Adobe Premiere, así como el complemento en sí. Comprar todo esto es una inversión muy seria, y no puedo recomendar buscar programas "curados" en Internet.


^{Adobe Premiere insatisfecho con mi gusto}
Quiero llamar su atención sobre el hecho de que Premiere no funciona con todos los formatos de video, y una parte considerable de las películas de Internet jurará una buena obscenidad. Para este caso, solo puedo recomendar convertir la película a algo así como ProRes usando ffmpeg:

 ffmpeg -hide_banner -probesize 1000M -i file.mkv -pix_fmt yuv420p -c:v prores_ks -c:a aac -b:a 128k file.mov 

El siguiente en la línea será waifu2x : distribuya el video en cuadros utilizando el archivo BAT de la sección "Preparación del material para la prueba" , abra la carpeta en waifu2x, seleccione los parámetros (aumentar a resolución, reducción de ruido) y comience a exportar. Al final, solo necesitará llevar los cuadros y el sonido a un video terminado. Es posible que tenga algunos problemas con la configuración, como ya escribí, personalmente tuve que buscar cuDNN, además, waifu2x requiere una tarjeta de video bastante potente.

Si por alguna razón no puede configurar waifu2x, o no tiene suficiente potencia de GPU, consulte Photoshop . En este artículo hay una buena instrucciones suficientes para su uso.

Si está satisfecho con los experimentos con imágenes, o si tiene mucho tiempo extra, use la versión de prueba de Topaz : funcionará con todas las funciones durante 30 días. Solo tiene tiempo para aumentar su película favorita antes del final del período de prueba (pero esto no es exacto). Los requisitos para una potente tarjeta gráfica waifu2x se aplican aquí. Además, cuando usa Topaz o waifu2x, puede tener problemas para trabajar con otros programas, incluso los más simples, ya que ambos programas se esfuerzan por ocupar la GPU en un 100%, haciendo que la interfaz del resto sea muy lenta. El principio de funcionamiento es el mismo que con waifu2x.

En los últimos tres casos, le recomiendo que separe la pista de audio del archivo de video original con anticipación, de cualquier manera que sea conveniente para usted. Si este es un video simple de Youtube o una película con una sola pista, bueno, el archivo BAT de una sola línea más simple funcionará. Si tiene “suerte” de experimentar con una película con pistas 5.1 y varias traducciones, entonces estos casos van mucho más allá del alcance de este artículo. Pero el que busca siempre encontrará.


Después de recibir el audio en un archivo y al final del procesamiento de cuadros con el escalador, debe reducir el sonido y el video en un solo archivo.


El resto debe estudiar los parámetros y configuraciones de H.265 (tamaño más pequeño y mayor calidad) y H.264 (más rápido).
Se pueden encontrar más opciones de script para FFMPEG en este artículo exclusivo.
↑ Volver al contenido

7. Planifique el próximo artículo y preguntas para los lectores.

En el próximo artículo, planeo agregar pruebas interactivas para pruebas subjetivas, para que los lectores evalúen directamente ciertos métodos exclusivos, para esto voy a usar la herramienta de medición de calidad de video de MSU . Pero tendré que entender si puedo usar libremente H.265 y comprimir archivos con más fuerza, o si tendré que usar H.264. Realice la encuesta a continuación y observe si su PC puede reproducir H.265 sin pérdida de cuadros ("rezagos").
Además, planeo considerar el modelo de red neuronal convolucional de superresolución (SRCNN) y el modelo de red neuronal convolucional subpíxel eficiente (ESPCN).

• Lanczos, sharpening. ? ? , Lanczos , , sinc?
• waifu2x ? CUnet? Y? , ?
• Photoshop?
• «, » Topaz, «, »?
• , ?
• MITSU? , , Noise Blockiness?

↑