Comparación de códec mágico callejero. Revelar secretos

Este año marca el aniversario: 16 años desde que se lanzó el sitio web compress.ru, donde el autor y sus colaboradores organizan comparaciones de códecs de video y codificadores de imágenes. Durante este tiempo, se realizaron docenas de comparaciones con informes de 23 a 550 páginas , el número de gráficos en la última comparación excedió de 7000, y el número de diferentes casos encantadores durante este tiempo finalmente excedió todos los límites razonables. Dado que la próxima fecha de la ronda (32 años) llegará pronto, existe el deseo de contar un poco de encanto en honor del aniversario.

Si hablamos de códecs, no es ningún secreto que la mayoría de las comparaciones y gráficos que ve el público más respetado son productos del departamento de marketing. En el mejor de los casos, los ingenieros realizaron los gráficos de manera competente, y el marketing solo dio el visto bueno para su publicación. En el peor de los casos, los ingenieros no participaron en su preparación en absoluto. ¡Por qué perder el tiempo con estas personas ocupadas!

Al mismo tiempo, el tema de la compresión es muy popular. En la serie Silicon Valley, la startup del protagonista desarrolló un algoritmo ingenioso que en el último episodio de la primera temporada mostró una increíble compresión de video en 3D y, como resultado, ahora millones de startups (e inversores) en el mundo saben que lo principal es tener un coeficiente Weissman más grande y más Hay que encontrar el genio, y el resto es una mierda. ¡El milagro será! Esto, naturalmente, aumenta la expectativa de milagros y, por supuesto (¡por supuesto!) ¡Estos milagros son demostrados con alegría por las empresas! Incluyendo el uso de los últimos logros de la magia de la calle.

DESCARGO DE RESPONSABILIDAD: Cualquier coincidencia de los nombres de las compañías a continuación con nombres reales es absolutamente aleatoria.

¡Siéntate! Prometemos que al final de la historia podrás mostrar esos trucos tú mismo y, sin embargo, revelar muchos de ellos. Vamos!

Nivel 1, trucos para principiantes

Comencemos con el más simple, porque, curiosamente, estos métodos se implementan en un Silicon Valley moderno (¡no en serie, sino real!).

Entonces, el público más respetado, ¡comienzan los trucos con una demostración de compresión súper fuerte!



Seguramente, muchos han visto comparaciones dinámicas similares con gatos discretos basados ​​en JS en las páginas. Si se compara la compresión, entonces es razonable que la calidad sea lo más igual posible (idealmente la misma), y a la derecha se comprimiría 2 veces mejor, por ejemplo.

Apenas dicho que hecho!

La compañía afirma una compresión 30% mejor (¡todas las coincidencias son aleatorias!). ¡Y las imágenes se ven exactamente iguales! Incluso un aspecto profesionalmente entrenado no encuentra diferencias. Hay un deseo de mirar con más detalle. ¡Subimos al código de la página y vemos que el control deslizante para la primera y la segunda imagen toma datos de un archivo! Obtenemos ventajas de varias maneras a la vez: en primer lugar, el mejor resultado se demuestra idealmente, en segundo lugar, el ingeniero no se distrajo del trabajo y, finalmente, este lugar en la página del sitio se carga el doble de rápido. Beneficio sólido !!!

El caso, no lo creas, es real. ¡Ahora ya sabes dónde mirar!

En otro lugar, también un control deslizante y nuevamente un resultado maravilloso. Analizamos el código del control deslizante: se cargan diferentes archivos. Enseñado por una experiencia amarga, descárguelos: no solo tienen un byte del mismo tamaño, ¡coinciden poco a poco! En general, todas las ventajas del método anterior, pero el enfoque es un poco más complicado, aunque debido a la desaceleración en la carga de la página (hay que pagar por todo ...). Y, lo más importante, no necesita atraer especialistas caros en compresión.

Sin embargo, los vendedores más avanzados en este nivel van aún más lejos. El control deslizante se presenta, se ve, las imágenes son diferentes, pero la calidad es muy similar. Bueno ok Más más! Se demuestra una apertura fantástica: incluso hay enlaces a archivos de video. La descarga es una muy buena ventaja de su método, ni siquiera está claro cómo lo hicieron. Resulta útil que aquí todos seamos hackers completamente rusos (ya somos una marca en el oeste). Observamos el flujo de bits y vemos una imagen maravillosa:


Es decir, incluso muchos expertos, si no cavan en profundidad y verifican dos veces, confirmarán que, de hecho, las personas tienen un resultado excelente que es aproximadamente el doble del tamaño del líder actual con una calidad comparable. No creerá que tales métodos se usan solos e incluso en algunos casos le permitirán obtener decenas de millones de dólares de inversión.

Recuerdo una reunión con una startup rusa hace 6 años. Su director dijo desde la puerta: “Debes hacer lo mejor que podamos con nosotros. Tenemos inversores de Severstal y, en todo caso, vendrán a ti los muchachos afeitados deportivos con soldadores ”. Como saben, en condiciones tan duras, la calidad del trabajo de investigación aumenta mágicamente y disminuye el número de trucos de diferentes niveles ... Al trabajar con estos casos en nuestra tierra natal de elefantes, existe una irresistible sensación de lástima por los inversores occidentales. Es cierto que no todos nuestros inversores son tan específicos y sus magos también están en nuestros palestinos. Y regularmente Pero al respecto en otra ocasión ...

Nivel 7 de resonancia

Esta historia no trata sobre un códec de video, sino sobre la compresión de imágenes, pero había mucho de acuerdo con todas las leyes del género de los "trucos honestos".

De alguna manera, una compañía bastante conocida, M, decidió que necesitaban agregar Windows Media Photo (WMP) a sus formatos de Windows Media Video (WMV) y Windows Media Audio (WMA). Limpio para el kit, como entiendes.

Joven en la galería! Bueno, no grites tan fuerte, ¡no te amaneció solo! Máximo de personas cultas (mira la primera fila) - sonrió a sabiendas con bigote ...

Apenas dicho que hecho!

Luego, controle cuidadosamente las manos:


Es decir WMP tiene más detalles que JPEG y JPEG 2000 en el mismo nivel de compresión (JPEG y JPEG 2000 se igualan suavemente y el nivel se establece 24 veces), y en el siguiente párrafo :


Es decir por lo general solo se aprieta 6 veces, y era 24. ¡Vaya, huele tres veces! En general, estamos mejor 2 veces a ciencia cierta. Los medios transmitieron las buenas noticias a las masas (algunos escribieron que era 2 veces mejor que JPEG 2000), incluso en Habré repitieron esta noticia .

Un poco más tarde, apareció una tabla de esta presentación:




La ventaja sobre JPEG 2000 era pequeña, a pesar de que obviamente seleccionaron la mejor imagen con un niño maravilloso y delfines. Esperamos jugar con este codificador. Después de unos seis meses, se presentó la utilidad para la compresión.

En ese momento, teníamos hace apenas un año una comparación de 9 implementaciones de JPEG 2000

Si, si, si! Como no todos los yogures son igualmente útiles, no todas las implementaciones del estándar son igualmente buenas. El estándar estipula solo un flujo de bits, que se puede poner en los datos (y, por cierto, ¡sacarlos!) De maneras muy diferentes, esto crea un mercado de códecs separado con su feroz competencia por una buena docena de parámetros. Una gente sencilla, por regla general, no sabe esto, lo que le permite andar sobre sus orejas con impunidad prácticamente en una excavadora ("¡Nuestro DVR admite el último H.265 / HEVC, nadie más lo tiene!"). Y nadie (¡nadie!) Es MUY probable de una configuración.

Con mucho gusto insertamos 3 líneas para WMP en el informe anterior. Resultó de alguna manera así:

Se puede ver que las líneas de las implementaciones de JPEG 2000 están bastante llenas y el azul intenso (la mejor implementación de WMP) tiene resultados intermedios, es decir. JPEG 2000 PLAYS. Si toma JASPER como cero y muestra todo verticalmente en relación con él, puede ver que WMP con el peor parámetro pierde casi todo excepto los dos últimos (uno de ellos es KDU, recuerde esto), y con el mejor está en algún lugar centrado, perdiendo a muchas implementaciones:

Dado que la comparación se publicó públicamente y causó revuelo en círculos estrechos, el desarrollador incluso la respondió en el blog oficial . La nota fue cortés: fue alabado, criticado, y luego, si lees el texto, el hombre admitió francamente que usaron la peor implementación de JPEG 2000 de nuestra comparación (publicada seis meses antes) en su comparación, aunque "completamente por accidente". Por supuesto, les creeremos. Una empresa respetada y todo eso.

Además, el nombre de la tecnología se cambió de WMP a HD Photo, sin embargo, el siguiente veredicto permaneció en la red:

Como una cereza en un pastel. Nuestros colegas fueron más allá: tomaron más fotos y mostraron que HD Photo no solo reproduce JPEG 2000, sino también una buena implementación de JPEG ( en 7 casos de 14 ). Y pierde específicamente. Hay razones para creer que recogieron las imágenes, pero francamente enterraron HDPhoto, porque quién necesita un formato que en la mitad del tiempo reproduzca el antiguo JPEG, no está claro:


Secretos totales de este truco:

• Tomamos la peor implementación del principal competidor, compárela con ella.
  
• Creamos una publicidad exagerada (al estilo de "hemos superado a todos").
  
• Cuando la exageración se desvanece en el fondo, lanzamos y esperamos que nadie verifique lo que realmente estaba allí.
  

Niños! ¡Nunca hagas esto y no engañes a los demás! Su empresa puede perder millones de dólares y la confianza de especialistas.

Nivel 10, fresco! ¡Con redes neuronales!

En general, hay muchos de estos casos. Incluso en Rusia, me encuentro con situaciones similares un par de veces al año (la información nos llega a nosotros, como a los propietarios de compress.ru). Los inversores en Occidente se crían aproximadamente una vez al mes. Y ahora, China también se ha conectado a este entretenimiento. El poder de las computadoras está creciendo, la complejidad y las capacidades de los algoritmos también. Comprender esto se está volviendo más difícil. Como resultado, la diversión violenta continúa.

Recientemente, las redes neuronales se han vuelto muy populares. Absolutamente todo lo que tocan mágicamente mejora. ¿Pero no los aplica a la compresión de video?

Apenas dicho que hecho!

En noviembre pasado, otra buena noticia del Wall Street Journal dio la vuelta al mundo. ¡Creé un códec de video basado en aprendizaje automático que destrozó a todos! Aquí está la prueba:

En general, personalmente soy extremadamente escéptico sobre todas las noticias con la mención de las redes neuronales. Y te aconsejo (ESPECIALMENTE si eres un inversor). Las redes neuronales están dispuestas de tal manera que seleccionando correctamente una muestra de entrenamiento para una prueba, uno puede mostrar cualquier resultado deseado (¡para el aburrido - CUALQUIERA!). Las redes neuronales son una herramienta ideal para lanzar una corriente de maravillas de marketing. ¡Uno es más maravilloso que el otro!

En general, hay un horario, hay fotos. De acuerdo, convincentemente. Especialmente para los escépticos, los caballeros trajeron algunos gráficos más en conjuntos de pruebas conocidos:


Sin embargo, si el gráfico anterior con imágenes para mí personalmente era explicable de alguna manera (siempre es posible enfocar un video e incluso con redes neuronales profundas), entonces estos dos gráficos me hicieron estar muy alerta.

¿No te molesta nada en ellos?

Incluso traen la base debajo de él, como los códecs clásicos que descansan en el límite y no se están desarrollando particularmente (y aquí van al escenario, todos en blanco). Y sabes, ¡una mentira tan descarada funciona muy bien! Y bueno, "The Wall Street Journal" - ellos (me gustaría creer) solo entienden las finanzas, está bien "MIT Technology Review" - estos caballeros toman la palabra de caballeros de Silicon Valley, pero un recurso tan respetado como Habr tomó las noticias sin crítica - ¡Lo lograré! ¿Qué puedo decir sobre la reimpresión masiva de las noticias ...

En realidad, la imagen del desarrollo de códecs, afortunadamente, es notablemente diferente. Primero, en el gráfico a continuación, que creamos en el mismo conjunto de videos xiph, podemos ver que H.265 es 25-31% mejor que H.264. Es decir ¡10 años de desarrollo de códecs todavía no fueron en vano! ( Uff, se alivió desde el corazón ... ) En segundo lugar, el nuevo AV1 muestra una mejora casi doble en comparación con H.264, y el paso de su ventaja, francamente, es muy notable:


En consecuencia, uno puede ver a simple vista que si superpone el gráfico AV1 un 45% a la izquierda de H.264 en el gráfico de los autores, cubrirá el nuevo códec como ... [cortado por censura]. Cubre bien, en resumen. Por lo tanto, "olvidaron" compararlo con él. La alineación real se parece a esto (mucho menos concurrida, de acuerdo):

Para que quede claro: los códecs tienen preajustes estándar que le permiten variar la velocidad dentro de un rango considerable (a menudo decenas de veces), pero al mismo tiempo logran una mayor compresión con la misma calidad (a menudo más de 2 veces). En x265 (una muy buena implementación de código abierto del estándar HEVC ) se denominan: ultrarrápido, superrápido, muy rápido, más rápido, más rápido, medio, lento, más lento, muy lento, placebo. Si tomamos un medio para 1, entonces en velocidad y tamaño de archivo con la misma calidad, se pueden ubicar para un archivo en particular, por ejemplo, como en el gráfico a continuación. Podemos decir que relativamente medio, puede hacer que el archivo sea un 40% más grande o más pequeño, variando la velocidad en 10 veces:
Tenga en cuenta que para algunos videos, las opciones estándar no necesariamente son monótonas (en este caso, en calidad). Además, a veces las opciones "no estándar" pueden dar una gran ganancia de tamaño , en particular, usando el ejemplo anterior, habiendo perdido un 20% en velocidad en comparación con el medio, puede jugar un 30% de tamaño, casi como cuando se cambia al siguiente nivel estándar, pero con la baja complejidad previa decodificador Pero este ya es un nivel más complejo, al respecto en otra ocasión.

Como puede ver fácilmente arriba, los caballeros han tomado la comparación "más lenta". ¡Es bueno que no sea "muy rápido", porque podrías tenerlo! ) Y no importa que su códec en sí sea encantadoramente lento. En su mayor parte, las personas que miran un gráfico no recuerdan que la velocidad del códec puede diferir en un par de órdenes dependiendo de los parámetros. Por lo tanto, esta técnica rueda completamente. Aunque en nuestro cuadro anterior ("Velocidad de bits / calidad ...") su conjunto de líneas estaba en el área roja (que es lo peor). Al mismo tiempo, justificando pisotear en el acto en el desarrollo de códecs. Si si

Hay manipulaciones más sutiles, por ejemplo, los caballeros escriben: "Para eliminar cuadros B, usamos H.264 / 5 con la opción bframes = 0, VP9 con -auto-alt-ref 0 -lag-in-frames 0, y use el perfil HM encoder lowdelay P main.cfg ". Es decir, no pudieron vencer a los códecs habituales en una competencia justa y eligieron el modo de baja latencia y baja latencia, que generalmente se usa en tiempo real, por ejemplo, para videoconferencias. Los resultados del códec en él son peores, por supuesto. Al mismo tiempo, su decodificador (silencioso sobre el codificador) funciona 2 segundos por fotograma, es decir, ni siquiera se puede hablar de baja latencia. Pero un pequeño porcentaje jugó.

Estos no son todos los trucos que fueron utilizados por las startups de caballeros, pero la imagen ya está clara.

Está claro que para que el enfoque se vea creíble, se necesitan toques adicionales que den realismo. Por ejemplo, estos caballeros publicaron un artículo en https://arxiv.org/abs/1811.06981 . Hoy en día, el desarrollo de algoritmos es tan rápido que resulta insoportable esperar hasta que se publique un artículo en una revista, razón por la cual muchos autores importantes publican los resultados primero en arxiv.org. Para los magos callejeros, este sitio es conveniente ya que puede colocar absolutamente cualquier material allí; a diferencia de las revistas y conferencias revisadas por pares, nadie hará preguntas desagradables y cortará la publicación (no hay asesinatos que revisen lugares serios). Pero el público en general no sabe sobre el hecho de que, por ejemplo, el 1 de abril, era costumbre publicar varias parodias de artículos científicos en arxiv.org, incluido ridiculizarlo como un sitio de publicación, por lo que para el público en general la publicación parece ser incluso sólida.

Adelante Un artículo sobre ellos se llamaba " El primer códec de video en aprendizaje automático ha superado drásticamente todos los códecs existentes, incluidos H.265 y VP9". Otra broma es que el aprendizaje automático en compresión no solo se explora activamente, a qué pistas de conferencia individuales ya están dedicadas (es decir, hay muchos artículos ), sino que también se usa activamente , por ejemplo, en AV1 (proporciono específicamente una solicitud de Google). Pero, si dijeron honestamente: "Lanzamos el segundo códec usando aprendizaje automático, mientras perdimos el primero en velocidad y compresión", el Wall Street Journal podría no haber escrito sobre ellos ... Y MIT TechReview no habría escrito ... e incluso Habr ... Obviamente, al no haber soportado esto último, la compañía ajustó ligeramente el tono. Al mismo tiempo, una característica de Internet moderna es que las personas no verifican la información, lo que permite a muchos proclamarse los primeros a muchos (comenzando con compañías conocidas). ¡La insolencia, como sabes, toma la ciudad! Una verificación de hechos no está de moda.

- ¡En Google!
- ¿Así es como es?
[solicitud de ejemplo dada arriba)))]

Y también sobre ML / DL. En el pasado distante, cuando los disquetes eran grandes y los discos duros pequeños, uno de los métodos de "magia callejera para archivadores" era guardar una parte del archivo comprimido en algún lugar lejano en un directorio con archivos temporales y así mostrar un registro. Desde entonces, los tiempos han cambiado. Los Winchesters han crecido, los disquetes han desaparecido por completo y se ha puesto de moda ocultar datos en varios cientos de megabytes de coeficientes de cuadrícula. Puede guardar la "marca de derechos de autor" en la cuadrícula, puede guardar el huevo de pascua o puede establecer un registro de compresión falso. Redes neuronales profundas: ¡definitivamente potencia, en resumen!

Resumiendo este camino hacia el éxito:

• Ignoramos al líder moderno como si no existiera en absoluto.
  
• Formulamos cuidadosamente todo para que se lea como si fuéramos los primeros en usar alguna tecnología nueva (e incluso si el líder hizo lo primero, nadie lo comprobará).
  
• Para los estándares 5– y hace 15 años, apagamos las manijas para que funcionen peor que nosotros.
  
• — , , .
  
• «The Wall Street Journal» …
  

… ( !)… ! … … ! ! ...

-!

Como prometí anteriormente, al final de este texto puedes brillar fácilmente en el escenario del pikabu condicional.

Ahora, oh público más respetado, te mostraré un truco que te permite comparar cualquier cosa con cualquier resultado predeterminado. Es decir si desea que el códec A sea mejor que el códec B, lo mostraremos, si desea que B sea mejor que A, bueno, podemos mostrarlo. ¡Cumpliremos cualquier capricho del departamento de marketing por su dinero gratis!

Veamos cómo presionan estos códecs. Como dicen: no confíes en nadie, compruébalo tú mismo. Y luego, tal vez la verdad es que estos estándares no se desarrollan y simplemente nos engañamos, forzando en vano a pagar el dinero ganado por el exceso de trabajo;

Tome el "Avatar" en formato 480p24 y comprímalo con el códec x264 con la configuración "-preset superfast -x264-params" nal-hrd = cbr "-b: v 1M -minrate 1M -maxrate 1M -bufsize 2M y el códec xvid con ajustes "-preset superfast -b: v 1M -minrate 1M -maxrate 1M -bufsize 2M" (dos muy buenas implementaciones de código abierto de los estándares H.264 y MPEG-4). Más adelante se explicará por qué se toman estos códecs y configuraciones.

Tenemos dos archivos de casi el mismo tamaño:
avatar_x264_cbr1M_superfast.mkv - 1402 MB
avatar_xvid_cbr1M_superfast.mkv - 1401 MB ¡

Y ahora, damas y caballeros! Mira tus manos con cuidado !!!

Miramos, aquí está el nuevo estándar y el viejo:


Miramos otro marco: ¡

Sin comentarios! Pero, ¿y si el movimiento rápido?


De acuerdo! ¡El progreso es claro e inexorable! ¡Todo se está desarrollando y cada vez mejor! ¡Y la vida es más bella y más divertida!

Aunque ...



Dios, ¿qué es esto? El nuevo estándar se ha fusionado por completo ...



¡ Ahhh ! Gente! Saber! ¡Las corporaciones te están engañando! Los códecs no se han desarrollado durante mucho tiempo, ¡pero te dicen que todo va bien!



Ves ¡Todo lo que aprendieron en 10 años es erosionar el bloqueo! ¡Y lo hacen simplemente asqueroso! ¡Se puso peor de lo que era! ¡¡¡Has sido guiado por la nariz todos estos años !!!!!!! 11

Y ahora descubriremos cómo hacerlo.

De hecho, el cuadro completo se ve así:

cuando el códec funciona, especialmente en el modo de velocidad de bits constante, la calidad del cuadro fluctúa bastante. Aquí está el comienzo de la película, por ejemplo: calidad según la métrica clásicaPSNR ( , , , , xvid ):



( , ) — , , +5 dB (PSNR , , , , : 1.5 dB). , 20 dB:



Ahora entiendes por qué tu humilde servidor siempre con sincero afecto mira las tomas individuales que se dan en los materiales de marketing de las empresas como prueba de una mayor calidad en el video (especialmente cuando no hay horarios) ... ¡Y después de todo, todavía lo hacen a veces!

Para facilitar la selección de cuadros, hace más de 10 años hicimos un modo de comparación en nuestra herramienta MSU VQMT , en la que se compararon 3 archivos a la vez: el original, el códec-1 y el códec-2 y se guardaron de inmediato, por ejemplo, los 30 mejores pares de cuadros en uno o en Por otro lado. ¡Lo principal es tomar el archivo más auténtico!

Se tomó un MPEG-4 de baja tasa de bits para hacer el bloqueo más visible.

Total, el camino hacia el éxito:

• Seleccionamos un modo en el que la variación de calidad en los códecs es máxima (generalmente un CBR de un solo paso).
  
• Reduzca la resolución de la fuente en 2 veces (porque lo más probable es que tenga que aumentar los fragmentos, por ejemplo, los fragmentos se incrementaron 3 veces más)
  
• Tomamos algunas métricas ( PSNR , SSIM , VMAF de moda esta temporada ).
  
• Tomamos como comparación el antiguo estándar con bloqueo o deshabilitamos el desbloqueo interno de un competidor con opciones.
  
• Y finalmente, no olvides tomar el archivo más auténtico: 3 horas de la película, ¡es lo máximo!
  

Y BINGO! ¡Tienes algunos ejemplos de cuánto mejor eres que tu competidor!

Bueno, o en algún lugar donde la audiencia no sea demasiado exigente, puedes comparar con éxito a alguien con alguien. La gente estará complacida.

¡Ahora sabe qué preguntas hacer cuando ve una comparación con el personal en los materiales de la compañía! Quizás aún menos, finalmente, se encontrarán ...

En lugar de una conclusión

Las formas relativamente simples de preparar materiales de marketing "a favor" en las comparaciones de códecs y codificadores se discutieron anteriormente. Naturalmente, en la vida real todo es más complicado. Por desgracia, si profundizas, no será tan emocionante y notablemente más complicado (aquellos que lo deseen pueden leer el artículo y los comentarios aquí , por ejemplo).

Y la gente generalmente está interesada en respuestas simples. La respuesta más popular en Answers@Mail.ru a la pregunta " ¿Cuál es el mejor códec de video?" Es "K-Lite Mega Codec Pack". Y esta es realmente la respuesta más corta, más comprensible y precisa para la audiencia masiva. Y dices códecs, estándares ...

Pero cuanta más gente haya, al menos en el nivel promedio que esté versado en el tema, menos atrevidos serán los departamentos de marketing o las nuevas empresas insolentes. Y la vida será un poco mejor.

¡Gracias, damas y caballeros! ¡Todos - alfabetización técnica!