Comparação de codecs mágicos de rua. Revelar segredos

Este ano marca o aniversário - 16 anos desde o lançamento do site compressão.ru, onde o autor e seus associados organizam comparações de codecs de vídeo e codificadores de imagem. Durante esse período, dezenas de comparações foram feitas com relatórios de 23 a 550 páginas , o número de gráficos na última comparação excedeu 7000 e o número de diferentes casos encantadores durante esse período finalmente excedeu todos os limites razoáveis. Como a próxima rodada (32 anos) chegará em breve, existe o desejo de contar um pouco de encantamento em homenagem ao aniversário.

Se falamos de codecs, não é segredo que a maioria das comparações e gráficos que o público mais respeitado vê são produtos do departamento de marketing. Na melhor das hipóteses, os engenheiros fizeram os gráficos com competência, e o marketing apenas autorizou a publicação. Na pior das hipóteses, os engenheiros não participaram da sua preparação. Por que perder tempo com essas pessoas ocupadas!

Além disso, o tópico da compactação é muito popular. Na série do Vale do Silício, a startup do protagonista desenvolveu um algoritmo engenhoso que, no último episódio da primeira temporada, mostrou incrível compactação de vídeo 3D e, como resultado, agora milhões de startups (e investidores) no mundo sabem que o principal é ter um coeficiente Weissman maior e mais é preciso encontrar um gênio, e o resto é besteira. O milagre será! Isso naturalmente aumenta a expectativa de milagres e, é claro (é claro!) Esses milagres são demonstrados com alegria pelas empresas! Incluindo o uso das mais recentes conquistas da magia das ruas.

AVISO LEGAL: Qualquer coincidência dos nomes das empresas abaixo com nomes reais é absolutamente aleatória.

Sente-se! Prometemos que, no final da história, você será capaz de mostrar esses truques, como, no entanto, e revelar muitos deles. Vamos lá!

Nível 1, truques para iniciantes

Vamos começar pelo mais simples, porque, por incrível que pareça, esses métodos são implementados em um Vale do Silício moderno (não serial, mas real!).

Então, o público mais respeitado, começam os truques com uma demonstração de compressão super forte!



Certamente, muitos viram comparações dinâmicas semelhantes com gatos discretos baseados em JS nas páginas. Se a compactação for comparada, é razoável que a qualidade seja a mesma (idealmente exatamente a mesma) e, à direita, ela seria compactada duas vezes melhor, por exemplo.

Mal disse o que fez!

A empresa alega uma compressão 30% melhor (todas as correspondências são aleatórias!). E as fotos parecem exatamente iguais! Mesmo uma aparência profissionalmente treinada não encontra diferenças. Há um desejo de olhar com mais detalhes. Subimos no código da página e vemos que o controle deslizante da primeira e da segunda fotos tira dados de um arquivo! Obtemos vantagens de várias maneiras ao mesmo tempo: primeiro, o melhor resultado é demonstrado de maneira ideal; segundo, o engenheiro não se distrai do trabalho e, finalmente, esse local na página do site é carregado duas vezes mais rápido. Lucro sólido !!!

O caso, não acredito, é real. Agora você sabe onde procurar!

Em outro lugar - também um controle deslizante e novamente um resultado maravilhoso. Examinamos o código do slider - arquivos diferentes são carregados. Ministrado por uma experiência amarga, faça o download deles - eles não são apenas um byte do mesmo tamanho, eles combinam pouco a pouco! Em geral, todas as vantagens do método anterior, mas o foco é um pouco mais complicado, embora devido à desaceleração no carregamento da página (você tem que pagar por tudo ...). E, o mais importante, você não precisa atrair especialistas caros em compactação.

No entanto, profissionais de marketing mais avançados nesse nível vão ainda mais longe. O controle deslizante é apresentado - você vê - as imagens são diferentes, mas a qualidade é muito semelhante. Bem ok Mais ainda! É demonstrada uma abertura fantástica - existem até links para arquivos de vídeo. O download é uma vantagem muito boa do método deles, nem está claro como eles fizeram isso. Ajuda aqui que todos somos hackers completamente russos (já uma marca no oeste). Observamos o fluxo de bits e vemos uma imagem maravilhosa:


Ou seja, mesmo muitos especialistas, se não se aprofundarem e confirmarem, confirmarão que, de fato, as pessoas têm um excelente resultado que é aproximadamente o dobro do tamanho do líder atual com qualidade comparável. Você não acreditará que esses métodos sejam usados ​​por si mesmos e, em alguns casos, permitirá que você obtenha dezenas de milhões de dólares em investimentos.

Lembro-me de uma reunião com uma startup russa há 6 anos. O diretor deles disse desde a porta: “Você deve fazer o nosso melhor para nós. Temos investidores da Severstal e, se alguma coisa, homens barbeados com ferros de soldar chegarão até você. ”Como você sabe, em condições tão adversas, a qualidade do trabalho de pesquisa aumenta magicamente e o número de truques de diferentes níveis diminui ... trabalhando com esses casos em nossa terra natal de elefantes, há um sentimento irresistível de pena pelos investidores ocidentais. É verdade que nem todos os nossos investidores são tão puramente específicos, e seus mágicos também estão em nossos palestinos. E regularmente. Mas sobre isso outra vez ...

Ressonância Nível 7

Esta história não é sobre um codec de vídeo, mas sobre a compactação de imagem, mas havia muita coisa de acordo com todas as leis do gênero de "truques honestos".

De alguma forma, uma empresa bastante conhecida M decidiu que precisava adicionar o Windows Media Photo (WMP) aos seus formatos Windows Media Video (WMV) e Windows Media Audio (WMA). Limpe o kit, como você entende.

Jovem na galeria! Bem, não grite tão alto que não ocorreu a você sozinho! Pessoas cultas (olhe para a primeira fila) no máximo - conscientemente sorriram em um bigode ...

Mal disse o que fez!

Em seguida, monitore cuidadosamente as mãos:


I.e. O WMP possui mais detalhes que JPEG e JPEG 2000 no mesmo nível de compactação (JPEG e JPEG 2000 são suavemente equalizados e o nível é definido 24 vezes) e no parágrafo a seguir :


I.e. geralmente apenas 6 vezes aperta, e tinha 24 anos. Uau, cheira três vezes! Em geral, somos melhores duas vezes, com certeza. A mídia levou as boas novas às massas (alguns escreveram que era duas vezes melhor que o JPEG 2000), mesmo em Habré eles repetiram essas notícias .

Um pouco mais tarde, um gráfico apareceu nesta apresentação:




A vantagem sobre o JPEG 2000 era pequena, apesar do fato de que eles obviamente selecionaram a melhor imagem com um menino maravilhoso e golfinhos. Estávamos ansiosos para jogar com este codificador. Após cerca de seis meses, o utilitário de compactação foi estabelecido.

Naquela época, tivemos apenas um ano atrás uma comparação de 9 implementações do JPEG 2000

Sim sim sim! Como nem todos os iogurtes são igualmente úteis, nem todas as implementações do padrão são igualmente boas. O padrão especifica apenas um fluxo de bits, que pode ser inserido nos dados (e, a propósito, retirado!). De maneiras muito diferentes, isso gera um mercado de codec separado, com sua forte concorrência por uma boa dúzia de parâmetros. Um povo simples, em regra, não sabe disso, o que lhe permite andar impaciente praticamente em um trator (“Nosso DVR suporta o mais recente H.265 / HEVC, ninguém mais o possui!”). E ninguém (ninguém!) É MUITO provável de uma configuração.

Felizmente, inserimos três linhas para o WMP no relatório anterior. Aconteceu algo assim:

Pode-se ver que as linhas das implementações do JPEG 2000 são bastante lotadas e o azul em negrito (a melhor implementação do WMP) apresenta resultados em algum lugar, JOGO JPEG 2000. Se você tomar JASPER como zero e mostrar tudo verticalmente em relação a ele, poderá ver que o WMP com o pior parâmetro perde para quase tudo, exceto os dois últimos (um deles é KDU, lembre-se disso) e, com o melhor, está em algum lugar centralizado, perdendo para muitas implementações:

Como a comparação foi publicada publicamente e causou um rebuliço em círculos estreitos, o desenvolvedor chegou a responder no blog oficial . A nota foi educada: foi elogiada, criticada e, em seguida, se você examinar o texto, o homem admitiu francamente que eles usaram a pior implementação do JPEG 2000 da nossa comparação (publicada seis meses antes) em sua comparação, embora "completamente por acidente". Claro, vamos acreditar neles. Uma empresa respeitada e tudo isso.

Além disso, o nome da tecnologia foi alterado de WMP para HD Photo, no entanto, o seguinte veredicto permaneceu na rede:

Como uma cereja em um bolo. Nossos colegas foram além: tiraram mais fotos e mostraram que o HD Photo reproduz não apenas o JPEG 2000, mas também uma boa implementação de JPEG ( em 7 casos em 14 ). E perde especificamente. Há motivos para acreditar que eles pegaram as fotos, mas enterraram francamente a HDPhoto, porque quem precisa de um formato que na metade do tempo reproduza o antigo JPEG - não está claro:


Segredos totais deste truque:

• Tomamos a pior implementação do principal concorrente, comparamos com ele.
  
• Criamos uma propaganda publicitária (no estilo de "ultrapassamos todos").
  
• Quando o hype se esvai em segundo plano, liberamos e esperamos que ninguém verifique o que realmente estava lá.
  

Filhos! Nunca faça isso e não engane os outros! Sua empresa pode perder milhões de dólares e a confiança de especialistas.

Nível 10, fresco! Com redes neurais!

Em geral, existem muitos desses casos. Mesmo na Rússia, encontro situações semelhantes cerca de duas vezes por ano (a informação flui para nós e para os proprietários do site compressão.ru). Os investidores no Ocidente são criados cerca de uma vez por mês. E agora, a China também se conectou a esse entretenimento. O poder dos computadores está crescendo, a complexidade e as capacidades dos algoritmos - também. Compreender isso está se tornando mais difícil. Como resultado, a diversão violenta continua!

Recentemente, as redes neurais se tornaram muito populares. Absolutamente tudo o que eles tocam magicamente melhora. Mas não os aplique à compactação de vídeo?

Mal disse o que fez!

Em novembro passado, outras boas notícias do próprio Wall Street Journal circularam o mundo. Criou um codec de vídeo baseado em aprendizado de máquina que rasgou todo mundo! Aqui está a prova:

Em geral, eu pessoalmente sou extremamente cético em relação a todas as notícias com a menção de redes neurais. E eu aconselho você (ESPECIALMENTE se você é um investidor). As redes neurais são organizadas de forma que a seleção correta de uma amostra de treinamento para um teste possa mostrar qualquer resultado desejado (para QUALQUER!). As redes neurais são uma ferramenta ideal para lançar um fluxo de maravilhas de marketing. Um é mais maravilhoso que o outro!

Em geral, há uma programação, há fotos. Concordo - de forma convincente. Especialmente para os céticos, os cavalheiros trouxeram mais alguns gráficos sobre conjuntos de testes conhecidos:


No entanto, se o gráfico anterior com fotos foi pessoalmente explicável para mim (sempre é possível aprimorar um vídeo e até com redes neurais profundas), esses dois gráficos me deixaram muito alerta.

Nada te incomoda neles?

Eles até colocam a base embaixo dela, como os codecs clássicos repousam no limite e não estão se desenvolvendo particularmente (e aqui eles entram no palco, todos em branco). E você sabe, uma mentira tão flagrante funciona muito bem! E tudo bem, "The Wall Street Journal" - eles (eu gostaria de acreditar) só entendem finanças, tudo bem "MIT Technology Review" - esses senhores aceitam a palavra senhores do Vale do Silício, mas um recurso tão respeitado como Habr recebeu as notícias sem crítica - Eu vou conseguir! O que posso dizer sobre a reimpressão maciça das notícias ...

Na realidade, a imagem do desenvolvimento de codecs, felizmente, é visivelmente diferente. Primeiro, no gráfico abaixo, que construímos no mesmo conjunto de vídeos xiph, podemos ver que o H.265 é 25 a 31% melhor que o H.264. I.e. 10 anos de desenvolvimento de codec ainda não foram em vão! ( Uff, ele diminuiu desde o coração ... ) Em segundo lugar, o novo AV1 mostra uma melhoria quase dupla em relação ao H.264, e o passo de sua vantagem, francamente, é muito perceptível:


Dessa forma, pode-se ver a olho nu que, se você sobrepor o gráfico AV1 45% à esquerda do H.264 no gráfico dos autores, ele cobrirá o novo codec como ... [cortado pela censura]. Cobre bem, em suma. Portanto, eles "esqueceram" de comparar com ele. O alinhamento real é algo como isto (muito menos cheio, concordo):

Para deixar claro: os codecs têm predefinições padrão que permitem variar a velocidade em uma faixa considerável (muitas vezes dezenas de vezes), mas ao mesmo tempo obtém maior compactação com a mesma qualidade (geralmente mais de 2 vezes). No x265 (uma implementação muito boa de código aberto do padrão HEVC ), eles são chamados: ultra-rápido, super-rápido, muito-rápido, mais rápido, rápido, médio, lento, mais lento, muito lento, placebo. Se considerarmos média para 1, em velocidade e tamanho de arquivo com a mesma qualidade, eles podem ser localizados para um arquivo específico, por exemplo, como no gráfico abaixo. Podemos dizer que, relativamente médio, você pode tornar o arquivo 40% maior ou menor, variando a velocidade em 10 vezes:
Observe que, para alguns vídeos, as opções padrão não são necessariamente monótonas (nesse caso, em qualidade). Além disso, às vezes as opções “não padronizadas” podem proporcionar um grande ganho de tamanho , em particular, usando o exemplo acima, tendo perdido 20% em velocidade em comparação com a média, você pode reproduzir 30% em tamanho - quase como ao mudar para o próximo nível padrão, mas com a baixa complexidade anterior decodificador. Mas esse já é um nível mais complexo, sobre isso outra vez.

Como você pode ver facilmente acima, os senhores levaram a comparação "mais devagar". É bom que não seja "muito rápido", porque você pode ter! ) E não importa se o codec em si é encantadoramente lento. Na maioria das vezes, as pessoas que olham para um gráfico não se lembram de que a velocidade do codec pode variar em algumas ordens, dependendo dos parâmetros. Portanto, essa técnica rola completamente. Embora em nosso gráfico acima ("Taxa de bits / qualidade ...") seu conjunto de linhas estivesse na área vermelha (que é a pior). Ao mesmo tempo, justificando pisar no local no desenvolvimento de codecs. Sim sim

Existem manipulações mais sutis, por exemplo, os senhores escrevem: “Para remover os quadros B, usamos H.264 / 5 com a opção bframes = 0, VP9 com -auto-alt-ref 0 -lag-in-frames 0 e use o perfil H. do encoder baixo do codificador HM main.cfg. ” Ou seja, eles não conseguiram vencer os codecs comuns em uma competição justa e escolheram o modo de baixa latência e baixa latência, que geralmente é usado em tempo real, por exemplo, para videoconferência. Os resultados do codec nele são piores, é claro. Ao mesmo tempo, o decodificador (silencioso sobre o codificador) funciona 2 segundos por quadro, ou seja, você não pode nem falar sobre baixa latência. Mas alguns por cento jogaram.

Esses não são todos os truques usados ​​pelas startups de cavalheiros, mas a imagem já está clara.

É claro que, para que o foco pareça crível, são necessários toques adicionais que dêem realismo. Por exemplo, esses senhores publicaram um artigo em https://arxiv.org/abs/1811.06981 . Hoje, o desenvolvimento de algoritmos é tão rápido que se torna insuportável esperar até que um artigo seja publicado em uma revista, motivo pelo qual muitos autores fortes publicam os resultados primeiro no arxiv.org. Para os mágicos de rua, este site é conveniente, pois você pode colocar absolutamente todo o material lá - diferentemente de revistas e conferências revisadas por pares, ninguém fará perguntas desagradáveis ​​e interromperá a publicação (não há como revisar lugares sérios). Mas o público em geral não sabe sobre o fato de, por exemplo, em 1º de abril, era costume publicar várias paródias de artigos científicos no arxiv.org, inclusive ridicularizando-o como um site de publicação, de modo que, para o público em geral, a publicação parece ser sólida.

Vá em frente. Um artigo sobre eles foi chamado " O primeiro codec de vídeo no aprendizado de máquina superou drasticamente todos os codecs existentes, incluindo o H.265 e o VP9". Outra piada é que o aprendizado de máquina em compactação não é apenas explorado ativamente, para quais faixas de conferência individuais já são dedicadas (ou seja, existem muitos artigos ), mas também é usado ativamente , por exemplo, no AV1 (forneço especificamente uma solicitação do Google). Mas, se eles dissessem honestamente: “Lançamos o segundo codec usando o aprendizado de máquina, enquanto perdemos o primeiro em velocidade e compactação”, o Wall Street Journal pode não ter escrito sobre eles ... E o MIT TechReview não teria escrito ... E até Habr ... Obviamente, não tendo suportado o último, a empresa ajustou um pouco o tom. Ao mesmo tempo, um recurso da Internet moderna é que as pessoas não verificam informações, o que permite que muitos se proclamem os primeiros de muitos (começando por empresas conhecidas). A insolência, como você sabe, toma a cidade! Uma verificação de fatos não está na moda.

- Pesquisei no Google!
- É assim que é?
[solicitação de exemplo fornecida acima))]]

E também sobre ML / DL. No passado distante, quando os disquetes eram grandes e os discos rígidos eram pequenos, um dos métodos de “magia de rua para arquivadores” era salvar uma parte do arquivo compactado em algum lugar distante de um diretório com arquivos temporários e, assim, mostrar um registro. Desde então, os tempos mudaram. Os winchesters cresceram, os disquetes desapareceram completamente e tornou-se moda ocultar dados nas profundidades de várias centenas de megabytes de coeficientes de grade. Você pode salvar a “marca de direitos autorais” na grade, o ovo da Páscoa ou um registro de compressão falso. Redes neurais profundas - definitivamente poder, em suma!

Resumindo esse caminho para o sucesso:

• Ignoramos o líder moderno como se ele não existisse.
  
• Formulamos cuidadosamente tudo para que pareça que fomos os primeiros a usar alguma nova tecnologia (e mesmo que o líder tenha usado a primeira, ninguém verificará).
  
• Para os padrões de 5 e 15 anos atrás, desligamos as alças para que funcionem melhor do que nós.
  
• — , , .
  
• «The Wall Street Journal» …
  

… ( !)… ! … … ! ! ...

-!

Como prometi acima, no final deste texto você pode facilmente brilhar no palco do pikabu condicional.

Agora, ó público mais respeitado, mostrarei um truque que permite comparar qualquer coisa com qualquer coisa com qualquer resultado predeterminado. I.e. se você quiser que o codec A seja melhor que o codec B, mostraremos isso; se você quiser que B seja melhor que A, bem, podemos mostrá-lo. Cumprimos todos os caprichos do departamento de marketing para o seu dinheiro totalmente livre!

Vamos verificar como esses codecs pressionam. Como se costuma dizer - não confie em ninguém, verifique você mesmo. E então, talvez a verdade seja que esses padrões não se desenvolvem e somos simplesmente enganados, forçando em vão pagar o dinheiro ganho pelo excesso de trabalho, não está claro para quê?

Pegue o “Avatar” no formato 480p24 e compacte-o com o codec x264 com as configurações “-preset superfast -x264-params“ nal-hrd = cbr ”-b: v 1M -minrate 1M -maxrate 1M -bufsize 2M e o codec xvid com configurações "-preset superfast -b: v 1M - taxa de bits 1M - maxrate 1M - tamanho 2M" (duas implementações muito boas de código aberto dos padrões H.264 e MPEG-4). Por que esses codecs e configurações são usados, será explicado mais adiante.

Temos dois arquivos quase do mesmo tamanho:
avatar_x264_cbr1M_superfast.mkv - 1402 MB
avatar_xvid_cbr1M_superfast.mkv - 1401 MB

E agora, senhoras e senhores! Cuidado com as mãos !!!

Olhamos, aqui está o novo padrão e o antigo:


olhamos para outro quadro:

sem comentários! Mas e se o movimento rápido?


Concordo! O progresso é claro e inexorável! Tudo está se desenvolvendo e ficando cada vez melhor! E a vida é mais bonita e mais divertida!

Embora ...



Deus, o que é isso ??? O novo padrão foi completamente fundido ... Ahhh



! Gente! Conheça! As corporações estão enganando você !!! Os codecs não estão sendo desenvolvidos há muito tempo, mas eles dizem que tudo está indo bem!



Você vê Tudo o que aprenderam em 10 anos é corroer o bloqueio! E eles fazem isso nojento! Ficou pior do que estava! Você foi guiado pelo nariz todos esses anos !!!!!!! 11

E agora vamos descobrir como fazê-lo.

De fato, o quadro completo se parece com o seguinte:

Quando o codec está funcionando, especialmente no modo de taxa de bits constante, a qualidade do quadro varia bastante. Aqui está o começo do filme, por exemplo - qualidade pela métrica clássicaPSNR (não há dúvida de quem é melhor, quem é pior, a propósito, fica claro que o xvid verde perde em média): Uma imagem é clicada Se você subtrair um gráfico de outro (na figura abaixo, outro lugar no arquivo), poderá ver que, em geral, o codec é mais antigo o padrão perde, mas em alguns lugares ele pode diminuir em +5 dB (o PSNR é conveniente porque é inversamente logaritmicamente proporcional ao desvio padrão, devido ao qual, regra geral, a regra funciona: uma diferença de 1,5 dB é visível na faixa de taxas de bits médias e baixas a olho) . E então você pode ver o quadro, onde a diferença é de 20 dB na outra direção: A imagem é clicada







Agora você entende por que seu humilde servo sempre com carinho sincero vê as fotos individuais fornecidas nos materiais de marketing das empresas como prova de maior qualidade no vídeo (especialmente quando não há horários) ... E, afinal, elas ainda fazem isso às vezes!

Para facilitar a seleção de quadros, há mais de 10 anos fizemos um modo de comparação em nossa ferramenta MSU VQMT , na qual três arquivos foram comparados de uma só vez - o original, codec-1 e codec-2 e salvamos imediatamente, por exemplo, os 30 melhores pares de quadros em um ou em o outro lado. O principal é tornar o arquivo mais autêntico!

Um MPEG-4 de baixa taxa de bits foi utilizado para tornar o bloqueio mais visível.

Total, o caminho para o sucesso:

• Selecionamos um modo no qual a variação de qualidade nos codecs é máxima (geralmente um CBR de passagem única).
  
• Reduza a resolução da fonte em 2 vezes (porque provavelmente você precisará aumentar os fragmentos, por exemplo, os fragmentos foram aumentados 3 vezes mais)
  
• Tomamos algumas métricas ( PSNR , SSIM , VMAF da moda nesta temporada ).
  
• Tomamos como comparação o padrão antigo de bloquear ou desativar o desbloqueio interno de um concorrente com opções.
  
• E, finalmente, não esqueça de deixar o arquivo mais autêntico: 3 horas de filme - é o máximo!
  

E BINGO! Você tem alguns exemplos de quão melhor você é do que seu concorrente!

Bem, ou em algum lugar onde o público não seja muito exigente, você pode comparar alguém com sucesso. As pessoas ficarão satisfeitas.

Agora você sabe quais perguntas fazer quando vê uma comparação com o pessoal dos materiais da empresa! Talvez menos ainda, finalmente, eles se encontrarão ...

Em vez de uma conclusão

As maneiras relativamente simples de preparar materiais de marketing "a favor de alguém" nas comparações de codecs e codificadores foram discutidas acima. Naturalmente, na vida real, tudo é mais complicado. Infelizmente, se você se aprofundar, não será tão empolgante e notavelmente mais complicado (quem quiser pode ler o artigo e os comentários aqui , por exemplo).

E as pessoas geralmente estão interessadas em respostas simples. A resposta mais popular em Answers@Mail.ru à pergunta " Qual é o melhor codec de vídeo?" É o "K-Lite Mega Codec Pack". E essa é realmente a resposta mais curta, compreensível e precisa para o público em massa. E você diz codecs, padrões ...

Mas quanto mais pessoas lá, pelo menos no nível médio, versadas no assunto, menos atrevidos são os departamentos de marketing ou as start-ups insolentes que acabam com os ouvidos dos investidores. E a vida será um pouco melhor.

Obrigado, senhoras e senhores! Todos - alfabetização técnica!