Zoom de vídeo 1080p a 4K ou Como aprendi a não me preocupar e adorei o sofisticado usando redes neurais

Ao ler um artigo recente sobre upscale ( Upscale - dimensionar uma imagem para uma resolução mais alta), desta vez sobre um produto comercial Topaz AI Gigapixel, deixei um comentário com o seguinte conteúdo:
É uma pena que o post seja uma tradução simples. Gostaria de compará-lo com algo gratuito, como o mesmo waifu2x. Acho que a diferença será muito difícil de encontrar, embora o waifu2x seja projetado para animação.
Bem, como o artigo era uma tradução, decidi resolver o assunto com minhas próprias mãos. Portanto, não vamos perder tempo, familiarize-se:


Sob o corte, Longrid, bem como guias de vídeo de luxo usando Instant 4K, Waifu2x, Lanczos e Topaz Gigapixel AI.


Vamos compará-los usando nossos próprios olhos, porque podemos otimizar a imagem para várias soluções para analisar a imagem ganhando porcentagens "extras" ... No entanto, também não recusamos a última, portanto os resultados das análises MITSU e VMAF serão adicionados aos resultados nas capturas de tela, pois os dois programas funcionam com vídeo sem uma amostra. SSIM, PSNR e outros não nos servirão neste caso, porque não temos um 4K real com o qual os resultados do upscale possam ser comparados.

Conteúdo:



Todos os arquivos do artigo, incluindo quadros PNG sem compactação, comparações animadas, amostras 4K H.265, tabelas e arquivos FFV1 estão no Google . Espelho no Yandex . Existem três guias de vídeo simples para usar o Adobe Premiere Instant 4K, Waifu2x e Topaz.

1. Preparação de material para teste

Configuração do Testbed:
CPU: Intel Core i7-4980HQ 4.2 GHz
Placa-mãe: MSI Z97 GAMING 5
(não pergunte)
RAM: 32GB DDR3 2400
GPU: NVIDIA GTX 1080ti FE 11GB, a frequência do núcleo é definida manualmente para 1923, a frequência da memória é 5602.
SHD: sistema e programas no SSD M.2 SATA 850 EVO 250GB, arquivos no HDD 2 TB WDC WD40EZRZ.
O upscale foi realizado de acordo com o seguinte cenário:

  • Se o método selecionado suportou o trabalho diretamente do editor de vídeo do Adobe Premiere, todo o trabalho ocorreu neste editor, após o qual o resultado foi exportado no codec FFV1 com o parâmetro GOP 1 para evitar perdas e usar a compactação de imagem exclusivamente reversível.
  • Se o método selecionado não suportar o trabalho do editor de vídeo, o vídeo será decomposto em quadros separados no formato PNG usando um arquivo bat simples:

    Arquivo BAT para salvar quadros individuais na pasta de quadros
    wmic process where name="cmd.exe" CALL setpriority 16384 @echo off :hugly if "%~1" EQU "" goto mugly ffmpeg -probesize 1000M -i "%~1" -vsync vfr frames\image-%%03d.png shift goto hugly :mugly pause 

    Para decompor o vídeo em quadros, basta colocar esse arquivo na pasta para ffmpeg.exe e criar a pasta de quadros, após a qual é comum arrastar o arquivo de vídeo diretamente para o arquivo bat.

    Depois disso, os quadros processados ​​foram enviados ao FFMPEG para mixagem e exportados com exatamente as mesmas configurações do primeiro caso.

    Arquivo BAT para converter quadros individuais em um arquivo, sem som
     ffmpeg -framerate 24 -i image-%%03d.png -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -r 24 photoshop.mkv 

    Os parâmetros -framerate e -r são responsáveis ​​por definir a taxa de quadros de vídeo, ambos devem ser especificados.

Nos dois casos, a saída foi um arquivo MKV com o codec FFV1, com aproximadamente 700 megabytes de tamanho a cada 10 segundos de vídeo.

O resultado da análise de um dos arquivos usando o MediaInfo
General
Unique ID : 116184020412676472870756705294056286853 (0x57683A783D4732308C09451184B9EA85)
Complete name : D:\HABR\4K SOURCE\topaz.mkv
Format : Matroska
Format version : Version 4
File size : 1.21 GiB
Duration : 16 s 475 ms
Overall bit rate mode : Variable
Overall bit rate : 630 Mb/s
Writing application : Voukoder 1.2.1 (Premiere) - www.voukoder.org
Writing library : Lavf58.12.100
ErrorDetectionType : Per level 1

Video
ID : 1
Format : FFV1
Format version : Version 3.4
Format settings, GOP : N=1
Codec ID : V_MS/VFW/FOURCC / FFV1
Duration : 16 s 475 ms
Bit rate mode : Variable
Bit rate : 618 Mb/s
Width : 3 840 pixels
Height : 2 160 pixels
Display aspect ratio : 16:9
Frame rate mode : Constant
Frame rate : 23.976 (24000/1001) FPS
Color space : YUV
Chroma subsampling : 4:2:0
Bit depth : 8 bits
Scan type : Progressive
Compression mode : Lossless
Bits/(Pixel*Frame) : 3.107
Stream size : 1.19 GiB (98%)
Default : Yes
Forced : No
Color range : Limited
Color primaries : BT.709
Transfer characteristics : BT.709
Matrix coefficients : BT.709
coder_type : Golomb Rice
MaxSlicesCount : 12
ErrorDetectionType : Per slice


Depois disso, cada um dos arquivos foi aberto no MPC-HC com o objetivo de capturar imagens e, em seguida, foi enviado para análise no ffmpeg usando, novamente, um arquivo bat:

Para que este script funcione, o ffmpeg deve ser construído com o suporte libvmaf!
 ffmpeg.exe -i instant_4k.mkv -i A016_C001_02073O_001.mkv -lavfi libvmaf=model_path=vmaf_4k_v0.6.1.pkl:log_path=vmaf.log:log_fmt=json:psnr=1:ssim=1:ms_ssim=1 -f null - 
O FFMPEG com suporte a VMAF pode ser baixado dos meus links para o Google e Yandex acima.

O MITSU, por sua vez, não precisava ser configurado, os arquivos bat finalizados requerem uma pequena modificação com um arquivo (indiquei os caminhos completos para ffprobe e ffmpeg e também coloquei cygwin1.dll na pasta com o arquivo executável).

Os dados recebidos foram importados para o Excel e transformados em gráficos bonitos e não muito gráficos.
Os arquivos FFV1 também foram convertidos para mp4 com o codec h265 (para minimizar o tamanho do arquivo e preservar o máximo de detalhes) com VBR 25000 kbps e SAO desativado, na esperança de obter uma qualidade adequada.

↑ Voltar ao conteúdo

2. A escolha do material para teste

Neste artigo, consideramos uma variedade de exemplos: fragmentos de uma série em 1080p, animação desenhada à mão e até vídeo 4K gravado em uma câmera profissional para obter resultados objetivos para vários casos de uso dos programas em questão.

Os seguintes tipos de vídeos foram processados:

  • Cena da série " Person of Interest ", S02E20, introdução: muita computação gráfica, muito movimento e mudança de planos.
  • Uma cena da mesma série da série: pouco movimento, várias mudanças de planos e muitos detalhes em segundo plano e em primeiro plano, dos galhos das árvores aos detalhes da face.

    Ambas as cenas são tiradas de um arquivo com uma resolução de 1920 × 1080 (Full HD), codec H.264, taxa de bits - 12.664 kbps. Esta é uma boa qualidade inicial para a série. A comparação do resultado de alto nível foi realizada com o arquivo ampliado usando interpolação bilinear simples (é indicado na lista como referência).
  • Exemplo de vídeo no RED.com : 4K HD real (3840x2160) filmado a 120FPS. O vídeo foi reduzido para 1920x1080 usando Lanczos e depois aumentado para 4K usando os programas da lista acima. A taxa de quadros foi reduzida para ~ 24 quadros por segundo. O resultado foi comparado com o arquivo de origem convertido de um arquivo RED para o familiar FFV1 (o ffmpeg se recusa a trabalhar com arquivos RED).
  • Animação desenhada à mão "O Livro Sagrado do Lobisomem ", baixada do YouTube, agitação artificial da "câmera", muitas mudanças de planos. Arquivo de origem na resolução 1280x720, contêiner WEBM, codec VP9, ​​taxa de bits 1556 kbps. Essa é uma qualidade muito baixa, mas bastante comum no YouTube.

↑ Voltar ao conteúdo

3. Programas selecionados para teste

Vamos explorar cada um dos métodos de alto nível com mais detalhes:

  • Atirador Gigante Vermelho Instantâneo 4K 13.1.5
    Pago: sim (US $ 99).
    Integração com o Adobe Premiere (não requer decomposição de vídeo em quadros): sim.

    Configurações de qualidade: Tipo de filtro - Melhor, Nitidez 2, Qualidade 25 (máxima), Anti-aliasing 6. Essas são configurações padrão, com exceção da Qualidade - foram definidas para o máximo manualmente.
    Tempo de processamento para 914 quadros INTRO: 532 segundos (11 vezes mais que as exportações regulares).

    Método de gama alta: desconhecido ("algoritmos inteligentes")

    imagem alt
    A interface do plug-in Instant 4K na janela do programa Adobe Premiere 2019, no canto superior esquerdo.

    Selecionamos a resolução de destino (você pode especificar a sua própria), o tipo de filtro (não vejo motivo para escolher outra coisa que não seja Melhor), alteramos ou deixamos a nitidez padrão (nitidez), Qualidade (qualidade) e Anti-Aliasing (suavização) e depois exportamos o arquivo de vídeo e aproveite o resultado.

    Ele funciona rápido o suficiente, praticamente não carrega a GPU e a CPU mais do que a exportação normal. Há uma semana foi o meu plug-in de vídeo padrão e sofisticado. Ele faz alterações que não são típicas para filtros matemáticos simples nos detalhes da imagem, portanto é mais provável que seja uma IA. É o segundo lugar em velocidade.

    Permite que você veja o resultado antes de renderizar o vídeo, ajuste as configurações. Para uma reprodução suave, requer renderização, as alterações são visíveis no visualizador alguns segundos após a alteração das configurações.
  • Filtro Lanczos (conhecido por muitos como Lanczos).

    Pago: não.

    Integração com o Adobe Premiere (não requer decomposição de vídeo em quadros): sim, como parte do plug- in Voukoder .

    Configurações de qualidade: nenhuma.

    Tempo de processamento para 914 quadros INTRO: 54 segundos (1,13 vezes mais que a exportação normal), excluindo o tempo necessário para converter o vídeo em quadros separados e reduzi-los novamente ao vídeo.

    Método de gama alta: sem IA.

    Exemplo de linha para aumentar o tamanho de um arquivo de vídeo no Windows:
     ffmpeg -framerate 23.976 -i input.mp4 -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -vf scale=3840:2160 -sws_flags lanczos+full_chroma_inp -r 23.976 lanczos.mkv 


    Não há visualização, nem configurações. É possível trabalhar diretamente com o vídeo, sem decompor em quadros. Funciona muito bem com o ffmpeg. Funciona mais rápido que todos os outros, apenas na CPU.
  • Detalhes de salvamento do Adobe Photoshop 2.0
    Pago: sim.

    Integração com o Adobe Premiere (não requer decomposição de vídeo em quadros): não.

    Configurações de qualidade: existe um parâmetro de "redução de ruído", definido como 100%, como o autor do artigo.

    Tempo de processamento para 914 quadros INTRO: 3840 segundos (80 vezes mais que a exportação normal), excluindo o tempo necessário para converter o vídeo em quadros individuais e depois trazê-los de volta ao vídeo.

    Método de gama alta: Desconhecido.

    imagem alt
    Requer configuração inicial na forma de criação de um modelo “abrir arquivo - redimensionar - salvar arquivo”, gasta muito tempo diretamente na abertura de arquivos e salvá-los: o formato de quadro selecionado afeta o PNG, funciona na CPU. O penúltimo em velocidade.

    Permite que você veja o resultado antes de ampliar a imagem e salvá-la.
    Um usuário inexperiente pode ter problemas ao alterar o espaço de cores: verifique duas vezes o perfil de cores após salvar a imagem, compare as cores da imagem original e faça o upscale. Muito provavelmente, o perfil de cores sRGB IEC61966-2.1 é adequado para você.
  • Topaz Gigapixel AI
    Pago: sim (US $ 99).

    Integração com o Adobe Premiere (não requer decomposição de vídeo em quadros): não.

    Configurações de qualidade: suprima o ruído e remova o desfoque. Além disso, é possível ativar e desativar "modelos de IA da máxima qualidade". Na nossa comparação, esses modelos estão incluídos.

    Tempo de processamento para 914 quadros INTRO: 7680 segundos (160 vezes mais que a exportação normal), excluindo o tempo necessário para converter o vídeo em quadros separados e, em seguida, trazer os quadros de volta ao vídeo.

    Método de gama alta: AI.

    imagem alt
    Uma interface bastante agradável com uma prévia do resultado, possui uma avaliação totalmente funcional de 30 dias, carrega muito a placa de vídeo e trabalha, de fato, apenas nela. Se desejar, você pode executar na CPU. Comparado com o resto - o mais lento.
  • Waifu2x com perfil UpResNet10
    Pago: não.

    Integração com o Adobe Premiere (não requer decomposição de vídeo em quadros): não.

    Configurações de qualidade: no Windows, existe o waifu2x-caffe , que permite selecionar um perfil e ajustar a potência da "redução de ruído" (Desligado / 1/2/3). Experimentalmente, escolhi o perfil UpResNet10 como o melhor resultado. O cortador de ruído está definido como AUTO 1.
    Tempo de processamento para 914 quadros INTRO: 879 segundos (18 vezes mais que a exportação normal), excluindo o tempo necessário para converter o vídeo em quadros separados e, em seguida, trazer os quadros de volta ao vídeo.
    Método de gama alta: AI.
    imagem alt
    Uma interface simples que funciona na GPU pode causar dificuldades adicionais durante a configuração inicial (eu tive que instalar o cuDNN, demorou 10 a 15 minutos). Se desejar, você pode executar na CPU. A velocidade média, à frente apenas do Photoshop e Topaz.

Esta não é uma lista completa de programas adequados para vídeos de alta qualidade e, no próximo artigo, tentarei adicionar ainda mais maneiras. Sugira suas opções nos comentários!
↑ Voltar ao conteúdo

4. Finalmente, passamos ao vídeo:


4.1 Arquivo 1: “INTRODUÇÃO”:

Primeira passagem: computação gráfica.
imagem alt
Um quadro da série foi ampliado usando interpolação bilinear e reduzido para 720P para visualizações.
As principais diferenças: a qualidade do processamento de texto e marcas no mapa, incluindo grades em todo o quadro, além de manter a forma da “vista” no centro do quadro.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP . Também estão disponíveis aqui arquivos e quadros originais em PNG. Eu recomendo visualizar vídeos e quadros localmente, não na página do Google Drive.
As amostras em tamanho real de 4K no codec H.265 estão aqui (~ 100 MB cada).

Comparação do centro de quadros animados: MP4 H.264 , WEBP .
Vamos começar com a visão no centro. Quadrado vermelho: preste atenção ao comportamento de duas linhas que se cruzam. Como nós (em alguns lugares) estamos lidando com IA, estamos procurando distorções indesejadas. O 4K instantâneo fez mudanças bastante fortes neste quadrado, pelo qual recebe um sinal de menos de karma de mim. Todos os outros métodos se comportaram aproximadamente da mesma maneira, o resultado mais claro - com o Photoshop. Topázio - em segundo lugar. O UpResNet10, infelizmente, notou artefatos de compressão e decidiu gentilmente aumentá-los. Lanczos não é realmente diferente do aumento usual.
Quadrado azul: siga a forma dos círculos, espere o círculo mais suave possível. O 4K instantâneo adicionou lacunas novamente e suavizou o círculo, removendo a lacuna na parte inferior. No entanto, desta vez, para isso, ele recebe uma vantagem de mim. No entanto, o Photoshop tem o melhor resultado. O UpResNet10 trouxe muitos detalhes (grade) sobre o círculo, que podem ser percebidos como artefatos.

Comparação de texto animado: MP4 H.264 , WEBP .
Passamos ao texto: Lanczos tornou-o em negrito, pelo qual ganha menos. O UpResNet10 gosta de uma grade novamente e novamente se mostra pior do que os concorrentes. Acima de tudo, gostei do texto que Topaz produziu. No entanto, é aproximadamente igual aos resultados de outros métodos - já é uma questão de gosto. Aqueles que estão prontos para perdoar o Instant 4K por "pensar sobre" podem, em geral, ficar satisfeitos com o texto que publicaram; o restante, acredito, será dividido entre Topázio e Photoshop. O último, para o meu gosto, ainda é "ensaboado".

Comparação de grade animada no mapa: MP4 H.264 , WEBP .
O último ponto é a grade no mapa. Aqui, todos se mostraram mais ou menos iguais, com exceção de dois distintos - UpResNet10 e Topaz. Topázio matou um monte de pontos e quase todos os detalhes. A UpResNet10, pelo contrário, trouxe pontos onde eles eram praticamente invisíveis antes. Pessoalmente, essas duas opções não me agradam, por isso compartilho a vitória "por pontos" entre o Instant 4K e o Photoshop.
Em geral, o Photoshop é o vencedor em um mapa estático da computação gráfica, o Instant 4K ocupa o segundo lugar, o UpResNet10 ocupa o terceiro lugar (ainda queremos mais detalhes do 4K, e ele nos deu, embora com qualidade duvidosa). O topázio matou muitos detalhes, enquanto Lanczos é muito pouco diferente da interpolação bilinear.

Nós olhamos para o próximo quadro: o meio da animação com movimento.
imagem alt
Um quadro da série foi ampliado usando interpolação bilinear e reduzido para 720P para visualizações.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP . Também estão disponíveis aqui arquivos e quadros originais em PNG.
À primeira vista, a imagem é esperada: todas as opções, exceto Lanczos, deram uma imagem mais clara. Damos especial atenção aos detalhes do Topázio, porque mudou a imagem acima de tudo. Estudaremos o ator real, não desenhado, e os detalhes de suas roupas, bem como o texto.

Comparação animada de atores: MP4 H.264 , WEBP .
Quanto ao ator, as diferenças aqui são realmente mínimas: embora a última vez que o UpResNet10 tenha exibido detalhes (às vezes supérfluos) anteriormente difíceis de ver, desta vez apenas aumentou a nitidez da grade diagonal a partir de baixo. As diferenças entre Photoshop, Lanczos e Instant 4K realmente precisam ser observadas sob uma lente de aumento, mesmo um aumento de 400% não é suficiente para notar as diferenças. Em geral, o Photoshop e o Instant 4K produziram uma imagem um pouco mais nítida. O 4K instantâneo está realizando um trabalho amador novamente - a gola da camisa mudou na praça vermelha do ator. No entanto, é notável alguma diferença real em relação a apenas um aumento, exceto no Topaz: o ruído de cor nas faixas diminuiu e este é o único programa que apresenta um aumento de nitidez no quadrado azul.

Comparação de texto animado: MP4 H.264 , WEBP .
Seguimos abaixo para o texto: aqui o Photoshop cedeu a todos os outros métodos de ampliação e produziu uma imagem idêntica à de Lanczos. O UpResNet10 e o Instant 4K aumentaram a nitidez, mas também introduziram uma pequena "mordaça" na forma de letras. Topázio novamente deu a imagem mais clara, destacando as letras irregulares (boas ou ruins - você decide) e pequenos artefatos de compressão. O ruído da cor é novamente reduzido e as letras maiúsculas no topo não se comparam com outros métodos de aumento.

O último quadro do segmento: um quadro da série com gráficos de computador sobrepostos em cima dele.
imagem alt
Um quadro da série foi ampliado usando interpolação bilinear e reduzido para 720P para visualizações.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP . Também estão disponíveis aqui arquivos e quadros originais em PNG.

Comparação animada de rosto de ator: MP4 H.264 , WEBP .
Consideraremos em ampliação apenas o rosto do ator à direita: o Topázio adicionou nitidez e destacou a grade muito bem, como resultado, o rosto do ator ficou muito claro. O 4K instantâneo e o UpResNet10 fizeram o mesmo, mas removeram menos desfoque (desfoque). O Photoshop cedeu a eles também, ultrapassando a menos que Lanczos. Em geral, ninguém perdeu nenhum detalhe, e o Instant 4K não fez alterações desnecessárias.

Nos três quadros selecionados, o vencedor para mim foi Topázio. Apesar de vários detalhes perdidos no primeiro quadro, ele se recuperou nos dois últimos. O segundo lugar foi o Instant 4K, para uma nitidez mais ou menos estável nos três quadros, apesar de pequenas alterações. O terceiro é para o UpResNet10. No primeiro quadro mostrou uma imagem que eu não gostei, mas nos dois últimos mostrou um bom aumento na nitidez. O Photoshop começou bem no primeiro quadro, mas nos dois últimos quase não diferiu do aumento usual. Lanczos sem nitidez quase não são diferentes da interpolação bilinear nos três quadros.

Vamos ver o que MITSU e VMAF dirão:
imagem alt
O resultado da análise de MITSU (tamanho completo) , Blur e Noise, menor é melhor.
imagem alt
Resultado da análise VMAF (tamanho completo) , quanto maior, melhor.
O MITSU relata que menos de todos os bluers contêm quadros processados ​​pelo Topaz. No entanto, todos os outros métodos sofisticados, incluindo Lanczos, mostraram uma melhoria no Blur e cruzaram a linha de 5 pontos, os números abaixo dos quais nos dizem que o vídeo não tem muito desfoque. Ou seja, todos os métodos sofisticados melhoraram a nitidez da imagem.
Quanto ao ruído, a imagem é o oposto - o menor ruído na imagem original, o máximo em Topázio. Em princípio, isso é lógico porque:
  1. De fato, parte do ruído pode ser classificado incorretamente por todos os programas como detalhes e "aprimorado".
  2. Alguns detalhes da imagem podem ser reconhecidos pelo MITSU como ruído.

De qualquer forma, não notei nenhum aumento perceptível na quantidade de ruído na imagem e todos os valores estão abaixo da borda de 3,5 pontos, ou seja, de acordo com a documentação do MITSU , eles não têm ruído visível.
Como o ruído em todos os quadros é muito menor que o perceptível, julgaremos pelo indicador Blur.
Quanto ao VMAF, aqui todos os gráficos estão basicamente no valor máximo de 100. No entanto, no gráfico VMAF, podemos ver rebaixamentos - como, por exemplo, no Instant 4K e Topaz, a mesma aparência - apenas o Topaz fica abaixo. No meio do gráfico, o Instant 4K é substituído pelo UpResNet10, que cai um pouco com o Topaz. Aqui, o último tem uma queda no VMAF para 77 e, no final do gráfico para o Photoshop, esse valor cai para 0. Ao mesmo tempo, não há diferenças visíveis, artefatos ou "falhas" nesses quadros.
Assim, os algoritmos distribuíram os programas da seguinte forma: em primeiro lugar, UpResNet10, em segundo - Instant 4K, em terceiro - Photoshop.
O arquivo “original” FFV1 MKV 1080P, para aqueles que desejam realizar seus próprios experimentos ou repetir os meus, pode ser baixado aqui .
↑ Voltar ao conteúdo

4.2 Arquivo 2: “Cena 1”

Segunda passagem: uma cena sem gráficos de computador, detalhes de rostos e fundos.
As principais diferenças: detalhes do plano de fundo, detalhes do rosto, artefatos neles.
imagem alt
Um quadro da série foi ampliado usando interpolação bilinear e reduzido para 720P para visualizações.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP . Também estão disponíveis aqui arquivos e quadros originais em PNG.
As amostras em tamanho real de 4K no codec H.265 estão aqui (~ 97 MB cada).

Comparação de árvores animadas: MP4 H.264 , WEBP .
Primeiro, considere o fundo, ou melhor, as árvores: o Instant 4K e o UpResNet10 provaram ser aproximadamente os mesmos, adicionando um pouco de nitidez, enquanto o Photoshop, por outro lado, perdeu alguns detalhes suavizando a imagem. Além disso, o Instant 4K distorceu ligeiramente as árvores (veja quadrados vermelhos). Mas Topaz acrescentou muita nitidez e fez árvores muito claras do fundo de sabão. Lanczos não é diferente da interpolação bilinear.

imagem alt
Um quadro da série foi ampliado usando interpolação bilinear e reduzido para 720P para visualizações.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP . Também estão disponíveis aqui arquivos e quadros originais em PNG.
Uma comparação animada do ator no fundo das árvores: MP4 H.264 , WEBP .
Agora, outro tiro: o ator está nos encarando contra o fundo das árvores.
Spoiler: você não precisa olhar para as árvores, elas não diferem. Portanto, estudamos o copo na mão e no rosto do ator.

Comparação animada de rosto de ator: MP4 H.264 , WEBP .
No caso do rosto, o Instant 4K e o UpResNet10 mostraram novamente aproximadamente os mesmos resultados, e o Photoshop novamente perdeu alguns detalhes.Topázio acrescentou esses detalhes, embora não tanto quanto no caso de árvores ao fundo. A característica dos artefatos Instantâneos em 4K desta vez não foi encontrada. Lanczos acabou sendo um pouco mais nítido que a interpolação bilinear.

Comparação de vidro animado: MP4 H.264 , WEBP .
Bem, na última comparação, um copo de vidro, as principais diferenças foram notadas em sua parte transparente sem uma bebida. O Topázio voltou a adicionar mais detalhes que o restante, o Photoshop desfocou a imagem novamente (quadrado azul) e o UpResNet10 e o Instant 4K novamente se comportam aproximadamente da mesma forma. Repetibilidade total do resultado.
O vencedor desta foto foi sem dúvida o Topázio, adicionando detalhes sem artefatos (!). O segundo lugar foi ocupado pelo UpResNet10, que, embora tenha acrescentado um pouco de nitidez, definitivamente não alcançou o Topázio, mas não adicionou artefatos, assim como o terceiro lugar Instantâneo 4K. O Photoshop levou o último - não aumentou, mas reduziu os detalhes.

imagem alt
Um quadro da série foi ampliado usando interpolação bilinear e reduzido para 720P para visualizações.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP. Também estão disponíveis aqui arquivos e quadros originais em PNG .
Comparação animada de rosto do segundo ator: MP4 H.264 , WEBP .
O último quadro do mesmo fragmento: o segundo ator.
Tudo está claro para nós com árvores, fundos e óculos, então aqui estudamos o rosto do ator.
Aqui, o resultado corresponde aproximadamente aos quadros anteriores, com uma ressalva muito importante: Topázio pintou algo na bochecha do atorque comecei a notar um aumento de 500% e só consegui vê-lo em 1000%: uma "textura" muito desagradável, que obviamente não deveria estar lá. Todos os outros métodos funcionaram aproximadamente da mesma maneira, apenas o Photoshop perdeu os detalhes novamente (mas se livrou do barulho na camisa branca). O último lugar para performances amadoras é o Topázio, o penúltimo é o Photoshop, e o restante fica no "primeiro lugar".

De acordo com os resultados de considerar os três quadros, com relutância, mas Topaz ocupa o primeiro lugar. Provavelmente, o comportamento dele do último quadro pode ser corrigido, mas isso levará um tempo extra e muito. No entanto, esse detalhe não é muito visível na escala de 100% e se mostrou perfeitamente na primeira comparação com as árvores, por isso será um vencedor. O segundo lugar é para o UpResNet10, para aumentar a clareza sem artefatos, o terceiro é para 4K instantâneo, pela mesma coisa, mas com artefatos. O Photoshop ocupa o último lugar na deterioração da nitidez da imagem.

E o MITSU e o VMAF?
imagem alt
O resultado da análise de MITSU (tamanho completo) , Blur e Noise, menor é melhor.
imagem alt
Resultado da análise VMAF (tamanho completo) , quanto maior, melhor.
Aqui, tudo é o mesmo que no primeiro vídeo: Topaz tem menos borrão e mais barulho. Embora o ruído mais uma vez nem tenha atingido 1 ponto, não como 3,5, prestamos atenção novamente ao borrão, onde todos cruzaram os limites dos 5 pontos permitidos. O Topázio mostrou uma melhoria notável aqui, reduzindo o Desfoque quase duas vezes, para 6, enquanto o restante está em um monte de 10 a 12 pontos.
De acordo com o gráfico VMAF, não são observados rebaixamentos, exceto que no gráfico VMAF, o Topaz demonstra uma desigualdade de valores significativamente maior nos quadros vizinhos do que outros programas. Ele deu o primeiro lugar ao Instant 4K, o segundo ao Topaz e o terceiro ao UpResNet10.
Assim, Topaz ocupa o primeiro lugar, o Instant 4K ocupa o segundo e o UpResNet10, o terceiro.
O arquivo “original” FFV1 MKV 1080P, para aqueles que desejam realizar seus próprios experimentos ou repetir os meus, pode ser baixado aqui .
↑ Voltar ao conteúdo

4.3 Arquivo 3: "Fonte 4K"

imagem alt
Um quadro de um arquivo VERMELHO convertido para FFV1 e reduzido para 720P para visualizações.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP . Também estão disponíveis aqui arquivos e quadros originais em PNG .
As amostras em tamanho real de 4K no codec H.265 estão aqui (~ 49 MB cada).
A terceira comparação será realizada da seguinte maneira: o arquivo de origem com uma resolução de 3840x2160 no formato R3D foi exportado do Adobe Premiere com a mesma resolução, mas com uma taxa de quadros reduzida de 120 FPS para 23,98 FPS.
Depois disso, o arquivo FFV1 obtido foi novamente reduzido, desta vez usando interpolação bilinear, para uma resolução de 1920x1080, após o qual o arquivo resultante foi executado no programa de alto nível e comparado com o arquivo FFV1 em resolução 4K, ou seja, a comparação não foi com interpolação bilinear, como nos tempos anteriores, mas com a imagem original. O arquivo é curto, apenas 16 segundos; portanto, compararemos um único quadro.
A primeira diferença que chama sua atenção é a cor e o brilho da imagem. Verifiquei duas vezes as configurações para dividir o vídeo em quadros e depois coletá-los em vídeo usando ffmpeg: o resultado é um - nenhum algoritmo foi capaz de manter as cores e o brilho inalterados, nem mesmo o Lanczos. No entanto, o brilho e a cor da imagem, neste caso, não desempenham um papel importante para nós, portanto, veremos a clareza da imagem, ou seja, os detalhes do carro, imagens e reflexões.

Comparação animada de carros: MP4 H.264 , WEBP .
O 4K instantâneo afiou um pouco a imagem inteira e desenhou um reflexo escuro acima do volante. Além disso, todos os outros métodos sofisticados atraíram essa sombra, o que é interessante: apenas o Instant 4K “refletiu” nos detalhes antes. Talvez os algoritmos tenham descoberto o que é pouco visível para nós - a transição da área com reflexo na carroceria do carro. O Topaz se esforçou mais ao máximo, removendo o ruído em toda a imagem (o que, na verdade, nem sempre é bom, porque muitas vezes o ruído é adicionado / deixado intencionalmente) e destacou os detalhes do carro, incluindo imagens. No entanto, tanto o embaçamento não pode ser removido; em muitos lugares, o Topaz desenhou contornos duplos - especialmente no texto (quadrado azul). O UpResNet10 desta vez desapontou ao aumentar a pixelização de algumas partes do quadro, provavelmente reconhecendo incorretamente o ruído como "recursos" (quadrado vermelho). O que é característicoum comportamento semelhante é observado em Lanczos, que não possui AI. O Photoshop fez um meio-termo forte, reduzindo o ruído e não adicionando muita pixelização.
Nesta comparação, o vencedor para mim foi mais uma vez Topaz, o Photoshop ficou em segundo lugar, o Instant 4K ficou em terceiro.

Vamos para os gráficos: aqui adicionamos SSIM e PSNR aos gráficos, pois temos o original em 4K.
imagem alt
O resultado da análise de MITSU (tamanho completo) , Blur e Noise, menor é melhor.
imagem alt
Resultado da análise VMAF (tamanho completo) , quanto maior, melhor.
imagem alt
Resultado da análise SSIM (tamanho completo) , quanto maior, melhor.
imagem alt
Resultado da análise PSNR (tamanho completo) , quanto maior, melhor.

A PSNR colocou o Photoshop em primeiro lugar, o SSIM Lanczos e o VMAF Topaz. Em segundo lugar, PSNR e SSIM foram dados ao UpResNet10, enquanto o VMAF preferiu o Instant 4K. Em terceiro lugar, mais uma vez temos muito o que fazer e, enquanto a PSNR coloca Lanczos em terceiro lugar, o SSIM oferece Instant 4K. VMAF - Photoshop. Ao mesmo tempo, o VMAF avalia cada quadro do Topaz em 100 pontos em 100 possíveis - verifiquei duas vezes.
O MITSU novamente mostra a imagem familiar e nos diz que o ruído em todos os resultados está praticamente ausente. Quanto ao desfoque, nem tudo é tão bom aqui - a maioria dos escaladores manteve o embaçamento do original, apenas Topaz e UpResNet10 se separaram do grupo por 4 e 2 pontos, respectivamente. Ambos não conseguiram chegar aos 5 cobiçados, mas há um resultado.
Das quatro métricas, as leituras de VMAF e MITSU correspondem mais de perto às minhas impressões, enquanto PSNR e SSIM preferem "matemática" de IA. De acordo com os resultados da análise, é difícil nomear o vencedor claramente.
O arquivo "original" do FFV1 MKV 4K, para aqueles que desejam realizar seus próprios experimentos ou repetir os meus, pode ser baixado aqui .
↑ Voltar ao conteúdo

4.4 Arquivo 4: “Youtube”

imagem alt
Um quadro de um vídeo do YouTube, ampliado usando interpolação bilinear e reduzido para 720P para visualizações.
Vídeo do Youtube, do início ao fim. A qualidade inicial é 720P, animação desenhada à mão, além de trepidação da câmera. A qualidade é aceitável, mas deixa muito a desejar, especialmente em um monitor 4K.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP . Também estão disponíveis aqui arquivos e quadros originais em PNG .
As amostras em tamanho real de 4K no codec H.265 estão aqui(~ 265 MB cada).

Na primeira comparação, o contraste do quadro emitido pelo Instant 4K é impressionante: difere em cores e brilho. Exportei este vídeo várias vezes de várias versões do Adobe Premiere e verifiquei a cor - o Instant 4K insistiu em alterar a cor em qualquer configuração. O resultado final é da versão 2019 com o Gerenciamento de cores do display ativado.

Comparação de rosto animado: MP4 H.264 , WEBP .
Sem um aumento, a diferença é perceptível, exceto no Instant 4K e Topaz, então vamos dar uma olhada mais de perto no rosto.
Lanczos não mostrou nenhuma melhoria, UpResNet10, curiosamente, também. O Photoshop reduziu o efeito de bloqueio da imagem, que apareceu no original devido a muita compactação, sem perder nenhum detalhe. Para animação, esse método é bastante aceitável; removemos artefatos sem aumentar a nitidez; em geral, a imagem se torna melhor. O 4K instantâneo aumentou o número de artefatos e mudou as cores; também há um ligeiro aumento na nitidez, que é compensado pelo aparecimento de ainda mais artefatos. O topázio, por outro lado, demonstrou exatamente o que eu gostaria de ver em todos os outros métodos: os artefatos desapareceram quase completamente, assim como o efeito de bloqueio, e a nitidez não pode ser comparada ao original ou a qualquer outro método sofisticado. O vencedor, é claro, é Topázio, o segundo lugar vai para Phtoshop,o terceiro é compartilhado por UpResNet10 e Lanczos, porque eles pelo menos não adicionaram novos artefatos, ao contrário do Instant 4K.

imagem alt
Um quadro de um vídeo do YouTube, ampliado usando interpolação bilinear e reduzido para 720P para visualizações.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP . Também estão disponíveis aqui arquivos e quadros originais em PNG .

Passamos para o segundo quadro: aqui temos muitos gradientes com artefatos, além de detalhes do rosto novamente.
Será interessante ver como todos os métodos sofisticados elaboraram artefatos em gradientes, bem como procurar alterações indesejadas. Quanto aos artefatos no gradiente à esquerda (quadrado azul), apenas Topázio e Instant 4K chamavam a atenção. Enquanto o primeiro se livrou desses blocos quase completamente, o Instant 4K falhou novamente, alterando cores e tornando os artefatos mais visíveis do que com Topaz. Obviamente, o resultado ainda não pode ser comparado com o resto: lá, esses blocos florescem e cheiram.

Comparação de rosto animado: MP4 H.264 , WEBP .
No original, novamente temos uma mancha de macroblocos e esperamos o mesmo resultado que no último quadro. O 4K instantâneo alterou levemente as transições entre os blocos e os tornou mais suaves, enquanto o Photoshop teve pior desempenho, ao contrário da primeira comparação. No entanto, a imagem após o processamento do Photoshop ainda se tornou um pouco melhor. O UpResNet10, infelizmente, atingiu novamente a sujeira na cara e não melhorou o que está acontecendo na tela, quase não diferindo do Lanczos. Mas Topaz mais uma vez acrescentou clareza, removeu artefatos e não adicionou novos.
O vencedor aqui novamente é Topaz, o segundo lugar é para o 4K instantâneo (eu já me reconciliei com a mudança de cor), o terceiro é o Photoshop.

imagem alt
Um quadro de um vídeo do YouTube, ampliado usando interpolação bilinear e reduzido para 720P para visualizações.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x resultados com perfil UpResNet10 e original.
Comparação animada: MP4 H.264 , WEBP . Também estão disponíveis aqui arquivos e quadros originais em PNG .

O terceiro e o último quadro: aqui selecionei especificamente um quadro mais escuro para ver como todos os programas funcionarão com artefatos em áreas escuras.

Antes de tudo, quero chamar a atenção para o quadrado verde: esperamos de todos os escaladores reduzir o bloqueio neste local. Infelizmente, nossas expectativas foram atendidas pelo silencioso Topázio, enquanto o restante, incluindo o Photoshop, não tornou os artefatos menos perceptíveis. O 4K instantâneo dispara novamente no pé, aumentando o brilho da imagem e esticando até os artefatos que simplesmente não víamos antes. Quero observar que também não gostei muito do resultado do Topázio nesse quadro, acho que manchava demais os gradientes. No entanto, para isso, ele removeu quase todas as falhas visíveis, então simplesmente não havia ninguém com quem compará-lo - todos os outros, como eu disse, praticamente não os afetaram.

Comparação de roupas animadas: MP4 H.264 , WEBP .
Como já vimos o suficiente de rostos, consideraremos detalhes maiores das roupas: aqui estamos testemunhando um verdadeiro desfile de macroblocos, especialmente em gradientes. Infelizmente, mais uma vez, nenhum dos escaladores melhorou a imagem, com exceção do Topaz, que suavizou todos os gradientes e removeu quase completamente o bloqueio, pelo qual ocupa o primeiro lugar na análise desse quadro. Infelizmente, não há ninguém para atribuir o segundo e o terceiro lugar para esta foto.

Surpreendentemente, o waifu2x, aparentemente aguçado pelo aumento de anime e desenhos, foi completamente incapaz de perceber sua vantagem. Foi uma surpresa para mim.

Compare minhas impressões com os resultados das análises VMAF e MITSU, começando com o primeiro:
imagem alt
Os resultados da análise de MITSU (tamanho completo) , Desfoque e Ruído, menor é melhor.
imagem alt
Resultado da análise VMAF (tamanho completo) , quanto maior, melhor.
A VMAF organizou todos os métodos sofisticados quase no oposto do meu pedido, em primeiro lugar Lanczos, no último - Topázio. Todo mundo tem rebaixamentos frequentes em qualidade, Topaz cai o mais baixo na métrica VMAF e, nos rebaixamentos mais longos, todo mundo fica atrás dele, exceto Lanczos. No entanto, não vi nada incomum nesses quadros.
Bem, o MISTU mais uma vez demonstra uma grande diferença entre Topázio e o resto, de acordo com a métrica Blur, além de um ligeiro aumento no ruído. De acordo com a MITSU, absolutamente todos os métodos sofisticados tornaram a imagem mais clara e o Instant 4K reduziu até a quantidade de ruído invisível para nós.
Assim, o primeiro lugar é ocupado pelo Instant 4K, o segundo - UpResNet10, o terceiro - Topaz.
Desta vez, eu discordo do VMAF.

O arquivo “original” FFV1 MKV 720P, para quem deseja realizar seus próprios experimentos ou repetir o meu, pode ser baixado aqui .
↑ Voltar ao conteúdo

5. Análise dos resultados

Para determinar o vencedor, usarei os resultados da métrica VMAF e as conclusões subjetivas sobre cada arquivo. Simplesmente adiciono a métrica VMAF usando a média de cada arquivo. Quanto à avaliação subjetiva, aqui vou abordar minhas conclusões sobre cada arquivo e dar a cada arquivo o primeiro lugar é 3 pontos, o segundo lugar é 2 e o terceiro é 1. Depois disso, adiciono esses pontos e os coloco verticalmente no gráfico.

imagem alt
O resultado da adição de VMAF e análise subjetiva (tamanho total) , quanto maior, melhor.

De acordo com a métrica VMAF, o Instant 4K acabou sendo o vencedor, rompendo com Topaz, que terminou em segundo, com apenas 0,58 pontos. De acordo com a análise subjetiva, por outro lado, a distância entre o primeiro e o segundo lugares é muito maior - Topázio ficou em primeiro lugar, rompendo com Intsant 4K, que ficou em segundo lugar com 8 pontos, obtendo 3 vezes mais pontos.

O vencedor da minha comparação é Topaz, o segundo lugar é no Instant 4K e o terceiro no UpResNet10.


No entanto, a comparação não seria completa sem comparar a velocidade dos programas e meus comentários sobre o trabalho deles. Vamos começar com o primeiro:
imagem alt
tempo gasto no processamento e volumes de arquivos recebidos (tamanho completo) O

aumento do detalhamento do Topaz afeta até tamanhos de arquivo e significativamente. Como regra, os arquivos Topaz são 2 vezes mais pesados ​​que os arquivos de outros usuários da linha superior e 4 vezes mais pesados ​​que os arquivos originais, ampliados por interpolação bilinear. A única exceção é o arquivo "4K Source", onde a diferença foi menor que 30%.

Quanto à velocidade dos programas, todos eles, exceto Topaz e Photoshop, funcionam a uma velocidade bastante razoável. No entanto, aceitável para quê?
E se quisermos ampliar um filme através do Topaz, com duração de 2 horas, a uma taxa de quadros de 25 quadros por segundo? Meu computador levará 421 horas ou 17 dias e meio de operação contínua. Que tal uma série de 40 minutos? 6 dias

Sim, a imagem com o mesmo waifu2x é um pouco diferente - 2 dias para o filme, 16 horas para a série. Você acha que o resultado mostrado pelo waifu2x vale dois dias de renderização contínua? Proponho responder a esta pergunta a todos de forma independente.

Há um mês, para vídeos sofisticados, usei apenas e exclusivamente o Instant 4K, para imagens (logotipos, às vezes fotos) waifu2x. O resultado demonstrado por Topaz me forçou a adicioná-lo à minha coleção de programas de luxo, pelo menos para ampliar imagens. Costumo ampliar clipes curtos com duração inferior a 10 segundos, além disso, amplia perfeitamente imagens - desenhos e fotografias.

Voltando ao tópico dos filmes, no caso do Topaz, vejo apenas uma maneira de resolver o problema: a distribuição de quadros para processamento em várias máquinas.
imagem alt
A IA do topázio pode correr mais rápido. Qual é o problema?
Desativar "modelos de IA de alta qualidade" reduz o tempo de processamento de um filme teórico em 4 dias, com o custo de reduzir a precisão do processamento de cores. Você pode estar interessado em saber queNo fórum do Topaz, muitos consideram esse modelo "leve" como de maior qualidade. Molduras PNG e comparações animadas podem ser vistas aqui .

O 4K instantâneo funciona a uma boa velocidade e demonstra um resultado maravilhoso (melhor do que outros métodos, exceto Topaz, e ao mesmo tempo mais rápido e também mais conveniente).

Lanczos , como esperado, não faz sentido sem um filtro de nitidez adicional para nitidez. Definitivamente, o

Photoshop não vale o tempo que levou, pelo menos com as configurações que usei. Talvez se você usar JPEG e substituir todos os discos por um SSD, poderá obter um aumento significativo na velocidade de processamento.

UpResNet10Em geral, ele reproduz 4K instantâneo. Mas se você não concordar com a iniciativa dele, tente substituir o Instant 4K pelo UpResNet10. Pessoalmente, não acho artefatos do Instant 4K tão perceptíveis. Por outro lado, usar o Instant 4K para ampliar imagens é pelo menos estranho e, geralmente, nem um pouco conveniente. Portanto, é possível substituir o waifu2x por um editor de vídeo, mas não é necessário.

Algum dos métodos sofisticados pode ser chamado de universal? Talvez sim. Eu acho que o Topázio configurado corretamente pode produzir uma imagem consistentemente melhor do que outros métodos sofisticados. Mas não há barril de mel sem uma mosca na pomada, não devemos esquecer o desempenho do Topázio.
↑ Voltar ao conteúdo

6. Um iniciante que queira experimentar programas de alto nível na prática

... Posso recomendar o Instant 4K como o mais fácil de usar.

Você simplesmente executa o programa, importa o arquivo para ele, cria uma sequência de “Sequência do clipe”, acessa as configurações (Configurações da sequência) e altera a resolução para o que deseja. Depois disso, arraste o efeito 4K instantâneo para sua trilha de vídeo, ajuste a resolução e parâmetros adicionais e você poderá começar a exportar.

Infelizmente, para usar este programa, você precisa comprar ou encontrar o Adobe Premiere, bem como o próprio plugin. Comprar tudo isso é um investimento muito sério, e não posso aconselhar a pesquisa de programas “curados” na Internet.

imagem alt
Adobe Premiere insatisfeito com meu gosto
Quero chamar sua atenção para o fato de o Premiere não funcionar com todos os formatos de vídeo, e uma parte considerável dos filmes da Internet jurará uma boa obscenidade. Neste caso, só posso aconselhar a conversão do filme para algo como ProRes usando ffmpeg:
 ffmpeg -hide_banner -probesize 1000M -i file.mkv -pix_fmt yuv420p -c:v prores_ks -c:a aac -b:a 128k file.mov 

O próximo da fila será waifu2x : coloque o vídeo em quadros usando o arquivo BAT da seção “Preparando o material para teste” , abra a pasta no waifu2x, selecione os parâmetros (aumentar a resolução, redução de ruído) e comece a exportar. No final, você só precisará trazer os quadros e o som para um vídeo finalizado. Você pode ter alguns problemas com a configuração, como eu já escrevi, eu pessoalmente tive que procurar pelo cuDNN, além disso, o waifu2x requer uma placa de vídeo bastante poderosa.

Se, por algum motivo, você não puder configurar o waifu2x ou não tiver energia GPU suficiente, consulte o Photoshop . Em deste artigo , há uma boa instruções suficientes para a sua utilização.

Se você estiver satisfeito com as experiências com imagens ou tiver muito tempo extra, use o teste Topaz : ele funcionará com todas as funções por 30 dias. Você só tem tempo para aumentar seu filme favorito antes do final do período de avaliação (mas isso não é exato). Os requisitos para uma poderosa placa gráfica waifu2x se aplicam aqui. Além disso, ao usar o Topaz ou o waifu2x, você pode ter problemas ao trabalhar com outros programas, mesmo os mais simples, pois os dois programas se esforçam para ocupar a GPU em 100%, tornando a interface do resto muito lenta. O princípio de operação é o mesmo que o waifu2x.

Nos últimos três casos, recomendo que você separe a trilha de áudio do arquivo de vídeo original com antecedência, de qualquer maneira conveniente. Se este é um vídeo simples do Youtube ou um filme com uma faixa - bem, o arquivo BAT de linha única mais simples será suficiente. Se você tiver "sorte" de experimentar um filme com as faixas 5.1 e várias traduções, esses casos vão muito além do escopo deste artigo. Mas quem procura sempre encontrará.

Script de extração de som de amostra
 ffmpeg -i input-video.avi -vn -acodec copy output-audio.aac 

Depois de receber o áudio em um arquivo e ao final do processamento de quadros com o upscaler, você deve reduzir o som e o vídeo em um arquivo.

Para iniciantes, recomendo usar o script do artigo sobre o Photoshop:
 ffmpeg -framerate 24 -i image-%%03d.png -i output-audio.aac -pix_fmt yuv420p -vcodec libx264 -preset veryslow -crf 15 -c:a aac -b:a 128k -r 24 test_4K.mp4 

. -r -framerate . PNG : -pix_fmt yuv420p

O restante deve estudar os parâmetros e configurações do H.265 (tamanho menor e qualidade superior) e H.264 (mais rápido).
Mais opções de script para o FFMPEG podem ser encontradas neste artigo de luxo.
↑ Voltar ao conteúdo

7. Planeje o próximo artigo e faça perguntas aos leitores

No próximo artigo, pretendo adicionar testes interativos para testes subjetivos, para que os leitores avaliem diretamente certos métodos sofisticados. Para isso, utilizarei a Ferramenta de Medição de Qualidade de Vídeo MSU . Mas precisarei entender se posso usar livremente o H.265 e compactar arquivos com mais força ou terei que usar o H.264. Por favor, faça a pesquisa abaixo e observe se o seu PC pode reproduzir o H.265 sem perda de quadro ("defasagens").
Além disso, pretendo considerar o modelo de rede neural convolucional de super-resolução (SRCNN) e o modelo de rede neural convolucional de sub-pixel eficiente (ESPCN).

  • Lanczos, sharpening. ? ? , Lanczos , , sinc?
  • waifu2x ? CUnet? Y? , ?
  • Photoshop?
  • «, » Topaz, «, »?
  • , ?
  • MITSU? , , Noise Blockiness?

Topaz:
imagem alt
, Topaz .

Source: https://habr.com/ru/post/pt446032/


All Articles