Zoomez des vidéos 1080P en 4K, ou comment j'ai appris à ne pas m'inquiéter et à aimer le haut de gamme en utilisant les réseaux de neurones

En lisant un article récent sur le haut de gamme ( Haut de gamme - mise à l'échelle d'une image à une résolution plus élevée), cette fois sur un produit commercial Topaz AI Gigapixel, j'ai laissé un commentaire avec le contenu suivant:
Dommage que la publication soit une simple traduction, je voudrais la comparer avec quelque chose de gratuit, comme le même waifu2x. Je pense que la différence sera très difficile à trouver, même si waifu2x est conçu pour l'animation.
Eh bien, comme l'article était une traduction, j'ai décidé de prendre les choses en main. Alors, ne perdons pas de temps, faisons connaissance:


Sous la coupe, Longrid, ainsi que des guides vidéo haut de gamme utilisant Instant 4K, Waifu2x, Lanczos et Topaz Gigapixel AI.


Nous les comparerons de nos propres yeux, car nous pouvons optimiser l'image pour différentes solutions d'analyse de l'image en gagnant des pourcentages «supplémentaires» ... Cependant, nous ne refuserons pas non plus ce dernier, donc les résultats des analyses MITSU et VMAF s'ajouteront aux résultats en captures d'écran, puisque les deux programmes fonctionnent avec la vidéo sans échantillon. SSIM, PSNR et autres ne nous conviendront pas dans ce cas, car nous n'avons pas de véritable 4K avec lequel les résultats du haut de gamme peuvent être comparés.

Contenu:



Tous les fichiers de l'article, y compris les images PNG sans compression, les comparaisons animées, les échantillons 4K H.265, les tableaux et les fichiers FFV1 sont sur Google . Miroir sur Yandex . Il existe 3 guides vidéo simples pour utiliser Adobe Premiere Instant 4K, Waifu2x et Topaz.

1. Préparation du matériel pour les tests

Configuration du banc d'essai:
Processeur: Intel Core i7-4980HQ 4,2 GHz
Carte mère: MSI Z97 GAMING 5
(ne demandez pas)
RAM: 32 Go DDR3 2400
GPU: NVIDIA GTX 1080ti FE 11GB, la fréquence centrale est réglée manuellement sur 1923, la fréquence de la mémoire est 5602.
SHD: système et programmes sur SSD M.2 SATA 850 EVO 250GB, fichiers sur disque dur 2 To WDC WD40EZRZ.
La montée en gamme a été effectuée selon le scénario suivant:

  • Si la mĂ©thode sĂ©lectionnĂ©e prend en charge le travail directement Ă  partir de l'Ă©diteur vidĂ©o Adobe Premiere, alors tout le travail a eu lieu dans cet Ă©diteur, après quoi le rĂ©sultat a Ă©tĂ© exportĂ© dans le codec FFV1 avec le paramètre GOP 1 pour Ă©viter toute perte et utiliser une compression d'image exclusivement rĂ©versible.
  • Si la mĂ©thode sĂ©lectionnĂ©e ne prend pas en charge le travail de l'Ă©diteur vidĂ©o, la vidĂ©o est dĂ©composĂ©e en images distinctes au format PNG Ă  l'aide d'un simple fichier bat:

    Fichier BAT pour enregistrer des images individuelles dans le dossier des images
    wmic process where name="cmd.exe" CALL setpriority 16384 @echo off :hugly if "%~1" EQU "" goto mugly ffmpeg -probesize 1000M -i "%~1" -vsync vfr frames\image-%%03d.png shift goto hugly :mugly pause 

    Pour décomposer la vidéo en images, placez simplement ce fichier dans le dossier ffmpeg.exe et créez le dossier images, après quoi il est courant de faire glisser le fichier vidéo directement sur le fichier bat.

    Après cela, les images traitées ont été envoyées à FFMPEG pour le mixage et exportées avec exactement les mêmes paramètres que dans le premier cas.

    Fichier BAT pour convertir des images individuelles en un fichier, sans son
     ffmpeg -framerate 24 -i image-%%03d.png -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -r 24 photoshop.mkv 

    Les paramètres -framerate et -r sont responsables du réglage de la fréquence d'images vidéo, les deux doivent être spécifiés.

Dans les deux cas, la sortie était un fichier MKV avec le codec FFV1, d'une taille d'environ 700 mégaoctets pour chaque 10 secondes de vidéo.

Le résultat de l'analyse d'un des fichiers à l'aide de MediaInfo
General
Unique ID : 116184020412676472870756705294056286853 (0x57683A783D4732308C09451184B9EA85)
Complete name : D:\HABR\4K SOURCE\topaz.mkv
Format : Matroska
Format version : Version 4
File size : 1.21 GiB
Duration : 16 s 475 ms
Overall bit rate mode : Variable
Overall bit rate : 630 Mb/s
Writing application : Voukoder 1.2.1 (Premiere) - www.voukoder.org
Writing library : Lavf58.12.100
ErrorDetectionType : Per level 1

Video
ID : 1
Format : FFV1
Format version : Version 3.4
Format settings, GOP : N=1
Codec ID : V_MS/VFW/FOURCC / FFV1
Duration : 16 s 475 ms
Bit rate mode : Variable
Bit rate : 618 Mb/s
Width : 3 840 pixels
Height : 2 160 pixels
Display aspect ratio : 16:9
Frame rate mode : Constant
Frame rate : 23.976 (24000/1001) FPS
Color space : YUV
Chroma subsampling : 4:2:0
Bit depth : 8 bits
Scan type : Progressive
Compression mode : Lossless
Bits/(Pixel*Frame) : 3.107
Stream size : 1.19 GiB (98%)
Default : Yes
Forced : No
Color range : Limited
Color primaries : BT.709
Transfer characteristics : BT.709
Matrix coefficients : BT.709
coder_type : Golomb Rice
MaxSlicesCount : 12
ErrorDetectionType : Per slice


Après cela, chacun des fichiers a été ouvert dans MPC-HC dans le but de prendre des captures d'écran, puis il a été envoyé pour analyse à ffmpeg en utilisant, encore une fois, un fichier bat:

Pour que ce script fonctionne, ffmpeg doit ĂŞtre construit avec le support de libvmaf!
 ffmpeg.exe -i instant_4k.mkv -i A016_C001_02073O_001.mkv -lavfi libvmaf=model_path=vmaf_4k_v0.6.1.pkl:log_path=vmaf.log:log_fmt=json:psnr=1:ssim=1:ms_ssim=1 -f null - 
FFMPEG avec support VMAF peut être téléchargé à partir de mes liens vers Google et Yandex ci-dessus.

MITSU, à son tour, n'avait pas besoin d'être configuré, les fichiers de chauve-souris finis nécessitent une petite modification avec un fichier (j'ai indiqué les chemins d'accès complets à ffprobe et ffmpeg, et j'ai également mis cygwin1.dll dans le dossier avec le fichier exécutable).

Les données reçues ont été importées dans Excel et transformées en beaux graphiques et pas très graphiques.
Les fichiers FFV1 ont également été convertis en mp4 avec le codec h265 (afin de minimiser la taille du fichier tout en préservant le maximum de détails) avec VBR 25000 kbps et SAO désactivés, dans l'espoir d'obtenir une qualité adéquate.

↑ Retour au contenu

2. Le choix du matériel à tester

Dans cet article, nous considérons une variété d'exemples: des fragments de la série en 1080P, des animations dessinées à la main et même des vidéos 4K tournées sur un appareil photo professionnel pour obtenir des résultats objectifs pour différents cas d'utilisation des programmes en question.

Les types de vidéos suivants ont été traités:

  • Scène de la sĂ©rie " Person of Interest ", S02E20, intro: beaucoup d'infographie, beaucoup de mouvement et changement de plans.
  • Une scène de la mĂŞme sĂ©rie de la sĂ©rie: peu de mouvement, plusieurs changements de plans et beaucoup de dĂ©tails en arrière-plan et au premier plan, des branches d'arbre aux dĂ©tails du visage.

    Les deux scènes sont prises à partir d'un fichier avec une résolution de 1920 × 1080 (Full HD), codec H.264, débit - 12 664 kbps. C'est une assez bonne qualité initiale pour la série. La comparaison du résultat haut de gamme a été réalisée avec le fichier agrandi par simple interpolation bilinéaire (il est indiqué dans la liste comme référence).
  • Exemple de vidĂ©o de RED.com : vĂ©ritable 4K HD (3840x2160) tournĂ© Ă  120FPS. La vidĂ©o a Ă©tĂ© rĂ©duite Ă  1920 x 1080 Ă  l'aide de Lanczos, puis augmentĂ©e Ă  4K Ă  l'aide des programmes de la liste ci-dessus. La frĂ©quence d'images a Ă©tĂ© rĂ©duite Ă  ~ 24 images par seconde. Le rĂ©sultat a Ă©tĂ© comparĂ© avec le fichier source converti d'un fichier RED en FFV1 familier (ffmpeg refuse de travailler avec des fichiers RED).
  • Animation dessinĂ©e Ă  la main "Le livre sacrĂ© du loup-garou ", tĂ©lĂ©chargĂ©e sur YouTube, secousses artificielles de la "camĂ©ra", nombreux changements de plans. Fichier source en rĂ©solution 1280x720, conteneur WEBM, codec VP9, ​​dĂ©bit binaire 1556 kbps. C'est une qualitĂ© très faible, mais assez courante sur YouTube.

↑ Retour au contenu

3. Programmes sélectionnés pour les tests

Nous allons explorer chacune des méthodes haut de gamme plus en détail:

  • Red Giant Shooter Instant 4K 13.1.5
    Payé: oui (99 $).
    Intégration avec Adobe Premiere (ne nécessite pas de décomposition de la vidéo en images): oui.

    Paramètres de qualité: Type de filtre - Meilleur, Netteté 2, Qualité 25 (maximum), Anti-aliasing 6. Ce sont des paramètres standard, à l'exception de Qualité - il a été réglé manuellement au maximum.
    Temps de traitement pour 914 trames INTRO: 532 secondes (11 fois plus longtemps que les exportations régulières).

    Méthode haut de gamme: inconnue ("algorithmes intelligents")

    image alt
    L'interface du plugin Instant 4K dans la fenêtre du programme Adobe Premiere 2019, dans le coin supérieur gauche.

    Nous sélectionnons la résolution cible (vous pouvez spécifier la vôtre), sélectionnez le type de filtre (je ne vois aucune raison de choisir autre chose que Best), modifiez ou laissez la netteté par défaut (netteté), la qualité (qualité) et l'anti-aliasing (lissage), puis exportez le fichier vidéo et profitez du résultat.

    Il fonctionne assez rapidement, ne charge pratiquement pas le GPU et le CPU plus que l'export habituel. Il y a une semaine était mon plugin vidéo haut de gamme standard. Il apporte des modifications qui ne sont pas typiques des filtres mathématiques simples dans les détails de l'image, il s'agit donc très probablement d'une IA. Il prend la deuxième place en vitesse.

    Vous permet de voir le résultat avant de rendre la vidéo, ajustez les paramètres. Pour que la lecture fluide nécessite un rendu, les modifications sont visibles dans la visionneuse quelques secondes après avoir modifié les paramètres.
  • Filtre Lanczos (connu sous le nom de Lanczos).

    Payé: non.

    Intégration avec Adobe Premiere (ne nécessite pas de décomposition de la vidéo en images): oui, dans le cadre du plugin Voukoder .

    Paramètres de qualité: aucun.

    Temps de traitement pour 914 images INTRO: 54 secondes (1,13 fois plus longtemps que l'exportation régulière), à ​​l'exclusion du temps nécessaire pour convertir la vidéo en images distinctes, puis réduire les images en vidéo.

    Méthode haut de gamme: non-AI.

    Exemple de ligne pour la mise à l'échelle d'un fichier vidéo sous Windows:
     ffmpeg -framerate 23.976 -i input.mp4 -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -vf scale=3840:2160 -sws_flags lanczos+full_chroma_inp -r 23.976 lanczos.mkv 


    Il n'y a pas d'aperçu, ainsi que des paramètres. Il est possible de travailler directement avec la vidéo, sans la décomposer en images. Fonctionne très bien avec ffmpeg. Il fonctionne plus rapidement que tout le monde, uniquement sur le processeur.
  • Adobe Photoshop Saving Details 2.0
    Payé: oui.

    Intégration avec Adobe Premiere (ne nécessite pas de décomposition vidéo en images): non.

    Paramètres de qualité: il existe un paramètre de «réduction du bruit», réglé à 100%, comme l' auteur de l'article.

    Temps de traitement pour 914 images INTRO: 3840 secondes (80 fois plus longtemps que l'exportation régulière), à ​​l'exclusion du temps nécessaire pour convertir la vidéo en images individuelles, puis les ramener en vidéo.

    Méthode haut de gamme: inconnue.

    image alt
    Il nécessite une configuration initiale sous forme de création d'un modèle «ouvrir un fichier - redimensionner - enregistrer un fichier», il passe beaucoup de temps directement à ouvrir des fichiers et à les enregistrer: le format de cadre sélectionné affecte le PNG, il fonctionne sur le CPU. L'avant-dernière vitesse.

    Vous permet de voir le résultat avant d'agrandir l'image et de l'enregistrer.
    Un utilisateur inexpérimenté peut avoir des problèmes avec la modification de l'espace colorimétrique: revérifiez le profil colorimétrique après avoir enregistré l'image, comparez les couleurs de l'image originale et augmentez l'échelle. Très probablement, le profil de couleur sRGB IEC61966-2.1 vous convient.
  • Topaz Gigapixel AI
    Payé: oui (99 $).

    Intégration avec Adobe Premiere (ne nécessite pas de décomposition vidéo en images): non.

    Paramètres de qualité: supprimer le bruit et supprimer le flou. De plus, il est possible d'activer et de désactiver les «modèles AI de qualité maximale». Dans notre comparaison, ces modèles sont inclus.

    Temps de traitement pour 914 images INTRO: 7680 secondes (160 fois plus longtemps que l'exportation régulière), à ​​l'exclusion du temps nécessaire pour convertir la vidéo en images distinctes, puis ramener les images en vidéo.

    Méthode haut de gamme: AI.

    image alt
    Une interface assez agréable avec un aperçu du résultat, il a un essai entièrement fonctionnel de 30 jours, il charge beaucoup la carte vidéo et ne fonctionne, en fait, que sur elle. Si vous le souhaitez, vous pouvez exécuter sur le CPU. Par rapport au reste - le plus lent.
  • Waifu2x avec profil UpResNet10
    Payé: non.

    Intégration avec Adobe Premiere (ne nécessite pas de décomposition vidéo en images): non.

    Paramètres de qualité: sous Windows, il y a waifu2x-caffe , il vous permet de sélectionner un profil et de régler la puissance de la "réduction du bruit" (Arrêt / 1/2/3). Expérimentalement, j'ai choisi le profil UpResNet10 comme affichant le meilleur résultat. Le réducteur de bruit est réglé sur AUTO 1.
    Temps de traitement pour 914 images INTRO: 879 secondes (18 fois plus longtemps que l'exportation régulière), à ​​l'exclusion du temps nécessaire pour convertir la vidéo en images distinctes, puis ramener les images en vidéo.
    Méthode haut de gamme: AI.
    image alt
    Une interface simple qui fonctionne sur le GPU peut entraîner des difficultés supplémentaires lors de la configuration initiale (j'ai dû installer cuDNN, cela a pris 10 à 15 minutes). Si vous le souhaitez, vous pouvez exécuter sur le CPU. La vitesse moyenne, devant seulement Photoshop et Topaz.

Ce n'est pas une liste complète des programmes qui conviennent à la vidéo haut de gamme, et dans le prochain article, j'essaierai d'ajouter encore plus de moyens. Suggérez vos options dans les commentaires!
↑ Retour au contenu

4. Enfin, nous passons à la vidéo:


4.1 Fichier 1: «INTRO»:

Premier passage: infographie.
image alt
Une image de la série agrandie par interpolation bilinéaire et réduite à 720P pour les aperçus.
Les principales différences: la qualité du traitement du texte et des marques sur la carte, y compris les grilles tout au long du cadre, ainsi que le maintien de la forme de la «vue» au centre du cadre.
Résultats JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP . Les fichiers et les cadres originaux en PNG sont également disponibles ici . Je recommande de visionner des vidéos et des images localement, pas à partir de la page Google Drive.
Des échantillons 4K de taille réelle dans le codec H.265 sont ici (~ 100 Mo chacun).

Comparaison du centre du cadre animé: MP4 H.264 , WEBP .
Commençons par la vue au centre. Carré rouge: faites attention au comportement de deux lignes qui se croisent. Étant donné que nous traitons (par endroits) avec l'IA, nous recherchons des distorsions indésirables. Instant 4K a apporté des changements assez importants à ce carré, pour lequel il reçoit un moins de karma de ma part. Toutes les autres méthodes se sont comportées approximativement de la même manière, le résultat le plus clair - avec Photoshop. Topaze - en deuxième place. UpResNet10, malheureusement, a remarqué des artefacts de compression et a gentiment décidé de les augmenter. Lanczos n'est en fait pas différent de l'augmentation habituelle.
Carré bleu: suivez la forme des cercles, espérez le cercle le plus lisse possible. Instant 4K a de nouveau ajouté des espaces et a lissé le cercle, supprimant l'écart au bas de celui-ci. Cependant, cette fois, pour cela, il reçoit un plus de moi. Cependant, Photoshop a le meilleur résultat. UpResNet10 a mis en évidence trop de détails (grille) sur le cercle, qui peuvent être perçus comme des artefacts.

Comparaison de texte animé: MP4 H.264 , WEBP .
Nous passons au texte: Lanczos l'a mis en gras, pour lequel il obtient un moins. UpResNet10 aime à nouveau une grille et se montre encore pire que ses concurrents. J'ai surtout aimé le texte produit par Topaz. Cependant, il est à peu près égal aux résultats d'autres méthodes - c'est déjà une question de goût. Ceux qui sont prêts à pardonner à Instant 4K pour avoir «réfléchi» peuvent avant tout être satisfaits du texte qu'ils ont émis, le reste, je pense, sera partagé entre Topaz et Photoshop. Ce dernier, à mon goût, est toujours «savonneux».

Comparaison animée de la grille sur la carte: MP4 H.264 , WEBP .
Le dernier point est la grille sur la carte. Ici, tout le monde s'est montré plus ou moins le même, à l'exception de deux distingués - UpResNet10 et Topaz. La topaze a tué tout un tas de points et presque tous les détails. UpResNet10, au contraire, a mis en évidence des points où ils étaient pratiquement invisibles auparavant. Personnellement, ces deux options ne me conviennent pas, je partage donc la victoire «pour les points» entre Instant 4K et Photoshop.
En général, Photoshop est le gagnant sur une carte statique à partir d'infographie, Instant 4K prend la deuxième place, UpResNet10 passe en troisième position (nous voulons toujours plus de détails sur 4K, et il nous les a donnés, bien que d'une qualité douteuse). La topaze a tué trop de détails, tandis que Lanczos est très peu différent de l'interpolation bilinéaire.

Nous regardons l'image suivante: le milieu de l'animation avec mouvement.
image alt
Une image de la série agrandie par interpolation bilinéaire et réduite à 720P pour les aperçus.
Résultats JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP . Les fichiers et les cadres originaux en PNG sont également disponibles ici .
À première vue, l'image est attendue: toutes les options, sauf Lanczos, ont donné une image plus claire. Nous porterons une attention particulière aux détails de Topaz, car cela a surtout changé l'image. Nous étudierons le véritable acteur non dessiné, les détails de ses vêtements, ainsi que le texte.

Comparaison animée des acteurs: MP4 H.264 , WEBP .
Quant à l'acteur, les différences ici sont vraiment minimes: bien que la dernière fois que UpResNet10 ait affiché des détails (parfois superflus) qui étaient auparavant difficiles à voir, cette fois, cela n'a fait qu'augmenter la netteté de la grille diagonale d'en bas. Les différences entre Photoshop, Lanczos et Instant 4K doivent vraiment être examinées sous une loupe, même une augmentation de 400% ne suffit pas pour remarquer les différences. En général, Photoshop et Instant 4K ont produit une image légèrement plus nette. Instant 4K fait à nouveau du travail amateur - le col de la chemise a changé dans le carré rouge de l'acteur. Cependant, une réelle différence par rapport à une simple augmentation est notable, sauf pour Topaz: le bruit de couleur autour des bandes a diminué, et c'est également le seul programme qui a une augmentation de la netteté dans le carré bleu.

Comparaison de texte animé: MP4 H.264 , WEBP .
Nous passons ci-dessous au texte: ici Photoshop a cédé à toutes les autres méthodes d'agrandissement et a produit une image identique à Lanczos. UpResNet10 et Instant 4K ont ajouté de la netteté, mais ont également introduit un petit "gag" sous forme de lettres. La topaze a de nouveau donné l'image la plus claire, mettant en évidence les lettres irrégulières (bonnes ou mauvaises - vous décidez) et les artefacts de compression mineurs. Le bruit de couleur est à nouveau réduit et les majuscules en haut ne se comparent pas aux autres méthodes d'augmentation.

La dernière image du segment: une image de la série avec une infographie superposée.
image alt
Une image de la série agrandie par interpolation bilinéaire et réduite à 720P pour les aperçus.
Résultats JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP . Les fichiers et les cadres originaux en PNG sont également disponibles ici .

Comparaison de visage d'acteur animé: MP4 H.264 , WEBP .
Nous ne considérerons dans l'agrandissement que le visage de l'acteur à droite: Topaz a ajouté de la netteté et a très bien mis en évidence la grille, en conséquence, le visage de l'acteur s'est révélé très clair. Instant 4K et UpResNet10 ont fait de même, mais ont supprimé moins de flou (flou). Photoshop a cédé à eux aussi, dépassant à moins que Lanczos. En général, personne n'a perdu de détails et Instant 4K n'a pas apporté de modifications inutiles.

Dans les trois cadres sélectionnés, le gagnant pour moi était Topaz. Malgré un tas de détails perdus dans le premier cadre, il a récupéré sur les deux derniers. La deuxième place a été prise par Instant 4K, pour une netteté plus ou moins stable dans les trois images, malgré des changements mineurs. Le troisième est pour UpResNet10. Dans la première image a montré une image que je n'aimais pas, mais dans les deux dernières a montré une bonne augmentation de la netteté. Photoshop a bien démarré dans la première image, mais dans les deux dernières, il n'a presque pas différé de l'augmentation habituelle. Les lanczos sans netteté ne diffèrent presque pas de l'interpolation bilinéaire dans les trois images.

Voyons ce que MITSU et VMAF diront:
image alt
Le résultat de l'analyse de MITSU (taille réelle) , Flou et Bruit, plus petit est meilleur.
image alt
Résultat de l'analyse VMAF (taille réelle) , plus c'est gros, mieux c'est.
MITSU rapporte que le moins de tous les bluers contiennent des images traitées par Topaz. Néanmoins, toutes les autres méthodes haut de gamme, dont Lanczos, ont montré une amélioration de l'indicateur de flou et ont franchi la frontière de 5 points, les chiffres ci-dessous nous indiquent que la vidéo n'a pas trop de flou. Autrement dit, toutes les méthodes haut de gamme ont amélioré la clarté de l'image.
Quant au bruit, l'image est à l'opposé - le moins de bruit dans l'image d'origine, le plus dans Topaze. En principe, cela est logique car:
  1. Une partie du bruit pourrait en effet être incorrectement classée par tous les programmes comme détails et «améliorée».
  2. Certains détails de l'image pourraient être reconnus par le MITSU comme du bruit.

Dans tous les cas, je n'ai pas remarqué d'augmentation notable de la quantité de bruit dans l'image, et toutes les valeurs sont en dessous de la frontière de 3,5 points, c'est-à-dire que, selon la documentation MITSU , elles n'ont aucun bruit visible.
Étant donné que le bruit dans toutes les images est beaucoup plus faible que perceptible, nous jugerons par l'indicateur de flou.
En ce qui concerne VMAF, ici, tous les graphiques sont fondamentalement à la valeur maximale de 100. Cependant, dans le graphique VMAF, nous pouvons voir des baisses - comme, par exemple, dans Instant 4K et Topaz ont la même apparence - seule Topaz tombe en dessous. Au milieu du graphique, Instant 4K est remplacé par UpResNet10, qui baisse légèrement avec Topaz. Ici, ce dernier a une baisse de VMAF à 77, et à la fin du graphique pour Photoshop cette valeur tombe à 0. Dans le même temps, aucune différence visible, artefact ou «pépin» n'est visible dans ces cadres.
Ainsi, les algorithmes ont réparti les programmes comme suit: en premier lieu UpResNet10, en second - Instant 4K, en troisième - Photoshop.
Le fichier «original» FFV1 MKV 1080P, pour ceux qui souhaitent mener leurs propres expériences ou répéter le mien, peut être téléchargé ici .
↑ Retour au contenu

4.2 Fichier 2: «Scène 1»

Deuxième passage: une scène sans infographie, détails des visages et des arrière-plans.
Les principales différences: détails d'arrière - plan, détails du visage, artefacts dessus.
image alt
Une image de la série agrandie par interpolation bilinéaire et réduite à 720P pour les aperçus.
Résultats JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP . Les fichiers et les cadres originaux en PNG sont également disponibles ici .
Des échantillons 4K de taille réelle dans le codec H.265 sont ici (~ 97 Mo chacun).

Comparaison d'arbres animés: MP4 H.264 , WEBP .
Tout d'abord, considérez l'arrière-plan, ou plutôt les arbres: Instant 4K et UpResNet10 se sont révélés être à peu près les mêmes, ajoutant un peu de netteté, tandis que Photoshop, au contraire, a perdu certains détails en lissant l'image. De plus, Instant 4K a légèrement déformé les arbres (voir carrés rouges). Mais Topaz a ajouté beaucoup de netteté et a fait des arbres très clairs à partir du fond de savon. Lanczos n'est à nouveau pas différent de l'interpolation bilinéaire.

image alt
Une image de la série agrandie par interpolation bilinéaire et réduite à 720P pour les aperçus.
Résultats JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP . Les fichiers et les cadres originaux en PNG sont également disponibles ici .
Une comparaison animée de l'acteur sur le fond des arbres: MP4 H.264 , WEBP .
Maintenant un autre cliché: l'acteur nous fait face sur fond d'arbres.
Spoiler: vous n'avez pas besoin de regarder les arbres, ils ne diffèrent pas. Par conséquent, nous étudions le verre dans la main de l'acteur et son visage.

Comparaison de visage d'acteur animé: MP4 H.264 , WEBP .
Dans le cas du visage, Instant 4K et UpResNet10 ont de nouveau montré approximativement les mêmes résultats, et Photoshop a de nouveau perdu certains détails.Topaze a ajouté ces détails, mais pas autant que dans le cas des arbres en arrière-plan. La caractéristique des artefacts Instant 4K cette fois n'a pas été trouvée. Lanczos s'est avéré être légèrement plus net que l'interpolation bilinéaire.

Comparaison de vitres animées: MP4 H.264 , WEBP .
Eh bien, dans la dernière comparaison, un verre en verre, les principales différences étaient visibles dans sa partie transparente sans boisson. La topaze a de nouveau ajouté plus de détails que les autres, Photoshop a de nouveau rendu l'image floue (carré bleu), et UpResNet10 et Instant 4K se comportent à peu près de la même manière. Répétabilité totale du résultat.
Le gagnant de cette prise de vue était sans aucun doute Topaz, ajoutant des détails sans artefacts (!), La deuxième place a été prise par UpResNet10, qui, bien qu'elle ait ajouté un peu de netteté, n'a certainement pas atteint Topaze, mais n'a pas ajouté d'artefacts, comme l'a fait la troisième place Instantanée. 4K. Photoshop a pris le dernier - pas augmenté, mais a réduit les détails.

image alt
Une image de la série agrandie par interpolation bilinéaire et réduite à 720P pour les aperçus. Résultats
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP. Les fichiers et les cadres originaux en PNG sont également disponibles ici .
Comparaison de visages animés du deuxième acteur: MP4 H.264 , WEBP .
La dernière image du même fragment: le deuxième acteur.
Tout est clair pour nous avec des arbres, des arrière-plans et des lunettes, nous étudions donc ici le visage de l'acteur.
Ici, le résultat correspond à peu près aux images précédentes, avec une mise en garde très importante: Topaze a peint quelque chose sur la joue de l'acteurque j'ai commencé à remarquer à une augmentation de 500%, et je n'ai pu le voir qu'à 1000%: une "texture" très désagréable, qui ne devrait évidemment pas être là. Toutes les autres méthodes ont fonctionné à peu près de la même manière, seul Photoshop a de nouveau perdu les détails (mais s'est débarrassé du bruit sur la chemise blanche). Le dernier endroit pour de telles performances amateurs est Topaz, l'avant dernier est Photoshop, tout le reste prend la «première place» honorable.

Selon les résultats de l'examen des trois cadres, à contrecœur, mais Topaz prend la première place. Probablement, son comportement depuis la dernière image peut être corrigé, mais cela vous prendra du temps supplémentaire, et beaucoup. Cependant, ce détail n'est pas très visible à 100%, et il s'est parfaitement illustré lors de la première comparaison avec les arbres, ce sera donc un gagnant. La deuxième place est pour UpResNet10, pour augmenter la clarté sans artefacts, la troisième est pour Instant 4K, pour la même chose, mais avec des artefacts. Photoshop prend la dernière place pour la détérioration de la clarté de l'image.

Qu'en est-il du MITSU et du VMAF?
image alt
Le résultat de l'analyse de MITSU (taille réelle) , Flou et Bruit, plus petit est meilleur.
image alt
Résultat de l'analyse VMAF (taille réelle) , plus c'est gros, mieux c'est.
Ici, tout est à peu près le même qu'avec la première vidéo: Topaz a le moins de flou et le plus de bruit. Bien que le bruit n'ait encore une fois pas atteint 1 point, pas comme 3,5, nous faisons à nouveau attention au flou, où tout le monde a franchi les limites des 5 points autorisés. La topaze a montré une amélioration notable ici, réduisant le flou presque deux fois, à 6, tandis que les autres sont dans un tas de 10-12 points.
Selon le graphique VMAF, aucun rabattement n'est observé, sauf que sur le graphique VMAF, Topaz montre une inégalité de valeurs significativement plus grande dans les trames voisines que les autres programmes. Il a donné la première place à Instant 4K, la seconde à Topaz et la troisième à UpResNet10.
Ainsi, Topaz prend la première place, Instant 4K prend la seconde et UpResNet10 prend la troisième.
Le fichier «original» FFV1 MKV 1080P, pour ceux qui souhaitent mener leurs propres expériences ou répéter le mien, peut être téléchargé ici .
↑ Retour au contenu

4.3 Fichier 3: «Source 4K»

image alt
Une image d'un fichier RED convertie en FFV1 et réduite à 720P pour les aperçus. Résultats
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP . Les fichiers et les cadres originaux en PNG sont également disponibles ici .
Des échantillons 4K de taille réelle dans le codec H.265 sont ici (~ 49 Mo chacun).
La troisième comparaison sera effectuée comme suit: le fichier source avec une résolution de 3840x2160 au format R3D a été exporté depuis Adobe Premiere avec la même résolution, mais avec une fréquence d'images réduite de 120 FPS à 23,98 FPS.
Après cela, le fichier FFV1 obtenu a de nouveau été réduit, cette fois en utilisant une interpolation bilinéaire, à une résolution de 1920x1080, après quoi le fichier résultant a été exécuté via le programme haut de gamme et comparé au fichier FFV1 en résolution 4K, c'est-à-dire que la comparaison n'était pas avec une interpolation bilinéaire, comme les fois précédentes, mais avec l'image d'origine. Le fichier est court, seulement 16 secondes, nous allons donc comparer une seule image.
La première différence qui attire votre attention est la couleur et la luminosité de l'image. Plusieurs fois, j'ai revérifié les paramètres de division de la vidéo en images, puis la collecte de ces images dans la vidéo à l'aide de ffmpeg: le résultat est un - aucun algorithme n'a pu garder les couleurs et la luminosité inchangées, pas même Lanczos. Cependant, la luminosité et la couleur de l'image dans ce cas ne jouent pas un rôle pour nous, nous allons donc examiner la clarté de l'image, à savoir les détails sur la voiture, les images et les reflets.

Comparaison de voitures animées: MP4 H.264 , WEBP .
Instant 4K a légèrement accentué l'image entière et a dessiné un reflet sombre au-dessus de la roue. De plus, toutes les autres méthodes haut de gamme ont dessiné cette ombre, ce qui est intéressant: seul Instant 4K a «réfléchi» aux détails avant. Peut-être que les algorithmes ont permis de comprendre ce qui nous est mal visible - la transition de la zone avec une réflexion sur la carrosserie de la voiture. Topaz a fait de son mieux, en supprimant le bruit dans l'image (ce qui, en fait, n'est pas toujours bon, car souvent du bruit est ajouté / laissé intentionnellement) et a mis en évidence des détails sur la voiture, y compris les images. Cependant, juste autant de flou ne peut pas être supprimé, donc à de nombreux endroits Topaz a dessiné des contours doubles - en particulier sur le texte (carré bleu). UpResNet10 a cette fois déçu en augmentant la pixellisation de certaines parties du cadre, reconnaissant probablement à tort le bruit comme des «caractéristiques» (carré rouge). Quelle est la caractéristiqueun comportement similaire est observé à Lanczos, qui n'a pas du tout d'IA. Photoshop a fait un bon milieu, réduisant le bruit et n'ajoutant pas beaucoup de pixellisation.
Dans cette comparaison, le gagnant pour moi était encore une fois Topaz, Photoshop a pris la deuxième place, Instant 4K a pris la troisième place.

Passons aux graphiques: ici, nous ajoutons SSIM et PSNR aux graphiques, car nous avons l'original en 4K.
image alt
Le résultat de l'analyse de MITSU (taille réelle) , Flou et Bruit, plus petit est meilleur.
image alt
Résultat de l'analyse VMAF (taille réelle) , plus c'est gros, mieux c'est.
image alt
Résultat d'analyse SSIM (taille réelle) , plus c'est gros, mieux c'est.
image alt
Résultat d'analyse PSNR (taille réelle) , plus c'est gros, mieux c'est.

PSNR a mis Photoshop en premier, SSIM Lanczos et VMAF Topaz. Les deuxièmes PSNR et SSIM ont été attribués à UpResNet10, tandis que le VMAF a préféré Instant 4K. En troisième place, nous avons encore beaucoup à faire, et tandis que PSNR place Lanczos en troisième place, SSIM lui offre Instant 4K. VMAF - Photoshop. Dans le même temps, VMAF évalue chaque trame Topaz à 100 points sur 100 possibles - j'ai vérifié deux fois.
MITSU montre à nouveau l'image familière et nous dit que le bruit sur tous les résultats est pratiquement absent. En ce qui concerne le flou, tout n'est pas si bon ici - la plupart des upscalers ont conservé le flou de l'original, seuls Topaz et UpResNet10 se sont séparés du groupe, respectivement de 4 et 2 points. Les deux n'ont pas pu atteindre le 5 convoité, mais il y a un résultat.
Des quatre mesures, les lectures VMAF et MITSU correspondent le mieux à mes impressions, tandis que PSNR et SSIM préfèrent les «mathématiques» de l'IA. Selon les résultats de l'analyse, il est difficile de nommer clairement le gagnant.
Le fichier "original" FFV1 MKV 4K, pour ceux qui souhaitent mener leurs propres expériences ou répéter le mien, peut être téléchargé ici .
↑ Retour au contenu

4.4 Fichier 4: «Youtube»

image alt
Une image d'une vidéo Youtube, agrandie par interpolation bilinéaire et réduite à 720P pour les aperçus.
Vidéo de Youtube, du début à la fin. La qualité initiale est de 720P, une animation dessinée à la main et des tremblements de caméra ont été ajoutés. La qualité est acceptable, mais laisse beaucoup à désirer, en particulier sur un moniteur 4K. Résultats
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP . Les fichiers et les cadres originaux en PNG sont également disponibles ici .
Des échantillons 4K de taille réelle dans le codec H.265 sont ici(~ 265 Mo chacun).

Lors de la première comparaison, le contraste du cadre émis par Instant 4K est saisissant: il diffère à la fois par la couleur et la luminosité. J'ai exporté cette vidéo plusieurs fois à partir de plusieurs versions d'Adobe Premiere et j'ai vérifié la couleur - Instant 4K a insisté pour changer la couleur à tous les paramètres. Le résultat final est de la version 2019 avec la gestion des couleurs d'affichage activée.

Comparaison des visages animés: MP4 H.264 , WEBP .
Sans augmentation, la différence est notable sauf dans Instant 4K et Topaz, alors regardons de plus près le visage.
Lanczos n'a montré aucune amélioration, UpResNet10, assez curieusement aussi. Photoshop a réduit l'effet de blocage de l'image, qui apparaissait dans l'original en raison d'une trop grande compression, sans perdre aucun détail. Pour l'animation, cette méthode est tout à fait acceptable, nous supprimons les artefacts sans augmenter la netteté, en général, l'image devient plus agréable. Instant 4K a augmenté le nombre d'artefacts et changé les couleurs, il y a aussi une légère augmentation de la netteté, qui est compensée par l'apparition d'encore plus d'artefacts. La topaze, en revanche, a démontré exactement ce que j'aimerais voir de toutes les autres méthodes: les artefacts ont presque complètement disparu, tout comme l'effet de blocage, et la netteté ne peut être comparée à l'original ou à toute autre méthode haut de gamme. Le gagnant est bien sûr Topaz, la deuxième place revient à Phtoshop,le troisième est partagé par UpResNet10 et Lanczos, car ils n'ont au moins pas ajouté de nouveaux artefacts, contrairement à Instant 4K.

image alt
Une image d'une vidéo Youtube, agrandie par interpolation bilinéaire et réduite à 720P pour les aperçus. Résultats
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP . Les fichiers et les cadres originaux en PNG sont également disponibles ici .

Nous passons à la deuxième image: ici, nous avons à nouveau de nombreux dégradés avec des artefacts, ainsi que des détails du visage.
Il sera intéressant de voir comment toutes les méthodes haut de gamme ont élaboré des artefacts sur des dégradés, ainsi que de rechercher des modifications indésirables. Quant aux artefacts sur le dégradé de gauche (carré bleu), seuls Topaz et Instant 4K ont attiré l'attention sur eux. Alors que le premier s'est débarrassé de ces blocs presque complètement, Instant 4K a de nouveau échoué, changeant les couleurs et rendant les artefacts plus visibles qu'avec Topaz. Bien sûr, le résultat n'est toujours pas comparable au reste: là, ces blocs fleurissent et sentent.

Comparaison des visages animés: MP4 H.264 , WEBP .
Dans l'original, nous avons à nouveau un maculage de macroblocs, et nous nous attendons à peu près au même résultat que dans la dernière image. Instant 4K a légèrement modifié les transitions entre les blocs et les a rendus plus lisses, tandis que Photoshop a réussi pire, contrairement à la première comparaison. Cependant, l'image après le traitement de Photoshop est devenue un peu plus agréable. UpResNet10, malheureusement, a de nouveau frappé la saleté au visage et n'a pas amélioré ce qui se passe à l'écran, ce qui ne diffère presque pas de Lanczos. Mais Topaz a encore une fois ajouté de la clarté, supprimé des artefacts et n'en a pas ajouté de nouveaux.
Le gagnant ici encore est Topaz, la deuxième place est pour Instant 4K (je me suis déjà réconcilié avec le changement de couleur), le troisième est Photoshop.

image alt
Une image d'une vidéo Youtube, agrandie par interpolation bilinéaire et réduite à 720P pour les aperçus.
Résultats JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x avec profil UpResNet10 et original.
Comparaison animée: MP4 H.264 , WEBP . Les fichiers et les cadres originaux en PNG sont également disponibles ici .

Troisième et dernière image: ici, j'ai spécifiquement sélectionné une image plus sombre pour voir comment tous les programmes fonctionneront avec des artefacts dans les zones sombres.

Tout d'abord, je veux attirer l'attention sur le carré vert: nous attendons de tous les ascendants de réduire le blocage à cet endroit. Malheureusement, nos attentes ont été satisfaites par Topaz calme, tandis que le reste, y compris Photoshop, n'a pas rendu les artefacts moins visibles. Instant 4K se tire à nouveau dans le pied, augmentant la luminosité de l'image et étirant même les artefacts que nous n'avions tout simplement pas vus auparavant. Je tiens à noter que je n’aimais pas non plus vraiment le résultat de Topaz sur ce cadre, je pense qu’il a trop enduit les dégradés. Cependant, pour cela, il a supprimé presque tous les défauts visibles, donc il n'y avait tout simplement personne avec qui le comparer - tous les autres, comme je l'ai dit, ne les affectaient pratiquement pas.

Comparaison animée des vêtements: MP4 H.264 , WEBP .
Puisque nous avons déjà vu suffisamment de visages, nous allons considérer des détails de vêtements plus grands: nous assistons ici à un véritable défilé de macroblocs, en particulier sur les dégradés. Malheureusement, encore une fois, aucun des ascendants n'a amélioré l'image, à l'exception de Topaz, qui a lissé tous les gradients et presque complètement supprimé le blocage, pour lequel il se classe premier dans l'analyse de cette image. Malheureusement, il n'y a personne pour attribuer les deuxième et troisième places pour ce plan.

Étonnamment, waifu2x, apparemment aiguisé par l'augmentation des dessins animés et des dessins animés, n'a pas été en mesure de réaliser son avantage. Cela m'a surpris.

Comparez mes impressions avec les résultats de l'analyse VMAF et MITSU, en commençant par la première:
image alt
Les résultats de l'analyse de MITSU (taille réelle) , Flou et Bruit, plus petit est meilleur.
image alt
Résultat de l'analyse VMAF (taille réelle) , plus c'est gros, mieux c'est.
VMAF a organisé toutes les méthodes haut de gamme dans presque le contraire de ma commande, en premier lieu Lanczos, en dernier - Topaz. Tout le monde a des baisses de qualité fréquentes, Topaz tombe le plus bas dans la métrique VMAF, et dans les baisses les plus longues, tout le monde se lève derrière lui, à l'exception de Lanczos. Cependant, je n'ai rien vu d'inhabituel dans ces cadres.
Eh bien, MISTU démontre une fois de plus un grand écart entre Topaz et le reste selon la métrique Blur, ainsi qu'une légère augmentation du bruit. Selon MITSU, absolument toutes les méthodes haut de gamme ont rendu l'image plus claire, et Instant 4K a même réduit la quantité de bruit invisible pour nous.
Ainsi, la première place est occupée par Instant 4K, la seconde - UpResNet10, la troisième - Topaze.
Cette fois, je ne suis pas d'accord avec VMAF.

Le fichier «original» FFV1 MKV 720P, pour ceux qui souhaitent mener leurs propres expériences ou répéter le mien, peut être téléchargé ici .
↑ Retour au contenu

5. Analyse des résultats

Pour déterminer le gagnant, j'utiliserai les résultats de la métrique VMAF et les conclusions subjectives de chaque fichier. J'additionne simplement la métrique VMAF en utilisant la moyenne de chaque fichier. En ce qui concerne l'évaluation subjective, je vais ici tirer mes conclusions sur chaque fichier et donner pour chaque fichier la première place est de 3 points, la deuxième place - 2 et la troisième - 1. Après quoi j'ajoute ces points et les place verticalement sur le graphique.

image alt
Le résultat de l'ajout de VMAF et d'une analyse subjective (taille réelle) , plus c'est gros, mieux c'est.

Selon la métrique VMAF, Instant 4K s'est avéré être le gagnant, se détachant de Topaz, qui a terminé deuxième, avec seulement 0,58 points. Selon une analyse subjective, en revanche, la distance entre les première et deuxième places est beaucoup plus grande - Topaz a pris la première place, se détachant d'Intsant 4K qui a pris la deuxième place de 8 points, a obtenu 3 fois plus de points.

Le gagnant de ma comparaison est Topaz, la deuxième place revient à Instant 4K et la troisième à UpResNet10.


Cependant, la comparaison ne serait pas complète sans comparer la vitesse des programmes et mes commentaires sur leur travail. Commençons par le premier: le
image alt
temps passé sur le traitement et les volumes de fichiers reçus (taille réelle)

L'augmentation des détails de Topaz affecte même la taille des fichiers, et de manière significative. En règle générale, les fichiers Topaz sont 2 fois «plus lourds» que les fichiers des autres convertisseurs et 4 fois «plus lourds» que les fichiers originaux, agrandis par interpolation bilinéaire. La seule exception est le fichier «4K Source», où la différence était inférieure à 30%.

Quant à la vitesse des programmes, tous, sauf Topaz et Photoshop, fonctionnent à une vitesse très raisonnable. Cependant, acceptable pour quoi?
Et si nous voulons agrandir un film via Topaz, d'une durée de 2 heures, à une cadence de 25 images par seconde? Mon ordinateur prendra 421 heures ou 17 jours et demi de fonctionnement continu. Et une série de 40 minutes? 6 jours

Oui, l'image avec le même waifu2x est quelque peu différente - 2 jours pour le film, 16 heures pour la série. Pensez-vous que le résultat affiché par waifu2x vaut deux jours de rendu continu? Je propose de répondre à cette question à chacun de manière indépendante.

Il y a un mois, pour la vidéo haut de gamme, j'utilisais uniquement et exclusivement Instant 4K, pour les images (logos, parfois photos) waifu2x. Le résultat démontré par Topaz m'a obligé à l'ajouter à ma collection de programmes haut de gamme, au moins pour agrandir les images. J'agrandis souvent de courts clips d'une durée inférieure à 10 secondes, en plus, il agrandit parfaitement les images - dessins et photographies.

Revenant au sujet des films, dans le cas de Topaz, je ne vois qu'une seule façon de résoudre le problème: la répartition des images à traiter sur plusieurs machines.
image alt
Topaz AI peut fonctionner plus rapidement. Quelle est la prise?
La désactivation des «modèles d'IA de haute qualité» réduit le temps de traitement d'un film théorique de 4 jours, au prix d'une réduction de la précision du traitement des couleurs. Vous pourriez être intéressé de savoir queSur le forum Topaz, beaucoup considèrent ce modèle «lite» comme de meilleure qualité. Les images PNG et les comparaisons animées peuvent être consultées ici .

Instant 4K fonctionne à une bonne vitesse et montre un résultat merveilleux (meilleur que les autres méthodes, sauf Topaz, et en même temps plus rapide et aussi plus pratique).

Lanczos , comme prévu, n'a pas de sens sans un filtre d'affûtage supplémentaire pour l'affûtage.

Photoshop ne vaut certainement pas le temps qu'il a fallu, du moins avec les paramètres que j'ai utilisés. Peut-être que si vous utilisez JPEG et remplacez tous les disques par un SSD, vous pouvez obtenir une augmentation significative de la vitesse de traitement.

UpResNet10En général, il lit Instant 4K. Mais si vous n'êtes pas d'accord avec son initiative, vous pouvez essayer de remplacer Instant 4K par UpResNet10. Personnellement, je ne trouve pas les artefacts Instant 4K si visibles. D'un autre côté, l'utilisation d'Instant 4K pour agrandir des images est au moins étrange et généralement pas du tout pratique. Par conséquent, le remplacement de waifu2x par un éditeur vidéo est possible, mais pas nécessaire.

L'une des méthodes haut de gamme peut-elle être qualifiée d'universelle? Peut-être que oui. Je pense que Topaz correctement configuré peut produire une image toujours meilleure que d'autres méthodes haut de gamme. Mais il n'y a pas de baril de miel sans mouche dans la pommade, il ne faut pas oublier les performances de Topaz.
↑ Retour au contenu

6. Un débutant qui veut essayer des programmes haut de gamme dans la pratique

... Je peux d'abord recommander Instant 4K comme le plus simple Ă  utiliser.

Vous exécutez simplement le programme, vous y importez votre fichier, vous créez une séquence de «séquence à partir du clip», vous accédez à ses paramètres (paramètres de séquence) et vous modifiez la résolution à votre guise. Après cela, faites glisser l'effet Instant 4K sur votre piste vidéo, ajustez la résolution et les paramètres supplémentaires, et vous pouvez commencer à exporter.

Malheureusement, pour utiliser ce programme, vous devez acheter ou trouver Adobe Premiere, ainsi que le plugin lui-même. Acheter tout cela est un investissement très sérieux, et je ne peux pas conseiller de rechercher des programmes «guéris» sur Internet.

image alt
Adobe Premiere mécontent de mon goût
Je veux attirer votre attention sur le fait que Premiere ne fonctionne pas avec tous les formats vidéo, et une grande partie des films sur Internet ne jurent que par une bonne obscénité. Dans ce cas, je ne peux que conseiller de convertir le film en quelque chose comme ProRes en utilisant ffmpeg:
 ffmpeg -hide_banner -probesize 1000M -i file.mkv -pix_fmt yuv420p -c:v prores_ks -c:a aac -b:a 128k file.mov 

La prochaine ligne sera waifu2x : disposer la vidéo en images en utilisant le fichier BAT de la section «Préparation du matériel pour les tests» , ouvrir le dossier dans waifu2x, sélectionner les paramètres (augmentation de la résolution, réduction du bruit) et commencer à exporter. À la fin de celui-ci, vous n'aurez qu'à insérer les images et le son dans une vidéo terminée. Vous pouvez avoir quelques problèmes avec la configuration, comme je l'ai déjà écrit, j'ai personnellement dû chercher cuDNN, en plus, waifu2x nécessite une carte vidéo assez puissante.

Si, pour une raison quelconque, vous ne pouvez pas configurer waifu2x ou si vous n'avez pas suffisamment de puissance GPU, reportez-vous Ă  Photoshop . Dans cet article il y a un mode assez bon pour son utilisation.

Si vous êtes satisfait des expériences d'images, ou si vous avez beaucoup de temps supplémentaire, utilisez l'essai Topaz : il fonctionnera avec toutes les fonctions pendant 30 jours. Vous avez juste le temps d'augmenter votre film préféré avant la fin de la période d'essai (mais ce n'est pas exact). Les exigences pour une puissante carte graphique waifu2x s'appliquent ici. De plus, lorsque vous utilisez Topaz ou waifu2x, vous pouvez rencontrer des problèmes avec d'autres programmes, même les plus simples, car les deux programmes s'efforcent d'occuper le GPU à 100%, ce qui rend l'interface du reste très lente. Le principe de fonctionnement est le même qu'avec waifu2x.

Dans les trois derniers cas, je vous recommande de séparer la piste audio du fichier vidéo d'origine à l'avance, de la manière qui vous convient. S'il s'agit d'une simple vidéo de Youtube ou d'un film avec une piste - eh bien, le fichier BAT simple ligne le plus simple fera l'affaire. Si vous avez la «chance» d'expérimenter un film avec des pistes 5.1 et plusieurs traductions, de tels cas dépassent largement le cadre de cet article. Mais celui qui cherche trouvera toujours.

Exemple de script d'extraction du son
 ffmpeg -i input-video.avi -vn -acodec copy output-audio.aac 

Après avoir reçu l'audio dans un fichier et à la fin du traitement des images avec l'upscaler, vous devez combiner le son et la vidéo en un seul fichier.

Pour les débutants, je recommande d'utiliser le script de l'article sur Photoshop:
 ffmpeg -framerate 24 -i image-%%03d.png -i output-audio.aac -pix_fmt yuv420p -vcodec libx264 -preset veryslow -crf 15 -c:a aac -b:a 128k -r 24 test_4K.mp4 

. -r -framerate . PNG : -pix_fmt yuv420p

Le reste devrait étudier les paramètres et réglages de H.265 (taille plus petite et qualité supérieure) et H.264 (plus rapide).
Plus d'options de script pour FFMPEG se trouvent dans cet article haut de gamme.
↑ Retour au contenu

7. Planifiez le prochain article et les questions aux lecteurs

Dans le prochain article, je prévois d'ajouter des tests interactifs pour des tests subjectifs, afin que les lecteurs évaluent directement certaines méthodes haut de gamme, pour cela, je vais utiliser l' outil de mesure de la qualité vidéo MSU . Mais je devrai comprendre si je peux utiliser librement H.265 et compresser des fichiers plus fortement, ou je devrai utiliser H.264. Veuillez répondre à l'enquête ci-dessous et notez si votre PC peut lire le H.265 sans perte de trame («retards»).
De plus, je prévois de considérer le modèle de réseau neuronal convolutionnel à super-résolution (SRCNN) et le modèle de réseau neuronal convolutionnel efficace à sous-pixels (ESPCN).

  • Lanczos, sharpening. ? ? , Lanczos , , sinc?
  • waifu2x ? CUnet? Y? , ?
  • Photoshop?
  • «, » Topaz, «, »?
  • , ?
  • MITSU? , , Noise Blockiness?

Topaz:
image alt
, Topaz .

↑

Source: https://habr.com/ru/post/fr446032/


All Articles