Beim Lesen eines kürzlich erschienenen Artikels über Upscale ( Upscale - Skalieren eines Bildes auf eine höhere Auflösung), diesmal über ein kommerzielles Produkt Topaz AI Gigapixel, habe ich einen Kommentar mit folgendem Inhalt hinterlassen:

Es ist schade, dass der Beitrag eine einfache Übersetzung ist, ich möchte ihn mit etwas kostenlosem vergleichen, wie dem gleichen waifu2x. Ich denke, der Unterschied wird sehr schwer zu finden sein, obwohl waifu2x für Animationen entwickelt wurde.

Nun, da der Artikel eine Übersetzung war, beschloss ich, die Sache selbst in die Hand zu nehmen. Verschwenden wir also keine Zeit, lernen Sie Folgendes kennen:

• Red Giant Shooter Instant 4K
• Lanczos-Filter (vielen als Lanczos bekannt)
• Bilineare Interpolation (als Referenz)
• Adobe Photoshop Speichern von Details 2.0
• Topaz Gigapixel AI
• Waifu2x mit UpResNet10-Profil

Unter dem Schnitt Longrid sowie gehobene Videoanleitungen mit Instant 4K, Waifu2x, Lanczos und Topaz Gigapixel AI.

---

Wir werden sie mit unseren eigenen Augen vergleichen, da wir das Bild für verschiedene Lösungen zur Analyse des Bildes optimieren können, indem wir "zusätzliche" Prozentsätze gewinnen ... Letzteres werden wir jedoch auch nicht ablehnen, daher werden die Ergebnisse der MITSU- und VMAF- Analyse zu den Ergebnissen in Screenshots hinzugefügt. da beide Programme mit Video ohne Beispiel arbeiten. SSIM, PSNR und andere werden in diesem Fall nicht zu uns passen, da wir keine echten 4K haben, mit denen die Ergebnisse der Hochskalierung verglichen werden können.

Inhalt:

• Vorbereitung des Testmaterials
• Auswahl des zu prüfenden Materials
• Zum Testen ausgewählte Programme
• Videoanalyse:
• Datei 1: "INTRO":
• Datei 2: "SZENE 1":
• Datei 3: "4K SOURCE":
• Datei 4: "YOUTUBE":
• Ergebnisanalyse
• Für einen Anfänger, der moderne gehobene Programme in der Wirtschaft ausprobieren möchte
• Planen Sie den nächsten Artikel und Fragen an die Leser

Alle Dateien aus dem Artikel, einschließlich PNG-Frames ohne Komprimierung, animierte Vergleiche, 4K H.265-Beispiele, Tabellen und FFV1-Dateien, sind alle bei Google . Spiegel auf Yandex . Es gibt 3 einfache Videoanleitungen für die Verwendung von Adobe Premiere Instant 4K, Waifu2x und Topaz.

1. Vorbereitung des zu testenden Materials

Testbed-Konfiguration:

CPU: Intel Core i7-4980HQ 4,2 GHz
Hauptplatine: MSI Z97 GAMING 5
^{(nicht fragen)}
RAM: 32 GB DDR3 2400
GPU: NVIDIA GTX 1080ti FE 11GB, die Kernfrequenz wird manuell auf 1923 eingestellt, die Speicherfrequenz beträgt 5602.
SHD: System und Programme auf SSD M.2 SATA 850 EVO 250GB, Dateien auf Festplatte 2 TB WDC WD40EZRZ.

Upscale wurde gemäß dem folgenden Szenario durchgeführt:

• Wenn die ausgewählte Methode die Arbeit direkt aus dem Adobe Premiere-Videoeditor unterstützt, wurden alle Arbeiten in diesem Editor ausgeführt. Anschließend wurde das Ergebnis mit dem Parameter GOP 1 in den FFV1- Codec exportiert, um Verluste zu vermeiden und ausschließlich reversible Bildkomprimierung zu verwenden.
• Wenn die ausgewählte Methode die Arbeit des Video-Editors nicht unterstützte, wurde das Video mithilfe einer einfachen Bat-Datei in separate Frames im PNG-Format zerlegt:
  
  
  BAT-Datei zum Speichern einzelner Frames im Frames-Ordner

  wmic process where name="cmd.exe" CALL setpriority 16384 @echo off :hugly if "%~1" EQU "" goto mugly ffmpeg -probesize 1000M -i "%~1" -vsync vfr frames\image-%%03d.png shift goto hugly :mugly pause 

  
  Um das Video in Frames zu zerlegen, legen Sie diese Datei einfach in den Ordner ffmpeg.exe und erstellen Sie den Frames-Ordner. Danach ist es üblich, die Videodatei direkt in die Bat-Datei zu ziehen.
  
  
  Danach wurden die verarbeiteten Frames zum Mischen an FFMPEG gesendet und mit genau den gleichen Einstellungen wie im ersten Fall exportiert.
  
  
  BAT-Datei zum Konvertieren einzelner Frames in eine Datei ohne Ton

   ffmpeg -framerate 24 -i image-%%03d.png -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -r 24 photoshop.mkv 

  
  Die Parameter -framerate und -r sind für die Einstellung der Videobildrate verantwortlich. Beide müssen angegeben werden.
  

In beiden Fällen handelte es sich bei der Ausgabe um eine MKV-Datei mit dem FFV1-Codec, die alle 10 Sekunden Video eine Größe von ca. 700 Megabyte aufweist.


Danach wurde jede der Dateien in MPC-HC mit dem Ziel geöffnet, Screenshots zu machen, und dann zur Analyse an ffmpeg gesendet, wobei wiederum eine bat-Datei verwendet wurde:


MITSU musste wiederum nicht konfiguriert werden, die fertigen Bat-Dateien erfordern eine kleine Änderung mit einer Datei (ich habe die vollständigen Pfade zu ffprobe und ffmpeg angegeben und auch cygwin1.dll in den Ordner mit der ausführbaren Datei gelegt).

Die empfangenen Daten wurden in Excel importiert und in schöne und nicht sehr grafische Grafiken umgewandelt.
FFV1-Dateien wurden auch mit dem h265-Codec (um die Dateigröße zu minimieren und gleichzeitig die maximalen Details zu erhalten) mit deaktiviertem VBR 25000 kbps und deaktiviertem SAO in mp4 konvertiert, um eine angemessene Qualität zu erreichen.

↑ Zurück zum Inhalt

2. Die Wahl des zu testenden Materials

In diesem Artikel betrachten wir verschiedene Beispiele: Fragmente aus einer Serie in 1080P, handgezeichnete Animationen und sogar 4K-Videos, die mit einer professionellen Kamera aufgenommen wurden, um objektive Ergebnisse für verschiedene Fälle der Verwendung der betreffenden Programme zu erhalten.

Die folgenden Arten von Videos wurden verarbeitet:

• Szene aus der Serie " Person of Interest ", S02E20, Intro: viel Computergrafik, viel Bewegung und Planänderung.
• Eine Szene aus derselben Serie der Serie: wenig Bewegung, mehrere Planänderungen und viele Details im Hintergrund und Vordergrund, von Ästen bis zu Gesichtsdetails.
  
  Beide Szenen stammen aus einer Datei mit einer Auflösung von 1920 × 1080 (Full HD), H.264-Codec, Bitrate - 12.664 kbps. Dies ist eine ziemlich gute Anfangsqualität für die Serie. Der Vergleich des gehobenen Ergebnisses wurde mit der durch einfache bilineare Interpolation vergrößerten Datei durchgeführt (dies ist in der Liste als Referenz angegeben).
• Beispielvideo von RED.com : Echtes 4K HD (3840 x 2160), aufgenommen mit 120 Bildern pro Sekunde. Das Video wurde mit Lanczos auf 1920 x 1080 reduziert und dann mit den Programmen aus der obigen Liste auf 4 KB erhöht. Die Bildrate wurde auf ~ 24 Bilder pro Sekunde reduziert. Das Ergebnis wurde mit der Quelldatei verglichen, die von einer ROTEN Datei in die bekannte FFV1 konvertiert wurde (ffmpeg weigert sich, mit ROTEN Dateien zu arbeiten).
• Handgezeichnete Animation "Das Heilige Buch des Werwolfs ", heruntergeladen von YouTube, künstliches Schütteln der "Kamera", viele Planänderungen. Quelldatei in Auflösung 1280x720, WEBM-Container, VP9-Codec, Bitrate 1556 kbps. Dies ist eine sehr geringe Qualität, aber auf YouTube durchaus üblich.

↑ Zurück zum Inhalt

3. Ausgewählte Programme zum Testen

Wir werden jede der gehobenen Methoden etwas detaillierter untersuchen:

• Red Giant Shooter Instant 4K 13.1.5
  Bezahlt: Ja (99 $).
  Integration mit Adobe Premiere (erfordert keine Zerlegung von Videos in Frames): Ja.
  
  Qualitätseinstellungen: Filtertyp - Beste, Schärfe 2, Qualität 25 (maximal), Anti-Aliasing 6. Dies sind Standardeinstellungen, mit Ausnahme von Qualität - sie wurden manuell auf Maximum eingestellt.
  Verarbeitungszeit für 914 INTRO-Frames: 532 Sekunden (11-mal länger als beim regulären Export).
  
  Gehobene Methode: unbekannt ("intelligente Algorithmen")
  
  
  ^{Die Benutzeroberfläche des Instant 4K-Plugins im Programmfenster von Adobe Premiere 2019 in der oberen linken Ecke.}
  
  Wir wählen die Zielauflösung (Sie können Ihre eigene angeben), wählen den Filtertyp aus (ich sehe keinen Grund, etwas anderes als Best zu wählen), ändern oder belassen die Standardschärfe (Schärfe), Qualität (Qualität) und Anti-Aliasing (Glättung) und exportieren dann die Videodatei und genießen Sie das Ergebnis.
  
  Es funktioniert schnell genug, lädt die GPU und die CPU praktisch nicht mehr als beim normalen Export. Vor einer Woche war mein Standard-Video-Plugin. Es werden Änderungen vorgenommen, die für einfache mathematische Filter in den Details des Bildes nicht typisch sind. Es handelt sich also höchstwahrscheinlich um eine KI. Es nimmt den zweiten Platz in der Geschwindigkeit ein.
  
  Ermöglicht es Ihnen, das Ergebnis vor dem Rendern des Videos anzuzeigen und die Einstellungen anzupassen. Für eine reibungslose Wiedergabe muss gerendert werden. Die Änderungen sind einige Sekunden nach dem Ändern der Einstellungen im Viewer sichtbar.
• Lanczos-Filter (vielen als Lanczos bekannt).
  
  Bezahlt: nein.
  
  Integration mit Adobe Premiere (erfordert keine Zerlegung von Videos in Frames): Ja, als Teil des Voukoder- Plugins.
  
  Qualitätseinstellungen: Keine.
  
  Verarbeitungszeit für 914 INTRO-Frames: 54 Sekunden (1,13-mal länger als beim regulären Export), ohne die Zeit, die erforderlich ist, um Videos in separate Frames zu konvertieren und die Frames dann wieder auf Video zu reduzieren.
  
  Gehobene Methode: Nicht-KI.
  
  
  Beispielzeile zum Hochskalieren einer Videodatei unter Windows:

   ffmpeg -framerate 23.976 -i input.mp4 -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -vf scale=3840:2160 -sws_flags lanczos+full_chroma_inp -r 23.976 lanczos.mkv 

  
  
  
  Es gibt keine Vorschau sowie Einstellungen. Es ist möglich, direkt mit dem Video zu arbeiten, ohne es in Frames zu zerlegen. Funktioniert hervorragend mit ffmpeg. Es funktioniert schneller als alle anderen, nur auf der CPU.
• Adobe Photoshop Speichern von Details 2.0
  Bezahlt: ja.
  
  Integration mit Adobe Premiere (erfordert keine Videozerlegung in Frames): Nein.
  
  Qualitätseinstellungen: Es gibt einen Parameter für die Rauschunterdrückung, der wie beim Autor des Artikels auf 100% eingestellt ist .
  
  Verarbeitungszeit für 914 INTRO-Frames: 3840 Sekunden (80-mal länger als beim regulären Export), ohne die Zeit, die erforderlich ist, um Videos in einzelne Frames zu konvertieren und sie dann wieder in Videos umzuwandeln.
  
  Gehobene Methode: Unbekannt.
  
  
  Es erfordert eine Erstkonfiguration in Form der Erstellung einer Vorlage „Datei öffnen - Größe ändern - Datei speichern“, es verbringt viel Zeit direkt mit dem Öffnen und Speichern von Dateien: Das ausgewählte Frame-Format wirkt sich auf PNG aus und funktioniert auf der CPU. Das vorletzte in der Geschwindigkeit.
  
  Ermöglicht das Anzeigen des Ergebnisses, bevor Sie das Bild vergrößern und speichern.
  Ein unerfahrener Benutzer kann Probleme beim Ändern des Farbraums haben: Überprüfen Sie das Farbprofil nach dem Speichern des Bildes, vergleichen Sie die Farben des Originalbilds und skalieren Sie es hoch. Höchstwahrscheinlich ist das Farbprofil sRGB IEC61966-2.1 für Sie geeignet.
  
• Topaz Gigapixel AI
  Bezahlt: Ja (99 $).
  
  Integration mit Adobe Premiere (erfordert keine Videozerlegung in Frames): Nein.
  
  Qualitätseinstellungen: Rauschen unterdrücken und Unschärfe entfernen. Darüber hinaus ist es möglich, „KI-Modelle von maximaler Qualität“ zu aktivieren und zu deaktivieren. In unserem Vergleich sind diese Modelle enthalten.
  
  Verarbeitungszeit für 914 INTRO-Frames: 7680 Sekunden (160-mal länger als beim regulären Export), ohne die Zeit, die erforderlich ist, um Videos in separate Frames zu konvertieren und die Frames dann wieder in Video umzuwandeln.
  
  Gehobene Methode: AI.
  
  
  Eine recht angenehme Oberfläche mit einer Vorschau des Ergebnisses, eine 30-tägige voll funktionsfähige Testversion, das Laden der Grafikkarte ist sehr umfangreich und funktioniert tatsächlich nur darauf. Bei Bedarf können Sie auf der CPU laufen. Im Vergleich zum Rest - der langsamste.
• Waifu2x mit UpResNet10-Profil
  Bezahlt: nein.
  
  Integration mit Adobe Premiere (erfordert keine Videozerlegung in Frames): Nein.
  
  Qualitätseinstellungen: Unter Windows gibt es waifu2x-caffe , mit dem Sie ein Profil auswählen und die Leistung der "Rauschunterdrückung" (Aus / 1/2/3) anpassen können. Experimentell habe ich das UpResNet10-Profil ausgewählt, um das beste Ergebnis zu erzielen. Der Noise Cutter ist auf AUTO 1 eingestellt.
  Verarbeitungszeit für 914 INTRO-Frames: 879 Sekunden (18-mal länger als beim regulären Export), ohne die Zeit, die erforderlich ist, um Videos in separate Frames zu konvertieren und die Frames dann wieder auf Video zu reduzieren.
  Gehobene Methode: AI.
  
  Eine einfache Schnittstelle, die auf der GPU funktioniert, kann bei der Ersteinrichtung zusätzliche Schwierigkeiten verursachen (ich musste cuDNN installieren, es dauerte 10-15 Minuten). Bei Bedarf können Sie auf der CPU laufen. Die Durchschnittsgeschwindigkeit vor nur Photoshop und Topaz.

Dies ist keine vollständige Liste der Programme, die für gehobene Videos geeignet sind, und im nächsten Artikel werde ich versuchen, noch mehr Möglichkeiten hinzuzufügen. Schlagen Sie Ihre Optionen in den Kommentaren vor!
↑ Zurück zum Inhalt

4. Zum Schluss fahren wir mit dem Video fort:

4.1 Datei 1: "INTRO":

Erste Passage: Computergrafik.

^{Ein Frame aus der Serie wurde mit bilinearer Interpolation vergrößert und für die Vorschau auf 720P reduziert.}
Die Hauptunterschiede: die Qualität der Verarbeitung von Text und Markierungen auf der Karte, einschließlich der Raster im gesamten Rahmen, sowie die Beibehaltung der Form des „Visiers“ in der Mitte des Rahmens.
JPEG Instant 4K- , Lanczos- , Photoshop- , Topaz- und Waifu2x-Ergebnisse mit UpResNet10-Profil und Original.
Animierter Vergleich: MP4 H.264 , WEBP . Auch Dateien und Originalframes in PNG sind hier verfügbar. Ich empfehle, Videos und Frames lokal anzuzeigen, nicht von der Google Drive-Seite.
Hier finden Sie 4K-Samples in voller Größe im H.265-Codec (jeweils ~ 100 MB).

Vergleich der animierten Bildmitte: MP4 H.264 , WEBP .
Beginnen wir mit dem Anblick in der Mitte. Rotes Quadrat: Achten Sie auf das Verhalten zweier sich schneidender Linien. Da wir (stellenweise) mit KI zu tun haben, suchen wir nach unerwünschten Verzerrungen. Instant 4K hat dieses Quadrat ziemlich stark verändert, wofür es von mir ein Minus an Karma erhält. Alle anderen Methoden verhielten sich ungefähr gleich, das klarste Ergebnis - mit Photoshop. Topas - auf dem zweiten Platz. UpResNet10 bemerkte leider Komprimierungsartefakte und entschied sich freundlicherweise, diese zu erhöhen. Lanczos unterscheidet sich eigentlich nicht von der üblichen Steigerung.
Blaues Quadrat: Folgen Sie der Form der Kreise und hoffen Sie auf einen möglichst glatten Kreis. Instant 4K fügte erneut Lücken hinzu und glättete den Kreis, wobei die Lücke am unteren Rand entfernt wurde. Diesmal erhält er dafür jedoch ein Plus von mir. Photoshop hat jedoch das beste Ergebnis. UpResNet10 brachte zu viele Details (Raster) über den Kreis, die als Artefakte wahrgenommen werden können.

Animierter Textvergleich: MP4 H.264 , WEBP .
Wir wenden uns dem Text zu: Lanczos hat es fett gemacht, wofür es ein Minus bekommt. UpResNet10 liebt wieder ein Grid und zeigt sich wieder schlechter als die Konkurrenz. Am meisten hat mir der Text gefallen, den Topaz produziert hat. Es entspricht jedoch in etwa den Ergebnissen anderer Methoden - es ist bereits Geschmackssache. Diejenigen, die bereit sind, Instant 4K das „Nachdenken“ zu verzeihen, können vor allem mit dem von ihnen herausgegebenen Text zufrieden sein, der Rest wird meines Erachtens zwischen Topaz und Photoshop aufgeteilt. Letzteres ist für meinen Geschmack immer noch "seifig".

Animierter Gittervergleich auf der Karte: MP4 H.264 , WEBP .
Der letzte Punkt ist das Raster auf der Karte. Hier zeigten sich alle mehr oder weniger gleich, mit Ausnahme von zwei herausragenden - UpResNet10 und Topaz. Topaz tötete eine ganze Reihe von Punkten und fast alle Details. UpResNet10 hingegen brachte Punkte hervor, an denen sie vorher praktisch unsichtbar waren. Persönlich passen diese beiden Optionen nicht zu mir, daher teile ich den Sieg „für Punkte“ zwischen Instant 4K und Photoshop.
Im Allgemeinen ist Photoshop der Gewinner auf einer statischen Karte aus Computergrafiken, Instant 4K belegt den zweiten Platz, UpResNet10 belegt den dritten Platz (wir möchten immer noch mehr Details von 4K und er hat sie uns gegeben, wenn auch von zweifelhafter Qualität). Topaz hat zu viele Details getötet, während Lanczos sich zu wenig von der bilinearen Interpolation unterscheidet.

Wir schauen uns das nächste Bild an: die Mitte der Animation mit Bewegung.

^{Ein Frame aus der Serie wurde mit bilinearer Interpolation vergrößert und für die Vorschau auf 720P reduziert.}
JPEG Instant 4K- , Lanczos- , Photoshop- , Topaz- und Waifu2x-Ergebnisse mit UpResNet10-Profil und Original.
Animierter Vergleich: MP4 H.264 , WEBP . Auch Dateien und Originalframes in PNG sind hier verfügbar.
Auf den ersten Blick wird das Bild erwartet: Alle Optionen außer Lanczos ergaben ein klareres Bild. Wir werden besonders auf die Details von Topaz achten, da dies das Bild am meisten verändert hat. Wir werden den realen, nicht gezeichneten Schauspieler, die Details seiner Kleidung sowie den Text studieren.

Vergleich animierter Schauspieler: MP4 H.264 , WEBP .
Was den Schauspieler betrifft, sind die Unterschiede hier wirklich minimal: Obwohl UpResNet10 das letzte Mal (manchmal überflüssige) Details anzeigte, die zuvor schwer zu erkennen waren, erhöhte es diesmal nur die Schärfe des diagonalen Gitters von unten. Die Unterschiede zwischen Photoshop, Lanczos und Instant 4K müssen wirklich unter einer Lupe betrachtet werden. Selbst eine Erhöhung um 400% reicht nicht aus, um die Unterschiede zu bemerken. Im Allgemeinen haben Photoshop und Instant 4K ein etwas schärferes Bild erzeugt. Instant 4K macht wieder Amateurarbeit - der Hemdkragen hat sich im roten Quadrat des Schauspielers geändert. Es ist jedoch ein wirklicher Unterschied zu einer Erhöhung erkennbar, mit Ausnahme von Topaz: Das Farbrauschen um die Bänder hat abgenommen, und dies ist das einzige Programm, bei dem die Schärfe des blauen Quadrats zunimmt.

Animierter Textvergleich: MP4 H.264 , WEBP .
Wir kommen weiter unten zum Text: Hier gab Photoshop allen anderen Vergrößerungsmethoden nach und erzeugte ein Bild, das mit Lanczos identisch war. UpResNet10 und Instant 4K fügten Schärfe hinzu, führten aber auch einen kleinen "Knebel" in Form von Buchstaben ein. Topaz lieferte erneut das klarste Bild und hob die gezackten Buchstaben (gut oder schlecht - Sie entscheiden) und kleinere Komprimierungsartefakte hervor. Das Farbrauschen wird wieder reduziert, und die Großbuchstaben oben lassen sich nicht mit anderen Methoden zur Erhöhung vergleichen.

Der letzte Frame aus dem Segment: Ein Frame aus der Serie mit darüber liegender Computergrafik.

^{Ein Frame aus der Serie wurde mit bilinearer Interpolation vergrößert und für die Vorschau auf 720P reduziert.}
JPEG Instant 4K- , Lanczos- , Photoshop- , Topaz- und Waifu2x-Ergebnisse mit UpResNet10-Profil und Original.
Animierter Vergleich: MP4 H.264 , WEBP . Auch Dateien und Originalframes in PNG sind hier verfügbar.

Vergleich der animierten Schauspielergesichter: MP4 H.264 , WEBP .
Wir werden in der Vergrößerung nur das Gesicht des Schauspielers auf der rechten Seite betrachten: Topaz fügte Schärfe hinzu und hob das Gitter sehr gut hervor, was dazu führte, dass das Gesicht des Schauspielers sehr klar war. Instant 4K und UpResNet10 haben dasselbe getan, jedoch weniger Unschärfe (Unschärfe) entfernt. Auch Photoshop gab ihnen nach und überholte, es sei denn, Lanczos. Im Allgemeinen hat niemand Details verloren, und Instant 4K hat keine unnötigen Änderungen vorgenommen.

In den drei ausgewählten Frames war der Gewinner für mich Topaz. Trotz einiger verlorener Details im ersten Frame machte er die letzten beiden wieder gut. Den zweiten Platz belegte Instant 4K für ein mehr oder weniger stabiles Schärfen in allen drei Frames trotz geringfügiger Änderungen. Der dritte ist für UpResNet10. Im ersten Bild zeigte sich ein Bild, das mir nicht gefiel, aber in den letzten beiden zeigte sich eine gute Steigerung der Schärfe. Photoshop startete gut im ersten Frame, unterschied sich aber in den letzten beiden fast nicht von der üblichen Erhöhung. Lanczos ohne Schärfe unterscheiden sich fast nicht von der bilinearen Interpolation in allen drei Frames.

Mal sehen, was MITSU und VMAF sagen werden:

<sup>Das Ergebnis der Analyse von MITSU (volle Größe) , Unschärfe und Rauschen, kleiner ist besser.

VMAF-Analyseergebnis (volle Größe) , größer ist besser.</sup>
MITSU berichtet, dass am wenigsten Bluers Frames enthalten, die von Topaz verarbeitet wurden. Alle anderen gehobenen Methoden, einschließlich Lanczos, zeigten jedoch eine Verbesserung der Unschärfe und überschritten die 5-Punkte-Linie. Die Zahlen darunter zeigen, dass das Video nicht zu viel Unschärfe aufweist. Das heißt, alle gehobenen Methoden haben eine verbesserte Bildschärfe.
Was das Rauschen betrifft, ist das Bild das Gegenteil - das geringste Rauschen im Originalbild, das größte in Topaz. Im Prinzip ist dies logisch, weil:

1. Ein Teil des Rauschens könnte tatsächlich von allen Programmen fälschlicherweise als Details klassifiziert und „verbessert“ werden.
2. Einige Details des Bildes könnten von MITSU als Rauschen erkannt werden.

Auf jeden Fall habe ich keinen merklichen Anstieg des Rauschens im Bild festgestellt , und alle Werte liegen unterhalb der Grenze von 3,5 Punkten, dh laut MITSU-Dokumentation haben sie kein sichtbares Rauschen.
Da das Rauschen in allen Frames viel geringer ist als wahrnehmbar, werden wir anhand der Unschärfeanzeige beurteilen.
Was VMAF betrifft, so haben hier alle Diagramme im Grunde genommen den Maximalwert von 100. Im VMAF-Diagramm sehen wir jedoch Drawdowns - wie zum Beispiel in Instant 4K und Topaz das gleiche Erscheinungsbild - nur Topaz fällt darunter. In der Mitte des Diagramms wird Instant 4K durch UpResNet10 ersetzt, das mit Topaz leicht abfällt. In letzterem Fall sinkt der VMAF-Wert auf 77, und am Ende des Diagramms für Photoshop sinkt dieser Wert auf 0. Gleichzeitig sind in diesen Frames keine sichtbaren Unterschiede, Artefakte oder „Störungen“ sichtbar.
Die Algorithmen verteilten die Programme also wie folgt: Erstens UpResNet10, zweitens Instant 4K, drittens Photoshop.
Die "Original" -Datei FFV1 MKV 1080P für diejenigen, die ihre eigenen Experimente durchführen oder meine wiederholen möchten, kann hier heruntergeladen werden .
↑ Zurück zum Inhalt

4.2 Datei 2: „Szene 1“

Zweite Passage: eine Szene ohne Computergrafik, Details von Gesichtern und Hintergründen.
Die Hauptunterschiede: Hintergrunddetails, Gesichtsdetails, Artefakte darauf.

^{Ein Frame aus der Serie wurde mit bilinearer Interpolation vergrößert und für die Vorschau auf 720P reduziert.}
JPEG Instant 4K- , Lanczos- , Photoshop- , Topaz- und Waifu2x-Ergebnisse mit UpResNet10-Profil und Original.
Animierter Vergleich: MP4 H.264 , WEBP . Auch Dateien und Originalframes in PNG sind hier verfügbar.
Hier finden Sie 4K-Beispiele in voller Größe im H.265-Codec (jeweils ~ 97 MB).

Animierter Baumvergleich : MP4 H.264 , WEBP .
Betrachten Sie zunächst den Hintergrund bzw. die Bäume: Instant 4K und UpResNet10 erwiesen sich als ungefähr gleich und fügten ein wenig Schärfe hinzu, während Photoshop im Gegenteil einige Details verlor, indem es das Bild glättete. Außerdem hat Instant 4K die Bäume leicht verzerrt (siehe rote Quadrate). Aber Topaz fügte viel Schärfe hinzu und machte sehr klare Bäume aus dem Seifenhintergrund. Lanczos unterscheidet sich wiederum nicht von der bilinearen Interpolation.


^{Ein Frame aus der Serie wurde mit bilinearer Interpolation vergrößert und für die Vorschau auf 720P reduziert.}
JPEG Instant 4K- , Lanczos- , Photoshop- , Topaz- und Waifu2x-Ergebnisse mit UpResNet10-Profil und Original.
Animierter Vergleich: MP4 H.264 , WEBP . Auch Dateien und Originalframes in PNG sind hier verfügbar.
Ein animierter Vergleich des Schauspielers vor dem Hintergrund von Bäumen: MP4 H.264 , WEBP .
Jetzt noch eine Einstellung: Der Schauspieler steht uns vor dem Hintergrund von Bäumen gegenüber.
Spoiler: Sie müssen nicht auf die Bäume schauen, sie unterscheiden sich nicht. Deshalb studieren wir das Glas in der Hand und im Gesicht des Schauspielers.

Vergleich der animierten Schauspielergesichter: MP4 H.264 , WEBP .
Im Fall des Gesichts zeigten Instant 4K und UpResNet10 erneut ungefähr die gleichen Ergebnisse, und Photoshop verlor erneut einige Details.Topaz fügte diese Details hinzu, wenn auch nicht so sehr wie bei Bäumen im Hintergrund. Dieses Mal wurde kein Merkmal für Instant 4K-Artefakte gefunden. Lanczos erwies sich als etwas schärfer als die bilineare Interpolation.

Animierter Glasvergleich : MP4 H.264 , WEBP .
Nun, im letzten Vergleich, einem Glasglas, waren die Hauptunterschiede in seinem transparenten Teil ohne Getränk spürbar. Topaz fügte erneut mehr Details hinzu als die anderen, Photoshop verwischte das Bild erneut (blaues Quadrat) und UpResNet10 und Instant 4K verhalten sich wieder ungefähr gleich. Volle Wiederholbarkeit des Ergebnisses.
Der Gewinner in dieser Aufnahme war ohne Zweifel Topaz und fügte Details ohne Artefakte (!) Hinzu. Der zweite Platz wurde von UpResNet10 belegt, das zwar ein wenig Schärfe hinzufügte, Topaz aber definitiv nicht erreichte, aber keine Artefakte hinzufügte, ebenso wie der Instant mit dem dritten Platz 4K. Photoshop hat das letzte genommen - nicht vergrößert, sondern verkleinert.


^{Ein Frame aus der Serie wurde mit bilinearer Interpolation vergrößert und für die Vorschau auf 720P reduziert.}
Ergebnisse JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x das Profil UpResNet10 und originell.
Animierter Vergleich: MP4 H.264 , WEBP. Auch Dateien und Originalframes in PNG sind hier verfügbar .
Animierter Gesichtsvergleich des zweiten Schauspielers: MP4 H.264 , WEBP .
Das letzte Bild aus demselben Fragment: der zweite Schauspieler.
Mit Bäumen, Hintergründen und Gläsern ist uns alles klar, also studieren wir hier das Gesicht des Schauspielers.
Hier entspricht das Ergebnis in etwa den vorherigen Bildern, mit einer sehr wichtigen Einschränkung: Topaz hat etwas auf die Wange des Schauspielers gemaltdass ich anfing, bei einem Anstieg von 500% zu bemerken, und ich konnte es nur bei 1000% sehen: eine sehr unangenehme "Textur", die offensichtlich nicht da sein sollte. Alle anderen Methoden haben ungefähr gleich geklappt, nur Photoshop hat die Details wieder verloren (aber das Rauschen auf dem weißen Hemd beseitigt). Der letzte Platz für solche Amateurauftritte ist Topaz, der vorletzte ist Photoshop, alle anderen belegen den ehrenwerten „ersten Platz“.

Nach den Ergebnissen der Überprüfung aller drei Frames widerstrebt aber Topaz an erster Stelle. Wahrscheinlich kann sein Verhalten aus dem letzten Frame korrigiert werden, aber dies wird Ihnen zusätzliche Zeit und viel Zeit kosten. Dieses Detail ist jedoch im 100% -Skala nicht sehr gut sichtbar und hat sich im ersten Vergleich mit Bäumen perfekt gezeigt, sodass es ein Gewinner sein wird. Der zweite Platz ist für UpResNet10, um die Klarheit ohne Artefakte zu erhöhen, der dritte Platz ist für Instant 4K, für dasselbe, aber mit Artefakten. Photoshop nimmt den letzten Platz für die Verschlechterung der Bildschärfe ein.

Was ist mit MITSU und VMAF?

<sup>Das Ergebnis der Analyse von MITSU (volle Größe) , Unschärfe und Rauschen, kleiner ist besser.

VMAF-Analyseergebnis (volle Größe) , größer ist besser.</sup>
Hier ist alles ungefähr das gleiche wie beim ersten Video: Topaz hat die geringste Unschärfe und das meiste Rauschen. Obwohl das Rauschen erneut nicht einmal 1 Punkt erreichte, nicht wie 3,5, achten wir erneut auf die Unschärfe, bei der jeder die Grenzen der zulässigen 5 Punkte überschritten hat. Topaz zeigte hier eine spürbare Verbesserung und reduzierte die Unschärfe fast zweimal auf 6, während der Rest auf einem Haufen von 10-12 Punkten liegt.
Gemäß dem VMAF-Diagramm werden keine Drawdowns beobachtet, außer dass Topaz im VMAF-Diagramm eine signifikant größere Ungleichmäßigkeit der Werte in benachbarten Frames aufweist als andere Programme. Er gab Instant 4K den ersten Platz, Topaz den zweiten und UpResNet10 den dritten Platz.
Somit nimmt Topaz den ersten Platz ein, Instant 4K den zweiten und UpResNet10 den dritten.
Die "Original" -Datei FFV1 MKV 1080P für diejenigen, die ihre eigenen Experimente durchführen oder meine wiederholen möchten, kann hier heruntergeladen werden .
↑ Zurück zum Inhalt

4.3 Datei 3: "4K-Quelle"

^{Ein Frame aus einer ROTEN Datei, der in FFV1 konvertiert und für die Vorschau auf 720P reduziert wurde.}
Ergebnisse JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x das Profil UpResNet10 und originell.
Animierter Vergleich: MP4 H.264 , WEBP . Auch Dateien und Originalframes in PNG sind hier verfügbar .
Full-Size - Proben 4K - Codec H.265 liegt hier (~ 49MB pro Stück).
Der dritte Vergleich wird wie folgt durchgeführt: Die Quelldatei mit einer Auflösung von 3840 x 2160 im R3D-Format wurde aus Adobe Premiere mit derselben Auflösung exportiert, jedoch mit einer von 120 FPS auf 23,98 FPS reduzierten Bildrate.
Danach wurde die erhaltene FFV1-Datei erneut reduziert, diesmal unter Verwendung der bilinearen Interpolation, auf eine Auflösung von 1920 x 1080. Danach wurde die resultierende Datei durch das gehobene Programm ausgeführt und mit der FFV1-Datei in 4K-Auflösung verglichen, dh der Vergleich erfolgte nicht mit bilinearer Interpolation. wie früher, aber mit dem Originalbild. Die Datei ist kurz, nur 16 Sekunden, also werden wir einen einzelnen Frame vergleichen.
Der erste Unterschied, der auffällt, ist die Farbe und Helligkeit des Bildes. Ich habe die Einstellungen für das Teilen von Videos in Frames und das anschließende Sammeln dieser Frames in Videos mit ffmpeg überprüft: Das Ergebnis ist eins - kein Algorithmus konnte die Farben und die Helligkeit unverändert lassen, nicht einmal Lanczos. Die Helligkeit und Farbe des Bildes spielt in diesem Fall für uns jedoch keine Rolle, daher werden wir die Klarheit des Bildes betrachten, nämlich die Details des Autos, Bilder und Reflexionen.

Animierter Autovergleich : MP4 H.264 , WEBP .
Instant 4K schärfte das gesamte Bild leicht und zeichnete eine dunkle Reflexion über das Rad. Auch alle anderen gehobenen Methoden haben diesen Schatten gezeichnet, was interessant ist: Nur Instant 4K hat die Details zuvor „durchdacht“. Vielleicht haben die Algorithmen herausgefunden, was für uns schlecht sichtbar ist - den Übergang aus dem Bereich mit Reflexion auf die Karosserie. Topaz bemühte sich am härtesten, Rauschen im gesamten Bild zu entfernen (was in der Tat nicht immer gut ist, da häufig absichtlich Rauschen hinzugefügt / zurückgelassen wird) und Details am Auto hervorzuheben, einschließlich Bilder. Da jedoch so viel Unschärfe nicht entfernt werden kann, zeichnete Topaz an vielen Stellen doppelte Konturen - insbesondere auf dem Text (blaues Quadrat). UpResNet10 war diesmal enttäuscht, weil die Pixelung einiger Teile des Frames erhöht wurde und Rauschen wahrscheinlich fälschlicherweise als „Merkmale“ (rotes Quadrat) erkannt wurde. Was ist charakteristischEin ähnliches Verhalten wird bei Lanczos beobachtet, das überhaupt keine KI hat. Photoshop machte eine starke Mittelung, reduzierte das Rauschen und fügte nicht viel Pixel hinzu.
In diesem Vergleich war der Gewinner für mich erneut Topaz, Photoshop belegte den zweiten Platz, Instant 4K den dritten Platz.

Kommen wir zu den Diagrammen: Hier fügen wir den Diagrammen SSIM und PSNR hinzu, da wir das Original in 4K haben.

<sup>Das Ergebnis der Analyse von MITSU (volle Größe) , Unschärfe und Rauschen, kleiner ist besser.

VMAF-Analyseergebnis (volle Größe) , größer ist besser.

SSIM-Analyseergebnis (volle Größe) , größer ist besser.

PSNR-Analyseergebnis (volle Größe) , größer ist besser.</sup>

PSNR stellte Photoshop, SSIM Lanczos und VMAF Topaz an die erste Stelle. PSRR und SSIM auf dem zweiten Platz wurden an UpResNet10 vergeben, während VMAF Instant 4K bevorzugte. Auf dem dritten Platz haben wir wieder viel zu tun, und während PSNR Lanczos auf den dritten Platz bringt, gibt SSIM ihm Instant 4K. VMAF - Photoshop. Gleichzeitig wertet VMAF jeden Topaz-Frame mit 100 von 100 möglichen Punkten aus - ich habe zweimal nachgesehen.
MITSU zeigt wieder das vertraute Bild und sagt uns, dass das Rauschen bei allen Ergebnissen praktisch nicht vorhanden ist. Was die Unschärfe betrifft, ist hier nicht alles so gut - die meisten Upscaler behielten die Unschärfe des Originals bei, nur Topaz und UpResNet10 lösten sich mit 4 bzw. 2 Punkten von der Gruppe. Beide konnten die begehrten 5 nicht erreichen, aber es gibt ein Ergebnis.
Von allen vier Metriken stimmen die VMAF- und MITSU-Messwerte am ehesten mit meinen Eindrücken überein, während PSNR und SSIM AI-Mathematik bevorzugen. Nach den Ergebnissen der Analyse ist es schwierig, den Gewinner eindeutig zu benennen.
Die "originale" FFV1 MKV 4K-Datei für diejenigen, die ihre eigenen Experimente durchführen oder meine wiederholen möchten, kann hier heruntergeladen werden .
↑ Zurück zum Inhalt

4.4 Datei 4: "Youtube"

^{Ein Bild aus einem Youtube-Video, das durch bilineare Interpolation vergrößert und für die Vorschau auf 720 P reduziert wurde.}
Video von Youtube von Anfang bis Ende. Die anfängliche Qualität ist 720P, handgezeichnete Animation und Kameraerschütterung wurden hinzugefügt. Qualität ist akzeptabel, lässt aber zu wünschen übrig, insbesondere auf einem 4K-Monitor.
Ergebnisse JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x das Profil UpResNet10 und originell.
Animierter Vergleich: MP4 H.264 , WEBP . Auch Dateien und Originalframes in PNG sind hier verfügbar .
Full-Size - 4K - Proben im H.265 - Codec sind hier(Jeweils ~ 265 MB).

Beim ersten Vergleich fällt der Kontrast des von Instant 4K ausgegebenen Rahmens auf: Er unterscheidet sich sowohl in Farbe als auch in Helligkeit. Ich habe dieses Video mehrmals aus mehreren Versionen von Adobe Premiere exportiert und die Farbe überprüft. Instant 4K bestand darauf, die Farbe bei allen Einstellungen zu ändern. Das Endergebnis stammt aus Version 2019 mit aktiviertem Display Color Management.

Vergleich animierter Gesichter: MP4 H.264 , WEBP .
Ohne eine Erhöhung ist der Unterschied spürbar, außer bei Instant 4K und Topaz. Schauen wir uns also das Gesicht genauer an.
Seltsamerweise zeigte Lanczos auch keine Verbesserung, UpResNet10. Photoshop reduzierte den Blockierungseffekt des Bildes, der aufgrund zu starker Komprimierung im Original angezeigt wurde, ohne dass Details verloren gingen. Für Animationen ist diese Methode durchaus akzeptabel. Wir entfernen Artefakte, ohne die Schärfe zu erhöhen. Im Allgemeinen wird das Bild schöner. Sofortiges 4K erhöhte die Anzahl der Artefakte und änderte die Farben. Außerdem nimmt die Schärfe leicht zu, was durch das Auftreten von noch mehr Artefakten ausgeglichen wird. Topaz hingegen zeigte genau das, was ich von allen anderen Methoden erwarten würde: Artefakte verschwanden fast vollständig, ebenso wie der Blockierungseffekt, und die Schärfe kann nicht mit dem Original oder einer anderen gehobenen Methode verglichen werden. Der Gewinner ist natürlich Topaz, der zweite Platz geht an Phtoshop,Das dritte wird von UpResNet10 und Lanczos gemeinsam genutzt, da sie im Gegensatz zu Instant 4K zumindest keine neuen Artefakte hinzugefügt haben.


^{Ein Bild aus einem Youtube-Video, das durch bilineare Interpolation vergrößert und für die Vorschau auf 720 P reduziert wurde.}
Ergebnisse JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x das Profil UpResNet10 und originell.
Animierter Vergleich: MP4 H.264 , WEBP . Auch Dateien und Originalframes in PNG sind hier verfügbar .

Wir gehen weiter zum zweiten Bild: Hier haben wir wieder viele Farbverläufe mit Artefakten sowie Gesichtsdetails.
Es wird interessant sein zu sehen, wie alle gehobenen Methoden Artefakte auf Verläufen ausgearbeitet haben, und nach unerwünschten Änderungen zu suchen. Bei den Artefakten auf dem Farbverlauf links (blaues Quadrat) machten nur Topaz und Instant 4K auf sie aufmerksam. Während die ersten diese Blöcke fast vollständig beseitigten, schlug Instant 4K erneut fehl, wechselte die Farben und machte Artefakte deutlicher als bei Topaz. Natürlich ist das Ergebnis immer noch nicht mit dem Rest zu vergleichen: Dort blühen und riechen diese Blöcke.

Vergleich animierter Gesichter: MP4 H.264 , WEBP .
Im Original haben wir wieder einen Fleck von Makroblöcken, und wir erwarten ungefähr das gleiche Ergebnis wie im letzten Frame. Instant 4K hat die Übergänge zwischen den Blöcken leicht optimiert und glatter gemacht, während Photoshop im Gegensatz zum ersten Vergleich schlechter abschnitt. Das Bild nach der Verarbeitung von Photoshop wurde jedoch noch etwas schöner. UpResNet10 traf leider wieder den Dreck im Gesicht und verbesserte nicht, was auf dem Bildschirm passiert, fast nicht anders als Lanczos. Aber Topaz fügte noch einmal Klarheit hinzu, entfernte Artefakte und fügte keine neuen hinzu.
Der Gewinner hier ist wieder Topaz, der zweite Platz ist für Instant 4K (ich habe mich bereits mit dem Farbwechsel abgefunden), der dritte ist Photoshop.


^{Ein Bild aus einem Youtube-Video, das durch bilineare Interpolation vergrößert und für die Vorschau auf 720 P reduziert wurde.}
Ergebnisse JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x das Profil UpResNet10 und originell.
Animierter Vergleich: MP4 H.264 , WEBP . Auch Dateien und Originalframes in PNG sind hier verfügbar .

Das dritte und letzte Bild: Hier habe ich speziell ein dunkleres Bild ausgewählt, um zu sehen, wie alle Programme mit Artefakten in dunklen Bereichen arbeiten.

Zunächst möchte ich auf das grüne Quadrat aufmerksam machen: Wir erwarten von allen Upscalern, dass sie die Blockierung an dieser Stelle reduzieren. Leider wurden unsere Erwartungen von leisem Topaz erfüllt, während der Rest, einschließlich Photoshop, Artefakte nicht weniger auffällig machte. Instant 4K schießt sich wieder in den Fuß, erhöht die Helligkeit des Bildes und streckt sogar die Artefakte, die wir vorher einfach nicht gesehen haben. Ich möchte darauf hinweisen, dass mir das Ergebnis von Topaz auf diesem Rahmen auch nicht wirklich gefallen hat. Ich denke, dass es die Farbverläufe zu stark verschmiert hat. Dafür entfernte er jedoch fast alle sichtbaren Mängel, so dass es einfach niemanden gab, mit dem er verglichen werden konnte - alle anderen hatten, wie gesagt, praktisch keinen Einfluss auf sie.

Vergleich animierter Kleidung: MP4 H.264 , WEBP .
Da wir bereits genug Gesichter gesehen haben, werden wir größere Details der Kleidung betrachten: Hier erleben wir eine echte Parade von Makroblöcken, insbesondere auf Steigungen. Leider hat erneut keiner der Upscaler das Bild verbessert, mit Ausnahme von Topaz, das alle Farbverläufe geglättet und die Blockierung fast vollständig beseitigt hat, für die es bei der Analyse dieses Rahmens an erster Stelle steht. Leider gibt es für diesen Schuss niemanden, der den zweiten und dritten Platz belegt.

Überraschenderweise konnte waifu2x, das anscheinend durch die Zunahme von Anime und Zeichnungen geschärft wurde, seinen Vorteil überhaupt nicht realisieren. Es war eine Überraschung für mich.

Vergleichen Sie meine Eindrücke mit den Ergebnissen der VMAF- und MITSU-Analyse, beginnend mit dem ersten:

<sup>Die Ergebnisse der Analyse von MITSU (volle Größe) , Unschärfe und Rauschen, kleiner ist besser.

VMAF-Analyseergebnis (volle Größe) , größer ist besser.</sup>
VMAF arrangierte alle gehobenen Methoden fast im Gegenteil zu meiner Bestellung, erstens Lanczos, zuletzt - Topaz. Jeder hat häufige Qualitätsverluste, Topaz fällt in der VMAF-Metrik am niedrigsten, und bei den längsten Rückschlägen steigen alle anderen außer Lanczos hinter ihn. In diesen Bildern habe ich jedoch nichts Ungewöhnliches gesehen.
Nun, MISTU zeigt erneut eine große Lücke zwischen Topaz und den anderen gemäß der Unschärfemetrik sowie einen leichten Anstieg des Rauschens. Laut MITSU haben absolut alle gehobenen Methoden das Bild klarer gemacht, und Instant 4K hat sogar das für uns unsichtbare Rauschen reduziert.
Somit belegt Instant 4K den ersten Platz, der zweite UpResNet10 den dritten Topaz.
Diesmal bin ich mit VMAF nicht einverstanden.

Die "Original" -Datei FFV1 MKV 720P für diejenigen, die ihre eigenen Experimente durchführen oder meine wiederholen möchten, kann hier heruntergeladen werden .
↑ Zurück zum Inhalt

5. Analyse der Ergebnisse

Um den Gewinner zu ermitteln, werde ich die Ergebnisse der VMAF-Metrik und die subjektiven Schlussfolgerungen zu jeder Datei verwenden. Ich addiere einfach die VMAF-Metrik mit dem Durchschnitt jeder Datei. Was die subjektive Bewertung betrifft, werde ich mich hier meinen Schlussfolgerungen zu jeder Datei zuwenden und für jede Datei den ersten Platz mit 3 Punkten, den zweiten mit 2 und den dritten mit 1 angeben. Danach füge ich diese Punkte hinzu und platziere sie vertikal in der Grafik.


^{Das Ergebnis des Hinzufügens von VMAF und subjektiver Analyse (volle Größe) , größer ist besser.}

Laut der VMAF-Metrik war Instant 4K der Gewinner und löste sich von Topaz, das mit nur 0,58 Punkten Zweiter wurde. Laut subjektiver Analyse ist der Abstand zwischen dem ersten und dem zweiten Platz dagegen viel größer - Topaz belegte den ersten Platz und löste sich von Intsant 4K, der mit 8 Punkten den zweiten Platz belegte, dreimal mehr Punkte.

Der Gewinner meines Vergleichs ist Topaz, der zweite Platz geht an Instant 4K und der dritte an UpResNet10.

Der Vergleich wäre jedoch nicht vollständig, wenn nicht die Geschwindigkeit der Programme und meine Kommentare zu ihrer Arbeit verglichen würden. Beginnen wir mit dem ersten:

^{Zeitaufwand für die Verarbeitung und das Volumen der empfangenen Dateien (in voller Größe)}

Eine verbesserte Detaillierung von Topaz wirkt sich erheblich auf die Dateigröße aus. In der Regel sind Topaz-Dateien 2-mal „schwerer“ als die Dateien anderer Upscaler und 4-mal „schwerer“ als die Originaldateien, vergrößert durch bilineare Interpolation. Die einzige Ausnahme ist die "4K Source" -Datei, bei der der Unterschied weniger als 30% betrug.

Die Geschwindigkeit der Programme, mit Ausnahme von Topaz und Photoshop, arbeitet mit einer sehr vernünftigen Geschwindigkeit. Akzeptabel für was?
Was ist, wenn wir einen Film über Topaz vergrößern möchten, der 2 Stunden dauert und eine Bildrate von 25 Bildern pro Sekunde aufweist? Mein Computer benötigt 421 Stunden oder 17,5 Tage Dauerbetrieb. Was ist mit einer 40-minütigen Serie? 6 Tage

Ja, das Bild mit dem gleichen waifu2x ist etwas anders - 2 Tage für den Film, 16 Stunden für die Serie. Denken Sie, dass das von waifu2x gezeigte Ergebnis zwei Tage kontinuierliches Rendern wert ist? Ich schlage vor, diese Frage allen unabhängig zu beantworten.

Vor einem Monat habe ich für gehobene Videos nur und ausschließlich Instant 4K für Bilder (Logos, manchmal Fotos) waifu2x verwendet. Das von Topaz demonstrierte Ergebnis zwang mich, es meiner Sammlung hochwertiger Programme hinzuzufügen, zumindest um Bilder zu vergrößern. Ich vergrößere oft kurze Clips mit einer Dauer von weniger als 10 Sekunden. Außerdem werden Bilder perfekt vergrößert - sowohl Zeichnungen als auch Fotos.

Zurück zum Thema Filme: Im Fall von Topaz sehe ich nur einen Weg, um das Problem zu lösen: die Verteilung von Frames für die Verarbeitung auf mehreren Maschinen.

^{Topaz AI kann schneller laufen. Was ist der Haken?}
Durch Deaktivieren von "hochwertigen AI-Modellen" wird die Verarbeitungszeit eines theoretischen Films um 4 Tage verkürzt, was die Genauigkeit der Farbverarbeitung verringert. Das könnte Sie interessierenIm Topaz-Forum halten viele dieses „Lite“ -Modell für von höherer Qualität. PNG-Frames und animierte Vergleiche können hier angezeigt werden .

Instant 4K arbeitet mit einer guten Geschwindigkeit und zeigt ein wunderbares Ergebnis (besser als andere Methoden außer Topaz und gleichzeitig schneller und auch bequemer). Wie erwartet ist

Lanczos ohne einen zusätzlichen Schärfungsfilter zum Schärfen nicht sinnvoll.

Photoshop ist definitiv nicht die Zeit wert, die es gedauert hat, zumindest mit den Einstellungen, die ich verwendet habe. Wenn Sie JPEG verwenden und alle Festplatten durch eine SSD ersetzen, können Sie möglicherweise die Verarbeitungsgeschwindigkeit erheblich steigern.

UpResNet10Im Allgemeinen wird Instant 4K abgespielt. Wenn Sie seiner Initiative jedoch nicht zustimmen, können Sie versuchen, Instant 4K durch UpResNet10 zu ersetzen. Persönlich finde ich Instant 4K-Artefakte nicht so auffällig. Auf der anderen Seite ist die Verwendung von Instant 4K zum Vergrößern von Bildern zumindest seltsam und normalerweise überhaupt nicht praktisch. Daher ist das Ersetzen von waifu2x durch einen Videoeditor möglich, aber nicht erforderlich.

Kann eine der gehobenen Methoden als universell bezeichnet werden? Vielleicht ja. Ich denke, dass richtig konfiguriertes Topaz ein durchweg besseres Bild erzeugen kann als andere gehobene Methoden. Aber es gibt kein Fass Honig ohne eine Fliege in der Salbe, wir dürfen die Leistung von Topaz nicht vergessen.
↑ Zurück zum Inhalt

6. Ein Anfänger, der gehobene Programme in der Praxis ausprobieren möchte

... Ich kann Instant 4K zunächst als am einfachsten zu verwenden empfehlen .

Sie führen einfach das Programm aus, importieren Ihre Datei in das Programm, erstellen daraus eine Sequenz von „Sequenz aus Clip“, gehen zu den Einstellungen (Sequenzeinstellungen) und ändern die Auflösung nach Ihren Wünschen. Ziehen Sie anschließend den Instant 4K-Effekt auf Ihre Videospur, passen Sie die Auflösung und zusätzliche Parameter an und Sie können mit dem Export beginnen.

Um dieses Programm nutzen zu können, müssen Sie leider Adobe Premiere sowie das Plugin selbst kaufen oder finden. All dies zu kaufen ist eine sehr ernsthafte Investition, und ich kann nicht raten, im Internet nach „geheilten“ Programmen zu suchen.


^{Adobe Premiere war mit meinem Geschmack unzufrieden}
Ich möchte Ihre Aufmerksamkeit auf die Tatsache lenken, dass Premiere nicht mit allen Videoformaten funktioniert und für einen beträchtlichen Teil der Filme aus dem Internet auf gute Sprache schwören wird. In diesem Fall kann ich nur empfehlen, den Film mit ffmpeg in ProRes zu konvertieren:

 ffmpeg -hide_banner -probesize 1000M -i file.mkv -pix_fmt yuv420p -c:v prores_ks -c:a aac -b:a 128k file.mov 

Die nächste Zeile lautet waifu2x : Legen Sie das Video mithilfe der BAT-Datei aus dem Abschnitt "Vorbereiten des Testmaterials" in Frames an , öffnen Sie den Ordner in waifu2x, wählen Sie die Parameter aus (Erhöhung der Auflösung, Rauschunterdrückung) und starten Sie den Export. Am Ende müssen Sie nur noch die Bilder und den Ton in ein fertiges Video einfügen. Möglicherweise haben Sie einige Probleme mit der Konfiguration, wie ich bereits geschrieben habe. Ich persönlich musste nach cuDNN suchen. Außerdem benötigt waifu2x eine ziemlich leistungsstarke Grafikkarte.

Wenn Sie aus irgendeinem Grund waifu2x nicht konfigurieren können oder nicht über genügend GPU-Leistung verfügen, lesen Sie Photoshop . In diesem Artikel gibt es eine gut genug , um Anweisungen für seine Verwendung.

Wenn Sie mit Bildexperimenten zufrieden sind oder viel zusätzliche Zeit haben, verwenden Sie die Topaz- Testversion : Sie funktioniert 30 Tage lang mit allen Funktionen. Sie haben nur Zeit, Ihren Lieblingsfilm vor dem Ende des Testzeitraums zu vergrößern (dies ist jedoch nicht korrekt). Hier gelten die Anforderungen an eine leistungsstarke waifu2x-Grafikkarte. Wenn Sie Topaz oder waifu2x verwenden, können Probleme bei der Arbeit mit anderen, sogar einfachsten Programmen auftreten, da beide Programme versuchen, die GPU zu 100% zu belegen, wodurch die Schnittstelle des Restes sehr langsam wird. Das Funktionsprinzip ist das gleiche wie bei waifu2x.

In den letzten drei Fällen empfehle ich, dass Sie die Audiospur im Voraus von der Originalvideodatei trennen, wie es für Sie bequem ist. Wenn dies ein einfaches Video von Youtube oder ein Film mit einem Titel ist, reicht die einfachste einzeilige BAT-Datei aus. Wenn Sie „Glück“ haben, mit einem Film mit Titeln 5.1 und mehreren Übersetzungen zu experimentieren, gehen solche Fälle weit über den Rahmen dieses Artikels hinaus. Aber wer sucht, wird immer finden.


Nach dem Empfang des Audios in einer Datei und am Ende der Verarbeitung der Frames mit dem Upscaler sollten Sie Ton und Video in einer Datei kombinieren.


Der Rest sollte die Parameter und Einstellungen von H.265 (kleinere Größe und höhere Qualität) und H.264 (schneller) untersuchen.
Weitere Skriptoptionen für FFMPEG finden Sie in diesem gehobenen Artikel .
↑ Zurück zum Inhalt

7. Planen Sie den nächsten Artikel und Fragen an die Leser

Im nächsten Artikel plane ich, interaktive für subjektive Tests hinzuzufügen, damit die Leser bestimmte gehobene Methoden direkt bewerten. Dazu werde ich das MSU Video Quality Measurement Tool verwenden . Aber ich muss verstehen, ob ich H.265 frei verwenden und Dateien stärker komprimieren kann, oder ich muss H.264 verwenden. Bitte nehmen Sie an der folgenden Umfrage teil und beachten Sie, ob Ihr PC H.265 ohne Bildverlust („Verzögerungen“) abspielen kann.
Darüber hinaus plane ich, das Super-Resolution Convolutional Neural Network-Modell (SRCNN) und das Efficient Sub-Pixel Convolutional Neural Network-Modell (ESPCN) in Betracht zu ziehen.

• Lanczos, sharpening. ? ? , Lanczos , , sinc?
• waifu2x ? CUnet? Y? , ?
• Photoshop?
• «, » Topaz, «, »?
• , ?
• MITSU? , , Noise Blockiness?

↑