Saat membaca artikel terbaru tentang kelas atas ( Kelas atas - penskalaan gambar ke resolusi yang lebih tinggi), kali ini tentang produk komersial Topaz AI Gigapixel, saya memberikan komentar dengan konten berikut:

Sangat disayangkan bahwa posting ini adalah terjemahan yang sederhana, saya ingin membandingkannya dengan sesuatu yang gratis, seperti waifu2x yang sama. Saya pikir perbedaannya akan sangat sulit ditemukan, meskipun waifu2x dirancang untuk animasi.

Ya, karena artikel itu adalah terjemahan, saya memutuskan untuk mengambil alih sendiri. Jadi, jangan buang waktu, berkenalan:

• Red Giant Shooter Instant 4K
• Filter Lanczos (dikenal banyak orang sebagai Lanczos)
• Interpolasi bilinear (sebagai referensi)
• Adobe Photoshop Saving Details 2.0
• AI Topaz Gigapixel
• Waifu2x dengan profil UpResNet10

Di bawah cut, Longrid, serta panduan video kelas atas menggunakan Instant 4K, Waifu2x, Lanczos dan Topaz Gigapixel AI.

---

Kami akan membandingkannya menggunakan mata kami sendiri, karena kami dapat mengoptimalkan gambar untuk berbagai solusi untuk menganalisis gambar dengan memenangkan persentase "ekstra" ... Namun, kami juga tidak akan menolak yang terakhir, oleh karena itu hasil analisis MITSU dan VMAF akan ditambahkan ke hasil dalam tangkapan layar, karena kedua program bekerja dengan video tanpa sampel. SSIM, PSNR, dan lainnya tidak akan cocok dengan kami dalam kasus ini, karena kami tidak memiliki 4K nyata yang dapat dibandingkan hasil kelas atas.

Konten:

• Persiapan bahan untuk pengujian
• Pemilihan bahan untuk pengujian
• Program dipilih untuk pengujian
• Analisis video:
• File 1: “INTRO”:
• File 2: "SCENE 1":
• File 3: "4K SOURCE":
• File 4: "YOUTUBE":
• Analisis Hasil
• Untuk pemula yang ingin mencoba program kelas atas modern
• Rencanakan artikel berikutnya dan pertanyaan kepada pembaca

Semua file dari artikel, termasuk frame PNG tanpa kompresi, perbandingan animasi, sampel 4K H.265, tabel dan file FFV1 semuanya ada di Google . Cermin di Yandex . Ada 3 panduan video sederhana untuk menggunakan Adobe Premiere Instant 4K, Waifu2x dan Topaz.

1. Persiapan bahan untuk pengujian

Konfigurasi yang diuji:

CPU: Intel Core i7-4980HQ 4.2 GHz
Motherboard: GAME MSI Z97 5
^{(jangan tanya)}
RAM: 32GB DDR3 2400
GPU: NVIDIA GTX 1080ti FE 11GB, frekuensi inti diatur secara manual ke 1923, frekuensi memori 5602.
SHD: sistem dan program pada SSD M.2 SATA 850 EVO 250GB, file pada HDD 2 TB WDC WD40EZRZ.

Kelas atas dilakukan sesuai dengan skenario berikut:

• Jika metode yang dipilih mendukung pekerjaan langsung dari editor video Adobe Premiere, maka semua pekerjaan dilakukan dalam editor ini, setelah itu hasilnya diekspor dalam FFV1 codec dengan parameter GOP 1 untuk menghindari kerugian dan menggunakan kompresi gambar yang dapat dibalik secara eksklusif.
• Jika metode yang dipilih tidak mendukung pekerjaan dari editor video, maka video tersebut didekomposisi menjadi bingkai terpisah dalam format PNG menggunakan file bat sederhana:
  
  
  File BAT untuk menyimpan masing-masing frame ke folder frames

  wmic process where name="cmd.exe" CALL setpriority 16384 @echo off :hugly if "%~1" EQU "" goto mugly ffmpeg -probesize 1000M -i "%~1" -vsync vfr frames\image-%%03d.png shift goto hugly :mugly pause 

  
  Untuk menguraikan video menjadi bingkai, cukup tempatkan file ini di folder ke ffmpeg.exe dan buat folder bingkai, setelah itu biasa menyeret file video langsung ke file bat.
  
  
  Setelah itu, frame yang diproses dikirim ke FFMPEG untuk pencampuran, dan diekspor dengan pengaturan yang persis sama seperti pada kasus pertama.
  
  
  File BAT untuk mengubah masing-masing frame menjadi file, tanpa suara

   ffmpeg -framerate 24 -i image-%%03d.png -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -r 24 photoshop.mkv 

  
  Parameter -framerate dan -r bertanggung jawab untuk mengatur kecepatan frame video, keduanya harus ditentukan.
  

Dalam kedua kasus, outputnya adalah file MKV dengan codec FFV1, berukuran sekitar 700 megabyte untuk setiap 10 detik video.


Setelah itu, masing-masing file dibuka di MPC-HC dengan tujuan mengambil tangkapan layar, dan kemudian dikirim untuk analisis ke ffmpeg menggunakan, sekali lagi, file bat:


MITSU, pada gilirannya, tidak perlu dikonfigurasi, file-file kelelawar yang sudah selesai memerlukan sedikit modifikasi dengan file (saya menunjukkan path lengkap ke ffprobe dan ffmpeg, dan juga meletakkan cygwin1.dll dalam folder dengan file yang dapat dieksekusi).

Data yang diterima diimpor ke Excel dan diubah menjadi sangat indah dan tidak terlalu grafis.
File FFV1 juga dikonversi ke mp4 dengan codec h265 (untuk meminimalkan ukuran file sambil mempertahankan detail maksimum) dengan VBR 25000 kbps dan SAO dinonaktifkan, dengan harapan mencapai kualitas yang memadai.

↑ Kembali ke konten

2. Pilihan bahan untuk pengujian

Dalam artikel ini, kami mempertimbangkan berbagai contoh: fragmen dari seri dalam 1080P, animasi yang digambar tangan, dan bahkan pengambilan gambar video 4K pada kamera profesional untuk mendapatkan hasil yang objektif untuk berbagai kasus menggunakan program yang dimaksud.

Jenis video berikut ini diproses:

• Adegan dari seri " Person of Interest ", S02E20, intro: banyak grafis komputer, banyak gerakan dan perubahan rencana.
• Sebuah adegan dari seri yang sama dari seri: gerakan kecil, beberapa perubahan rencana dan banyak detail di latar belakang dan latar depan, dari cabang-cabang pohon untuk menghadapi detail.
  
  Kedua adegan diambil dari satu file dengan resolusi 1920 × 1080 (Full HD), codec H.264, bitrate - 12.664 kbps. Ini adalah kualitas awal yang cukup bagus untuk seri ini. Perbandingan hasil kelas atas dilakukan dengan file diperbesar menggunakan interpolasi bilinear sederhana (ditunjukkan dalam daftar sebagai referensi).
• Contoh video dari RED.com : nyata 4K HD (3840x2160) yang direkam pada 120FPS. Video dikurangi menjadi 1920x1080 menggunakan Lanczos, dan kemudian meningkat menjadi 4K menggunakan program dari daftar di atas. Frame rate telah dikurangi menjadi ~ 24 frame per detik. Hasilnya dibandingkan dengan file sumber yang dikonversi dari file RED ke FFV1 yang sudah dikenal (ffmpeg menolak untuk bekerja dengan file RED).
• Animasi yang digambar tangan "The Sacred Book of the Werewolf ", diunduh dari YouTube, guncangan buatan "kamera", banyak perubahan rencana. File sumber dalam resolusi 1280x720, wadah WEBM, VP9 codec, bitrate 1556 kbps. Ini adalah kualitas yang sangat rendah, tetapi sangat umum di YouTube.

↑ Kembali ke konten

3. Program yang dipilih untuk pengujian

Kami akan mengeksplorasi masing-masing metode kelas atas dengan sedikit lebih detail:

• Red Giant Shooter Instant 4K 13.1.5
  Dibayar: ya ($ 99).
  Integrasi dengan Adobe Premiere (tidak memerlukan penguraian video menjadi bingkai): ya.
  
  Pengaturan kualitas: Jenis Filter - Terbaik, Ketajaman 2, Kualitas 25 (maksimum), Anti-aliasing 6. Ini adalah pengaturan standar, dengan pengecualian Kualitas - ditetapkan ke maksimum secara manual.
  Waktu pemrosesan untuk 914 frame INTRO: 532 detik (11 kali lebih lama dari ekspor reguler).
  
  Metode kelas atas: tidak diketahui ("algoritma cerdas")
  
  
  ^{Antarmuka plugin Instant 4K di jendela program Adobe Premiere 2019, di sudut kiri atas.}
  
  Kami memilih resolusi target (Anda dapat menentukan sendiri), memilih jenis filter (Saya tidak melihat alasan untuk memilih sesuatu selain Best), mengubah atau membiarkan Ketajaman (ketajaman) default, Kualitas (kualitas) dan Anti-Aliasing (penghalusan), dan kemudian mengekspor file video dan nikmati hasilnya.
  
  Ini bekerja cukup cepat, praktis tidak memuat GPU dan CPU lebih dari ekspor biasa. Seminggu yang lalu adalah plugin video standar kelas atas saya. Itu membuat perubahan yang tidak khas untuk filter matematika sederhana dalam detail gambar, sehingga kemungkinan besar adalah AI. Ini mengambil tempat kedua dalam kecepatan.
  
  Memungkinkan Anda melihat hasilnya sebelum membuat video, sesuaikan pengaturannya. Untuk pemutaran yang lancar membutuhkan rendering, perubahan terlihat di penampil beberapa detik setelah mengubah pengaturan.
• Filter Lanczos (dikenal banyak orang sebagai Lanczos).
  
  Dibayar: no.
  
  Integrasi dengan Adobe Premiere (tidak memerlukan penguraian video menjadi bingkai): ya, sebagai bagian dari plugin Voukoder .
  
  Pengaturan Kualitas: Tidak Ada.
  
  Waktu pemrosesan untuk 914 frame INTRO: 54 detik (1,13 kali lebih lama dari ekspor biasa), tidak termasuk waktu yang diperlukan untuk mengkonversi video menjadi frame yang terpisah dan kemudian mengurangi frame kembali ke video.
  
  Metode Kelas Atas: Non-AI.
  
  
  Baris contoh untuk meningkatkan skala file video dari bawah Windows:

   ffmpeg -framerate 23.976 -i input.mp4 -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -vf scale=3840:2160 -sws_flags lanczos+full_chroma_inp -r 23.976 lanczos.mkv 

  
  
  
  Tidak ada pratinjau, serta pengaturan. Dimungkinkan untuk bekerja secara langsung dengan video, tanpa menguraikannya menjadi bingkai. Bekerja dengan baik dari ffmpeg. Ini bekerja lebih cepat daripada orang lain, hanya pada CPU.
• Adobe Photoshop Saving Details 2.0
  Dibayar: ya.
  
  Integrasi dengan Adobe Premiere (tidak memerlukan penguraian video menjadi bingkai): no.
  
  Pengaturan kualitas: ada parameter "pengurangan kebisingan", diatur ke 100%, seperti penulis artikel.
  
  Waktu pemrosesan untuk 914 bingkai INTRO: 3840 detik (80 kali lebih lama dari ekspor biasa), tidak termasuk waktu yang diperlukan untuk mengubah video menjadi masing-masing bingkai dan kemudian membawanya kembali ke video.
  
  Metode Kelas Atas: Tidak Dikenal.
  
  
  Ini memerlukan konfigurasi awal dalam bentuk membuat templat “buka file - ubah ukuran - simpan file”, menghabiskan banyak waktu secara langsung untuk membuka file dan menyimpannya: format bingkai yang dipilih - PNG yang mempengaruhinya, ini bekerja pada CPU. Penultimate dalam kecepatan.
  
  Memungkinkan Anda melihat hasilnya sebelum memperbesar gambar dan menyimpannya.
  Pengguna yang tidak berpengalaman mungkin memiliki masalah dengan mengubah ruang warna: periksa ulang profil warna setelah menyimpan gambar, bandingkan warna gambar asli dan kelas atas. Kemungkinan besar, profil warna sRGB IEC61966-2.1 cocok untuk Anda.
  
• AI Topaz Gigapixel
  Dibayar: ya ($ 99).
  
  Integrasi dengan Adobe Premiere (tidak memerlukan penguraian video menjadi bingkai): no.
  
  Pengaturan Kualitas: Menekan Noise dan Remove Blur. Selain itu, dimungkinkan untuk mengaktifkan dan menonaktifkan "model AI dengan kualitas maksimum". Dalam perbandingan kami, model-model ini disertakan.
  
  Waktu pemrosesan untuk 914 frame INTRO: 7680 detik (160 kali lebih lama dari ekspor biasa), tidak termasuk waktu yang diperlukan untuk mengkonversi video menjadi frame yang terpisah dan kemudian membawa frame kembali ke video.
  
  Metode Kelas Atas: AI.
  
  
  Antarmuka yang cukup menyenangkan dengan pratinjau hasilnya, ia memiliki uji coba yang berfungsi penuh selama 30 hari, memuat kartu video sangat banyak dan bekerja, pada kenyataannya, hanya di atasnya. Jika diinginkan, Anda dapat menjalankannya di CPU. Dibandingkan dengan yang lain - paling lambat.
• Waifu2x dengan profil UpResNet10
  Dibayar: no.
  
  Integrasi dengan Adobe Premiere (tidak memerlukan penguraian video menjadi bingkai): no.
  
  Pengaturan kualitas: di bawah Windows ada waifu2x-caffe , memungkinkan Anda untuk memilih profil dan menyesuaikan kekuatan "pengurangan kebisingan" (Mati / 1/2/3). Secara eksperimental, saya memilih profil UpResNet10 sebagai menunjukkan hasil terbaik. Pemotong derau diatur ke AUTO 1.
  Waktu pemrosesan untuk 914 frame INTRO: 879 detik (18 kali lebih lama dari ekspor biasa), tidak termasuk waktu yang diperlukan untuk mengubah video menjadi frame yang terpisah dan kemudian membawa frame kembali ke video.
  Metode Kelas Atas: AI.
  
  Antarmuka sederhana yang berfungsi pada GPU dapat menyebabkan kesulitan tambahan selama pengaturan awal (saya harus menginstal cuDNN, butuh 10-15 menit). Jika diinginkan, Anda dapat menjalankannya di CPU. Kecepatan rata-rata, di depan hanya Photoshop dan Topaz.

Ini bukan daftar lengkap program yang cocok untuk video kelas atas, dan di artikel selanjutnya saya akan mencoba menambahkan lebih banyak cara. Sarankan opsi Anda di komentar!
↑ Kembali ke konten

4. Akhirnya, kami beralih ke video:

4.1 File 1: “INTRO”:

Bagian pertama: grafik komputer.

^{Bingkai dari seri diperbesar menggunakan interpolasi bilinear dan dikurangi menjadi 720P untuk pratinjau.}
Perbedaan utama: kualitas pemrosesan teks dan tanda pada peta, termasuk kisi-kisi di seluruh bingkai, serta mempertahankan bentuk "pemandangan" di tengah bingkai.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP . File dan bingkai asli dalam PNG juga tersedia di sini . Saya merekomendasikan melihat video dan bingkai secara lokal, bukan dari halaman Google Drive.
Sampel 4K ukuran penuh dalam codec H.265 ada di sini (~ masing-masing 100MB).

Perbandingan pusat bingkai animasi: MP4 H.264 , WEBP .
Mari kita mulai dengan pemandangan di tengah. Kotak merah: perhatikan perilaku dua garis berpotongan. Karena kami (di beberapa tempat) berurusan dengan AI, kami mencari distorsi yang tidak diinginkan. Instant 4K membuat perubahan yang cukup kuat pada kotak ini, yang menerima minus dalam karma dari saya. Semua metode lain berperilaku kurang lebih sama, hasil paling jelas - dengan Photoshop. Topaz - di tempat kedua. UpResNet10, sayangnya, memperhatikan artefak kompresi dan dengan ramah memutuskan untuk meningkatkannya. Lanczos sebenarnya tidak berbeda dengan peningkatan yang biasa.
Kotak biru: ikuti bentuk lingkaran, harapan untuk lingkaran semulus mungkin. Instant 4K menambahkan celah lagi dan menghaluskan lingkaran, menghilangkan celah di bagian bawahnya. Namun, kali ini, untuk ini dia menerima nilai plus dari saya. Namun, Photoshop memiliki hasil terbaik. UpResNet10 mengeluarkan terlalu banyak detail (kisi) di atas lingkaran, yang dapat dianggap sebagai artefak.

Perbandingan teks animasi: MP4 H.264 , WEBP .
Kami beralih ke teks: Lanczos membuatnya tebal, yang mendapat minus. UpResNet10 menyukai grid lagi, dan sekali lagi menunjukkan dirinya lebih buruk daripada pesaing. Terutama saya suka teks yang diproduksi Topaz. Namun, itu kira-kira sama dengan hasil metode lain - itu sudah merupakan masalah selera. Mereka yang siap memaafkan Instant 4K untuk "memikirkan" sebagian besar bisa puas dengan teks yang telah mereka keluarkan, sisanya, saya percaya, akan dibagi antara Topaz dan Photoshop. Yang terakhir, untuk seleraku, masih "bersabun".

Perbandingan kotak animasi di peta: MP4 H.264 , WEBP .
Titik terakhir adalah kotak pada peta. Di sini, semua orang menunjukkan diri mereka kurang lebih sama, dengan pengecualian dua yang berbeda - UpResNet10 dan Topaz. Topas membunuh banyak titik dan hampir semua detail. Sebaliknya, UpResNet10 mengeluarkan poin-poin di mana mereka praktis tidak terlihat sebelumnya. Secara pribadi, kedua opsi ini tidak cocok untuk saya, jadi saya membagikan kemenangan "untuk poin" antara Instant 4K dan Photoshop.
Secara umum, Photoshop adalah pemenang pada peta statis dari grafik komputer, Instant 4K menempati posisi kedua, UpResNet10 menempati urutan ketiga (kami masih menginginkan detail lebih lanjut dari 4K, dan ia memberikannya kepada kami, meskipun kualitasnya meragukan). Topaz membunuh terlalu banyak detail, sementara Lanczos basi terlalu sedikit berbeda dari interpolasi bilinear.

Kami melihat bingkai berikutnya: tengah animasi dengan gerakan.

^{Bingkai dari seri diperbesar menggunakan interpolasi bilinear dan dikurangi menjadi 720P untuk pratinjau.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP . File dan bingkai asli dalam PNG juga tersedia di sini .
Pada pandangan pertama, gambar diharapkan: semua opsi, kecuali Lanczos, memberikan gambar yang lebih jelas. Kami akan memberi perhatian khusus pada detail Topaz, karena itu telah mengubah sebagian besar gambar dari semuanya. Kami akan mempelajari aktor yang sebenarnya, bukan yang ditarik, dan detail pakaiannya, serta teksnya.

Perbandingan aktor animasi: MP4 H.264 , WEBP .
Sedangkan untuk aktor, perbedaan di sini benar-benar minimal: meskipun terakhir kali UpResNet10 menampilkan (kadang-kadang berlebihan) detail yang sebelumnya sulit dilihat, kali ini hanya meningkatkan ketajaman grid diagonal dari bawah. Perbedaan antara Photoshop, Lanczos dan Instant 4K benar-benar perlu dilihat di bawah kaca pembesar, bahkan peningkatan 400% tidak cukup untuk melihat perbedaannya. Secara umum, Photoshop dan Instant 4K menghasilkan gambar yang sedikit lebih tajam. Instant 4K melakukan pekerjaan amatir lagi - kerah kemeja telah berubah di kotak merah aktor. Namun, beberapa perbedaan nyata dari hanya peningkatan terlihat kecuali bahwa untuk Topaz: noise warna di sekitar band telah berkurang, dan ini adalah satu-satunya program yang memiliki peningkatan ketajaman di kotak biru.

Perbandingan teks animasi: MP4 H.264 , WEBP .
Kami bergerak di bawah ini ke teks: di sini Photoshop menghasilkan semua metode pembesaran lainnya dan menghasilkan gambar yang identik dengan Lanczos. UpResNet10 dan Instant 4K menambahkan ketajaman, tetapi juga memperkenalkan sedikit "lelucon" dalam bentuk huruf. Topaz lagi memberikan gambar yang paling jelas, menyoroti huruf bergerigi (baik atau buruk - Anda memutuskan) dan artefak kompresi kecil. Kebisingan warna berkurang lagi, dan huruf kapital di atas tidak dibandingkan dengan metode peningkatan lainnya.

Bingkai terakhir dari segmen: bingkai dari seri dengan grafis komputer ditumpangkan di atasnya.

^{Bingkai dari seri diperbesar menggunakan interpolasi bilinear dan dikurangi menjadi 720P untuk pratinjau.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP . File dan bingkai asli dalam PNG juga tersedia di sini .

Perbandingan wajah aktor animasi: MP4 H.264 , WEBP .
Kami akan mempertimbangkan dalam perbesaran hanya wajah aktor di sebelah kanan: Topaz menambahkan ketajaman dan menyoroti grid dengan sangat baik, akibatnya wajah aktor ternyata menjadi sangat jelas. Instant 4K dan UpResNet10 melakukan hal yang sama, tetapi menghapus lebih sedikit blur (blur). Photoshop menghasilkan bagi mereka juga, menyalip kecuali Lanczos. Secara umum, tidak ada yang kehilangan detail, dan Instant 4K tidak melakukan perubahan yang tidak perlu.

Dalam tiga frame yang dipilih, pemenang untuk saya adalah Topaz. Meskipun ada banyak detail yang hilang di frame pertama, ia mendapatkan kembali pada dua yang terakhir. Tempat kedua diambil oleh Instant 4K, untuk penajaman yang kurang lebih stabil di ketiga frame, meskipun ada sedikit perubahan. Yang ketiga adalah untuk UpResNet10. Dalam bingkai pertama menunjukkan gambar yang tidak saya sukai, tetapi dalam dua terakhir menunjukkan peningkatan ketajaman yang baik. Photoshop dimulai dengan baik di frame pertama, tetapi dalam dua terakhir hampir tidak berbeda dari peningkatan yang biasa. Lanczos tanpa sharping hampir tidak berbeda dengan interpolasi bilinear pada ketiga frame.

Mari kita lihat apa yang akan dikatakan MITSU dan VMAF:

<sup>Hasil analisis MITSU (ukuran penuh) , Blur dan Noise, lebih kecil lebih baik.

Hasil analisis VMAF (ukuran penuh) , lebih besar lebih baik.</sup>
MITSU melaporkan bahwa paling tidak semua bluers mengandung bingkai yang diproses oleh Topaz. Namun, semua metode kelas atas lainnya, termasuk Lanczos, menunjukkan peningkatan pada Blur dan melewati garis 5-point, angka-angka di bawah ini memberi tahu kami bahwa video tidak memiliki terlalu banyak blur. Artinya, semua metode kelas atas telah meningkatkan kejernihan gambar.
Adapun kebisingan, gambar adalah kebalikan - kebisingan paling sedikit di gambar asli, paling di Topaz. Pada prinsipnya, ini logis karena:

1. Sebagian dari kebisingan memang dapat secara keliru diklasifikasikan oleh semua program sebagai detail dan “ditingkatkan”.
2. Beberapa detail gambar dapat dikenali oleh MITSU sebagai noise.

Dalam kasus apa pun, saya tidak melihat adanya peningkatan nyata dalam jumlah noise dalam gambar, dan semua nilai di bawah batas 3,5 poin, yaitu, menurut dokumentasi MITSU , mereka tidak memiliki noise yang terlihat.
Karena noise di semua frame jauh lebih rendah daripada yang terlihat, kami akan menilai dengan indikator Blur.
Adapun VMAF, di sini semua grafik pada dasarnya berada pada nilai maksimum 100. Namun, dalam grafik VMAF kita dapat melihat drawdowns - seperti, misalnya, dalam Instant 4K dan Topaz memiliki penampilan yang sama - hanya Topaz yang berada di bawah. Di tengah grafik, Instant 4K digantikan oleh UpResNet10, yang turun sedikit dengan Topaz. Di sini, yang terakhir memiliki penurunan VMAF ke 77, dan pada akhir grafik untuk Photoshop nilai ini turun menjadi 0. Pada saat yang sama, tidak ada perbedaan yang terlihat, artefak atau "gangguan" yang terlihat dalam bingkai ini.
Jadi, algoritma mendistribusikan program sebagai berikut: di tempat pertama UpResNet10, di kedua - Instan 4K, di ketiga - Photoshop.
File "asli" FFV1 MKV 1080P, bagi mereka yang ingin melakukan eksperimen sendiri atau mengulangi milik saya, dapat diunduh di sini .
↑ Kembali ke konten

4.2 File 2: "Adegan 1"

Bagian kedua: adegan tanpa grafik komputer, detail wajah dan latar belakang.
Perbedaan utama: detail latar belakang, detail wajah, artefak pada mereka.

^{Bingkai dari seri diperbesar menggunakan interpolasi bilinear dan dikurangi menjadi 720P untuk pratinjau.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP . File dan bingkai asli dalam PNG juga tersedia di sini .
Sampel 4K berukuran penuh dalam codec H.265 ada di sini (masing-masing ~ 97MB).

Perbandingan pohon animasi: MP4 H.264 , WEBP .
Pertama, pertimbangkan latar belakang, atau lebih tepatnya, pohon: Instant 4K dan UpResNet10 terbukti kurang lebih sama, menambahkan sedikit ketajaman, sementara Photoshop, sebaliknya, kehilangan beberapa detail dengan merapikan gambar. Selain itu, Instant 4K sedikit merusak pohon (lihat kotak merah). Tetapi Topaz menambahkan banyak ketajaman dan membuat pohon yang sangat jernih dari latar belakang sabun. Lanczos sekali lagi tidak berbeda dengan interpolasi bilinear.


^{Bingkai dari seri diperbesar menggunakan interpolasi bilinear dan dikurangi menjadi 720P untuk pratinjau.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP . File dan bingkai asli dalam PNG juga tersedia di sini .
Perbandingan animasi aktor dengan latar belakang pohon: MP4 H.264 , WEBP .
Sekarang tembakan lain: aktor menghadap kita dengan latar belakang pepohonan.
Spoiler: Anda tidak perlu melihat pohon, mereka tidak berbeda. Oleh karena itu, kami mempelajari gelas di tangan aktor dan wajahnya.

Perbandingan wajah aktor animasi: MP4 H.264 , WEBP .
Dalam hal wajah, Instant 4K dan UpResNet10 lagi menunjukkan hasil yang kira-kira sama, dan Photoshop kembali kehilangan beberapa detail.Topaz menambahkan perincian ini, meskipun tidak sebanyak pohon di latar belakang. Karakteristik untuk artefak Instant 4K kali ini tidak ditemukan. Lanczos ternyata sedikit lebih tajam daripada interpolasi bilinear.

Perbandingan kaca animasi: MP4 H.264 , WEBP .
Nah, dalam perbandingan terakhir, gelas kaca, perbedaan utama terlihat pada bagian transparannya tanpa minuman. Topaz lagi menambahkan lebih detail daripada yang lain, Photoshop mengaburkan gambar lagi (kotak biru), dan UpResNet10 dan Instant 4K lagi berperilaku kira-kira sama. Hasil pengulangan penuh.
Pemenang dalam bidikan ini adalah tanpa ragu Topaz, menambahkan detail tanpa artefak (!), Tempat kedua diambil oleh UpResNet10, yang, meskipun menambahkan sedikit ketajaman, pasti tidak mencapai Topaz, tetapi tidak menambahkan artefak, seperti halnya tempat ketiga Instan 4 rb Photoshop mengambil yang terakhir - tidak meningkat, tetapi mengurangi detailnya.


^{Bingkai dari seri diperbesar menggunakan interpolasi bilinear dan dikurangi menjadi 720P untuk pratinjau.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP. File dan bingkai asli dalam PNG juga tersedia di sini .
Animasi perbandingan wajah aktor kedua: MP4 H.264 , WEBP .
Bingkai terakhir dari fragmen yang sama: aktor kedua.
Semuanya jelas bagi kita dengan pohon, latar belakang, dan kacamata, jadi di sini kita mempelajari wajah aktor.
Di sini, hasilnya kira-kira sesuai dengan bingkai sebelumnya, dengan satu peringatan yang sangat penting: Topaz melukis sesuatu di pipi aktoryang saya mulai perhatikan pada peningkatan 500%, dan saya bisa melihatnya hanya pada 1000%: "tekstur" yang sangat tidak menyenangkan, yang jelas tidak seharusnya ada di sana. Semua metode lain bekerja kira-kira sama, hanya Photoshop kehilangan detailnya lagi (tetapi menyingkirkan kebisingan pada kemeja putih). Tempat terakhir untuk pertunjukan amatir seperti itu adalah Topaz, yang kedua dari belakang adalah Photoshop, yang lainnya mengambil "tempat pertama" yang terhormat.

Menurut hasil mempertimbangkan ketiga frame, dengan enggan, tetapi Topaz mengambil tempat pertama. Mungkin, perilakunya dari frame terakhir dapat diperbaiki, tetapi ini akan membawa Anda waktu ekstra, dan banyak. Namun, detail ini tidak terlalu terlihat pada skala 100%, dan itu menunjukkan dirinya dengan sempurna dalam perbandingan pertama dengan pohon, sehingga akan menjadi pemenang. Tempat kedua adalah untuk UpResNet10, untuk meningkatkan kejelasan tanpa artefak, yang ketiga adalah untuk Instant 4K, untuk hal yang sama, tetapi dengan artefak. Tempat terakhir adalah Photoshop untuk kerusakan kejelasan gambar.

Bagaimana dengan MITSU dan VMAF?

<sup>Hasil analisis MITSU (ukuran penuh) , Blur dan Noise, lebih kecil lebih baik.

Hasil analisis VMAF (ukuran penuh) , lebih besar lebih baik.</sup>
Di sini, semuanya hampir sama dengan video pertama: Topaz memiliki Blur paling sedikit, dan memiliki noise paling banyak. Meskipun kebisingan sekali lagi bahkan tidak mencapai 1 poin, tidak seperti 3,5, jadi sekali lagi kami memperhatikan kekaburan, di mana semua orang melewati batas 5 poin yang diizinkan. Topaz menunjukkan peningkatan nyata di sini, mengurangi Blur hampir dua kali, menjadi 6, sementara sisanya berada di tumpukan 10-12 poin.
Menurut grafik VMAF, tidak ada drawdown yang diamati, kecuali bahwa pada grafik VMAF, Topaz menunjukkan ketidakseragaman nilai yang jauh lebih besar dalam frame tetangga daripada program lain. Dia memberi tempat pertama ke Instant 4K, yang kedua ke Topaz, dan yang ketiga ke UpResNet10.
Dengan demikian, Topaz mengambil tempat pertama, Instant 4K mengambil yang kedua, dan UpResNet10 mengambil yang ketiga.
File "asli" FFV1 MKV 1080P, bagi mereka yang ingin melakukan eksperimen sendiri atau mengulangi milik saya, dapat diunduh di sini .
↑ Kembali ke konten

4.3 File 3: “Sumber 4K”

^{Bingkai dari file RED dikonversi ke FFV1 dan direduksi menjadi 720P untuk pratinjau.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP . File dan bingkai asli dalam PNG juga tersedia di sini .
Sampel 4K berukuran penuh dalam codec H.265 ada di sini (~ masing-masing 49MB).
Perbandingan ketiga adalah sebagai berikut: file sumber dengan resolusi 3840x2160 dalam format R3D diekspor dari Adobe Premiere dengan resolusi yang sama, tetapi dengan frame rate dikurangi dari 120 FPS menjadi 23,98 FPS.
Setelah itu, file FFV1 yang diperoleh kembali dikurangi, kali ini menggunakan interpolasi bilinear, ke resolusi 1920x1080, setelah itu file yang dihasilkan dijalankan melalui program kelas atas dan dibandingkan dengan file FFV1 dalam resolusi 4K, yaitu perbandingannya tidak dengan interpolasi bilinear, seperti pada waktu sebelumnya, tetapi dengan gambar aslinya. File ini pendek, hanya 16 detik, jadi kami akan membandingkan satu frame tunggal.
Perbedaan pertama yang menarik perhatian Anda adalah warna dan kecerahan gambar. Saya memeriksa ulang pengaturan untuk membagi video menjadi frame dan kemudian mengumpulkan frame ini menjadi video menggunakan ffmpeg: hasilnya adalah satu - tidak ada algoritma yang mampu menjaga warna dan kecerahan tidak berubah, bahkan Lanczos. Namun, kecerahan dan warna gambar dalam hal ini tidak berperan bagi kami, jadi kami akan melihat kejelasan gambar, yaitu detail pada mobil, gambar, dan pantulan.

Perbandingan mobil animasi: MP4 H.264 , WEBP .
Instant 4K sedikit mempertajam seluruh gambar dan menggambar pantulan gelap di atas kemudi. Juga, semua metode kelas atas menarik bayangan ini, yang menarik: hanya 4K Instan "memikirkan" rincian sebelumnya. Mungkin algoritma membuat apa yang kurang terlihat oleh kita - transisi dari area dengan refleksi pada bodi mobil. Topaz berusaha paling keras dari semuanya, menghilangkan noise di seluruh gambar (yang, pada kenyataannya, tidak selalu baik, karena seringkali noise ditambahkan / dibiarkan dengan sengaja) dan menyoroti detail pada mobil, termasuk gambar. Namun, terlalu banyak kekaburan tidak dapat dihilangkan, sehingga di banyak tempat Topaz menggambar kontur ganda - terutama pada teks (kotak biru). UpResNet10 kali ini kecewa dengan meningkatkan pixelation dari beberapa bagian frame, mungkin salah mengenali noise sebagai "fitur" (kotak merah). Apa karakteristiknyaperilaku serupa diamati pada Lanczos, yang tidak memiliki AI sama sekali. Photoshop membuat lumayan kuat, mengurangi noise dan tidak menambahkan banyak pixelation.
Dalam perbandingan ini, pemenang bagi saya sekali lagi Topaz, Photoshop mengambil tempat kedua, Instan 4K mengambil tempat ketiga.

Mari kita beralih ke grafik: di sini kita tambahkan SSIM dan PSNR ke grafik, karena kita memiliki yang asli dalam 4K.

<sup>Hasil analisis MITSU (ukuran penuh) , Blur dan Noise, lebih kecil lebih baik.

Hasil analisis VMAF (ukuran penuh) , lebih besar lebih baik.

Hasil analisis SSIM (ukuran penuh) , lebih besar lebih baik.

Hasil analisis PSNR (ukuran penuh) , lebih besar lebih baik.</sup>

PSNR menempatkan Photoshop terlebih dahulu, SSIM Lanczos, dan VMAF Topaz. PSNR dan SSIM tempat kedua diberikan kepada UpResNet10, sementara VMAF lebih memilih Instant 4K. Di tempat ketiga kami memiliki banyak hal yang harus dilakukan, dan sementara PSNR menempatkan Lanczos di tempat ketiga, SSIM memberikannya 4K Instan. VMAF - Photoshop. Pada saat yang sama, VMAF mengevaluasi setiap frame Topaz pada 100 poin dari 100 yang mungkin - saya memeriksa dua kali.
MITSU sekali lagi menunjukkan gambar yang sudah dikenal, dan memberi tahu kami bahwa kebisingan pada semua hasil praktis tidak ada. Adapun kabur, semuanya tidak begitu baik di sini - sebagian besar upscers mempertahankan keburaman yang asli, hanya Topaz dan UpResNet10 yang memisahkan diri dari grup, dengan masing-masing 4 dan 2 poin. Keduanya tidak bisa mendapatkan 5 yang diidam-idamkan, tetapi ada hasilnya.
Dari keempat metrik, pembacaan VMAF dan MITSU paling cocok dengan kesan saya, sementara PSNR dan SSIM lebih suka AI "matematika". Menurut hasil analisis, sulit untuk menyebutkan pemenang dengan jelas.
File FFV1 MKV 4K "asli", bagi mereka yang ingin melakukan eksperimen sendiri atau mengulangi milik saya, dapat diunduh di sini .
↑ Kembali ke konten

4.4 File 4: “Youtube”

^{Bingkai dari video Youtube, diperbesar menggunakan interpolasi bilinear, dan direduksi menjadi 720P untuk pratinjau.}
Video dari Youtube, dari awal hingga selesai. Kualitas awal adalah 720P, animasi yang digambar tangan, ditambah goyangan kamera telah ditambahkan. Kualitas dapat diterima, tetapi masih banyak yang diinginkan, terutama pada monitor 4K.
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP . File dan bingkai asli dalam PNG juga tersedia di sini .
Sampel 4K ukuran penuh dalam codec H.265 ada di sini(~ Masing-masing 265MB).

Pada perbandingan pertama, kontras frame yang dikeluarkan oleh Instant 4K sangat mencolok: berbeda dalam warna dan kecerahan. Saya mengekspor video ini beberapa kali dari beberapa versi Adobe Premiere dan memeriksa warnanya - Instant 4K bersikeras mengubah warna pada pengaturan apa pun. Hasil akhir adalah dari versi 2019 dengan Manajemen Warna Layar diaktifkan.

Perbandingan Wajah Animasi: MP4 H.264 , WEBP .
Tanpa peningkatan, perbedaannya terlihat kecuali di Instant 4K dan Topaz, jadi mari kita lihat lebih dekat wajahnya.
Lanczos tidak menunjukkan peningkatan, UpResNet10, anehnya juga. Photoshop mengurangi efek pemblokiran gambar, yang muncul dalam aslinya karena terlalu banyak kompresi, tanpa kehilangan detail. Untuk animasi, metode ini cukup dapat diterima, kami menghapus artefak tanpa meningkatkan ketajaman, secara umum, gambar menjadi lebih bagus. Instant 4K meningkatkan jumlah artefak dan warna yang berubah, ada juga sedikit peningkatan ketajaman, yang diimbangi oleh penampilan artefak yang lebih banyak. Topaz, di sisi lain, menunjukkan dengan tepat apa yang ingin saya lihat dari semua metode lain: artefak hampir sepenuhnya menghilang, seperti halnya efek pemblokiran, dan ketajaman tidak dapat dibandingkan dengan yang asli atau metode kelas atas lainnya. Pemenangnya, tentu saja, adalah Topaz, tempat kedua adalah Phtoshop,yang ketiga dibagikan oleh UpResNet10 dan Lanczos, karena mereka setidaknya belum menambahkan artefak baru, tidak seperti Instant 4K.


^{Bingkai dari video Youtube, diperbesar menggunakan interpolasi bilinear, dan direduksi menjadi 720P untuk pratinjau.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP . File dan bingkai asli dalam PNG juga tersedia di sini .

Kami beralih ke bingkai kedua: di sini kami memiliki banyak gradien dengan artefak, serta detail wajah, lagi.
Ini akan menarik untuk melihat bagaimana semua metode kelas atas bekerja artefak pada gradien, serta mencari perubahan yang tidak diinginkan. Adapun artefak pada gradien di sebelah kiri (kotak biru), hanya Topaz dan Instant 4K yang menarik perhatian mereka. Sementara yang pertama menyingkirkan blok-blok ini hampir sepenuhnya, Instant 4K kembali gagal, mengubah warna dan membuat artefak lebih terlihat daripada dengan Topaz. Tentu saja, hasilnya masih tidak bisa dibandingkan dengan yang lain: di sana, blok ini mekar dan tercium.

Perbandingan Wajah Animasi: MP4 H.264 , WEBP .
Dalam dokumen asli, kami sekali lagi memiliki noda makro, dan kami mengharapkan hasil yang sama seperti pada bingkai terakhir. Instant 4K sedikit mengubah transisi antara blok dan membuatnya lebih halus, sedangkan Photoshop berhasil lebih buruk, tidak seperti perbandingan pertama. Namun, gambar setelah pemrosesan Photoshop masih menjadi sedikit lebih bagus. UpResNet10, sayangnya, sekali lagi mengenai kotoran di wajah dan tidak memperbaiki apa yang terjadi di layar, hampir tidak berbeda dari Lanczos. Tetapi Topaz sekali lagi menambahkan kejelasan, menghapus artefak dan tidak menambahkan yang baru.
Pemenang di sini lagi adalah Topaz, tempat kedua adalah untuk Instant 4K (saya sudah berdamai dengan perubahan warna), yang ketiga adalah Photoshop.


^{Bingkai dari video Youtube, diperbesar menggunakan interpolasi bilinear, dan direduksi menjadi 720P untuk pratinjau.}
JPEG Instant 4K , Lanczos , Photoshop , Topaz , Waifu2x hasil dengan profil UpResNet10 dan asli.
Perbandingan Animasi: MP4 H.264 , WEBP . File dan bingkai asli dalam PNG juga tersedia di sini .

Bingkai ketiga dan terakhir: di sini saya secara khusus memilih bingkai yang lebih gelap untuk melihat bagaimana semua program akan bekerja dengan artefak di daerah gelap.

Pertama-tama, saya ingin menarik perhatian ke kotak hijau: kami berharap dari semua pelaku peningkatan untuk mengurangi pemblokiran di tempat ini. Sayangnya, harapan kami dipenuhi oleh Topaz yang tenang, sementara sisanya, termasuk Photoshop, tidak membuat artefak kurang terlihat. Instant 4K kembali memotret dirinya sendiri, meningkatkan kecerahan gambar dan merentangkan bahkan artefak yang tidak pernah kita lihat sebelumnya. Saya ingin mencatat bahwa saya juga tidak terlalu menyukai hasil Topaz pada bingkai ini, saya pikir itu terlalu banyak merusak gradien. Namun, untuk ini dia menghilangkan hampir semua kekurangan yang terlihat, jadi tidak ada yang bisa membandingkannya - semua yang lain, seperti yang saya katakan, praktis tidak mempengaruhi mereka.

Perbandingan pakaian animasi: MP4 H.264 , WEBP .
Karena kita telah melihat cukup banyak wajah, kita akan mempertimbangkan detail pakaian yang lebih besar: di sini kita menyaksikan parade makroblok yang nyata, terutama pada gradien. Sayangnya, sekali lagi, tidak satu pun dari peningkatan skala membuat gambar lebih baik, dengan pengecualian Topaz, yang menghaluskan semua gradien dan hampir sepenuhnya menghilangkan pemblokiran, yang mana ia menempati urutan pertama dalam analisis bingkai ini. Sayangnya, tidak ada seorang pun yang menetapkan tempat kedua dan ketiga untuk pemotretan ini.

Anehnya, waifu2x, tampaknya dipertajam oleh peningkatan anime dan gambar, benar-benar tidak dapat mewujudkan keunggulannya. Itu mengejutkan saya.

Bandingkan kesan saya dengan hasil analisis VMAF dan MITSU, dimulai dengan yang pertama:

<sup>Hasil analisis MITSU (ukuran penuh) , Blur dan Noise, lebih kecil lebih baik.

Hasil analisis VMAF (ukuran penuh) , lebih besar lebih baik.</sup>
VMAF mengatur semua metode kelas atas di hampir kebalikan dari pesanan saya, di tempat pertama Lanczos, yang terakhir - Topaz. Setiap orang sering mengalami drawdowns dalam kualitas, Topaz jatuh terendah dalam metrik VMAF, dan drawdown terpanjang, semua orang naik di belakangnya, kecuali untuk Lanczos. Namun, saya tidak melihat sesuatu yang tidak biasa dalam bingkai ini.
Nah, MISTU sekali lagi menunjukkan celah besar antara Topaz dan sisanya menurut metrik Blur, serta sedikit peningkatan dalam Kebisingan. Menurut MITSU, benar-benar semua metode kelas atas membuat gambar lebih jelas, dan Instant 4K bahkan mengurangi jumlah noise yang tidak terlihat oleh kita.
Dengan demikian, tempat pertama ditempati oleh Instant 4K, yang kedua - UpResNet10, yang ketiga - Topaz.
Kali ini saya tidak setuju dengan VMAF.

File "asli" FFV1 MKV 720P, bagi mereka yang ingin melakukan eksperimen sendiri atau mengulangi milik saya, dapat diunduh di sini .
↑ Kembali ke konten

5. Analisis hasil

Untuk menentukan pemenang, saya akan menggunakan hasil metrik VMAF dan kesimpulan subjektif tentang setiap file. Saya cukup menambahkan metrik VMAF menggunakan rata-rata setiap file. Adapun penilaian subyektif, di sini saya akan beralih ke kesimpulan saya tentang setiap file, dan memberikan untuk setiap file tempat pertama adalah 3 poin, tempat kedua - 2, dan ketiga - 1. Setelah itu saya menambahkan titik-titik ini dan menempatkannya secara vertikal pada grafik.


^{Hasil menambahkan VMAF dan analisis subjektif (ukuran penuh) , lebih besar lebih baik.}

Menurut metrik VMAF, Instant 4K ternyata menjadi pemenang, memisahkan diri dari Topaz, yang finis kedua, dengan hanya 0,58 poin. Menurut analisis subyektif, di sisi lain, jarak antara tempat pertama dan kedua jauh lebih besar - Topaz mengambil tempat pertama, melepaskan diri dari Intsant 4K yang mengambil tempat kedua dengan 8 poin, mendapat 3 kali lebih banyak poin.

Pemenang perbandingan saya adalah Topaz, tempat kedua adalah Instant 4K, dan yang ketiga adalah UpResNet10.

Namun, perbandingannya tidak akan lengkap tanpa membandingkan kecepatan program dan komentar saya pada pekerjaan mereka. Mari kita mulai dengan yang pertama:

^{Waktu yang dihabiskan untuk pemrosesan dan volume file yang diterima (ukuran penuh)}

Peningkatan perincian Topaz memengaruhi ukuran file yang rata, dan secara signifikan. Sebagai aturan, file Topaz adalah 2 kali "lebih berat" dari file-file dari upcalers lainnya, dan 4 kali "lebih berat" dari file asli, diperbesar oleh interpolasi bilinear. Satu-satunya pengecualian adalah file "4K Sumber", di mana perbedaannya kurang dari 30%.

Sedangkan untuk kecepatan program, semuanya, kecuali Topaz dan Photoshop, bekerja pada kecepatan yang sangat masuk akal. Namun, dapat diterima untuk apa?
Bagaimana jika kita ingin memperbesar film melalui Topaz, yang berlangsung 2 jam, pada frame rate 25 frame per detik? Komputer saya akan membutuhkan 421 jam atau 17 setengah hari operasi terus menerus. Bagaimana dengan seri 40 menit? 6 hari

Ya, gambar dengan waifu2x yang sama agak berbeda - 2 hari untuk film, 16 jam untuk seri. Apakah Anda pikir hasil yang ditunjukkan oleh waifu2x bernilai dua hari rendering berkelanjutan? Saya mengusulkan untuk menjawab pertanyaan ini kepada semua orang secara mandiri.

Sebulan yang lalu, untuk video kelas atas, saya hanya menggunakan dan secara eksklusif Instant 4K, untuk gambar (logo, terkadang foto) waifu2x. Hasil yang diperlihatkan oleh Topaz memaksa saya untuk menambahkannya ke koleksi program kelas atas saya, setidaknya untuk memperbesar gambar. Saya sering memperbesar klip pendek dengan durasi kurang dari 10 detik, di samping itu, itu memperbesar gambar dengan sempurna - baik gambar maupun foto.

Kembali ke topik film, dalam kasus Topaz, saya hanya melihat satu cara untuk menyelesaikan masalah: distribusi bingkai untuk diproses pada beberapa mesin.

^{Topaz AI dapat berjalan lebih cepat. Apa yang menangkap?}
Menonaktifkan "model AI berkualitas tinggi" mengurangi waktu pemrosesan film teoretis hingga 4 hari, dengan biaya mengurangi akurasi pemrosesan warna. Anda mungkin tertarik untuk mengetahui hal ituDi forum Topaz, banyak yang menganggap model "lite" ini berkualitas lebih tinggi. Bingkai PNG dan perbandingan animasi dapat dilihat di sini .

Instant 4K bekerja pada kecepatan yang baik dan menunjukkan hasil yang luar biasa (lebih baik daripada metode lain, kecuali Topaz, dan pada saat yang sama lebih cepat dan juga lebih nyaman).

Lanczos , seperti yang diharapkan, tidak masuk akal tanpa filter penajam tambahan untuk penajaman.

Photoshop jelas tidak sepadan dengan waktu yang dibutuhkan, setidaknya dengan pengaturan yang saya gunakan. Mungkin jika Anda menggunakan JPEG dan mengganti semua disk dengan SSD, Anda dapat mencapai peningkatan kecepatan pemrosesan yang signifikan.

UpResNet10Secara umum, ia memainkan Instant 4K. Tetapi jika Anda tidak setuju dengan inisiatifnya, Anda dapat mencoba mengganti Instant 4K dengan UpResNet10. Secara pribadi, saya tidak menemukan artefak Instant 4K begitu terlihat. Di sisi lain, menggunakan Instant 4K untuk memperbesar gambar setidaknya aneh, dan biasanya sama sekali tidak nyaman. Oleh karena itu, mengganti waifu2x dengan editor video dimungkinkan, tetapi tidak perlu.

Bisakah salah satu metode kelas atas disebut universal? Mungkin ya. Saya pikir Topaz yang dikonfigurasi dengan benar dapat menghasilkan gambar yang secara konsisten lebih baik daripada metode kelas atas lainnya. Tetapi tidak ada laras madu tanpa lalat di salep, kita tidak boleh lupa tentang kinerja Topaz.
↑ Kembali ke konten

6. Seorang pemula yang ingin mencoba program kelas atas dalam praktek

... Saya dapat merekomendasikan Instant 4K sebagai yang paling mudah digunakan.

Anda cukup menjalankan program, mengimpor file Anda ke dalamnya, membuat urutan "Sequence from Clip" darinya, buka pengaturannya (Sequence Settings) dan ubah resolusi sesuai keinginan Anda. Setelah itu, seret efek Instant 4K ke trek video Anda, sesuaikan resolusi dan parameter tambahan, dan Anda dapat mulai mengekspor.

Sayangnya, untuk menggunakan program ini, Anda perlu membeli atau menemukan Adobe Premiere, serta plugin itu sendiri. Untuk membeli semua ini adalah investasi yang sangat serius, dan saya tidak bisa menyarankan untuk mencari program "sembuh" di Internet.


^{Adobe Premiere tidak puas dengan seleraku}
Saya ingin menarik perhatian Anda pada fakta bahwa Premiere tidak berfungsi dengan semua format video, dan sebagian besar film dari Internet akan bersumpah dengan ketidakjujuran yang baik. Untuk kasus ini, saya hanya dapat menyarankan untuk mengkonversi film ke sesuatu seperti ProRes menggunakan ffmpeg:

 ffmpeg -hide_banner -probesize 1000M -i file.mkv -pix_fmt yuv420p -c:v prores_ks -c:a aac -b:a 128k file.mov 

Baris berikutnya adalah waifu2x : lay out video menjadi bingkai menggunakan file BAT dari bagian "Mempersiapkan bahan untuk pengujian" , buka folder di waifu2x, pilih parameter (naik ke resolusi, pengurangan noise) dan mulai ekspor. Pada akhirnya, Anda hanya perlu membawa frame dan suara ke dalam video yang sudah selesai. Anda mungkin memiliki beberapa masalah dengan konfigurasi, seperti yang sudah saya tulis, saya pribadi harus mencari cuDNN, selain itu, waifu2x memerlukan kartu video yang cukup kuat.

Jika karena alasan tertentu Anda tidak dapat mengkonfigurasi waifu2x, atau Anda tidak memiliki kekuatan GPU yang cukup, lihat Photoshop . Dalam artikel ini ada petunjuk cukup baik untuk penggunaannya.

Jika Anda puas dengan percobaan gambar, atau Anda memiliki banyak waktu ekstra, gunakan uji coba Topaz : ini akan bekerja dengan semua fungsi selama 30 hari. Anda hanya punya waktu untuk menambah film favorit Anda sebelum akhir masa percobaan (tetapi ini tidak akurat). Persyaratan untuk kartu grafis waifu2x yang kuat berlaku di sini. Selain itu, ketika menggunakan Topaz atau waifu2x, Anda mungkin memiliki masalah bekerja dengan program lain, bahkan paling sederhana, karena kedua program berusaha untuk menduduki GPU sebesar 100%, membuat antarmuka sisanya sangat lambat. Prinsip operasi sama dengan waifu2x.

Dalam tiga kasus terakhir, saya sarankan Anda memisahkan trek audio dari file video asli terlebih dahulu, dengan cara apa pun yang nyaman bagi Anda. Jika ini adalah video sederhana dari Youtube atau film dengan satu lagu - yah, file BAT satu baris paling sederhana akan dilakukan. Jika Anda “beruntung” untuk bereksperimen dengan film dengan trek 5.1 dan beberapa terjemahan, maka kasus seperti itu jauh melampaui ruang lingkup artikel ini. Tetapi dia yang mencari akan selalu menemukan.


Setelah menerima audio dalam satu file dan pada akhir pemrosesan frame dengan upscaler, Anda harus menggabungkan suara dan video ke dalam satu file.


Selebihnya harus mempelajari parameter dan pengaturan H.265 (ukuran lebih kecil dan kualitas lebih tinggi) dan H.264 (lebih cepat).
Opsi skrip lainnya untuk FFMPEG dapat ditemukan di artikel kelas atas ini .
↑ Kembali ke konten

7. Rencanakan artikel berikutnya dan pertanyaan kepada pembaca

Pada artikel berikutnya saya berencana untuk menambahkan interaktif untuk pengujian subyektif, sehingga pembaca langsung mengevaluasi metode kelas atas tertentu, untuk ini saya akan menggunakan Alat Pengukuran Kualitas Video MSU . Tetapi saya perlu memahami apakah saya dapat dengan bebas menggunakan H.265 dan mengkompres file lebih kuat, atau saya harus menggunakan H.264. Silakan ikuti survei di bawah ini dan perhatikan apakah PC Anda dapat memainkan H.265 tanpa kehilangan bingkai ("lag").
Selain itu, saya berencana untuk mempertimbangkan model Jaringan Neural Resolusi Konvolusional Super-Resolusi (SRCNN) dan model Jaringan Neural Konvolusional Sub-Pixel Efisien (ESPCN).

• Lanczos, sharpening. ? ? , Lanczos , , sinc?
• waifu2x ? CUnet? Y? , ?
• Photoshop?
• «, » Topaz, «, »?
• , ?
• MITSU? , , Noise Blockiness?

↑