Anda mungkin pernah mendengar tentang
teknologi DeepHD Yandex yang pernah mereka gunakan untuk meningkatkan kualitas kartun Soviet lama. Sayangnya, ini belum umum, dan kami, programmer reguler, tidak memiliki dedikasi untuk menulis solusi kami sendiri. Tapi saya pribadi benar-benar ingin menonton Rick dan Morty di layar Retina
2880x1880 saya. Dan saya sangat kecewa, karena bahkan video
1080p (tertinggi yang tersedia untuk seri ini) terlihat sangat buram pada layar Retina! Jangan salah paham, 1080p sering kali cukup bagus, tetapi Retina dirancang sedemikian rupa sehingga animasi dengan garis besarnya di 1080p terlihat sangat buram, seperti 480p pada monitor FullHD.
Saya memutuskan ingin melihat Rick dan Morty dalam 4K, meskipun saya tidak dapat menulis jaringan saraf. Dan, yang menakjubkan, saya menemukan solusi. Anda bahkan tidak perlu menulis kode apa pun: yang Anda butuhkan adalah
ruang kosong sekitar 100GB dan sedikit kesabaran. Hasilnya adalah gambar 4K yang tajam yang terlihat lebih baik daripada interpolasi apa pun.
Persiapan
Pertama, kita perlu memahami bahwa teknologi untuk meningkatkan video menggunakan jaringan saraf tidak ada. Atau setidaknya itu tidak tersedia untuk umum. Dan karena itu masalahnya, kita perlu mengubah video kita menjadi banyak bingkai foto!
Adobe Premiere Pro atau suite pengeditan video lainnya dapat melakukannya, tetapi, karena mungkin tidak diinstal pada banyak PC, saya menggunakan
ffmpeg utilitas konsol. Mengambil episode pertama dari seri pertama dan pergi saya pergi:
$ ffmpeg -i RiM01x01_4K.mp4 -q:v 1 IM/01x01_%05d.jpg
Kenapa jpg dan bukan PNG?Sebuah pertanyaan yang adil. Masalahnya, 31.000 PNG yang dihasilkan akan menghabiskan banyak ruang. Sedemikian rupa sehingga sedikit pengorbanan dalam kualitas tidak sia-sia. Juga, parameter = q: v 1 berarti kita menghasilkan JPG dengan kualitas setinggi mungkin.
Sekitar 10 menit kemudian, kami mendapatkan folder besar penuh dengan gambar. Bagi saya butuh semua
26GB .
Sekarang yang kita butuhkan adalah memproses semuanya!
Bagaimana?
Saya menemukan tiga opsi yang bekerja cukup baik -
Let's Enhance yang terkenal,
waifu2x yang berorientasi
anime , dan Mail.ru Vision.
Saya akan tunjukkan contohnya nanti.
Mail.ru Vision dan Let's Enhance melakukan pekerjaan dengan baik, tapi sayangnya itu bukan open-source, artinya memproses 31.000 gambar. Saya perlu menulis email ke pembuatnya dan mungkin membayar sedikit. Waifu2x adalah open-source, tetapi hasilnya agak buruk - banyak suara dan artefak. Lagipula, Rick dan Morty bukanlah anime.
Saya hampir pasrah untuk menggali GitHub dan forum topikal, tapi ... seorang penyelamat muncul! Saya menemukan solusi yang bekerja pada mesin secara lokal, memproses 1 gambar dalam waktu kurang dari satu detik dan memberikan kualitas. Anda tidak akan percaya siapa yang datang untuk menyelamatkan kami sekali lagi!
Adobe Photoshop!Dan tidak, saya tidak akan bercerita tentang bagaimana Anda dapat meningkatkan gambar dengan beberapa filter. Adobe sebenarnya melatih jaringan saraf yang tepat yang dapat "melengkapi" gambar ketika Anda meningkatkannya dalam aplikasi!
Untuk memulai, kita perlu membuka gambar sumber, pergi ke menu atas, lalu Gambar - Ukuran gambar, dan pilih opsi resampling “Preserve Details 2.0”.
Hasilnya sangat bagus! Mungkin hanya mengikuti Let's Enhance. Berikut perbandingan (dengan gambar diperbesar sekitar 800%):
Dan bagaimana sekarang? Secara manual memproses setiap frame?Tentu tidak! Photoshop memiliki alat Tindakan yang memungkinkan untuk terlebih dahulu merekam serangkaian tindakan, dan kemudian menerapkannya ke seluruh folder gambar. Prosesnya adalah pencarian Google sepintas lalu.
Saya meninggalkan laptop saya untuk memproses 31.000 frame sepanjang malam dengan instruksi sederhana: "2x kelas atas dan hemat". Keesokan paginya semuanya sudah siap. Saya memiliki folder lain yang penuh dengan gambar, tetapi sekarang dalam 4K dan mengambil
ruang disk 82GB .
Kembali ke video
Ffmpeg untuk menyelamatkan lagi.
Pertama, kami ingat kami lupa trek audio dan mengekstraknya dari file asli:
ffmpeg -i RiM01x01_1080p.mp4 -vn -ar 44100 -ac 2 -ab 320K -f mp3 sound.mp3
Lalu kami menempatkan file suara ke folder dengan semua gambar 4K. Kami sekarang siap untuk montase terakhir!
ffmpeg -i 01x01_%05d.jpg -i sn.mp3 -vcodec libx264 -preset veryslow -crf 10 -r 23.976 RiM_01x01_4K.mp4
Hati-hati : setelah -r tentukan
framerate yang tepat dari aslinya , atau track audio akan sejajar dengan video!
Sudah selesai!
Kami sekarang memiliki episode pertama Rick dan Morty dalam 4K. Berikut adalah
contoh video . Tentu saja, keseluruhan prosesnya agak amatir, tetapi pendekatan ini memiliki keuntungan serius. Saat mengimpor gambar ke Photoshop kita dapat mengotak-atik secara manual untuk membuatnya tepat. Sesuaikan fokus, keseimbangan warna berdasarkan beberapa bingkai, tulis menjadi Aksi, berlaku untuk seluruh video dan - voila! Hasil sempurna tanpa terlalu banyak tipu daya matematika. Ini membawa "peningkatan keajaiban" sedikit lebih dekat ke pengguna biasa. Teknologi paling kompleks yang telah dikembangkan selama berabad-abad tidak dapat digunakan dengan cepat dan tanpa pengetahuan khusus - apakah itu, jika bukan masa depan?