Sebagai proyek amatir kecil, saya bereksperimen dengan jaringan saraf AI Gigapixel untuk meningkatkan kelas salah satu seri fiksi ilmiah favorit saya - Star Trek: Deep Space Nine (DS9), dalam terjemahan Rusia Star Trek: Deep Space 9.

Prospek untuk Deep Space Nine

Sama seperti Final Fantasy 7, di mana saya melakukan latar belakang kelas atas, tekstur dan video dalam mod Remako , DS9 tidak memiliki rencana untuk merilis versi HD. Sementara musim populer Original Series dan The Next Generation (TNG) sebagian besar difilmkan, DS9 difilmkan pada pertengahan 90-an dengan efek visual (pertempuran ruang, dll).

Film analog dapat dipindai ulang dengan resolusi yang lebih tinggi, tetapi ini tidak akan berfungsi dengan video digital. Remastering seri ini menjadi jauh lebih mahal: ini adalah salah satu alasan mengapa tidak dirilis dalam HD.

DS9 belajar mesin remaster

Saya pikir akan bermanfaat untuk menggunakan jaringan saraf di sini. Menggunakan alat seperti AI Gigapixel, frame resolusi rendah DS9 dapat ditingkatkan ke definisi tinggi: 1080p atau 4K. Mereka tidak akan pernah membandingkan dengan remastering yang baik, tetapi ini adalah langkah ke arah yang benar.

Karena itu, saya mencoba beberapa frame apa yang terjadi. Hasilnya luar biasa. AI Gigapixel menggunakan jaringan saraf yang terlatih dalam foto nyata. Mereka sangat cocok untuk renders kelas atas dari video game Final Fantasy, tetapi mereka juga meningkatkan frame DS9 dan efek khusus dengan kualitas luar biasa.

Berikut ini beberapa contohnya:


Resolusi asli 480p (klik untuk memperbesar)


Resolusi 1080p yang Disempurnakan (Klik untuk Memperbesar)


Resolusi asli 480p (klik untuk memperbesar)


Resolusi 1080p yang Disempurnakan (Klik untuk Memperbesar)

Tembakan tunggal ini tampak menjanjikan. Pada set gambar pertama, staf stasiun dalam pakaian antariksa hanya mewakili beberapa tempat. Setelah kelas atas, banyak tokoh yang lebih tajam muncul.

Tampilan lengan yang dekat juga membaik. Kerutan dan lipatan pada kulit terlihat jauh lebih rinci, dan bola bisbol menunjukkan firmware yang lebih bersinar dan rumit.

Video

Namun, pemeriksaan sebenarnya adalah bagaimana jaringan saraf akan mengatasi urutan frame, yaitu video. Apakah artefak dan masalah lain akan muncul? Lagi pula, AI Gigapixel dirancang untuk meningkatkan gambar individu dan tidak memperhitungkan hubungan antara masing-masing bingkai video.

Untuk verifikasi, saya memutuskan untuk memproses bagian dari episode "Korban Malaikat" pada musim ke-6. Ini adalah seri yang sangat baik tentang Perang Dominion, di mana ada pertempuran ruang epik dan lebih banyak momen pribadi secara langsung.

Saya akan memberi tahu Anda lebih banyak tentang proses ini di artikel mendatang, tetapi singkatnya: mengekstraksi dan menskalakan bingkai, dan kemudian menghasilkan video baru dari mereka, membutuhkan waktu sekitar dua hari. Ini adalah pemrosesan lima menit pertama dari episode (resume, adegan pembuka dan pengantar). Waktu yang cukup normal untuk PC mid-range dan high-end dengan perangkat lunak open source.

Hasilnya membuat saya kagum. Dia terlihat lebih baik dari yang saya harapkan. Tidak ada masalah dan artefak. Karena gambar (bergerak) bernilai lebih dari seribu kata, berikut adalah dua video untuk perbandingan.

Yang pertama menunjukkan situasi "sebelum dan sesudah" pada frame diam.


Yang kedua membandingkan dua video. Perhatikan bagaimana penampilan versi yang lebih tajam lebih tajam.


Saya sangat merekomendasikan menonton video ini melalui aplikasi YouTube di TV Anda, jika memungkinkan. Ini memberi perasaan yang lebih baik tentang bagaimana DS9 yang disempurnakan akan terlihat langsung di TV.

Perbandingan itu baik, tetapi seperti apa tampilan video nyata? Berikut adalah lima menit pertama episode secara penuh dengan resolusi 1080p :

Bagaimana dengan 4K?

Sejujurnya, saya tidak tahu. Meskipun saya bisa memperbesar ke 4K, saya tidak punya TV atau monitor dengan resolusi itu untuk memeriksa peningkatan. Namun, saya merekam video ini. Sangat menarik untuk mendengar pendapat orang-orang dengan peralatan 4K apakah terlihat lebih baik dibandingkan dengan versi 1080p.

Rendering hampir melelehkan komputer saya, karena jauh lebih intensif daripada 1080p, jadi kami akan membatasi diri pada contoh 4K ini.

Apa selanjutnya

Karena saya tidak memiliki hak untuk DS9, saya tidak dapat melakukan apa yang saya inginkan dengan seri. Saya akan merilis episode penuh, tetapi itu tidak mungkin secara hukum. Video-video ini lebih merupakan bukti konsep bagi pemegang hak cipta CBS untuk melihat pembelajaran mesin dan jaringan saraf untuk kemungkinan remastering DS9, yang akan membawa film favorit kami sedikit lebih dekat ke era HD.

Bayangkan apa yang bisa dilakukan oleh tim profesional dengan peralatan yang kuat, jaringan saraf yang terlatih khusus (mungkin melatihnya di musim TNG - menggunakan seperangkat data dari bingkai dan bingkai asli setelah remastering) dan akses ke sumber SD alih-alih DVDRip, seperti milik saya.

Nah, untuk bagian saya, saya dapat memberi tahu Anda lebih banyak tentang proses kelas atas, bagaimana saya melakukannya, yang akan menjadi topik artikel selanjutnya.

Biarkan saya tahu apa yang Anda pikirkan tentang itu.