من المحتمل أنك سمعت عن
تقنية DeepHD من Yandex التي استخدمتها ذات مرة لتحسين جودة الرسوم الكاريكاتورية السوفيتية القديمة. لسوء الحظ ، لم يتم نشره بعد ، ونحن ، المبرمجون العاديون ، ليس لدينا التفاني في كتابة حلنا الخاص. لكنني شخصياً أردت حقًا مشاهدة Rick and
Morty على شاشة العرض Retina
2880x1880 . شعرت بخيبة أمل عميقة ، حيث أن الفيديو
1080p (وهو أعلى مستوى متاح لهذه السلسلة) يبدو ضبابيًا على شاشة Retina! لا تخطئ ، غالبًا ما يكون 1080p جيدًا بشكل كافٍ ، لكن Retina مصمم بطريقة تجعل الرسوم المتحركة بمخططاتها الواضحة في 1080p غير واضحة تمامًا ، مثل 480p على شاشة FullHD.
قررت أنني أريد أن أرى Rick and Morty في 4K ، على الرغم من أنني لا أستطيع كتابة الشبكات العصبية. وبشكل مثير للدهشة ، وجدت حلاً. لا تحتاج حتى إلى كتابة أي كود: كل ما تحتاجه هو
حوالي 100 جيجابايت من المساحة الحرة وقليلًا من الصبر. والنتيجة هي صورة 4K حادة تبدو أفضل من أي استيفاء.
الاستعدادات
أولاً ، يجب أن نفهم أن تقنية رفع مستوى الفيديو باستخدام الشبكات العصبية غير موجودة. أو على الأقل ليس متاحًا للعامة. ولأن هذه هي الحالة ، نحن بحاجة إلى تحويل الفيديو الخاص بنا إلى مجموعة من الإطارات الثابتة!
يمكن لبرنامج Adobe Premiere Pro أو أي مجموعة أخرى لتحرير الفيديو القيام بذلك ، ولكن نظرًا لأنه من المحتمل أنه غير مثبت على الكثير من أجهزة الكمبيوتر ، فقد استخدمت الأداة المساعدة
ffmpeg . أخذت الحلقة الأولى من السلسلة الأولى وبعيدًا ذهبت:
$ ffmpeg -i RiM01x01_4K.mp4 -q:v 1 IM/01x01_%05d.jpg
لماذا JPG وليس PNG؟سؤال عادل. الأمر هو أن 31000 بابوا نيو غينيا الناتجة قد أخذت مساحة كبيرة بجنون. الكثير من التضحية الطفيفة في الجودة يستحق كل هذا العناء. أيضًا ، تعني المعلمة = q: v 1 أننا نقوم بإخراج ملفات JPG بأعلى جودة ممكنة.
بعد حوالي 10 دقائق ، حصلنا على مجلد ضخم مليء بالصور. بالنسبة لي استغرق الأمر كل من
26GB .
الآن كل ما نحتاج إليه هو معالجة كل واحد من هؤلاء!
كيف؟
لقد وجدت ثلاثة خيارات عملت بشكل جيد إلى حد ما -
دعونا ندعو إلى حد كبير ، و waifu2x الموجه إلى أنيمي ، و Mail.ru Vision.
سوف تظهر الأمثلة في وقت لاحق.
يقوم Mail.ru Vision and Let's Enhance بعمل جيد ، لكن لسوء الحظ ، ليسا مفتوحين ، مما يعني معالجة 31000 صورة أحتاجها لكتابة رسالة بريد إلكتروني إلى منشئيها وربما دفع القليل جدًا. Waifu2x مفتوح المصدر ، لكن النتيجة كانت سيئة إلى حد ما - الكثير من الضوضاء والتحف. بعد كل شيء ، ريك ومورتي ليس أنيمي.
لقد استقلت عن نفسي لحفر GitHub والمنتديات الموضعية ، ولكن ... ظهر منقذ! لقد وجدت حلاً يعمل على الجهاز محليًا ، ويقوم بمعالجة صورة واحدة في أقل من ثانية ويوفر جودة. لن تصدق من جاء لإنقاذنا مرة أخرى!
أدوبي فوتوشوب!لا ، لن أخبر قصة عن كيفية تعزيز صورة مع اثنين من المرشحات. قام Adobe بالفعل بتدريب شبكة عصبية مناسبة يمكنها "إكمال" صورة عند ترقيتها داخل التطبيق!
للبدء ، نحتاج إلى فتح الصورة المصدر ، انتقل إلى القائمة العلوية ، ثم الصورة - حجم الصورة ، واختر خيار إعادة تشكيل "الاحتفاظ بالمعلومات 2.0".
كانت النتيجة جيدة بشكل مدهش! ربما فقط زائدة دعنا نعزز. إليك المقارنة (مع تكبير الصورة بنسبة 800٪ تقريبًا):
وماذا الان؟ معالجة كل إطار يدويا؟بالطبع لا! يحتوي Photoshop على أداة Actions التي تسمح أولاً بتسجيل سلسلة من الإجراءات ، ثم تطبيقها على مجلد كامل من الصور. هذه العملية هي بحث جوجل سريع بعيدا.
تركت جهاز الكمبيوتر المحمول الخاص بي لمعالجة 31000 إطارًا طوال الليل بتعليمات بسيطة: "ترقية 2x وحفظها". في صباح اليوم التالي كان كل شيء جاهزًا. كان لدي مجلد آخر ممتلئ بالصور ، لكن الآن في 4K مع
مساحة قرص تصل إلى
82 جيجابايت .
العودة إلى الفيديو
ففميغ للانقاذ مرة اخرى.
أولاً ، نتذكر أننا نسينا المسار الصوتي ونخرجه من الملف الأصلي:
ffmpeg -i RiM01x01_1080p.mp4 -vn -ar 44100 -ac 2 -ab 320K -f mp3 sound.mp3
ثم نضع ملف الصوت في المجلد بكل صور 4K. نحن الآن على استعداد للمونتاج النهائي!
ffmpeg -i 01x01_%05d.jpg -i sn.mp3 -vcodec libx264 -preset veryslow -crf 10 -r 23.976 RiM_01x01_4K.mp4
كن حذرًا : بعد تحديد r
للإطار الدقيق للأصل ، وإلا فسوف يتعارض المسار الصوتي مع الفيديو!
لقد تم!
لدينا الآن الحلقة الأولى من Rick and Morty في 4K. هنا هو
الفيديو عينة . بالطبع ، كانت العملية برمتها هواة بعض الشيء ، ولكن هذا النهج له ميزة خطيرة. أثناء استيراد الصور إلى Photoshop ، يمكننا العبث بها للحصول عليها بشكل صحيح. اضبط التركيز ، وتوازن اللون استنادًا إلى إطارين ، ثم اكتبه في "إجراء" ، ثم قم بتطبيقه على الفيديو بالكامل و - voila! نتيجة مثالية دون الكثير من الخداع في الرياضيات. وهذا يجعل "الارتقاء بالمعجزة" أقرب قليلاً إلى المستخدم العادي. لا يمكن استخدام أكثر التقنيات تعقيدًا التي تم تطويرها منذ قرون بسرعة وبدون معرفة خاصة - ما هو ، إن لم يكن المستقبل؟