قم بتكبير الفيديو بدقة 1080 بكسل إلى 4K ، أو كيف تعلمت عدم القلق وأحببت استخدام الراقي للشبكات العصبية

أثناء قراءة مقال حديث عن الراقي (رفع المستوى - رفع صورة إلى دقة أعلى) ، هذه المرة عن منتج تجاري Topaz AI Gigapixel ، تركت تعليقًا بالمحتوى التالي:
من المؤسف أن يكون المنشور ترجمة بسيطة ، وأود أن أقارنها بشيء مجاني ، مثل نفس waifu2x. أعتقد أنه سيكون من الصعب العثور على الفرق ، على الرغم من أن waifu2x مصمم للرسوم المتحركة.
حسنًا ، بما أن المقالة كانت ترجمة ، فقد قررت أن تأخذ الأمور بيدي. لذلك ، دعونا لا نضيع الوقت ، تعرف:


تحت القص ، Longrid ، بالإضافة إلى أدلة فيديو راقية باستخدام Instant 4K و Waifu2x و Lanczos و Topaz Gigapixel AI.


سنقوم بمقارنتها باستخدام أعيننا ، لأنه يمكننا تحسين الصورة لحلول مختلفة لتحليل الصورة من خلال الفوز بنسب "إضافية" ... ومع ذلك ، لن نرفض الأخيرة أيضًا ، وبالتالي ستتم إضافة نتائج تحليل MITSU و VMAF إلى النتائج في لقطات الشاشة ، منذ كلا البرنامجين العمل مع الفيديو دون عينة. SSIM و PSNR وغيرها لن يناسبنا في هذه الحالة ، لأننا لا نملك 4K حقيقية يمكن من خلالها مقارنة نتائج الراقي.

المحتويات:



جميع ملفات المقالة ، بما في ذلك إطارات PNG بدون ضغط ، والمقارنات المتحركة ، وعينات 4K H.265 ، والجداول وملفات FFV1 موجودة على Google . مرآة على ياندكس . هناك 3 أدلة فيديو بسيطة لاستخدام Adobe Premiere Instant 4K و Waifu2x و Topaz.

1. إعداد المواد للاختبار

تكوين اختبار:
وحدة المعالجة المركزية: Intel Core i7-4980HQ 4.2 جيجاهرتز
اللوحة الأم: MSI Z97 GAMING 5
(لا تسأل)
ذاكرة الوصول العشوائي: 32GB DDR3 2400
GPU: NVIDIA GTX 1080ti FE 11GB ، يتم ضبط التردد الأساسي يدويًا على 1923 ، تردد الذاكرة هو 5602.
SHD: النظام والبرامج على SSD M.2 SATA 850 EVO 250GB ، الملفات الموجودة على القرص الصلب 2 تيرابايت WDC WD40EZRZ.
تم تنفيذ Upscale وفقًا للسيناريو التالي:

  • إذا كانت الطريقة المحددة تدعم العمل مباشرة من محرر فيديو Adobe Premiere ، فقد تم تنفيذ كل العمل في هذا المحرر ، وبعد ذلك تم تصدير النتيجة في برنامج ترميز FFV1 مع معلمة GOP 1 لتجنب أي خسائر واستخدام ضغط الصورة القابل للعكس بشكل خاص.
  • إذا كانت الطريقة المحددة لا تدعم العمل من محرر الفيديو ، فسيتم تقسيم الفيديو إلى إطارات منفصلة بتنسيق PNG باستخدام ملف مضرب بسيط:

    BAT ملف لحفظ الإطارات الفردية إلى مجلد الإطارات
    wmic process where name="cmd.exe" CALL setpriority 16384 @echo off :hugly if "%~1" EQU "" goto mugly ffmpeg -probesize 1000M -i "%~1" -vsync vfr frames\image-%%03d.png shift goto hugly :mugly pause 

    لتحليل الفيديو إلى إطارات ، ما عليك سوى وضع هذا الملف في المجلد على ffmpeg.exe وإنشاء مجلد الإطارات ، وبعد ذلك من الشائع سحب ملف الفيديو مباشرة إلى ملف الخفافيش.

    بعد ذلك ، تم إرسال الإطارات المعالجة إلى FFMPEG للخلط ، وتصديرها بنفس الإعدادات تمامًا كما في الحالة الأولى.

    BAT ملف لتحويل الإطارات الفردية إلى ملف ، دون صوت
     ffmpeg -framerate 24 -i image-%%03d.png -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -r 24 photoshop.mkv 

    يكون الخياران -framerate و -r مسؤولين عن تحديد معدل إطارات الفيديو ، ويجب تحديد كليهما.

في كلتا الحالتين ، كان الإخراج ملف MKV مع برنامج ترميز FFV1 ، بحجم 700 ميغابايت تقريبًا لكل 10 ثوانٍ من الفيديو.

نتيجة تحليل أحد الملفات باستخدام MediaInfo
General
Unique ID : 116184020412676472870756705294056286853 (0x57683A783D4732308C09451184B9EA85)
Complete name : D:\HABR\4K SOURCE\topaz.mkv
Format : Matroska
Format version : Version 4
File size : 1.21 GiB
Duration : 16 s 475 ms
Overall bit rate mode : Variable
Overall bit rate : 630 Mb/s
Writing application : Voukoder 1.2.1 (Premiere) - www.voukoder.org
Writing library : Lavf58.12.100
ErrorDetectionType : Per level 1

Video
ID : 1
Format : FFV1
Format version : Version 3.4
Format settings, GOP : N=1
Codec ID : V_MS/VFW/FOURCC / FFV1
Duration : 16 s 475 ms
Bit rate mode : Variable
Bit rate : 618 Mb/s
Width : 3 840 pixels
Height : 2 160 pixels
Display aspect ratio : 16:9
Frame rate mode : Constant
Frame rate : 23.976 (24000/1001) FPS
Color space : YUV
Chroma subsampling : 4:2:0
Bit depth : 8 bits
Scan type : Progressive
Compression mode : Lossless
Bits/(Pixel*Frame) : 3.107
Stream size : 1.19 GiB (98%)
Default : Yes
Forced : No
Color range : Limited
Color primaries : BT.709
Transfer characteristics : BT.709
Matrix coefficients : BT.709
coder_type : Golomb Rice
MaxSlicesCount : 12
ErrorDetectionType : Per slice


بعد ذلك ، تم فتح كل ملف في MPC-HC بهدف التقاط لقطات شاشة ، ثم تم إرساله للتحليل إلى ffmpeg باستخدام ، مرة أخرى ، ملف الخفافيش:

لكي يعمل هذا البرنامج النصي ، يجب إنشاء ffmpeg بدعم libvmaf!
 ffmpeg.exe -i instant_4k.mkv -i A016_C001_02073O_001.mkv -lavfi libvmaf=model_path=vmaf_4k_v0.6.1.pkl:log_path=vmaf.log:log_fmt=json:psnr=1:ssim=1:ms_ssim=1 -f null - 
يمكن تنزيل FFMPEG بدعم VMAF من روابطي إلى Google و Yandex أعلاه.

MITSU ، بدورها ، لم تكن في حاجة إلى التهيئة ، تتطلب ملفات الخفافيش النهائية تعديلًا بسيطًا مع ملف (أشرت إلى المسارات الكاملة إلى ffprobe و ffmpeg ، وكذلك وضعت cygwin1.dll في المجلد مع الملف القابل للتنفيذ).

تم استيراد البيانات المستلمة إلى Excel وتحويلها إلى رسومات جميلة وليست رسومات للغاية.
تم تحويل ملفات FFV1 أيضًا إلى mp4 باستخدام برنامج الترميز h265 (من أجل تقليل حجم الملف مع الحفاظ على أقصى قدر من التفاصيل) مع VBR 25000 كيلو بت في الثانية وتعطيل SAO ، على أمل تحقيق جودة كافية.

↑ العودة إلى المحتويات

2. اختيار المواد للاختبار

في هذه المقالة ، نأخذ في الاعتبار مجموعة متنوعة من الأمثلة: أجزاء من السلسلة في 1080 بكسل ، ورسوم متحركة مرسومة باليد ، وحتى لقطات فيديو بدقة 4K على كاميرا احترافية للحصول على نتائج موضوعية لحالات مختلفة من استخدام البرامج المعنية.

تمت معالجة الأنواع التالية من مقاطع الفيديو:

  • مشهد من سلسلة " Person of Interest " ، S02E20 ، المقدمة: الكثير من رسومات الكمبيوتر ، والكثير من الحركة وتغيير الخطط.
  • مشهد من نفس السلسلة من السلسلة: حركة قليلة ، العديد من التغييرات في الخطط والعديد من التفاصيل في الخلفية والمقدمة ، من فروع الأشجار إلى التفاصيل.

    تؤخذ كلتا المشاهدتين من ملف واحد بدقة 1920 × 1080 (Full HD) ، ترميز H.264 ، معدل البت - 12664 كيلو بت في الثانية. هذا هو نوعية أولية جيدة جدا لهذه السلسلة. تم إجراء مقارنة للنتيجة الراقية مع الملف الموسع باستخدام الاستيفاء البسيط ذو الخطوط الثنائية (يشار إليه في القائمة كمرجع).
  • عينة فيديو من RED.com : لقطة حقيقية بدقة 4K HD ( 3840 × 2160) بمعدل 120 إطارًا في الثانية. تم تصغير الفيديو إلى 1920 × 1080 باستخدام Lanczos ، ثم تمت زيادته إلى 4K باستخدام البرامج من القائمة أعلاه. تم تخفيض معدل الإطار إلى ~ 24 لقطة في الثانية. تمت مقارنة النتيجة مع الملف المصدر الذي تم تحويله من ملف RED إلى FFV1 المألوف (يرفض ffmpeg العمل مع ملفات RED).
  • الرسوم المتحركة المرسومة باليد " الكتاب المقدس للذئب " ، التي تم تنزيلها من يوتيوب ، والهز الاصطناعي من "الكاميرا" ، والعديد من التغييرات في الخطط. الملف المصدر بدقة 1280 × 720 ، حاوية WEBM ، ترميز VP9 ، معدل البت 1556 كيلوبت في الثانية. هذه جودة منخفضة جدًا ، ولكنها شائعة جدًا على YouTube.

↑ العودة إلى المحتويات

3. برامج مختارة للاختبار

سنستكشف كل وسيلة من الطرق الراقية بتفاصيل أكثر بقليل:

  • Red Giant Shooter Instant 4K 13.1.5
    مدفوع: نعم (99 دولار).
    التكامل مع Adobe Premiere (لا يتطلب تحلل الفيديو إلى إطارات): نعم.

    إعدادات الجودة: نوع الفلتر - الأفضل ، الحدة 2 ، الجودة 25 (الحد الأقصى) ، مكافحة التعرج 6. هذه إعدادات قياسية ، باستثناء الجودة - تم ضبطها على الحد الأقصى يدويًا.
    وقت المعالجة لـ 914 إطار INTRO: 532 ثانية (11 مرة أطول من الصادرات العادية).

    الأسلوب الراقي: غير معروف ("الخوارزميات الذكية")

    بديل الصورة
    واجهة المكون الإضافي Instant 4K في نافذة برنامج Adobe Premiere 2019 ، في الزاوية العلوية اليسرى.

    نختار دقة الهدف (يمكنك تحديد خاصتك) ، وحدد نوع الفلتر (لا أرى أي سبب لاختيار شيء آخر غير الأفضل) ، ونغير أو نترك الحدة الافتراضية (الحدة) ، والجودة (الجودة) ومكافحة التعرج (التمليس) ، ثم نصدر ملف الفيديو واستمتع بالنتيجة

    إنه يعمل بسرعة كافية ، عملياً لا يقوم بتحميل وحدة معالجة الرسومات ووحدة المعالجة المركزية أكثر من التصدير المعتاد. وقبل أسبوع كان بلدي المساعد الفيديو الراقي القياسية. يجعل التغييرات التي ليست نموذجية للمرشحات الرياضية البسيطة في تفاصيل الصورة ، لذلك فمن المرجح أن AI. يأخذ المركز الثاني في السرعة.

    يتيح لك رؤية النتيجة قبل عرض الفيديو ، وضبط الإعدادات. للتشغيل السلس يتطلب التجسيد ، تكون التغييرات مرئية في العارض بضع ثوانٍ بعد تغيير الإعدادات.
  • مرشح Lanczos (المعروف للكثيرين باسم Lanczos).

    مدفوع: لا.

    التكامل مع Adobe Premiere (لا يتطلب تحلل الفيديو إلى إطارات): نعم ، كجزء من البرنامج المساعد Voukoder .

    إعدادات الجودة: لا شيء.

    وقت المعالجة لـ 914 إطار INTRO: 54 ثانية (1.13 مرة أطول من التصدير العادي) ، باستثناء الوقت الذي يستغرقه تحويل الفيديو إلى إطارات منفصلة ومن ثم تقليل الإطارات إلى الفيديو.

    الأسلوب الراقي: غير منظمة العفو الدولية.

    مثال على خط لترقية ملف فيديو من تحت ويندوز:
     ffmpeg -framerate 23.976 -i input.mp4 -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -vf scale=3840:2160 -sws_flags lanczos+full_chroma_inp -r 23.976 lanczos.mkv 


    لا يوجد معاينة ، وكذلك الإعدادات. من الممكن العمل مباشرة مع الفيديو ، دون تقسيمه إلى إطارات. يعمل كبيرة من ffmpeg. يعمل بشكل أسرع من أي شخص آخر ، فقط على وحدة المعالجة المركزية.
  • Adobe Photoshop Saving Details 2.0
    مدفوع: نعم.

    التكامل مع Adobe Premiere (لا يتطلب تحليل الفيديو إلى إطارات): لا.

    إعدادات الجودة: هناك معلمة "تقليل الضوضاء" ، تم ضبطها على 100٪ ، مثل مؤلف المقال.

    وقت المعالجة لـ 914 إطارات INTRO: 3840 ثانية (80 مرة أطول من التصدير العادي) ، باستثناء الوقت الذي يستغرقه تحويل الفيديو إلى إطارات فردية ثم إعادته إلى الفيديو.

    الأسلوب الراقي: غير معروف.

    بديل الصورة
    يتطلب التكوين الأولي في شكل إنشاء قالب "فتح ملف - تغيير حجم - حفظ الملف" ، فإنه يقضي الكثير من الوقت مباشرة على فتح الملفات وحفظها: يؤثر تنسيق الإطار المحدد على PNG ، إنه يعمل على وحدة المعالجة المركزية. قبل الأخيرة في السرعة.

    يتيح لك رؤية النتيجة قبل تكبير الصورة وحفظها.
    قد يواجه المستخدمون غير المتمرسين مشاكل في تغيير فراغ اللون: تحقق من ملف تعريف الألوان بعد حفظ الصورة ، وقارن بين ألوان الصورة الأصلية ومستوى الألوان. على الأرجح ، فإن ملف تخصيص اللون sRGB IEC61966-2.1 مناسب لك.
  • توباز جيجابيكسل
    مدفوع: نعم (99 دولار).

    التكامل مع Adobe Premiere (لا يتطلب تحليل الفيديو إلى إطارات): لا.

    إعدادات الجودة: قمع الضوضاء وإزالة الضبابية. بالإضافة إلى ذلك ، من الممكن تمكين وتعطيل "نماذج AI ذات الجودة القصوى". في المقارنة لدينا ، يتم تضمين هذه النماذج.

    وقت المعالجة لـ 914 إطارات INTRO: 7680 ثانية (160 مرة أطول من التصدير العادي) ، باستثناء الوقت الذي يستغرقه تحويل الفيديو إلى إطارات منفصلة ثم إعادة الإطارات إلى الفيديو.

    الأسلوب الراقي: AI.

    بديل الصورة
    واجهة مبهجة إلى حد ما مع معاينة للنتيجة ، لها تجربة تشغيلية كاملة مدتها 30 يومًا ، وتحمل بطاقة الفيديو كثيرًا وتعمل ، في الواقع ، عليها فقط. إذا كنت ترغب في ذلك ، يمكنك تشغيل وحدة المعالجة المركزية. بالمقارنة مع بقية - أبطأ.
  • Waifu2x مع ملف التعريف UpResNet10
    مدفوع: لا.

    التكامل مع Adobe Premiere (لا يتطلب تحليل الفيديو إلى إطارات): لا.

    إعدادات الجودة: تحت Windows يوجد waifu2x-caffe ، فهو يتيح لك اختيار ملف تعريف وضبط قوة "تقليل الضوضاء" (Off / 1/2/3). من الناحية التجريبية ، اخترت ملف تعريف UpResNet10 كإظهار أفضل النتائج. تم ضبط قاطع الضوضاء على AUTO 1.
    وقت المعالجة لـ 914 إطار INTRO: 879 ثانية (18 مرة أطول من التصدير العادي) ، باستثناء الوقت الذي يستغرقه تحويل الفيديو إلى إطارات منفصلة ثم إعادة الإطارات إلى الفيديو.
    الأسلوب الراقي: AI.
    بديل الصورة
    قد تتسبب الواجهة البسيطة التي تعمل على وحدة معالجة الرسومات في صعوبات إضافية أثناء الإعداد الأولي (اضطررت إلى تثبيت cuDNN ، استغرق الأمر من 10 إلى 15 دقيقة). إذا كنت ترغب في ذلك ، يمكنك تشغيل وحدة المعالجة المركزية. متوسط ​​السرعة ، قبل فوتوشوب وتوباز فقط.

هذه ليست قائمة كاملة بالبرامج المناسبة للفيديو الراقي ، وفي المقالة التالية سأحاول إضافة المزيد من الطرق. اقترح خياراتك في التعليقات!
↑ العودة إلى المحتويات

4. أخيرًا ، ننتقل إلى الفيديو:


4.1 الملف 1: "INTRO":

المقطع الأول: رسومات الحاسوب.
بديل الصورة
إطار من السلسلة الموسع باستخدام الاستيفاء الثنائي الخط وخفض إلى 720P للمعاينات.
الاختلافات الرئيسية: جودة معالجة النص والعلامات على الخريطة ، بما في ذلك شبكات في جميع أنحاء الإطار ، وكذلك الحفاظ على شكل "مشهد" في وسط الإطار.
JPEG Instant 4K و Lanczos و Photoshop و Topaz و Waifu2x ينتج عنها ملف UpResNet10 الشخصي والأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP . تتوفر أيضًا كل من الملفات والإطارات الأصلية في PNG. أوصي بمشاهدة مقاطع الفيديو والإطارات محليًا ، وليس من صفحة Google Drive.
عينات بحجم 4K كاملة الحجم في برنامج الترميز H.265 موجودة هنا (حوالي 100 ميجابايت لكل منها).

مقارنة مركز إطار الرسوم المتحركة: MP4 H.264 ، WEBP .
لنبدأ مع مشهد في المركز. المربع الأحمر: الانتباه إلى سلوك خطين متقاطعين. نظرًا لأننا (في الأماكن) نتعامل مع الذكاء الاصطناعي ، فإننا نبحث عن تشوهات غير مرغوب فيها. فوري 4K قام بتغييرات قوية جدا في هذا المربع ، والذي يتلقى منه ناقص في الكرمة مني. تصرفت كل الطرق الأخرى بنفس الطريقة تقريبًا ، أوضح نتيجة - باستخدام Photoshop. توباز - في المركز الثاني. UpResNet10 ، لسوء الحظ ، لاحظت التحف ضغط وتفضلت زيادتها. لانزوس في الواقع لا يختلف عن الزيادة المعتادة.
المربع الأزرق: اتبع شكل الدوائر ، ونأمل في أنعم الدائرة الممكنة. أضاف 4K الفوري الثغرات مرة أخرى وسهل الدائرة ، وإزالة الفجوة في الجزء السفلي منه. ومع ذلك ، هذه المرة ، لأنه يتلقى زائد مني. ومع ذلك ، فوتوشوب لديه أفضل نتيجة. قام UpResNet10 بإخراج الكثير من التفاصيل (الشبكة) عبر الدائرة ، والتي يمكن اعتبارها بمثابة قطع أثرية.

مقارنة النص المتحرك: MP4 H.264 ، WEBP .
ننتقل إلى النص: جعله Lanczos غامقًا ، والذي يحصل عليه ناقص. UpResNet10 مغرم بالشبكة مرة أخرى ، ويظهر مرة أخرى نفسه أسوأ من المنافسين. والأهم من ذلك كله أنني أحببت النص الذي أنتجه توباز. ومع ذلك ، فهي مساوية تقريبًا لنتائج الأساليب الأخرى - إنها بالفعل مسألة ذوق. يمكن لأولئك الذين هم على استعداد للتسامح مع تطبيق Instant 4K "للتفكير" أن يكونوا راضين بالنص الذي أصدروه ، في اعتقادي ، سيتم تقسيم الباقي بين Topaz و Photoshop. هذا الأخير ، حسب ذوقي ، لا يزال "صابوني".

مقارنة الشبكة المتحركة على الخريطة: MP4 H.264 ، WEBP .
النقطة الأخيرة هي الشبكة على الخريطة. هنا ، أظهر الجميع أنفسهم بشكل أو بآخر ، باستثناء شخصين متميزين - UpResNet10 و Topaz. قتل توباز مجموعة كاملة من النقاط وتقريبا كل التفاصيل. UpResNet10 ، على العكس من ذلك ، قام بإثارة نقاط حيث كانت غير مرئية عملياً من قبل. شخصيًا ، كلا الخيارين لا يناسبني ، لذا أشارك النصر "للحصول على نقاط" بين Instant 4K و Photoshop.
بشكل عام ، يعتبر Photoshop هو الفائز على خريطة ثابتة من رسومات الكمبيوتر ، حيث يحتل Instant 4K المركز الثاني ، ويحتل UpResNet10 المرتبة الثالثة (لا نزال نريد المزيد من التفاصيل من 4K ، وقد أعطاها لنا ، وإن كانت ذات جودة مشكوك فيها). قتل توباز الكثير من التفاصيل ، في حين أن لانزوس مبتذلة تختلف قليلاً عن الاستيفاء الثنائي.

ننظر إلى الإطار التالي: منتصف الرسوم المتحركة بالحركة.
بديل الصورة
إطار من السلسلة الموسع باستخدام الاستيفاء الثنائي الخط وخفض إلى 720P للمعاينات.
JPEG Instant 4K و Lanczos و Photoshop و Topaz و Waifu2x ينتج عنها ملف UpResNet10 الشخصي والأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP . تتوفر أيضًا كل من الملفات والإطارات الأصلية في PNG.
للوهلة الأولى ، من المتوقع أن تكون الصورة: جميع الخيارات ، باستثناء Lanczos ، أعطت صورة أوضح. سنولي اهتمامًا خاصًا لتفاصيل Topaz ، لأنها غيرت الصورة أكثر من أي شيء آخر. سوف ندرس الممثل الحقيقي ، وليس المرسوم ، وتفاصيل ملابسه ، وكذلك النص.

مقارنة الممثل الفاعل: MP4 H.264 ، WEBP .
بالنسبة إلى الممثل ، فإن الاختلافات هنا ضئيلة للغاية: على الرغم من أن آخر مرة قامت فيها UpResNet10 بعرض تفاصيل (كانت أحيانًا لا لزوم لها) كانت صعبة في السابق ، إلا أنها زادت هذه المرة من حدة الشبكة القطرية من أسفل. تحتاج الاختلافات بين Photoshop و Lanczos و Instant 4K إلى النظر إليها تحت عدسة مكبرة ، حتى زيادة قدرها 400٪ لا تكفي لإظهار الاختلافات. بشكل عام ، أنتجت Photoshop و Instant 4K صورة أكثر وضوحًا قليلاً. Instant 4K تقوم بعمل الهواة مرة أخرى - فقد تغير طوق القميص في الساحة الحمراء للممثل. ومع ذلك ، هناك بعض الاختلاف الحقيقي من مجرد زيادة ملحوظة باستثناء ذلك بالنسبة لـ Topaz: فقد انخفض ضجيج اللون حول النطاقات ، وهذا هو البرنامج الوحيد الذي لديه زيادة حادة في المربع الأزرق.

مقارنة النص المتحرك: MP4 H.264 ، WEBP .
ننتقل إلى أسفل إلى النص: لقد توصل Photoshop هنا إلى جميع طرق التوسيع الأخرى وأنتج صورة مماثلة لـ Lanczos. أضاف UpResNet10 و Instant 4K حدة ، ولكنه قدم أيضًا "هفوة" صغيرة في شكل حروف. أعطى Topaz مرة أخرى أوضح صورة ، وسلط الضوء على الحروف المسننة (جيدة أو سيئة - أنت تقرر) والتحف الضاغطة البسيطة. يتم تقليل ضوضاء اللون مرة أخرى ، ولا تقارن الأحرف الكبيرة في الأعلى مع الطرق الأخرى للزيادة.

الإطار الأخير من المقطع: إطار من السلسلة مع رسومات الكمبيوتر فوقه.
بديل الصورة
إطار من السلسلة الموسع باستخدام الاستيفاء الثنائي الخط وخفض إلى 720P للمعاينات.
JPEG Instant 4K و Lanczos و Photoshop و Topaz و Waifu2x ينتج عنها ملف UpResNet10 الشخصي والأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP . تتوفر أيضًا كل من الملفات والإطارات الأصلية في PNG.

مقارنة وجه الممثل الفاعل: MP4 H.264 ، WEBP .
سننظر في تكبير وجه الممثل فقط على اليمين: أضاف التوباز الحدة وأبرز الشبكة جيدًا ، ونتيجة لذلك ، اتضح أن وجه الممثل أصبح واضحًا للغاية. فعلت 4K الفوري و UpResNet10 الشيء نفسه ، ولكن إزالة أقل طمس (طمس). حقق Photoshop لهم أيضًا ، متجاوزًا ما لم Lanczos. بشكل عام ، لم يخسر أي شخص أي تفاصيل ، ولم يقم تطبيق Instant 4K بإجراء تغييرات غير ضرورية.

في الإطارات الثلاثة المحددة ، كان الفائز بالنسبة لي هو Topaz. على الرغم من مجموعة من التفاصيل المفقودة في الإطار الأول ، استرد في الأخيرين. تم احتلال المركز الثاني بواسطة Instant 4K للحصول على شحذ أكثر أو أقل ثباتًا في الإطارات الثلاثة ، على الرغم من التغييرات الطفيفة. والثالث هو ل UpResNet10. في الإطار الأول أظهر صورة لم يعجبني ، ولكن في الأخيرين أظهر زيادة جيدة في الحدة. بدأ برنامج Photoshop بشكل جيد في الإطار الأول ، لكن في الاثنين الأخيرين لم يختلف عن الزيادة المعتادة. لا تختلف Lanczos بدون الحدة تقريبًا عن الاستيفاء الثنائي الخطي في جميع الإطارات الثلاثة.

دعونا نرى ما سيقول MITSU و VMAF:
بديل الصورة
نتيجة لتحليل MITSU (الحجم الكامل) ، طمس والضوضاء ، أصغر هو أفضل.
بديل الصورة
نتيجة تحليل VMAF (الحجم الكامل) ، أكبر هو الأفضل.
تشير MITSU إلى أن أقل عدد من هذه الأجهزة تحتوي على إطارات تم معالجتها بواسطة Topaz. ومع ذلك ، أظهرت جميع الطرق الراقية الأخرى ، بما في ذلك Lanczos ، تحسناً في Blur وتخطت السطر المكون من 5 نقاط ، والأرقام أدناه التي تخبرنا أن الفيديو لا يحتوي على قدر كبير من التمويه. وهذا يعني أن جميع الأساليب الراقية قد حسنت وضوح الصورة.
بالنسبة للضوضاء ، فإن الصورة هي العكس - أقل ضوضاء في الصورة الأصلية ، والأكثر في توباز. من حيث المبدأ ، هذا منطقي لأن:
  1. يمكن بالفعل تصنيف جزء من الضوضاء بشكل غير صحيح من قبل جميع البرامج على أنها تفاصيل و "تحسين".
  2. يمكن التعرف على بعض تفاصيل الصورة بواسطة MITSU كضوضاء.

على أي حال ، لم ألاحظ أي زيادة ملحوظة في مقدار الضوضاء في الصورة ، وجميع القيم أقل من حد 3.5 نقطة ، أي أنه وفقًا لوثائق MITSU ، ليس لديهم ضوضاء مرئية.
نظرًا لأن الضوضاء الموجودة في جميع الإطارات أقل بكثير من الملاحظة ، فإننا نحكم على مؤشر Blur.
بالنسبة إلى VMAF ، هنا جميع الرسوم البيانية هي في الأساس عند الحد الأقصى للقيمة 100. ومع ذلك ، في مخطط VMAF يمكننا أن نرى السحب - على سبيل المثال ، في Instant 4K و Topaz لها نفس المظهر - يقع Topaz فقط أدناه. في منتصف المخطط ، يتم استبدال Instant 4K بـ UpResNet10 ، والذي ينخفض ​​قليلاً مع Topaz. هنا ، لدى الأخيرة انخفاض في VMAF إلى 77 ، وفي نهاية المخطط في Photoshop ، تنخفض هذه القيمة إلى 0. في الوقت نفسه ، لا توجد فروق مرئية أو آثار أو "خلل" مرئية في هذه الإطارات.
لذلك ، وزعت الخوارزميات البرامج على النحو التالي: في المقام الأول UpResNet10 ، في الثانية - Instant 4K ، في الثالثة - Photoshop.
يمكن تنزيل الملف "الأصلي" FFV1 MKV 1080P ، لأولئك الذين يرغبون في إجراء تجاربهم الخاصة أو تكرار عملي ، هنا .
↑ العودة إلى المحتويات

4.2 الملف 2: "المشهد 1"

المقطع الثاني: مشهد بدون رسومات الكمبيوتر وتفاصيل الوجوه والخلفيات.
الاختلافات الرئيسية: تفاصيل الخلفية وتفاصيل الوجه والتحف عليها.
بديل الصورة
إطار من السلسلة الموسع باستخدام الاستيفاء الثنائي الخط وخفض إلى 720P للمعاينات.
JPEG Instant 4K و Lanczos و Photoshop و Topaz و Waifu2x ينتج عنها ملف UpResNet10 الشخصي والأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP . تتوفر أيضًا كل من الملفات والإطارات الأصلية في PNG.
عينات بحجم 4K كاملة الحجم في برنامج الترميز H.265 موجودة هنا (حوالي 97 ميجابايت لكل منها).

مقارنة شجرة الرسوم المتحركة: MP4 H.264 ، WEBP .
أولاً ، خذ بعين الاعتبار الخلفية ، أو بالأحرى ، الأشجار: أثبتت Instant 4K و UpResNet10 أنهما متماثلان تقريبًا ، مما أضاف القليل من الحدة ، في حين أن Photoshop ، على النقيض من ذلك ، فقد بعض التفاصيل عن طريق تجانس الصورة. بالإضافة إلى ذلك ، شوهت 4K الفوري الأشجار قليلاً (انظر المربعات الحمراء). لكن توباز أضاف الكثير من الحدة وجعل الأشجار واضحة جدًا من خلفية الصابون. Lanczos مرة أخرى لا يختلف عن الاستيفاء الثنائي.

بديل الصورة
إطار من السلسلة الموسع باستخدام الاستيفاء الثنائي الخط وخفض إلى 720P للمعاينات.
JPEG Instant 4K و Lanczos و Photoshop و Topaz و Waifu2x ينتج عنها ملف UpResNet10 الشخصي والأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP . تتوفر أيضًا كل من الملفات والإطارات الأصلية في PNG.
مقارنة متحركة للممثل على خلفية الأشجار: MP4 H.264 ، WEBP .
الآن لقطة أخرى: يواجهنا الممثل على خلفية الأشجار.
المفسد: لا تحتاج إلى إلقاء نظرة على الأشجار ، فهي لا تختلف. لذلك ، نحن ندرس الزجاج في يد الممثل ووجهه.

مقارنة وجه الممثل الفاعل: MP4 H.264 ، WEBP .
في حالة الوجه ، أظهر تطبيق Instant 4K و UpResNet10 مرة أخرى النتائج نفسها تقريبًا ، وفقد Photoshop مرة أخرى بعض التفاصيل.أضاف توباز هذه التفاصيل ، وإن لم يكن بقدر ما في حالة الأشجار في الخلفية. لم يتم العثور على خاصية القطع الأثرية الفورية 4K هذه المرة. تحولت Lanczos إلى أن تكون أكثر حدة بعض الشيء من الاستيفاء الثنائي الخط.

مقارنة الزجاج المتحرك: MP4 H.264 ، WEBP .
حسنًا ، في المقارنة الأخيرة ، كأس زجاجي ، كانت الاختلافات الرئيسية ملحوظة في جانبها الشفاف بدون شراب. أضاف Topaz مرة أخرى مزيدًا من التفاصيل أكثر من الباقي ، فقد قام Photoshop بتعطيل الصورة مرة أخرى (المربع الأزرق) ، كما أن سلوك UpResNet10 و Instant 4K يتصرفان مرة أخرى تقريبًا. التكرار الكامل للنتيجة.
كان الفائز في هذه اللقطة بلا شك Topaz ، مضيفًا تفاصيل دون تحف فنية (!) ، واحتلت UpResNet10 المركز الثاني ، والتي رغم أنها أضافت القليل من الحدة ، إلا أنها لم تصل إلى Topaz ، لكنها لم تضف أي قطع أثرية ، مثلما حدث في الحال مع المركز الثالث الفوري 4K. استغرق فوتوشوب آخر - لم يزد ، ولكن خفض التفاصيل.

بديل الصورة
إطار من السلسلة الموسع باستخدام الاستيفاء الثنائي الخط وخفض إلى 720P للمعاينات.
نتائج JPEG لحظة 4K ، Lanczos ، فوتوشوب ، توباز ، Waifu2x الشخصية UpResNet10 و الأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP. أيضا، على حد سواء في ملف والشريط الأصلي في PNG متاح هنا .
مقارنة وجه الرسوم المتحركة للممثل الثاني: MP4 H.264 ، WEBP .
الإطار الأخير من نفس الشظية: الممثل الثاني.
كل شيء واضح بالنسبة لنا بالأشجار والخلفيات والنظارات ، لذا ندرس هنا وجه الممثل.
هنا ، تتوافق النتيجة تقريبًا مع الإطارات السابقة ، مع تحذير واحد مهم للغاية: رسمت Topaz شيئًا على خد الممثل.أنني بدأت في ملاحظة زيادة قدرها 500 ٪ ، وتمكنت من رؤيتها بنسبة 1000 ٪ فقط: "نسيج" غير سارة للغاية ، من الواضح أنه لا ينبغي أن يكون هناك. جميع الطرق الأخرى عملت بنفس الطريقة تقريبًا ، فقد فوتوشوب فقط التفاصيل مرة أخرى (لكن تخلص من الضوضاء على القميص الأبيض). آخر مكان لمثل هذه العروض للهواة هو توباز ، والآخر قبل أدوبي فوتوشوب ، بينما يأخذ الباقي "المركز الأول" الشرفاء.

وفقًا لنتائج مراجعة الإطارات الثلاثة جميعها ، على مضض ، لكن توباز يأخذ المركز الأول. ربما ، يمكن إصلاح سلوكه من الإطار الأخير ، ولكن هذا سوف يأخذك وقت إضافي ، والكثير. ومع ذلك ، فإن هذه التفاصيل غير مرئية على نطاق واسع بنسبة 100 ٪ ، وقد أظهرت نفسها بشكل مثالي في المقارنة الأولى مع الأشجار ، لذلك سيكون الفائز. والمركز الثاني هو UpResNet10 ، لزيادة الوضوح دون القطع الأثرية ، والثالث هو لـ Instant 4K ، للشيء نفسه ، ولكن مع القطع الأثرية. يأخذ Photoshop المكان الأخير لتدهور وضوح الصورة.

ماذا عن MITSU و VMAF؟
بديل الصورة
نتيجة لتحليل MITSU (الحجم الكامل) ، طمس والضوضاء ، أصغر هو أفضل.
بديل الصورة
نتيجة تحليل VMAF (الحجم الكامل) ، أكبر هو الأفضل.
هنا ، كل شيء هو نفسه كما هو الحال مع الفيديو الأول: توباز لديه أقل طمس ، ويحتوي على أكبر قدر من الضوضاء. على الرغم من أن الضوضاء مرة أخرى لم تصل إلى نقطة واحدة ، وليس مثل 3.5 ، لذلك مرة أخرى نولي الاهتمام للطمس ، حيث عبر الجميع حدود 5 نقاط المسموح بها. أظهر توباز تحسنًا ملحوظًا هنا ، حيث قلل Blur مرتين تقريبًا ، إلى 6 ، بينما الباقي في كومة من 10-12 نقطة.
وفقًا للرسم البياني VMAF ، لا يتم ملاحظة أي عمليات سحب ، باستثناء الرسم البياني VMAF ، يوضح Topaz وجود تباين أكبر بكثير في القيم في الإطارات المجاورة من البرامج الأخرى. أعطى المركز الأول لـ Instant 4K ، والثاني إلى Topaz ، والثالث إلى UpResNet10.
وبالتالي ، تأخذ Topaz المرتبة الأولى ، بينما تأخذ Instant 4K المرتبة الثانية ، بينما تأخذ UpResNet10 المرتبة الثالثة.
يمكن تنزيل الملف "الأصلي" FFV1 MKV 1080P ، لأولئك الذين يرغبون في إجراء تجاربهم الخاصة أو تكرار عملي ، هنا .
↑ العودة إلى المحتويات

4.3 الملف 3: "مصدر 4K"

بديل الصورة
إطار من ملف RED تم تحويله إلى FFV1 وخفض إلى 720P للمعاينات.
نتائج JPEG لحظة 4K ، Lanczos ، فوتوشوب ، توباز ، Waifu2x الشخصية UpResNet10 و الأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP . أيضا، على حد سواء في ملف والشريط الأصلي في PNG متاح هنا .
عينات بحجم 4K كاملة الحجم في برنامج الترميز H.265 موجودة هنا (حوالي 49 ميجابايت لكل منها).
سيتم إجراء المقارنة الثالثة على النحو التالي: تم تصدير الملف المصدر بدقة 3840 × 2160 بتنسيق R3D من Adobe Premiere بنفس الدقة ، ولكن مع خفض معدل الإطارات من 120 إطارًا في الثانية إلى 23.98 إطارًا في الثانية.
بعد ذلك ، تم تقليل ملف FFV1 الذي تم الحصول عليه مرة أخرى ، هذه المرة باستخدام الاستيفاء الثنائي الخطي ، بدقة 1920 × 1080 ، وبعد ذلك تم تشغيل الملف الناتج من خلال البرنامج الراقي ومقارنته مع ملف FFV1 بدقة 4K ، أي أن المقارنة لم تكن مع الاستيفاء الثنائي الخطي ، كما في الأوقات السابقة ، ولكن مع الصورة الأصلية. الملف قصير ، فقط 16 ثانية ، لذلك سنقوم بمقارنة إطار واحد واحد.
الفرق الأول الذي يلفت انتباهك هو لون الصورة وسطوعها. قمت في عدة مرات بإعادة فحص إعدادات تقسيم الفيديو إلى إطارات ثم تجميع هذه الإطارات في الفيديو باستخدام ffmpeg: النتيجة واحدة - لم تتمكن أي خوارزمية من الحفاظ على الألوان والسطوع بدون تغيير ، ولا حتى Lanczos. ومع ذلك ، فإن سطوع ولون الصورة في هذه الحالة لا يلعبان دورًا بالنسبة لنا ، لذلك سننظر في وضوح الصورة ، أي تفاصيل السيارة والصور والانعكاسات.

مقارنة سيارة متحركة: MP4 H.264 ، WEBP .
فوري شحذ 4K شحذ الصورة بأكملها قليلا ورسم انعكاس الظلام على عجلة القيادة. وأيضًا ، كانت جميع الأساليب الراقية الأخرى تثير هذا الظل ، وهو أمر مثير للاهتمام: لم تفكر "Instant 4K" إلا في التفاصيل السابقة. ربما تكون الخوارزميات قد صنعت ما هو غير واضح لنا - الانتقال من المنطقة مع التفكير في جسم السيارة. لقد حاولت Topaz بأقصى جهدها ، حيث أدت إلى إزالة الضجيج في جميع أنحاء الصورة (وهو في الواقع ليس جيدًا دائمًا ، لأنه غالبًا ما تتم إضافة / ترك الضوضاء عن عمد) وإبراز التفاصيل على السيارة ، بما في ذلك الصور. ومع ذلك ، لا يمكن إزالة الكثير من عدم الوضوح ، لذا في العديد من الأماكن ، رسم Topaz معالم مزدوجة - خاصة على النص (المربع الأزرق). UpResNet10 هذه المرة بخيبة أمل من خلال زيادة البيكسل لبعض أجزاء الإطار ، وربما يتعرف بشكل غير صحيح على الضوضاء باعتبارها "ميزات" (المربع الأحمر). ما هو المميزويلاحظ سلوك مشابه في لانزوس ، التي لا يوجد بها الذكاء الاصطناعي على الإطلاق. صنع Photoshop اعتدالًا قويًا ، حيث قلل من الضوضاء ولم يضيف الكثير من البكسلات.
في هذه المقارنة ، كان الفائز بالنسبة لي هو Topaz مرة أخرى ، وحصل Photoshop على المركز الثاني ، وحصل Instant 4K على المركز الثالث.

دعنا ننتقل إلى الرسوم البيانية: هنا نضيف SSIM و PSNR إلى الرسوم البيانية ، لأن لدينا الأصلي في 4K.
بديل الصورة
نتيجة لتحليل MITSU (الحجم الكامل) ، طمس والضوضاء ، أصغر هو أفضل.
بديل الصورة
نتيجة تحليل VMAF (الحجم الكامل) ، أكبر هو الأفضل.
بديل الصورة
نتيجة تحليل SSIM (الحجم الكامل) ، أكبر هو الأفضل.
بديل الصورة
نتيجة تحليل PSNR (الحجم الكامل) ، أكبر هو أفضل.

احتلت PSNR برنامج Photoshop أولاً ، و SSIM Lanczos ، و VMAF Topaz. تم منح PSNR و SSIM للمركز الثاني إلى UpResNet10 ، بينما فضل VMAF Instant 4K. في المركز الثالث ، علينا أن نفعل الكثير مرة أخرى ، وبينما تضع PSNR Lanczos في المركز الثالث ، فإن SSIM يمنحه Instant 4K. VMAF - فوتوشوب. في نفس الوقت ، يقوم VMAF بتقييم كل إطار Topaz بـ 100 نقطة من 100 ممكن - لقد راجعت مرتين.
تظهر MITSU مرة أخرى الصورة المألوفة ، وتخبرنا أن الضوضاء على جميع النتائج غائبة عملياً. بالنسبة إلى عدم وضوح الصورة ، فإن كل شيء ليس جيدًا هنا - فقد احتفظ معظم الرابحين بلطافة المباريات الأصلية ، حيث انفصل فقط Topaz و UpResNet10 عن المجموعة ، بفارق 4 و 2 نقطة على التوالي. كلاهما لا يمكن الوصول إلى مطمعا 5 ، ولكن هناك نتيجة.
من بين جميع المقاييس الأربعة ، تتوافق قراءات VMAF و MITSU عن كثب مع انطباعاتي ، في حين تفضل PSNR و SSIM "الرياضيات" AI. وفقًا لنتائج التحليل ، من الصعب تسمية الفائز بوضوح.
يمكن تنزيل ملف FFV1 MKV 4K "الأصلي" ، لأولئك الذين يرغبون في إجراء تجاربهم الخاصة أو تكرار تجربتي ، من هنا .
↑ العودة إلى المحتويات

4.4 الملف 4: "Youtube"

بديل الصورة
إطار من فيديو Youtube ، مكبّر باستخدام الاستيفاء الثنائي الخط ، وخفض إلى 720P للمعاينات.
فيديو من يوتيوب ، من البداية إلى النهاية. الجودة الأولية هي 720P ، الرسوم المتحركة المرسومة باليد ، بالإضافة إلى اهتزاز الكاميرا. الجودة مقبولة ، ولكنها تترك الكثير مما هو مرغوب فيه ، خاصة على شاشة 4K.
نتائج JPEG لحظة 4K ، Lanczos ، فوتوشوب ، توباز ، Waifu2x الشخصية UpResNet10 و الأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP . أيضا، على حد سواء في ملف والشريط الأصلي في PNG متاح هنا .
عينات بحجم 4K كاملة الحجم في برنامج الترميز H.265 موجودة هنا(حوالي 265 ميجابايت لكل منهما).

في المقارنة الأولى ، يكون تباين الإطار الصادر عن Instant 4K مذهلاً: فهو يختلف في اللون والسطوع. لقد قمت بتصدير هذا الفيديو عدة مرات من عدة إصدارات من Adobe Premiere وتحققت من اللون - أصرّت Instant 4K على تغيير اللون في أي إعدادات. النتيجة النهائية هي من الإصدار 2019 مع تمكين إدارة لون الشاشة.

مقارنة الوجه المتحركة: MP4 H.264 ، WEBP .
بدون زيادة ، يكون الفرق ملحوظًا إلا في Instant 4K و Topaz ، لذلك دعونا نلقي نظرة فاحصة على الوجه.
لم يظهر Lanczos أي تحسن ، UpResNet10 ، بشكل غريب ، أيضًا. قام Photoshop بتقليل تأثير حظر الصورة ، الذي ظهر بالأصل بسبب الكثير من الضغط ، دون فقد أي تفاصيل. بالنسبة للرسوم المتحركة ، هذه الطريقة مقبولة تمامًا ، فنحن نزيل القطع الأثرية دون زيادة الوضوح ، وبشكل عام ، تصبح الصورة أجمل. Instant 4K زاد من عدد القطع الأثرية والألوان المتغيرة ، وهناك أيضًا زيادة طفيفة في الحدة ، والتي يقابلها ظهور المزيد من القطع الأثرية. من ناحية أخرى ، أظهر توباز بالضبط ما أود رؤيته من جميع الطرق الأخرى: اختفت القطع الأثرية بالكامل تقريبًا ، وكذلك تأثير الحجب ، ولا يمكن مقارنة الحدة بالطريقة الأصلية أو بأي طريقة راقية أخرى. الفائز ، بالطبع ، هو Topaz ، والمركز الثاني يذهب إلى Phtoshop ،تتم مشاركة الإصدار الثالث بواسطة UpResNet10 و Lanczos ، لأنهما على الأقل لم يضفا آثارًا جديدة ، على عكس Instant 4K.

بديل الصورة
إطار من فيديو Youtube ، مكبّر باستخدام الاستيفاء الثنائي الخط ، وخفض إلى 720P للمعاينات.
نتائج JPEG لحظة 4K ، Lanczos ، فوتوشوب ، توباز ، Waifu2x الشخصية UpResNet10 و الأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP . أيضا، على حد سواء في ملف والشريط الأصلي في PNG متاح هنا .

ننتقل إلى الإطار الثاني: هنا لدينا العديد من التدرجات مع القطع الأثرية ، وكذلك تفاصيل الوجه ، مرة أخرى.
سيكون من المثير للاهتمام أن نرى كيف نجحت كل الأساليب الراقية في إعداد القطع الأثرية على التدرجات ، وكذلك البحث عن التغييرات غير المرغوب فيها. بالنسبة للقطع الأثرية الموجودة في التدرج على اليسار (المربع الأزرق) ، لفتت Topaz و Instant 4K الانتباه إليها. بينما تخلصت الأولى من هذه الكتل بالكامل تقريبًا ، فشلت Instant 4K مرة أخرى ، غيرت الألوان وجعلت القطع الأثرية أكثر وضوحًا مقارنةً بـ Topaz. بطبيعة الحال ، لا تزال النتيجة لا يمكن مقارنتها بالباقي: فهناك هذه الكتل تزدهر ورائحة.

مقارنة الوجه المتحركة: MP4 H.264 ، WEBP .
في الأصل ، لدينا مرة أخرى مسحة من macroblocks ، ونتوقع نفس النتيجة كما في الإطار الأخير. لقد قام برنامج Instant 4K بتعديل التحولات بين الكتل قليلاً وجعلها أكثر سلاسة ، في حين أن Photoshop كان أسوأ من المقارنة الأولى. ومع ذلك ، فإن الصورة بعد معالجة فوتوشوب لا تزال تصبح أجمل قليلا. UpResNet10 ، لسوء الحظ ، ضرب مرة أخرى الأوساخ في وجهه ولم يحسن ما يحدث على الشاشة ، لا يختلف تقريباً عن لانزوس. لكن توباز أضاف مرة أخرى وضوحًا وأزال الآثار ولم يضيف أشياء جديدة.
الفائز هنا هو Topaz ، والمركز الثاني هو Instant 4K (لقد تصالحت بالفعل مع تغيير اللون) ، والثالث هو Photoshop.

بديل الصورة
إطار من فيديو Youtube ، مكبّر باستخدام الاستيفاء الثنائي الخط ، وخفض إلى 720P للمعاينات.
نتائج JPEG لحظة 4K ، Lanczos ، فوتوشوب ، توباز ، Waifu2x الشخصية UpResNet10 و الأصلي.
مقارنة الرسوم المتحركة: MP4 H.264 ، WEBP . أيضا، على حد سواء في ملف والشريط الأصلي في PNG متاح هنا .

الإطار الثالث والأخير: حددت هنا إطارًا أغمق على وجه التحديد لنرى كيف ستعمل جميع البرامج مع القطع الأثرية في المناطق المظلمة.

بادئ ذي بدء ، أود أن ألفت الانتباه إلى الساحة الخضراء: نتوقع من جميع الراقيين الحد من الحظر في هذا المكان. لسوء الحظ ، تمت تلبية توقعاتنا من قبل Topaz الهادئ ، في حين أن الباقي ، بما في ذلك Photoshop ، لم يجعل الأعمال الفنية أقل وضوحًا. تقوم ميزة Instant 4K مرة أخرى بتصوير نفسها في القدم ، مما يزيد من سطوع الصورة ويمتد حتى تلك القطع التي لم نرها من قبل. أريد أن أشير إلى أنني لا أحب حقًا نتيجة Topaz على هذا الإطار ، وأعتقد أنه لطخت التدرجات كثيرًا. ومع ذلك ، فقد أزال جميع العيوب المرئية تقريبًا ، لذلك لم يكن هناك أحد يقارنه به - كل الآخرين ، كما قلت ، من الناحية العملية لم تؤثر عليهم.

مقارنة الملابس المتحركة: MP4 H.264 ، WEBP .
نظرًا لأننا رأينا بالفعل ما يكفي من الوجوه ، فسننظر في تفاصيل أكبر للملابس: هنا نشهد عرضًا حقيقيًا للماكروبوليس ، لا سيما على التدرجات. لسوء الحظ ، مرة أخرى ، لم يقم أحد المتسلقين بتحسين الصورة ، باستثناء توباز ، الذي سهّل جميع التدرجات وحظر الإزالة بالكامل تقريبًا ، حيث احتل المرتبة الأولى في تحليل هذا الإطار. للأسف ، لا يوجد أحد يعين المركزين الثاني والثالث لهذه اللقطة.

والمثير للدهشة أن waifu2x ، الذي بدا واضحًا بسبب الزيادة في الرسوم المتحركة والرسومات ، لم يكن قادرًا تمامًا على تحقيق مزاياه. لقد كانت مفاجأة لي.

قارن انطباعاتي بنتائج تحليل VMAF و MITSU ، بدءًا من الأول:
بديل الصورة
نتائج تحليل MITSU (الحجم الكامل) ، الضبابية والضوضاء ، أصغر هي الأفضل.
بديل الصورة
نتيجة تحليل VMAF (الحجم الكامل) ، أكبر هو الأفضل.
رتبت VMAF جميع الأساليب الراقية في عكس طلبي تقريبًا ، في المقام الأول Lanczos ، في الأخير - Topaz. كل شخص لديه عمليات سحب متكررة في الجودة ، ويعد Topaz أدنى مستوى في مقياس VMAF ، وفي أطول عمليات السحب ، يرتفع كل شخص آخر خلفه ، باستثناء Lanczos. ومع ذلك ، لم أر أي شيء غير عادي في هذه الأطر.
حسنًا ، يُظهر MISTU مرة أخرى فجوة كبيرة بين التوباز والباقي وفقًا لقياس Blur ، بالإضافة إلى زيادة طفيفة في الضوضاء. وفقًا لما ذكرته MITSU ، فإن جميع الطرق الراقية جعلت الصورة أكثر وضوحًا ، كما أن Instant 4K قلل من مقدار الضوضاء غير المرئية لنا.
وبالتالي ، احتلت Instant 4K المرتبة الأولى ، والثانية - UpResNet10 ، والثالثة - Topaz.
هذه المرة اختلف مع VMAF.

يمكن تنزيل الملف "الأصلي" FFV1 MKV 720P ، لأولئك الذين يرغبون في إجراء تجاربهم الخاصة أو تكرار التجارب الخاصة بهم ، هنا .
↑ العودة إلى المحتويات

5. تحليل النتائج

لتحديد الفائز ، سأستخدم نتائج مقياس VMAF والاستنتاجات الشخصية حول كل ملف. أود ببساطة إضافة مقياس VMAF باستخدام متوسط ​​كل ملف. بالنسبة للتقييم الذاتي ، سأنتقل هنا إلى استنتاجاتي حول كل ملف ، وسأعطي لكل ملف المكان الأول هو 3 نقاط ، والمركز الثاني هو 2 ، والثالث هو 1. وبعد ذلك أضيف هذه النقاط وأضعها رأسياً على الرسم البياني.

بديل الصورة
نتيجة إضافة VMAF والتحليل الذاتي (الحجم الكامل) ، أكبر هو أفضل.

وفقًا لمقياس VMAF ، تبين أن تطبيق Instant 4K هو الفائز ، متفوقًا على Topaz ، الذي احتل المركز الثاني بـ 0.58 نقطة فقط. وفقًا للتحليل الشخصي ، من ناحية أخرى ، كانت المسافة بين المركزين الأول والثاني أكبر بكثير - احتلت Topaz المرتبة الأولى ، حيث انفصلت عن Intsant 4K الذي احتل المركز الثاني بـ 8 نقاط ، وحصل على 3 نقاط أكثر.

الفائز في المقارنة هو Topaz ، والمركز الثاني يذهب إلى Instant 4K ، والثالث إلى UpResNet10.


ومع ذلك ، لن تكتمل المقارنة دون مقارنة سرعة البرامج وتعليقاتي على عملهم. لنبدأ أولاً:
بديل الصورة
الوقت المستغرق في معالجة وأحجام الملفات المستلمة (بالحجم الكامل)

تؤثر زيادة تفاصيل Topaz على أحجام الملفات وحتى بشكل ملحوظ. وكقاعدة عامة ، تكون ملفات Topaz "أثقل" مرتين من ملفات المستوى الأعلى الأخرى ، و 4 أضعاف "الملفات الأثقل" من الملفات الأصلية ، ويتم توسيعها عن طريق الاستيفاء الثنائي الخط. الاستثناء الوحيد هو ملف "4K Source" ، حيث كان الفرق أقل من 30٪.

بالنسبة لسرعة البرامج ، تعمل جميعها ، باستثناء Topaz و Photoshop ، بسرعة معقولة جدًا. ومع ذلك ، مقبول لماذا؟
ماذا لو أردنا تكبير فيلم من خلال Topaz ، يدوم ساعتان ، بمعدل إطارات يبلغ 25 إطارًا في الثانية؟ سيستغرق جهاز الكمبيوتر الخاص بي 421 ساعة أو 17 يومًا ونصف من التشغيل المتواصل. ماذا عن سلسلة 40 دقيقة؟ 6 ايام

نعم ، الصورة مع نفس waifu2x مختلفة إلى حد ما - يومين للفيلم ، 16 ساعة للمسلسل. هل تعتقد أن النتيجة التي تظهرها waifu2x تستحق يومين من التقديم المستمر؟ أقترح الإجابة على هذا السؤال للجميع بشكل مستقل.

قبل شهر ، بالنسبة للفيديو الراقي ، اعتدت استخدام Instant 4K فقط وبشكل حصري للصور (الشعارات ، وأحيانًا الصور) waifu2x. النتيجة التي أظهرتها Topaz أجبرتني على إضافتها إلى مجموعتي من البرامج الراقية ، على الأقل لتكبير الصور. غالبًا ما أقوم بتكبير مقاطع الفيديو القصيرة لمدة تقل عن 10 ثوانٍ ، بالإضافة إلى أنها تعمل على توسيع الصور تمامًا - كل من الرسومات والصور الفوتوغرافية.

بالعودة إلى موضوع الأفلام ، في حالة Topaz ، أرى طريقة واحدة فقط لحل المشكلة: توزيع الإطارات للمعالجة على العديد من الأجهزة.
بديل الصورة
يمكن توباز AI تشغيل أسرع. ما هي الفائدة؟
يؤدي تعطيل "نماذج AI عالية الجودة" إلى تقليل وقت معالجة الفيلم النظري بنسبة 4 أيام ، بتكلفة تقليل دقة معالجة الألوان. قد تكون مهتمًا بمعرفة ذلكفي منتدى Topaz ، يعتبر الكثيرون أن هذا النموذج "lite" عالي الجودة. يمكن الاطلاع على إطارات PNG والمقارنات المتحركة هنا . يعمل

4K الفوري بسرعة جيدة ويوضح نتيجة رائعة (أفضل من الطرق الأخرى ، باستثناء التوباز ، وفي الوقت نفسه أسرع وأكثر ملاءمة).

Lanczos ، كما هو متوقع ، لا معنى له بدون مرشح شحذ إضافي للتوضيح.

من المؤكد أن Photoshop لا يستحق الوقت الذي استغرقه ، على الأقل مع الإعدادات التي استخدمتها. ربما إذا كنت تستخدم JPEG واستبدلت كل الأقراص بـ SSD ، فيمكنك تحقيق زيادة كبيرة في سرعة المعالجة.

UpResNet10بشكل عام ، فإنه يلعب لحظة 4K. ولكن إذا كنت لا توافق على مبادرته ، يمكنك محاولة استبدال Instant 4K بـ UpResNet10. شخصيا ، لا أجد القطع الأثرية الفورية بدقة 4K ملحوظة للغاية . من ناحية أخرى ، يعد استخدام تطبيق Instant 4K لتكبير الصور أمرًا غريبًا على الأقل ، وعادة ما يكون غير مناسب على الإطلاق. لذلك ، من الممكن استبدال waifu2x بمحرر فيديو ، لكن ليس ضروريًا.

هل يمكن تسمية أي من الأساليب الراقية عالميًا؟ ربما نعم. أعتقد أن Topaz الذي تم تكوينه بشكل صحيح يمكن أن ينتج صورة أفضل باستمرار من الطرق الأخرى الراقية. ولكن لا يوجد برميل من العسل بدون ذبابة في المرهم ، يجب ألا ننسى أداء التوباز.
↑ العودة إلى المحتويات

6. مبتدئ يريد تجربة البرامج الراقية في الممارسة العملية

... يمكنني أولاً أن أوصي بـ Instant 4K باعتباره أسهل استخدام.

يمكنك ببساطة تشغيل البرنامج ، واستيراد الملف إليه ، وإنشاء سلسلة من "التسلسل من مقطع" منه ، والانتقال إلى إعداداته (إعدادات التسلسل) وتغيير الدقة إلى ما تريد. بعد ذلك ، اسحب تأثير البحث الفوري 4K إلى مقطع الفيديو الخاص بك ، واضبط الدقة والمعلمات الإضافية ، ويمكنك البدء في التصدير.

لسوء الحظ ، لاستخدام هذا البرنامج ، تحتاج إلى شراء أو العثور على Adobe Premiere ، وكذلك البرنامج المساعد نفسه. لشراء كل هذا هو استثمار خطير للغاية ، ولا أستطيع أن أنصح بالبحث عن البرامج "المعالجة" على الإنترنت.

بديل الصورة
أدوبي بريمير غير راضين عن ذوقي
أريد أن ألفت انتباهكم إلى حقيقة أن Premiere لا يعمل مع جميع صيغ الفيديو ، وأن قسمًا كبيرًا من الأفلام من الإنترنت سوف يقسم بفحش جيد. في هذه الحالة ، لا يمكنني إلا أن أنصح بتحويل الفيلم إلى شيء مثل ProRes باستخدام ffmpeg:
 ffmpeg -hide_banner -probesize 1000M -i file.mkv -pix_fmt yuv420p -c:v prores_ks -c:a aac -b:a 128k file.mov 

سيكون السطر التالي في waifu2x : قم بوضع الفيديو في إطارات باستخدام ملف BAT من قسم "تحضير المواد للاختبار" ، وافتح المجلد في waifu2x ، وحدد المعلمات (الزيادة إلى الدقة ، وخفض الضوضاء) وابدأ التصدير. في نهاية الأمر ، ستحتاج فقط إلى إدخال الإطارات والصوت في فيديو تم الانتهاء منه. قد تواجه بعض المشكلات في التكوين ، كما كتبت بالفعل ، كان علي شخصياً البحث عن cuDNN ، بالإضافة إلى أن waifu2x يتطلب بطاقة فيديو قوية إلى حد ما.

إذا لم تتمكن من تكوين waifu2x لسبب ما ، أو إذا لم يكن لديك طاقة GPU كافية ، فراجع Photoshop . في هذه المادة هناك تعليمات جيدة بما فيه الكفاية لاستخدامها.

إذا كنت راضيًا عن تجارب الصور ، أو كان لديك الكثير من الوقت الإضافي ، فاستخدم نسخة Topaz التجريبية : ستعمل مع جميع الوظائف لمدة 30 يومًا. لديك فقط الوقت لزيادة فيلمك المفضل قبل نهاية الفترة التجريبية (لكن هذا ليس دقيقًا). تنطبق متطلبات بطاقة الرسومات waifu2x القوية هنا. بالإضافة إلى ذلك ، عند استخدام Topaz أو waifu2x ، قد تواجه مشكلات في العمل مع البرامج الأخرى ، حتى أبسطها ، لأن كلا البرنامجين يسعى إلى شغل وحدة معالجة الرسومات بنسبة 100٪ ، مما يجعل واجهة الباقي بطيئة للغاية. مبدأ العملية هو نفسه كما هو الحال مع waifu2x.

في الحالات الثلاث الأخيرة ، أوصي بفصل المسار الصوتي عن ملف الفيديو الأصلي مقدمًا بأي طريقة مناسبة لك. إذا كان هذا مقطع فيديو بسيطًا من Youtube أو فيلمًا به مسار واحد - حسنًا ، فستكون أبسط ملفات BAT أحادية الخط. إذا كنت "محظوظًا" بتجربة فيلم يحتوي على مقطوعات 5.1 والعديد من الترجمات ، فإن هذه الحالات تتجاوز نطاق هذه المقالة. لكن الذي يسعى سيجده دائمًا.

عينة استخراج الصوت النصي
 ffmpeg -i input-video.avi -vn -acodec copy output-audio.aac 

بعد تلقي الصوت في ملف واحد وفي نهاية معالجة الإطارات باستخدام أداة الترقية ، يجب عليك تقليل الصوت والفيديو إلى ملف واحد.

للمبتدئين ، أوصي باستخدام البرنامج النصي من المقالة حول Photoshop:
 ffmpeg -framerate 24 -i image-%%03d.png -i output-audio.aac -pix_fmt yuv420p -vcodec libx264 -preset veryslow -crf 15 -c:a aac -b:a 128k -r 24 test_4K.mp4 

. -r -framerate . PNG : -pix_fmt yuv420p

يجب على الباقي دراسة المعلمات وإعدادات H.265 (حجم أصغر وجودة أعلى) و H.264 (أسرع).
يمكن العثور على المزيد من خيارات البرامج النصية لـ FFMPEG في هذه المقالة الراقية.
↑ العودة إلى المحتويات

7. خطة للمقال التالي والأسئلة للقراء

في المقالة التالية ، أخطط لإضافة تفاعلية للاختبار الذاتي ، بحيث يقوم القراء بتقييم طرق راقية معينة مباشرةً ، لذلك سأستخدم أداة قياس جودة فيديو MSU . لكنني سأحتاج إلى فهم ما إذا كان يمكنني استخدام H.265 بحرية وضغط الملفات بقوة أكبر ، أو سيتعين علي استخدام H.264. يرجى إجراء الاستبيان أدناه ولاحظ ما إذا كان جهاز الكمبيوتر الخاص بك يمكنه تشغيل H.265 دون فقد الإطارات ("التأخر").
بالإضافة إلى ذلك ، أخطط للنظر في نموذج الشبكة العصبية التلافيفية ذات الدقة الفائقة (SRCNN) ونموذج الشبكة العصبية اللاإرادية دون البكسل الفرعي (ESPCN).

  • Lanczos, sharpening. ? ? , Lanczos , , sinc?
  • waifu2x ? CUnet? Y? , ?
  • Photoshop?
  • «, » Topaz, «, »?
  • , ?
  • MITSU? , , Noise Blockiness?

Topaz:
بديل الصورة
, Topaz .

Source: https://habr.com/ru/post/ar446032/


All Articles