طريقة الاستيفاء الرخيص لا تعمل أسوأ من الشبكات العصبية

مقارنة بين RAISR وتقنيات دقة الصورة المتقدمة الأخرى. لمزيد من الأمثلة ، راجع المقال العلمي المصاحب .

زيادة دقة الصور ، أي إنشاء صور عالية الدقة بناءً على صورة واحدة منخفضة الدقة ، هي مشكلة علمية مدروسة جيدًا. من المهم للعديد من التطبيقات: تكبير الصور والنص ، وعرض الفيديو على شاشة كبيرة ، إلخ. حتى في الأفلام ، يتمكن المحققون في بعض الأحيان من النظر إلى عدد السيارة على إطار من كاميرا المراقبة ، "مما يجعل الصورة" إلى الحد الأقصى. وليس فقط رقم السيارة. كل شيء هنا محدود بخيال وضمير المخرج وكاتب السيناريو. يمكنهم جلب الصورة إلى أبعد من ذلك - ورؤية انعكاس المجرم في مرآة الرؤية الخلفية أو حتى في الرأس المعدني المصقول للترباس الذي يثبت لوحة الترخيص. مشاهدون من هذا القبيل.

عملياً ، تعد قدرات مثل هذه البرامج أكثر تواضعاً. على سبيل المثال ، في 29 أكتوبر 2016 ، أطلق GuralHub برنامج Neural Enhance ، والذي يزيد من دقة الصور باستخدام شبكة عصبية. دخل البرنامج على الفور قائمة المستودعات الأكثر شعبية للأسبوع.


مثال على عمل Neural Enhance مثال


آخر على عمل برنامج Neural Enhance ، والذي يتوفر بشكل عام على

موظفي GitHub Google Research ، يعمل أيضًا في هذا الاتجاه - تحدثت المدونة الرسمية للشركة أمس عن طريقة لزيادة الدقة ، والتي أطلقوا عليها اسم RAISR (Rapid and Accurate Image Super-Resolution )

تاريخيًا ، تم استخدام مُحَقِّرات بسيطة لتقريب الصور ، التي تعثر على القيم الوسيطة لوحدات البكسل الجديدة من مجموعة معروفة من قيم البكسل للصورة الأصلية. تم استخدام طرق مختلفة لحساب متوسط ​​القيم: الاستيفاء بأقرب طريقة جوار ، والاستكمال الثنائي ، والطريقة المكعبة ، والطريقة المكعبة ، وما إلى ذلك. هذه كلها صيغ رياضية بسيطة إلى حد ما. كانت تستخدم على نطاق واسع في تطبيقات مختلفة بسبب بساطتها وبساطتها. لا تتكيف على الإطلاق مع محتوى الصورة ، مما يؤدي غالبًا إلى ظهور قطع أثرية غير سارة - شظايا ضبابية للغاية ، وتشوهات مميزة للتعرجات.

في العقود الأخيرة ، تم تطوير برامج وطرق استيفاء أكثر تقدمًا تأخذ في الاعتبار بوضوح خصائص الصورة الأصلية. إنهم قادرون على استخدام أجزاء الصورة الأصلية وقياسها ، وملء تناثر ، وتطبيق مخاليط غوسية . لقد حسنت الطرق الجديدة بشكل كبير جودة الاستيفاء (الاستعادة الرقمية للأصول) من خلال زيادة تعقيد الحسابات.

استخدم موظفو Google التعلم الآلي على العينات الخارجية. اكتسبت هذه الطريقة شعبية كبيرة في السنوات الأخيرة وتم وصفها في العديد من الأوراق العلمية. المبدأ الأساسي هو "توقع" محتوى الصورة بدقة عالية من نسختها المصغرة. لمثل هذا التدريب ، يتم استخدام الطريقة القياسية للتدريس بالعينات.

أثناء تدريب RAISR ، تم استخدام قاعدة من أزواج الصور التي تم إنشاؤها في وقت واحد بجودة عالية ومنخفضة. استخدمنا أزواجًا من أجزاء صغيرة من الصورة للإقحام القياسي 2x ، أي أجزاء من 3 × 3 و 6 × 6 بكسل. يظهر خوارزمية التعلم والتشغيل RAISR في الرسم التخطيطي.





يوضح الرسم التوضيحي التالي أربعة فلاتر عالمية تم السماح باستخدامها خلال مرحلة التدريب. وبناءً على ذلك ، تم تدريب البرامج على تطبيقها بشكل أكثر فاعلية ، اعتمادًا على محتوى هذا الجزء الخاص من عدة وحدات بكسل.





يعمل كل نوع من المرشحات لنوع البكسل الخاص به: من P1 إلى P4 ، وفقًا لأنواع البكسل التي تستخدمها خوارزمية الاستكمال الثنائية.



في بعض النواحي ، تشبه طريقة التعلم الآلي RAISR تدريب الشبكات العصبية. ولكن في الواقع ، إنه عبارة عن تكيف لمرشحات الاستيفاء القياسية المختلفة لكل جزء صغير من الصورة الأصلية. أي أن هذا هو نفس "الاستكمال الخطي" القديم ، ولكن كما لو كان على المنشطات - بدون القطع الأثرية المتأصلة والتكيف مع محتوى الصورة.

أظهر الاختبار المقارن أنه في كثير من الحالات تعمل مثل هذه الخوارزمية بشكل أفضل حتى من الأساليب الحديثة للاستكمال المتقدم المستندة إلى الشبكات العصبية (SRCNN في الرسوم التوضيحية).



علاوة على ذلك ، فإن مثل هذه الطريقة القائمة على التجزئة هي أقل كثافة في استخدام الموارد وأكثر قبولًا في الممارسة من التدريب واستخدام الشبكة العصبية. الفرق في الأداء كبير جدًا (10-100 مرة) بحيث يمكن تشغيل هذا البرنامج بأمان حتى على الأجهزة المحمولة العادية ، وسيعمل في الوقت الفعلي. لا يوجد شيء يمنع تنفيذ هذا المرشح في تطبيقات الاستيفاء الحديثة للصور على الهواتف الذكية ، بما في ذلك تطبيق الكاميرا على Android ، والذي يؤدي إلى الاستيفاء أثناء التكبير الرقمي. من الممكن أن تفعل Google ذلك في المقام الأول. هذا على الأقل مثال على الاستخدام الواسع الانتشار للاستيفاء على ملايين الأجهزة.


اليسار: دقة منخفضة أصلية. المركز: ناتج عن تقارن قياسي ثنائي التكعيب. حق: ستكون نتائج RAISR

Photos أفضل على الفور لجميع مستخدمي Android.

بالمناسبة ، هناك ميزة أخرى مثيرة للاهتمام ومهمة لـ RAISR وهي أنه خلال عملية التدريب يمكن تدريب هذا البرنامج على التخلص من التحف النمطية للضغط ، بما في ذلك JPEG. على سبيل المثال ، على جهاز محمول ، يمكن تخزين الصور في شكل مضغوط مع التحف ، وعرضها على الشاشة بدون التحف. أو يمكن استخدام الخوارزمية في استضافة الصور من Google لتحسين صور المستخدم تلقائيًا ، مع التخلص من قطع JPEG الموجودة في كل مكان تقريبًا.


اليسار: دقة منخفضة أصلية مع قطع أثرية مستعارة خاصة بـ JPEG. يمين - RAISR إصدار

مقالة علميةسيتم نشر فريق أبحاث Google قريبًا في مجلة IEEE Transactions on Computational Imaging. (ملاحظة: كان المؤلف الرئيسي للصحيفة متدربًا في أبحاث Google وقت كتابة هذا التقرير ، ولكنه يعمل الآن في معهد أبحاث التخنيون الإسرائيلي).

Source: https://habr.com/ru/post/ar399119/