تحسين جودة الصور البانورامية من خلال مطابقة الرسم البياني للتحولات الإسقاطية

مرحبا يا هبر! سنتحدث اليوم عن إحدى طرق تحسين جودة الصور البانورامية اللاصقة. هناك نهج يستخدم على نطاق واسع في لصق الصور البانورامية للأجسام المسطحة ، ولكن نظرًا لأن هذا النهج لا يخلو من العوائق ، فإننا نقدم تحسيننا.

تتمثل مهمة التحريك في إنشاء صورة مركبة واحدة بناءً على مجموعة من الصور المصدر (انظر الشكل 1). يجد التطبيق في حل مثل هذه المشاكل العملية مثل:

• سبر سطح الأرض من قمر صناعي أو من طائرة بدون طيار ؛
• لصق الصور التي تم الحصول عليها باستخدام المجهر ؛
• فيديو الإلتصاق
• التقاط صورة فائقة الدقة.

الشكل 1 - الصور الأصلية والبانوراما

بشكل عام ، يمكن صياغة خوارزمية اللصق البانورامية على النحو التالي [1] (انظر الشكل 2). في البداية ، يلزم استخراج عدد كافٍ من الإطارات من دفق الفيديو. يمكن القيام بذلك عبر الإنترنت ، وقراءة جميع الإطارات بالتسلسل واختيار الإطارات الفردية بالتردد اللازم.

الشكل 2 - المخطط الانسيابي لخوارزمية اللصق البانورامية باستخدام نقاط خاصة

بعد ذلك ، بالفرز المتسلسل من خلال أزواج الصور من المجموعة ، من الضروري اكتشاف النقاط الفردية وحساب واصفيها على هذه الصور [2-4]. هذه النقاط المفردة هي التي تجعل من الممكن إنشاء مراسلات هندسية بين إطارين. فيما يلي مقارنة بين نقاط المفرد بناءً على واصفاتها. يجب أن يوضع في الاعتبار أن هذا لا يستبعد إمكانية الحصول على تطابقات خاطئة.

علاوة على ذلك ، عند وجود مجموعتين من النقاط الفردية ، يجب على المرء أن يجد تحولًا إسقاطيًا من شأنه أن يترجم نقاط إطار واحد إلى النقاط المقابلة للآخر بأفضل طريقة. لحل هذه المشكلة ، يمكن استخدام نهج RANSAC [5]. يتم وصف هذا النهج بمزيد من التفصيل في [6 ، 7]

للبحث عن تحويل إسقاطي بين الإطارات ، يمكن أيضًا استخدام دفق بصري ، والذي غالبًا ما يستخدم في مهمة لصق الصور البانورامية [8].
بعد الحصول على المجموعة المطلوبة من التحولات الإسقاطية ، يتم إجراء فني للصق الصور ، وهي: لكل بكسل من البانوراما النهائية (x ، y) لكل قناة (RGB) ، المتوسط ​​الحسابي لشدة البكسل مع الإحداثيات (x ، y) لجميع الإطارات بما في ذلك بكسل مع هذه الإحداثيات.

باستخدام طرق البحث عن التحولات الإسقاطية ، يمكن للمرء تحديد إزاحة موضع الكاميرا بالنسبة للموضع السابق في الفضاء. في الظروف المعملية ، تكون دقة حساب هذه البيانات كافية لبناء بانوراما لكائن ثابت مسطح. في الظروف الحقيقية ، عند حساب إزاحة موضع الكاميرا بالنسبة إلى الموضع السابق ، يظهر خطأ حسابي (خطأ القياس / التداخل / القيود التي تفرضها الخوارزميات ، وما إلى ذلك). بمرور الوقت ، يستمر الخطأ التراكمي في الازدياد بحيث أنه على الرغم من الدقة المقبولة لتحديد الإزاحة بين المواضع المتجاورة ، فإن البانوراما الإجمالية للجسم تحتوي بالفعل على انحرافات خطيرة (انظر الشكل 3).

الشكل 3 - الخطأ التراكمي

وضعنا لأنفسنا هدف تطوير طريقة لمطابقة الرسم البياني للتحولات الإسقاطية لمهمة تحريك الأشياء الثابتة المسطحة التي تقاوم مشكلة تراكم الأخطاء. هدف آخر هو تطوير طريقة بحيث لا تعتمد على طريقة حساب معلمات التحول الإسقاطي.

يجب استيفاء أحد الشروط:

• إطلاق النار على جسم جامد زائف ثابت ؛
• إطلاق النار على جسم قريب من السطح من مسافة كبيرة بما فيه الكفاية ؛
• بالنسبة لجميع أوضاع الكاميرا أثناء التصوير ، يتم تلبية المتطلبات: بالنسبة لجميع نقاط الصورة ، لا تتزامن الأشعة التي تربط هذه النقاط مع تركيز الكاميرا مع بعضها البعض.

وصف خوارزمية مطابقة الرسم البياني لتحويل الإسقاط

نقدم مفهوم نظام إحداثيات واحد. نقصد بنظام إحداثيات واحد نظام إحداثي حيث يكون لنفس نقاط كائن من صور مختلفة نفس الإحداثيات. يمكن التعبير عن هذا المطلب بالصيغة التالية:

$$

$$f (x) = y،$$

أين $$$f$هو رسم خرائط محدد على الجزء المشترك من الإطارات وترجمة نقاط الإطار الأول إلى نقاط الإطار الثاني ، $$$x$- إحداثيات النقطة في نظام الإحداثيات للإطار الأول ، $$$y$- إحداثيات نقطة في نظام الإحداثيات للإطار الثاني.

في حالة رسم الخرائط $$$f$يمكن أن يستمر بشكل صحيح بعد تقاطع الإطارات ، يمكننا استكمال الإطار الثاني بمعلومات من الإطار الأول. وبالتالي ، سيتم الحصول على خريطة ملصقة معًا كفسيفساء من إطارين أو أكثر.

بعد العثور على التحولات الإسقاطية بين الإطارات المجاورة ، هناك لصق أولي يحدد الموقع الفريد للإطارات في نظام إحداثي واحد (انظر الشكل 4).

الشكل 4 - الموقع الواضح للإطار على الخريطة

بعد إنشاء اللصق الأساسي للصور ، يتم إنشاء رسم بياني للتحولات الإسقاطية $$$G$:

$$

$$G = (V ، E) ،$$

أين $$$V$- الكثير من أربع نقاط ، وهي رؤوس الصور المصححة إسقاطياً ؛ $$$\ vert V \ vert = n$، $$$E$- الكثير من التحولات الإسقاطية بين الإطارات ؛ $$$\ vert E \ vert = m$.

يتم إنشاء حافة بين القمم فقط إذا كانت الإطارات تتقاطع على الأقل $$$T \٪$بشأن اللصق الأساسي (IoU - تقاطع فوق الاتحاد) (انظر الشكل 5 ، 6):

$$

$$\ frac {s_ {ij}} {s_i + s_j-s_ {ij}} \ cdot100 \٪> T \٪.$$

الشكل 5 - منطقة تقاطع الرتل

العتبة $$$T$يتم تحديده اعتمادًا على الطريقة المستخدمة للبحث عن تحول إسقاطي من خلال الموازنة بين شرطية مهمة البحث عن تحول إسقاطي بين إطارين والعدد المتوقع المطلوب من الحواف والدورات في الرسم البياني.

الشكل 6 - مثال لبناء الرسم البياني

نتيجة لذلك ، الرسم البياني للتحولات الإسقاطية $$$G$يبدو على النحو التالي (انظر الشكل 7):

الشكل 7 - الرسم البياني النهائي للتحولات الإسقاطية

إذا كان الرسم البياني يحتوي على دورات (انظر الشكل 6) ، فستظهر معلومات زائدة فيه ، والتي قد تحتوي أيضًا على تناقضات. لتحديد نوع التناقضات التي قد تنشأ ، نعتبر دورة معينة من الرسم البياني (انظر الشكل 8). دع هذه الدورة تتكون من القمم $$ . ثم لدينا سلسلة من الخرائط الإسقاطية على طول هذه الدورة:

$$

$$H_ {12}: 1 \ to2، \\ H_ {23}: 2 \ to3، \\ ... \\ H_ {k1}: k \ to1. \\ $$

خذ بعين الاعتبار تكوين هذه التعيينات:

$$

$$H_ {k1} * ... * H_ {23} * H_ {12} = H_ {11}.$$

الشكل 8 - حلقة الرسم البياني

العرض $$$H_ {11}$يجب أن يكون رسم خرائط متطابقة. إذا كان التعيين $$$H_ {11}$مختلفة عن المطابقة ، ثم نقول أنه يتم الحصول على تناقض. في هذه الحالة ، ستسمى الدورة غير متناسقة . وبالتالي ، هناك مشكلة مرتبطة بوجود دورات غير متناسقة في الرسم البياني للتعيينات الإسقاطية ، لأنه مع اللصق المثالي للتناقضات في الرسم البياني للتحولات الإسقاطية $$$G$يجب أن تكون غائبة.

نصف الخوارزمية المطابقة للرسم البياني للتحولات الإسقاطية ، أي مطابقة جميع دوراتها. لتقليل الخطأ التراكمي الذي يحدث عندما يتم إغلاق الدورة في الرسم البياني للتحولات الإسقاطية ، يتم استخدام مفهوم SLAM (التعريب المتزامن والتعيين) [9].

ضع في اعتبارك في كل إطار أربع نقاط في الوضع العام. دع الإطارات يتم ترقيمها من $$$1$قبل $$$n$ثم سيتم الإشارة إلى أربع نقاط بواسطة $$$p_i$أين $$$1 \ le i \ le n$. مثل هذه المجموعة من أربع نقاط $$$P$تحدد بشكل فريد نظام إحداثيات واحد ، لأنه بالنسبة لأي إطارين ، يمكنك العثور بشكل فريد على خريطة إسقاطية تترجم أربع نقاط إلى أخرى.

للعثور على مجموعة أربع نقاط تحدد الرسم البياني المتسق المطلوب ، يمكنك استخدام طريقة المربعات الصغرى. نقوم بتقليل الوظيفة ، والتي تساوي المجموع على جميع الحواف من المجموعة $$$E$العد $$$G$ولكل حافة - مجموع أربع نقاط من الكميات $$$\ Vert H_ {ij} p_ {is} -p_ {js} \ Vert$. لإيجاد حل يقلل من الوظائف ، يُقترح استخدام طريقة التدرج المترافق.

$$

$$\ sum _ {(i، j) \ in E} \ sum_ {s = 1} ^ 4 \ Vert H_ {ij} p_ {is} -p_ {js} \ Vert \ to \ min_ {P}.$$

بعد أن يكون هناك تحول إسقاطي لكل إطار يضبط بشكل فريد موضع الإطار على الخريطة ، يمكنك الحصول على صورة بانورامية.

نتائج تجريبية

حتى الآن ، لا توجد طريقة عالمية لتقييم جودة الصور الملتصقة. كقاعدة عامة ، يتم تقييم جودة اللصق بشكل حسي من قبل الخبراء ، ولكن بالنسبة للبحث العلمي ، من الأفضل أن يكون لدينا تقييم كمي محسوب تلقائيًا للجودة.

من أجل تقييم جودة اللصق دون مشاركة خبير بشري ، من الضروري أن يكون هناك لصق قياسي يتم مقارنة النتيجة. يتطلب النهج الذي تم فيه الحصول على اللصق من فيديو حقيقي ، وتعتبر صورة الكائن بأكمله بمثابة اللصق القياسي ، ظروفًا مختبرية جيدة باستخدام معالج قادر على إصلاح موضع الكاميرا (باستخدام أجهزة الاستشعار) جسديًا في الفضاء. ومع ذلك ، فإن طريقة تقييم الجودة هذه مكلفة.

في [10] ، من أجل التقييم الكمي لجودة الترابط البانورامي ، يقوم المؤلفون ، الذين لديهم صورة عالية الدقة ، بإنشاء فيديو اصطناعي تكون إطاراته مناطق مشوهة بشكل إسقاطي للصورة الأصلية (انظر الشكل 9). مشوهة بشكل إسقاطي جميع الإطارات باستثناء الإطار الأول ، حيث يتم تحديد نظام إحداثي واحد بالنسبة للإطار الأول. علاوة على ذلك ، يتم لصق هذه الإطارات من الفيديو الاصطناعي في بانوراما ، والتي تتم مقارنتها بشكل أكبر مع الصورة المرجعية الأصلية. مع هذا النهج ، من الممكن تجنب مشاكل الاختلاف في سطوع اللصاقات التي تم الحصول عليها والمرجعية ، بالإضافة إلى تشويه المشهد.

الشكل 9 - الصورة الأصلية وإطارات الفيديو الاصطناعي

لمقارنة جودة اللصق قبل وبعد الاتفاق على رسم بياني ، تم إعداد عينة اختبار من 50 صورة ، وتم إنشاء 50 مقطع فيديو اصطناعيًا من الصور الأصلية ، والتي تم بموجبها تنفيذ اللصق (انظر الشكل 10). تم تقليل جميع الصور البانورامية التي تم الحصول عليها إلى أحجام الصور المصدر ، وتم حساب قياس الخطأ لكل صورة بانورامية:

$$

$$RMSE = \ sqrt {\ frac {\ sum_ {i = 1} ^ h \ sum_ {j = 1} ^ w ((I_ {ij} ^ R- \ hat {I_ {ij} ^ R}) ^ 2+ (I_ {ij} ^ G- \ hat {I_ {ij} ^ G}) ^ 2+ (I_ {ij} ^ B- \ hat {I_ {ij} ^ B}) ^ 2)} {h \ cdot w \ cdot 3}} ،$$

أين $$$h$- ارتفاع الصورة $$$w$- عرض الصورة $$$I_ {ij} ^ R$- كثافة البكسل $$$(i، j)$البانوراما الناتجة على القناة الحمراء ( $$$G$- قناة خضراء $$$B$- قناة زرقاء) $$$\ hat {I_ {ij} ^ R}$- كثافة البكسل $$$(i، j)$صورة المصدر على القناة الحمراء ( $$$G$- قناة خضراء $$$B$- القناة الزرقاء).

الشكل 10 - بانوراما قبل الموافقة على الرسم البياني (RMSE = 35.3) وبعد (RMSE = 14.2)

في التمثيل البياني ، يبدو RMSE في مجموعة الاختبار كما يلي (انظر الشكل 11):

الشكل 11 - RMSE في عينة الاختبار. يتم فرز الإطارات بترتيب تصاعدي من RMSE حتى تطابق الرسم البياني.

وفقًا لكل قيمة جذر لخطأ الجذر التربيعي المتوسط ​​قبل المطابقة ، يتم عرض القيم الجذرية لخطأ الجذر التربيعي المتوسط ​​بعد مطابقة الرسم البياني. متوسط ​​قيمة RMSE في عينة الاختبار قبل اتساق الرسم البياني هو 35.5 ، بعد مطابقة الرسم البياني - 13.9 .

الخلاصة

استنادًا إلى نتائج مقارنة جودة اللصق ، يمكننا أن نستنتج أن مطابقة الرسم البياني يقلل بشكل كبير من الخطأ المتراكم ويحسن جودة اللقطات البانورامية. ومع ذلك ، يجب أن يوضع في الاعتبار أن مطابقة الرسم البياني يمكن أن تساعد فقط إذا كانت هناك دورات في الرسم البياني للتحولات الإسقاطية. في حالة عدم وجود دورات في الرسم البياني للتحولات الإسقاطية ، فإن وحدة مطابقة الرسم البياني لا تضعف جودة لصق البانوراما.

تجدر الإشارة إلى أن هذه الطريقة لمطابقة الرسم البياني تعمل مع مجموعة من التحولات الإسقاطية ، والطريقة التي تم بها العثور على هذه التحولات الإسقاطية لا تلعب دورًا لهذه الطريقة.

في المستقبل ، من المخطط تحسين تعقيد الخوارزمية ، لأنها لا تنطبق إلا على حالات المستخدم "غير المتصلة".

الأدب

[1] Gubin A.Yu. ، Kovin R.V. نهج بسيط لمهمة لصق الصور المتداخلة في بانوراما // X المؤتمر الدولي العلمي والعملي للطلاب وطلاب الدراسات العليا والعلماء الشباب "الشباب وتكنولوجيا المعلومات الحديثة" ، ص. 79-81 ، 2012.
[2] Drummond T.، Rosten E. Machine Learning للكشف عن ركن عالي السرعة // المؤتمر الأوروبي التاسع حول رؤية الكمبيوتر (ECCV) ، ص. 430-443 ، 2006.
[3] مزايا الصورة المميزة لـ Lowe DG من نقاط المفاتيح الثابتة والمتغيرة // المجلة الدولية للرؤية الحاسوبية ، ص. 91-110 ، 2004.
[4] Bay H. ، Ess A. ، Yuitelaars T. ، Van Gool L. SURF: تسريع الميزات القوية // Computer Vision and Image Understanding، v. 110 ، ص. 346-359 ، 2008.
[5] Martin A. Fischler، Robert C. Bolles. إجماع العينة العشوائية: نموذج لتناسب النموذج مع تطبيقات تحليل الصور ورسم الخرائط الآلي // Comm. من ACM ، v. 24 ، ص. 381-395 ، 1981.
[6] Arlazarov V.L.، Bulatov K.B.، Chernov T.S. طريقة البحث عن الصور المشوشة بأحجام كبيرة من بيانات الفيديو // High Availability Systems، Vol. 12، No. 1، p. 53-58 ، 2016.
[7] Skoryukina N. et al. لقطة شاشة: بحث عن إطار بث تلفزيوني مع طلب مشوه وصاخب // مؤتمر دولي التاسع على رؤية الماكينة (ICMV) - Proc. SPIE V. 10341، P. 103410Y، 2017.
[8] تنفيذ Bouguet JY Pyramidal لتعقب ميزة lucas kanade: تدمير الخوارزمية // Intel corporation، V. 5، p. 1-10 ، 2001.
[9] إغلاق حلقة نيومان ب ، هو ك. سلام مع ميزات بارزة بصريا // IEEE Proc. المؤتمر الدولي للروبوتات والأتمتة ، ص. 635-642 ، 2005.
[10] Paalanen P.، Kamarainen JK، Kalviainen H. التقييم الفسيفسائي الكمي القائم على الصورة بالفيديو الاصطناعي // المؤتمر الاسكندنافي لتحليل الصور ، Springer (برلين ، هايدلبرغ) ، ص. 470-479 ، 2009.