प्रक्षेप्य परिवर्तनों के ग्राफ से मेल खाते हुए पैनोरमा को चमकाने की गुणवत्ता में सुधार करना

नमस्कार, हेब्र! आज हम ग्लूइंग पैनोरमा की गुणवत्ता में सुधार के तरीकों में से एक के बारे में बात करेंगे। समतल वस्तुओं के चित्रण के लिए व्यापक रूप से उपयोग किया जाता है, लेकिन चूंकि यह दृष्टिकोण कमियां के बिना नहीं है, इसलिए हम अपने सुधार की पेशकश करते हैं।

पैनिंग का कार्य स्रोत चित्रों के एक सेट के आधार पर एक समग्र छवि बनाना है (चित्र 1 देखें)। यह इस तरह की व्यावहारिक समस्याओं को हल करने में आवेदन पाता है:

• उपग्रह से या ड्रोन से पृथ्वी की सतह की आवाज़;
• माइक्रोस्कोप का उपयोग करके प्राप्त छवियों को एक साथ gluing;
• gluing वीडियो;
• सुपर रिज़ॉल्यूशन इमेज कैप्चर।

चित्र 1 - मूल चित्र और पैनोरमा

सामान्य तौर पर, पैनोरमा ग्लूइंग एल्गोरिदम को निम्नानुसार तैयार किया जा सकता है [1] (चित्र 2 देखें)। बहुत शुरुआत में, वीडियो स्ट्रीम से पर्याप्त संख्या में फ़्रेम निकालने की आवश्यकता होती है। यह ऑनलाइन किया जा सकता है, क्रमिक रूप से सभी फ़्रेमों को पढ़ना और आवश्यक आवृत्ति के साथ व्यक्तिगत फ़्रेमों का चयन करना।

चित्र 2 - विशेष बिंदुओं का उपयोग करके पैनोरमा ग्लूइंग एल्गोरिदम का फ़्लोचार्ट

उसके बाद, सेट से छवियों के जोड़े के माध्यम से क्रमिक रूप से छांटना, एकवचन बिंदुओं का पता लगाना और इन छवियों पर उनके विवरणों की गणना करना आवश्यक है [2-4]। यह ये विलक्षण बिंदु हैं जो दो फ्रेम के बीच एक ज्यामितीय पत्राचार का निर्माण संभव बनाते हैं। निम्नलिखित उनके विवरणों के आधार पर एकवचन बिंदुओं की तुलना है। यह ध्यान में रखा जाना चाहिए कि यह झूठे मैच प्राप्त करने की संभावना को बाहर नहीं करता है।

इसके अलावा, एकवचन बिंदुओं के दो सेट होने पर, एक को एक परिवर्तनकारी खोज करनी चाहिए जो एक फ्रेम के बिंदुओं को दूसरे के संबंधित बिंदुओं में सबसे अच्छे तरीके से अनुवाद करेगी। इस समस्या को हल करने के लिए, RANSAC दृष्टिकोण का उपयोग किया जा सकता है [5]। यह दृष्टिकोण अधिक विस्तार से वर्णित है [६, more]

फ़्रेम के बीच एक परिवर्तनकारी खोज करने के लिए, एक ऑप्टिकल स्ट्रीम का भी उपयोग किया जा सकता है, जिसका उपयोग अक्सर पैनोरमा को चमकाने के कार्य में किया जाता है [8]।
अनुमानित परिवर्तनों के आवश्यक सेट प्राप्त करने के बाद, ग्लूइंग चित्रों के लिए एक तकनीकी प्रक्रिया होती है, अर्थात्: प्रत्येक चैनल (RGB) के लिए अंतिम पैनोरमा (x, y) के प्रत्येक पिक्सेल के लिए, सभी फ़्रेमों के निर्देशांक (x, y) सहित पिक्सेल तीव्रता के अंकगणितीय औसत। इस तरह के निर्देशांक के साथ एक पिक्सेल।

प्रक्षेप्य परिवर्तनों के लिए खोज करने के तरीकों का उपयोग करते हुए, कोई अंतरिक्ष में पिछली स्थिति के सापेक्ष कैमरा स्थिति के विस्थापन को निर्धारित कर सकता है। प्रयोगशाला स्थितियों में, इन आंकड़ों की गणना की सटीकता एक सपाट स्थिर वस्तु के पैनोरमा के निर्माण के लिए पर्याप्त है। वास्तविक परिस्थितियों में, पिछली स्थिति के सापेक्ष कैमरे की स्थिति के विस्थापन की गणना करते समय, एक गणना त्रुटि उत्पन्न होती है (एल्गोरिदम, आदि द्वारा लगाए गए माप त्रुटि / हस्तक्षेप / सीमाएं)। समय के साथ, संचयी त्रुटि इस तरह से बढ़ती रहती है कि, आसन्न पदों के बीच विस्थापन की स्वीकार्य सटीकता के बावजूद, ऑब्जेक्ट के सामान्य पैनोरमा में पहले से ही गंभीर विचलन होंगे (चित्र 3 देखें)।

चित्र 3 - संचित त्रुटि

हमने फ्लैट स्थिर वस्तुओं को पैन करने के कार्य के लिए प्रक्षेप्य परिवर्तनों के ग्राफ के मिलान के लिए एक विधि विकसित करने का लक्ष्य निर्धारित किया है जो संचय त्रुटियों की समस्या के लिए प्रतिरोधी है। एक अन्य लक्ष्य विधि को इस तरह से विकसित करना है कि यह प्रक्षेप्य परिवर्तन के मापदंडों की गणना करने की विधि पर निर्भर न हो।

शर्तों में से एक को पूरा किया जाना चाहिए:

• एक स्थिर छद्म कठोर वस्तु की शूटिंग;
• एक पर्याप्त बड़ी दूरी से फ्लैट के करीब एक वस्तु की शूटिंग;
• शूटिंग के दौरान सभी कैमरा पदों के लिए, आवश्यकता पूरी होती है: सभी छवि बिंदुओं के लिए, इन बिंदुओं को कैमरे के फोकस से जोड़ने वाली किरणें एक दूसरे के साथ मेल नहीं खाती हैं।

प्रक्षेपण परिवर्तन ग्राफ मिलान एल्गोरिथ्म का विवरण

हम एक एकल समन्वय प्रणाली की अवधारणा का परिचय देते हैं। एकल समन्वय प्रणाली से हमारा अभिप्राय एक समन्वय प्रणाली से है जहाँ विभिन्न छवियों से किसी वस्तु के समान बिंदुओं के समान निर्देशांक होंगे। यह आवश्यकता निम्न सूत्र द्वारा व्यक्त की जा सकती है:

$$

$$च (x) = y,$$

जहाँ $$$च$ फ्रेम के सामान्य भाग पर एक मानचित्रण परिभाषित किया गया है और दूसरे फ्रेम के बिंदुओं के लिए पहले फ्रेम के बिंदुओं का अनुवाद कर रहा है, $$$x$ - पहले फ्रेम के निर्देशांक प्रणाली में बिंदु के निर्देशांक, $$$य$ - दूसरे फ्रेम के निर्देशांक प्रणाली में एक बिंदु के निर्देशांक।

मामले में जब मानचित्रण $$$च$ फ्रेम के प्रतिच्छेदन से परे सही ढंग से जारी रखा जा सकता है, हम पहले से जानकारी के साथ दूसरे फ्रेम को पूरक कर सकते हैं। इस प्रकार, दो या अधिक फ़्रेमों के मोज़ेक के रूप में एक साथ चिपके हुए नक्शे को प्राप्त किया जाएगा।

आसन्न तख्ते के बीच प्रक्षेप्य परिवर्तनों को खोजने के बाद, एक प्रारंभिक ग्लूइंग है जो एक समन्वय प्रणाली में तख्ते के अनूठे स्थान को सेट करता है (चित्र 4 देखें)।

चित्रा 4 - नक्शे पर फ्रेम का अस्पष्ट स्थान

छवियों के प्राथमिक ग्लूइंग के निर्माण के बाद, प्रक्षेप्य परिवर्तनों का एक ग्राफ बनाया जाता है $$$जी$ :

$$

$$जी = (वी, ई),$$

जहाँ $$$V$ - बहुत सारे चार बिंदु, जो कि प्रोजेक्टेड रूप से सही किए गए चित्रों के कोने हैं; $$$\ vert V \ vert = n$ । $$$ई$ - फ्रेम के बीच बहुत अधिक परिवर्तनकारी; $$$\ vert E \ vert = m$ ।

कोने के बीच एक किनारे का निर्माण केवल तभी किया जाता है जब फ्रेम कम से कम अंतर पर हो $$$T \%$ प्राथमिक gluing पर (IoU - संघ पर अंतर) (देखें। छवि 5, 6)।

$$

$$\ frac {s_ {ij}} {s_i + s_j-s_ {ij}} \ cdot100 \%> T \%। $$$

चित्रा 5 - फ्रेम चौराहे क्षेत्र

द्वार $$$T$ यह दो तख्ते और किनारों में वांछित अपेक्षित संख्या और किनारों और चक्रों के बीच एक अनुमानित परिवर्तन के लिए खोज करने के कार्य की सशर्तता के बीच संतुलन बनाकर एक परियोजनागत परिवर्तन की खोज करने के लिए उपयोग की जाने वाली विधि के आधार पर चुना जाता है।

चित्रा 6 - ग्राफ निर्माण का एक उदाहरण

नतीजतन, प्रक्षेप्य परिवर्तनों का ग्राफ $$$जी$ इस प्रकार दिखता है (चित्र 7 देखें):

चित्रा 7 - प्रक्षेप्य परिवर्तनों का अंतिम ग्राफ

यदि ग्राफ़ में चक्र शामिल हैं (चित्र 6 देखें), तो निरर्थक जानकारी इसमें दिखाई देती है, जिसमें विरोधाभास भी हो सकते हैं। यह निर्धारित करने के लिए कि किस प्रकार के विरोधाभास उत्पन्न हो सकते हैं, हम ग्राफ के एक निश्चित चक्र पर विचार करते हैं (चित्र 8 देखें)। इस चक्र को कोने से मिलकर बनाते हैं $$$1,2, ..., k$ । फिर हमारे पास इस चक्र के साथ प्रक्षेप्य मैपिंग की एक श्रृंखला है:

$$

$$H_ {12}: 1 \ to2, \\ H_ {23}: 2 \ _ to3, \\ ... \\ H_ {k1}: k \ to1। \\ $$$

इन मैपिंग की संरचना पर विचार करें:

$$

$$H_ {k1} * ... * H_ {23} * H_ {12} = H_ {11] $ ह$$

चित्र 8 - ग्राफ लूप

प्रदर्शन $$$H_ {11}$ एक समान मैपिंग होनी चाहिए। यदि मानचित्रण $$$H_ {11}$ समान से भिन्न, तो हम कहते हैं कि एक विरोधाभास प्राप्त होता है। इस मामले में, चक्र असंगत कहा जाएगा। इस प्रकार, प्रक्षेप्य मैपिंग के ग्राफ में असंगत चक्रों की उपस्थिति के साथ एक समस्या जुड़ी हुई है, क्योंकि प्रक्षेप्य परिवर्तनों के ग्राफ में विरोधाभासों को पूर्ण रूप से स्पष्ट किया गया है $$$जी$ अनुपस्थित होना चाहिए।

हम प्रोजेक्टिव ट्रांसफॉर्मेशन के ग्राफ के लिए मैचिंग एल्गोरिदम का वर्णन करते हैं, अर्थात्, इसके सभी चक्रों का मिलान करते हैं। संचयी त्रुटि के चक्र में चक्र के बंद होने पर होने वाली संचयी त्रुटि को कम करने के लिए, SLAM की अवधारणा (साथ ही स्थानीयकरण और मानचित्रण) विधि का उपयोग किया जाता है [9]।

प्रत्येक फ्रेम में सामान्य स्थिति में चार बिंदुओं पर विचार करें। फ्रेम से गिने जाने दें $$$1$ को $$$एन$ फिर चार बिंदुओं को निरूपित किया जाएगा $$$p_i$ जहाँ $$$1 \ le i \ le n$ । चार अंक का ऐसा सेट $$$पी$ एक एकल समन्वय प्रणाली को विशिष्ट रूप से परिभाषित करता है, क्योंकि किसी भी दो फ्रेम के लिए आप विशिष्ट रूप से एक प्रक्षेप्य मानचित्र पा सकते हैं जो एक चार बिंदुओं को दूसरे में अनुवाद करता है।

चार अंकों के सेट को खोजने के लिए जो वांछित सुसंगत ग्राफ का निर्धारण करेगा, आप कम से कम वर्गों की विधि का उपयोग कर सकते हैं। हम कार्यात्मक को कम करते हैं, जो सेट से सभी किनारों पर योग के बराबर है $$$ई$ स्तंभ $$$जी$ , और प्रत्येक किनारे के लिए - मात्राओं के चार बिंदुओं का योग $$$\ ऊर्ध्वाधर H_ {ij} p_ {is} -p_ {js} \ Vert$ । एक समाधान खोजने के लिए जो कार्यात्मक को कम करता है, यह संयुग्म ढाल विधि का उपयोग करने का प्रस्ताव है।

$$

$$\ sum _ {(i, j) \ _ E} \ sum_ {s = 1} ^ 4 \ Vert H_ {ij} p_ {is} -p_ {js} \ Vert \ to \ min_ {P}। $$$

प्रत्येक फ्रेम के लिए एक अनुमानित परिवर्तन होने के बाद, जो विशिष्ट रूप से नक्शे पर फ्रेम की स्थिति निर्धारित करता है, आप एक पैनोरमा छवि प्राप्त कर सकते हैं।

प्रायोगिक परिणाम

आज तक, ग्लूइंग छवियों की गुणवत्ता का आकलन करने के लिए कोई सार्वभौमिक तरीका नहीं है। एक नियम के रूप में, ग्लूइंग की गुणवत्ता का मूल्यांकन विशेषज्ञों द्वारा संगठनात्मक रूप से किया जाता है, लेकिन वैज्ञानिक अनुसंधान के लिए यह मात्रात्मक, स्वचालित रूप से गणना किए गए गुणवत्ता मूल्यांकन के लिए बेहतर है।

मानव विशेषज्ञ की भागीदारी के बिना ग्लूइंग की गुणवत्ता का मूल्यांकन करने के लिए, एक मानक ग्लूइंग होना आवश्यक है जिसके साथ परिणाम की तुलना की जाएगी। जिस दृष्टिकोण में ग्लूइंग को एक वास्तविक वीडियो से प्राप्त किया गया था, और पूरे ऑब्जेक्ट की तस्वीर को मानक ग्लूइंग माना जाता है, एक जोड़तोड़ का उपयोग करके अच्छी प्रयोगशाला स्थितियों की आवश्यकता होती है जो अंतरिक्ष में कैमरे की स्थिति को शारीरिक रूप से ठीक करने (सेंसर का उपयोग करने में सक्षम) होती है। हालांकि, यह गुणवत्ता मूल्यांकन विधि महंगा है।

[१०] में, उच्च-रिज़ॉल्यूशन वाली छवि का उपयोग करते हुए, पैनोरमा ग्लूइंग की गुणवत्ता को निर्धारित करने के लिए, वे एक कृत्रिम वीडियो बनाने का प्रस्ताव रखते हैं, जिसके फ्रेम मूल छवि के अनुमानित विकृत क्षेत्र होते हैं (चित्र 9 देखें)। पहले को छोड़कर सभी फ्रेम को प्रोजेक्टली रूप से विकृत किया गया है, क्योंकि सिंगल फ्रेम के सापेक्ष एक एकल समन्वय प्रणाली निर्दिष्ट है। इसके अलावा, कृत्रिम वीडियो के इन फ़्रेमों को एक पैनोरमा में सरेस से जोड़ा हुआ है, जो मूल संदर्भ छवि के साथ तुलना में है। इस दृष्टिकोण के साथ, प्राप्त और संदर्भ की चमक की चमक में अंतर की समस्याओं से बचने के लिए, साथ ही दृश्य की विकृति भी संभव है।

चित्रा 9 - मूल छवि और कृत्रिम वीडियो के फ्रेम

ग्राफ पर सहमत होने से पहले और बाद में ग्लूइंग की गुणवत्ता की तुलना करने के लिए, 50 छवियों का एक परीक्षण नमूना तैयार किया गया था, मूल चित्रों से 50 कृत्रिम वीडियो बनाए गए थे, जिसके अनुसार ग्लूइंग प्रदर्शन किया गया था (चित्र 10 देखें)। सभी प्राप्त पैनोरमा स्रोत छवियों के आकार में कम हो गए थे, और प्रत्येक पैनोरमा के लिए त्रुटि माप की गणना की गई थी:

$$

$$RMSE = \ sqrt {\ frac {\ _ sum_ {i = 1} ^ h \ sum_ {j = 1} ^ w ((I_ {ij} ^ R- \ hat {I_ {ij} ^ R}) 2+ (I_ {ij} ^ G- \ hat {I_ {ij} ^ G}) ^ 2+ (I_ {ij} ^ B- \ hat {I_ {ij} ^ B}) ^ 2)} {h \ _ \ _ w \ cdot 3}},$$

जहाँ $$$ज$ - छवि ऊंचाई $$$w$ - छवि चौड़ाई $$$I_ {ij} ^ R$ - पिक्सेल की तीव्रता $$$(i, j)$ लाल चैनल पर परिणामी चित्रमाला ( $$$जी$ - ग्रीन चैनल $$$ब$ - ब्लू चैनल) $$$\ _ {I_ {ij} ^ R}$ - पिक्सेल की तीव्रता $$$(i, j)$ लाल चैनल पर स्रोत की छवि ( $$$जी$ - ग्रीन चैनल $$$ब$ - ब्लू चैनल)।

चित्र 10 - ग्राफ के समझौते से पहले पैनोरमा (RMSE = 35.3) और उसके बाद (RMSE = 14.2)

ग्राफिकल प्रतिनिधित्व में, परीक्षण सेट पर RMSE निम्नानुसार दिखता है (चित्र 11 देखें)।

चित्रा 11 - परीक्षण के नमूने पर आरएमएसई। ग्राफ़ मिलान तक RMSE के बढ़ते क्रम में फ़्रेम को क्रमबद्ध किया जाता है।

मिलान करने से पहले रूट माध्य वर्ग त्रुटि के प्रत्येक रूट मूल्य के अनुसार, ग्राफ मिलान के बाद रूट माध्य वर्ग त्रुटि के मूल मान प्रस्तुत किए जाते हैं। ग्राफ़ के मिलान के बाद परीक्षण नमूना पर औसत आरएमएसई मूल्य 35.5 है , ग्राफ मिलान होने के बाद - 13.9 ।

निष्कर्ष

ग्लूइंग की गुणवत्ता की तुलना के परिणामों के आधार पर, हम यह निष्कर्ष निकाल सकते हैं कि ग्राफ के मिलान से संचित त्रुटि में काफी कमी आती है और ग्लूइंग पैनोरमा की गुणवत्ता में सुधार होता है। हालांकि, यह ध्यान में रखा जाना चाहिए कि ग्राफ मिलान केवल तभी मदद कर सकता है जब प्रोजेक्टिव परिवर्तनों के ग्राफ में चक्र हो। प्रक्षेप्य परिवर्तनों के ग्राफ में चक्रों की अनुपस्थिति में, ग्राफ मिलान मॉड्यूल पैनोरमा ग्लूइंग की गुणवत्ता को प्रभावित नहीं करता है।

यह ध्यान देने योग्य है कि ग्राफ मिलान का यह तरीका प्रोजेक्टेबल ट्रांसफ़ॉर्मेशन के सेट के साथ काम करता है, और जिस तरह से ये प्रॉजेक्टिव ट्रांसफॉर्मेशन पाए गए, वह इस तरीके के लिए कोई भूमिका नहीं निभाता है।

भविष्य में, यह एल्गोरिथ्म की जटिलता को अनुकूलित करने की योजना है, क्योंकि यह केवल "ऑफ़लाइन" उपयोगकर्ता मामलों पर लागू होता है।

साहित्य

[१] गुबीन ए। यू।, कोविन आर.वी. चित्रमाला में अतिव्यापी चित्रों को चमकाने के कार्य के लिए एक सरल तरीका // एक्स इंटरनेशनल साइंटिफिक एंड प्रैक्टिकल कॉन्फ्रेंस ऑफ स्टूडेंट्स, ग्रेजुएट स्टूडेंट्स और यंग साइंटिस्ट्स "यूथ एंड मॉडर्न इंफॉर्मेशन टेक्नोलॉजीज", 79-81, 2012।
[२] ड्रममंड टी।, रोस्टन ई। मशीन लर्निंग फॉर हाई-स्पीड कॉर्नर डिटेक्शन // ९वीं यूरोपियन कॉन्फ्रेंस ऑन कंप्यूटर विजन (ईसीसीवी), पी। 430-443, 2006।
[३] लोव डीजी डिस्टिक्टिव इमेज फीचर्स फ्रॉम स्केल-इनवेरिएंट कीप्वाइंट्स // इंटरनेशनल जर्नल ऑफ कंप्यूटर विजन, पी। 91-110, 2004।
[४] बे एच।, ए.एस. ए।, युटेलेरर्स टी।, वान गूल एल। सरफ: गतिमान मजबूत विशेषताएं // कंप्यूटर विजन और इमेज अंडरस्टैंडिंग, वी। 110, पी। 346-359, 2008।
[५] मार्टिन ए। फिशर, रॉबर्ट सी। बोलेस। यादृच्छिक नमूना सर्वसम्मति: छवि विश्लेषण और स्वचालित कार्टोग्राफी // कॉम के अनुप्रयोगों के साथ मॉडल फिटिंग के लिए एक प्रतिमान। ACM के, वी। 24, पी। 381-395, 1981।
[६] अर्लाजारोव वी। एल।, बुलटोव केबी, चेर्नोव टी.एस. वीडियो डेटा के बड़े संस्करणों में फ़ज़ी छवि खोज की विधि // उच्च उपलब्धता सिस्टम, वॉल्यूम 12, नंबर 1, पी। 53-58, 2016।
[Uk] स्कोरुकीना एन। एट अल। स्नैपस्क्रीन: टीवी-स्ट्रीम फ्रेम सर्च विथ प्रॉजेक्टली डिस्टर्ब और नॉइज़ क्वेरी // मशीन विजन (आईसीएमवी) पर 9 वां इंटरनेशनल कॉइनफेरेंस - प्रोक। SPIE V. 10341, पी। 103410Y, 2017।
[[] बोउगेट जेवाई पिरामिड एफ़ाइन ऑफ़ लुइन कानास कानाडे फ़ीचर ट्रैकर: डेस्ट्रॉज़ेशन ऑफ़ द एल्गोरिथम // इंटेल कॉर्पोरेशन, वी। ५, पी। 1-10, 2001।
[९] न्यूमैन पी।, हो केएल-लूप नेत्रहीन मुख्य विशेषताएं के साथ समापन // आईईईई प्रोक। रोबोटिक्स और स्वचालन पर अंतर्राष्ट्रीय सम्मेलन, पी। 635-642, 2005।
[१०] पलानन पी।, कामरीनैन जेके, कालवीनेन एच। कृत्रिम वीडियो के साथ छवि आधारित मात्रात्मक मोज़ेक मूल्यांकन // छवि विश्लेषण पर स्कैंडिनेवियाई सम्मेलन, स्प्रिंगर (बर्लिन, हीडलबर्ग), पी। 470-479, 2009।