एआर में टेट्रिस खेलें

यह मेरे लिए थोड़ा अजीब विचार था कि टेट्रिस खेलने के लिए घर एक अच्छा मंच हो सकता है। मेरे लिए दूर से सिर्फ एक इमारत इसके लिए उपयुक्त नहीं थी। परिणाम को वीडियो में देखा जा सकता है:


किसी भी तैयार समाधान का उपयोग किए बिना परियोजना को काफी निम्न स्तर पर लागू किया जाता है।

स्रोत कोड

बहुधा वे संवर्धित वास्तविकता को लागू करने के लिए 2 विकल्पों का उपयोग करते हैं:

• मार्कर रहित, अर्थात कैमरे की स्थिति उसके वीडियो स्ट्रीम के प्रमुख बिंदुओं के आंदोलन से निर्धारित होती है;
• एक मार्कर के रूप में छवि जिसमें कैमरे की स्थिति है।

इन कार्यान्वयनों को विशेष तैयारी या विशेष परिस्थितियों की आवश्यकता नहीं होती है।

एक अन्य कार्यान्वयन विकल्प है - एक विशिष्ट वस्तु को पहचानने और एक मार्कर के रूप में उपयोग करने के लिए। इसके लिए कम से कम इसकी उपस्थिति की आवश्यकता होती है, लेकिन यह इसे नेत्रहीन रूप से नियंत्रित करना संभव बनाता है। ऐसी मान्यता के तरीकों में से एक किनारों द्वारा किसी वस्तु का पता लगाना है। इसकी सीमाएँ हैं - मार्कर ऑब्जेक्ट में किनारों को स्पष्ट रूप से परिभाषित किया जाना चाहिए, अर्थात्। वस्तु सबसे अधिक ठोस होनी चाहिए।

या किनारों को स्पष्ट रूप से चित्रित किया जाना चाहिए, जैसे कि इस इमारत की रोशनी:



यह देखा जा सकता है कि बैकलाइट को आसानी से छवि में अलग किया जा सकता है और इसका पता लगाने के लिए उपयोग किया जा सकता है।

कार्यान्वयन

Qt पर। यह ढांचा आपको विभिन्न प्लेटफार्मों पर और एक ही समय में C ++ में काम करने की अनुमति देता है। चूंकि प्रदर्शन हमारे लिए महत्वपूर्ण है, इसलिए पेशेवरों को एक स्पष्ट पसंद लगता है।

हालाँकि Qt एंड्रॉइड के साथ बहुत अच्छा काम नहीं करता था (लंबे लॉन्च, डिबगिंग को अक्षम किया गया था), लेकिन यह डेस्कटॉप पर एल्गोरिथ्म को डीबग करने की क्षमता द्वारा सभी को समतल कर दिया गया था।

क्यूटी में एम्बेडेड कच्चे ओपनगैल पर तीन आयामी ग्राफिक्स की कल्पना की गई थी।

कैमरे के साथ काम क्यूटी के माध्यम से किया गया था। डिबगिंग के लिए एक वीडियो रिकॉर्ड किया गया था, और यह एक फ़ाइल से वीडियो स्ट्रीम के साथ कैमरे के वीडियो स्ट्रीम को बदलने के लिए पर्याप्त सुविधाजनक था।

आउटपुट qml टूल के माध्यम से किया गया था। दोस्तों को बनाने के लिए qml और OpenGL समस्या के बिना नहीं था, लेकिन हम इस पर ध्यान नहीं देंगे।

छवि प्रसंस्करण के लिए, OpenCV पुस्तकालय जुड़ा हुआ है।

ट्रैकिंग एल्गोरिथम

अब चलो सबसे दिलचस्प भाग पर चलते हैं - इसके किनारों के साथ किसी वस्तु को ट्रैक करने के लिए एल्गोरिथ्म।
और छवि में किनारों को उजागर करके शुरू करें। हमारे मामले में सभी किनारों पर सीधी रेखाओं का रूप है, इसलिए पहला विचार जो मन में आता है वह है लाइन डिटेक्टर का उपयोग करना। लाइन ट्रांसफॉर्मर के रूप में पर्याप्त ट्रांसफॉर्मेशन का इस्तेमाल किया जा सकता है। हालाँकि, यह तरीका मुझे बहुत सही नहीं लगता, क्योंकि Hough का रूपांतरण काफी महंगा है, और यह डिटेक्टर बहुत विश्वसनीय नहीं है (यह व्यक्तिपरक है, शायद सब कुछ कार्य पर निर्भर करता है)।
इसके बजाय, चलो एक अलग, अधिक सामान्य तरीके से चलते हैं। हम इस बात पर ध्यान नहीं देंगे कि हमारी लाइनें सीधी हैं, लेकिन हम बस एक द्विआधारी छवि पर काम करेंगे। किनारों की उपस्थिति को द्विआधारी छवि में एन्कोड किया जाएगा। यानी शून्य के मान वाला पिक्सेल का अर्थ है कि इस स्थान पर एक किनारे है, पिक्सेल का मूल्य शून्य से अधिक है - कोई किनारा नहीं है। कैनी सीमा डिटेक्टर का उपयोग करके या एक साधारण सीमा परिवर्तन का उपयोग करके ऐसी छवि प्राप्त की जा सकती है। इन एल्गोरिदम को ओपनसीवी में पाया जा सकता है।

OpenCV का अब हमारे लिए एक और उपयोगी कार्य है - दूरीट्रांसफॉर्म , जो इनपुट पर एक द्विआधारी छवि लेता है और आउटपुट पर एक छवि देता है, जिसमें पिक्सल में निकटतम शून्य पिक्सेल की दूरी एन्कोडेड है।

अब मान लें कि हमारे पास पहले से ही अच्छा अनुमान है कि हमारा मॉडल कहां होना चाहिए। अगला, हम त्रुटि फ़ंक्शन का वर्णन करते हैं, जो वर्णन करता है कि परिणामी छवि में किनारों के साथ हमारे सन्निकटन के किनारों को कितनी दूर तक संयोग नहीं है। दूरी से छवि का उपयोग कर ट्रांसफॉर्मर हम पहले से ही ऐसा करने में सक्षम हैं। और फिर हम फ़ंक्शन ऑप्टिमाइज़ेशन एल्गोरिथ्म चलाते हैं, जिससे अंतरिक्ष में ऑब्जेक्ट की स्थिति का केवल हमारा अनुमान बदल जाता है। परिणामस्वरूप, हमारे सन्निकटन को वस्तु की वास्तविक स्थिति का सही-सही वर्णन करना चाहिए।
नतीजतन, एल्गोरिथ्म को दो चरणों में विभाजित किया जा सकता है:

1. इमेज प्रीप्रोसेसिंग - बाइनराइजेशन, फ़िल्टरिंग और डिस्ट्रेसट्रांसफ्रेम फ़ंक्शन का उपयोग।
2. ट्रैकिंग - त्रुटि फ़ंक्शन का अनुकूलन।

छवि प्रीप्रोसेसिंग

इस बिंदु पर, आपको छवि में किनारों को उजागर करने की आवश्यकता है। आप कैनी सीमा डिटेक्टर का उपयोग कर सकते हैं, लेकिन हमारे मामले में सामान्य थ्रेशोल्ड रूपांतरण या इसके अनुकूली संस्करण बेहतर काम करता है (ओपनसीवी में ये थ्रेशोल्ड या एडेप्टिवट्रेशोल्ड फ़ंक्शन हैं)। यह स्पष्ट है कि ऐसी छवि पर शोर होगा, इसलिए फ़िल्टरिंग की आवश्यकता है। चलो इसे निम्नानुसार करते हैं - OpenCV फ़ंक्शन FindCountours का उपयोग करके समोच्च का चयन करें और उन खंडों को हटा दें जो बहुत छोटे हैं या एक पंक्ति की तरह पर्याप्त नहीं हैं।

प्रसंस्करण परिणाम छवि में देखा जा सकता है:



लगातार: मूल छवि -> थ्रेशोल्ड परिवर्तन के बाद -> छानने के बाद।

यह छवि पहले से ही स्पष्ट रूप से हमें बताती है कि सही किनारा कहां है और कहां नहीं। उसके बाद, हम दूरस्थ परिवहन फ़ंक्शन का उपयोग करते हैं, और इसके परिणामस्वरूप, हमें इस बात की जानकारी होगी कि किनारे से प्रत्येक बिंदु कितना दूर है। परिणामस्वरूप छवि के रूप में चिह्नित किया जाता है ।

सामान्यीकृत और दृश्यमान होने पर यह कैसा दिखता है:



अगला, हमें कुछ गणितीय उपकरणों की आवश्यकता होगी।

फंक्शन ऑप्टिमाइज़ेशन एल्गोरिथम

फ़ंक्शन ऑप्टिमाइज़ेशन एक फ़ंक्शन का न्यूनतम पता लगाने का कार्य है।

यदि हम समीकरणों के एक रैखिक प्रणाली के साथ काम कर रहे हैं, तो न्यूनतम ढूंढना काफी सरल है। मैट्रिक्स रूप में समीकरणों की प्रणाली की कल्पना करें: , तो हमारे समाधान: । यदि हमारे पास समीकरणों की एक अतिव्यापी प्रणाली है, तो हम कम से कम वर्गों की विधि का उपयोग कर सकते हैं: ।

यदि हमारा कार्य गैर-रैखिक है, तो कार्य अधिक जटिल हो जाता है। न्यूनतम खोजने के लिए, आप गॉस-न्यूटन एल्गोरिथ्म का उपयोग कर सकते हैं। एल्गोरिथ्म निम्नानुसार काम करता है:

1. यह माना जाता है कि हमारे पास समाधान का कुछ प्रारंभिक अनुमान है जिसे हम पुन: परिष्कृत करेंगे।
2. टेलर विस्तार का उपयोग करते हुए, हम वर्तमान सन्निकटन बिंदु पर अपने nonlinear फ़ंक्शन रैखिक को अनुमानित कर सकते हैं। हम प्राप्त करने वाले कम से कम वर्ग विधि द्वारा समीकरणों के परिणामी रैखिक प्रणाली को हल करते हैं । नतीजतन, परिणामस्वरूप समाधान एक समाधान नहीं होगा, लेकिन यह वर्तमान सन्निकटन की तुलना में करीब होगा।
3. वर्तमान सन्निकटन को बदलें निर्णय प्राप्त हुआ और चरण 2 पर जाएं। इसलिए जब तक अंतर न हो तब तक दोहराएं और एक निश्चित मूल्य से कम नहीं होगा।

आइए एल्गोरिथ्म का अधिक विस्तार से विश्लेषण करें।

चलो - काम कर समारोह, - फ़ंक्शन मानों का पहले से ज्ञात वेक्टर। समीकरण के सही समाधान के साथ निम्नलिखित कथन सत्य है । लेकिन हमारे पास इसका केवल अनुमान है । तब इस सन्निकटन से त्रुटि वेक्टर को निम्न के रूप में दर्शाया जाता है: । फ़ंक्शन की एक सामान्य त्रुटि होगी: । अब ऐसे खोज रहे हैं जिस पर न्यूनतम तक पहुंच जाएगा, हम समाधान का एक बेहतर अनुमान प्राप्त करेंगे ।
दृष्टिकोण से शुरू हम प्रत्येक पुनरावृत्ति पर प्राप्त करते हुए, इसे लगभग अनुमानित करेंगे । ऐसा करने के लिए, हमें फ़ंक्शन के लिए जैकोबी मैट्रिक्स की गणना करने के लिए प्रत्येक पुनरावृत्ति की आवश्यकता है वर्तमान सन्निकटन के लिए, हमारे फ़ंक्शन के डेरिवेटिव से मिलकर:

और निम्नलिखित सन्निकटन के रूप में दिया गया है: ।
अक्सर कार्यों का निर्माण इस तरह से किया जाता है कि हमारे पास बड़ी संख्या में डेटा एक-दूसरे से (केवल मूल्यों से) स्वतंत्र होते हैं )। नतीजतन, सामान्य जैकोबी मैट्रिक्स बहुत विरल है। गणना को अनुकूलित करने का एक तरीका है।
मान लीजिए कि एक सामान्य कार्य की गणना बिंदुओं के समूह से की जाती है। जथ बिंदु से हम प्राप्त करते हैं । जैकोबी मैट्रिक्स की गणना करने के बजाय पूरे समारोह के लिए, हम विशेष रूप से के लिए जैकोबी मैट्रिक्स की गणना करते हैं और इसे निरूपित करें: । फिर निम्न सन्निकटन इस प्रकार दिया जाएगा: । इसके अलावा, यह परिवर्तन आपको गणनाओं को समानांतर बनाने की अनुमति देता है।
ऐसा हो सकता है कि निम्नलिखित मूल्य से भी बड़ी गलती देगा । इस समस्या को हल करने के लिए, आप एल्गोरिथ्म के एक संशोधन का उपयोग कर सकते हैं - लेवेनबर्ग-मार्क्वार्ड एल्गोरिथ्म । मान जोड़ें हमारे सूत्र में: जहाँ एक इकाई मैट्रिक्स है। मूल्य निम्नानुसार चयनित:

• सबसे पहले, इसके कुछ छोटे मूल्य हैं (जैसे कि एल्गोरिथ्म परिवर्तित होता है);
• तो अगर एक त्रुटि के लिए से अधिक है , फिर मूल्य में वृद्धि और के लिए त्रुटि की गणना करने का प्रयास करें फिर से।

अधिक गैर-रैखिक फ़ंक्शन अधिक से अधिक मूल्य होना चाहिए । हालांकि अधिक से अधिक मूल्य , एल्गोरिथ्म धीमा कर देती है।

हम एल्गोरिथ्म को पूरा करते हैं जब से अलग है काफी छोटा और लेना एक समाधान के रूप में।

एल्गोरिथ्म काफी सार्वभौमिक है और विभिन्न कार्यों के लिए उपयोग किया जा सकता है।

गणितीय ट्रैकिंग मॉडल

चूंकि हम अंतरिक्ष में निर्देशांक के साथ काम कर रहे हैं, यह स्पष्ट है कि हमें इन निर्देशांक में हेरफेर करने में सक्षम होने की आवश्यकता है। मान लीजिए कि हमारे पास कुछ बिंदु हैं । और हमें उन्हें शून्य निर्देशांक के साथ बिंदु के चारों ओर घुमाने की आवश्यकता है। संभवतः रोटेशन मैट्रिक्स आर का उपयोग करने का सबसे आसान तरीका होगा, जो आवश्यक रोटेशन का वर्णन करता है: । यदि हमें अंकों को स्थानांतरित करने की आवश्यकता है, तो बस वांछित वेक्टर टी जोड़ें: ।
इस प्रकार, आप अंतरिक्ष में किसी वस्तु की स्थिति को मनमाने ढंग से बदल सकते हैं। यह पता चला है कि ऑब्जेक्ट के निर्देशांक तीन-आयामी मैट्रिक्स आर और तीन-आयामी वेक्टर टी द्वारा निर्धारित किए जाते हैं, अर्थात। 12 पैरामीटर। इसके अलावा, ये पैरामीटर एक-दूसरे से स्वतंत्र नहीं हैं, रोटेशन मैट्रिक्स के घटक कुछ शर्तों द्वारा परस्पर जुड़े हुए हैं। इसलिए, अनुकूलन में इन कार्यों का उपयोग करने के दृष्टिकोण से, ये पैरामीटर सबसे अच्छा समाधान नहीं हैं। स्वतंत्रता की डिग्री से अधिक पैरामीटर हैं, उनके बीच एक संबंध है। रोटेशन का एक और रूप है - रोड्रिग्स का रोटेशन फॉर्मूला । यह घुमाव तीन मापदंडों द्वारा निर्दिष्ट है, एक त्रि-आयामी वेक्टर का निर्माण करता है।

सामान्यीकृत वेक्टर घूर्णन अक्ष है, और इस वेक्टर की लंबाई इस अक्ष के चारों ओर रोटेशन कोण है।

हम वेक्टर v के रोटेशन फ़ंक्शन को सेट करते हैं: रोड्रिग सूत्र के आर मापदंडों का उपयोग करना। हमें निम्न सूत्र मिलते हैं: ।
और अंत में, हम 6-आयामी वेक्टर के साथ ऑब्जेक्ट की स्थिति के निर्देशांक सेट कर सकते हैं:
हमें निम्नलिखित सूत्र मिलते हैं: ।

पिनहोल कैमरा मॉडल

अब हम परियोजना में उपयोग किए जाने वाले कैमरे के एक साधारण गणितीय मॉडल का वर्णन करते हैं:

$$

$$\ vec {p} = \ start {pmatrix} p_x & p_y \ end {pmatrix} ^ T = कैम (\ vec {v}) = \ start {pmatrix} f_x \ frac [v_x} {v_z} + c_x & f_yy \ frac {v_y} {v_z} + c_y \ end {pmatrix} ^ T$$

जहाँ - पिक्सेल में फोकल दूरी; - ऑप्टिकल सेंटर पिक्सल में भी है। ये व्यक्तिगत कैमरा पैरामीटर हैं, जिन्हें कैमरा के आंतरिक पैरामीटर कहा जाता है। आमतौर पर, इन मापदंडों को पहले से जाना जाता है। इस परियोजना में, इन मापदंडों को आंख से चुना जाता है।

यह मॉडल कैमरों के लेंस विरूपण ( विरूपण ) को ध्यान में नहीं रखता है। मान लीजिए कि वे नहीं हैं।

इस मॉडल के साथ, हमें एक केंद्रीय प्रक्षेपण मिलता है, जिसके सभी बिंदु ऑप्टिकल केंद्र की ओर अधिक होते हैं, वे कैमरे से दूर होते हैं। इस प्रकार हम एक संकीर्ण रेलवे के प्रभाव को प्राप्त करते हैं:



अंतरिक्ष में, कैमरा z अक्ष के साथ गठबंधन किया जाता है, छवि विमान xy विमान के समानांतर होता है। हम अपने मॉडल को अंतरिक्ष में ले जाने की क्षमता के साथ पूरक हैं:

$$

$$\ vec {p} _j = कैम (सड़ांध (\ vec {x} _r, \ vec {v} _j) + \ vec {x} _t)$$

इस प्रकार, हमने एक मॉडल प्राप्त किया है जिसके साथ हम बीजीय रूप में कैमरे की छवि पर बाहरी दुनिया से (दुनिया के निर्देशांक से स्क्रीन तक) अंकों के प्रक्षेपण का अनुकरण कर सकते हैं। हमारे लिए, अंतरिक्ष में कैमरे की सापेक्ष स्थिति के पैरामीटर इस मॉडल में अज्ञात रहते हैं। । इन मापदंडों को कैमरे के बाहरी पैरामीटर कहा जाता है।

ट्रैकिंग

OpenCV उपकरणों के बिना पहले से ही लागू किया गया। सबसे पहले, हमें अपने अनुमानित समाधान के लिए त्रुटि फ़ंक्शन प्राप्त करने की आवश्यकता है, जिसे ऊपर वर्णित किया गया था। और हम इसकी गणना चरणों में लिखेंगे:

1. हम ट्रैकिंग मॉडल के ऐसे किनारों का चयन करते हैं जो वर्तमान सन्निकटन के मापदंडों के आधार पर दिखाई देते हैं।
2. हम गणनाओं को सरल बनाने के लिए किनारों के चयनित सेट को बिंदुओं के एक निश्चित सेट में बदल देते हैं। उदाहरण के लिए, यह संभव है कि प्रत्येक किनारे से बिंदुओं की nth संख्या को लिया जाए, या (अधिक सही विकल्प) ऐसी मात्रा का चयन किया जाए कि अंकों के बीच पिक्सेल में एक निश्चित दूरी हो। हम उन्हें नियंत्रण बिंदु (परियोजना में: controlPoint - नियंत्रण बिंदु और controlPixelDistance - पिक्सेल में समान निश्चित दूरी) कहेंगे।
3. हम छवि पर नियंत्रण बिंदुओं को प्रोजेक्ट करते हैं। दूरी के लिए धन्यवाद , हम छवि में किनारे तक नियंत्रण बिंदु के प्रक्षेपण की दूरी प्राप्त कर सकते हैं। आदर्श मामले में, सभी नियंत्रण बिंदुओं को छवि के किनारों पर सख्ती से झूठ बोलना चाहिए, अर्थात। रिब की दूरी शून्य होनी चाहिए। इसके आधार पर, हमें एक विशिष्ट नियंत्रण बिंदु के लिए एक त्रुटि मिलती है: ।
4. हमें निम्न त्रुटि फ़ंक्शन मिलते हैं:

अब यह ई का न्यूनतम पता लगाने के लिए बना हुआ है । ऐसा करने के लिए, हम ऊपर वर्णित लीवेनबर्ग-मार्क्वार्ड एल्गोरिथ्म का उपयोग करते हैं। जैसा कि हम पहले से ही जानते हैं, एल्गोरिथ्म को जैकोबी मैट्रिक्स की गणना की आवश्यकता होती है, अर्थात। व्युत्पन्न कार्य। आप व्युत्पन्न के संख्यात्मक खोज का उपयोग कर सकते हैं। आप इस एल्गोरिथ्म के लिए कुछ तैयार किए गए समाधानों का उपयोग भी कर सकते हैं। हालांकि, इस परियोजना में सब कुछ मैन्युअल रूप से लिखा गया था, इसलिए मैं संपूर्ण समाधान के पूर्ण निष्कर्ष का वर्णन करूंगा।

प्रत्येक नियंत्रण बिंदु के लिए, हम अन्य बिंदुओं से स्वतंत्र एक समीकरण प्राप्त करते हैं। यह पहले ही ऊपर वर्णित किया गया है कि इस मामले में विशेष रूप से प्रत्येक के लिए जैकोबी मैट्रिक्स की गणना करते हुए, एक दूसरे से स्वतंत्र रूप से इन समीकरणों पर विचार करना संभव है। हम किसी जटिल फ़ंक्शन के विभेदन के नियमों का उपयोग करते हुए इसका विश्लेषण करेंगे:



हम निरूपित करते हैं तो



यहाँ से:



आगे हम निरूपित करते हैं और तब:


दूरी की व्युत्पत्ति संख्यात्मक रूप से होती है। और कंप्यूटिंग वैक्टर के लिए और आपको रोड्रिग के रोटेशन फॉर्मूला के अनुसार डेरिवेटिव खोजने की आवश्यकता होगी। मुझे इस सूत्र से जैकबियन का प्रकाशन "3-डी रोटेशन के व्युत्पन्न के लिए एक कॉम्पैक्ट सूत्र मिला। "
घातीय निर्देशांक »गिलर्मो गैलेगो, एंथोनी येज़ी :

।
जहाँ R घूर्णन वेक्टर से रोड्रिग सूत्र द्वारा प्राप्त रोटेशन मैट्रिक्स है ; - जिस बिंदु को हम मोड़ रहे हैं; मैं पहचान मैट्रिक्स हूँ; । जैसा कि हम यहां देखते हैं, हमारे पास रोटेशन वेक्टर की लंबाई से एक विभाजन है, और यदि वेक्टर शून्य है, तो सूत्र अब काम नहीं करता है। यह शायद इस तथ्य के कारण है कि शून्य वेक्टर में रोटेशन अक्ष को परिभाषित नहीं किया गया है। यदि रोटेशन वेक्टर शून्य के बहुत करीब है, तो हम इस सूत्र का उपयोग करते हैं: ।
यह पेंट करने के लिए बनी हुई है और (यहां इंडेक्स जे को छोड़ा गया है):


इस प्रकार, हमें उस बिंदु के लिए जैकोबी मैट्रिक्स प्राप्त हुआ जिसकी हमें आवश्यकता है और ऊपर वर्णित अनुकूलन एल्गोरिथ्म के लिए इसका उपयोग कर सकते हैं।

इस एल्गोरिथ्म के साथ कई समस्याएं हैं। सबसे पहले, सटीकता। नतीजतन, कैमरे की वैश्विक स्थिति फ्रेम से फ्रेम तक थोड़ा कूदती है। आप इसे थोड़ा ठीक कर सकते हैं। हमारे पास एक पूर्व सूचना है कि कैमरा स्थिति फ्रेम से फ्रेम में नाटकीय रूप से नहीं बदल सकती है। और हम फ़ंक्शन में अतिरिक्त समीकरण जोड़कर इस घबराहट को कम कर सकते हैं।

यह याद रखना चाहिए कि विस्थापन वेक्टर टी हमारे मामले में कैमरे की वैश्विक स्थिति का समन्वय नहीं है। वैश्विक स्थिति शून्य निर्देशांक के साथ एक स्थानीय बिंदु है, इसलिए इसे निम्नानुसार प्राप्त किया जा सकता है:



हम प्रचलितगोप्लिशन में पिछले फ्रेम की स्थिति को याद करते हैं। अब पिछली स्थिति शून्य के करीब होनी चाहिए, अर्थात्। वेक्टर की लंबाई काफी छोटा होना चाहिए। यानी विसंगतियों के अन्य मूल्यों के अलावा, वेक्टर डी को भी कम से कम किया जाना चाहिए इस संशोधन के प्रभाव की डिग्री निर्धारित करने के लिए, हम मूल्य का परिचय देते हैं और वेक्टर d को जोड़कर गुणा करें : । यानी अनुकूलन एल्गोरिथ्म में, हम इसके अतिरिक्त वेक्टर d 'को कम से कम करते हैं। बेशक, इसके लिए इसके लिए जैकोबी मैट्रिक्स की गणना करना आवश्यक होगा, जो उसी तरह से कटौती की जाती है जैसे कि हमने पहले ही सामान्य त्रुटि फ़ंक्शन के लिए इसे ऊपर से घटा दिया था।

एल्गोरिथ्म की दूसरी समस्या यह है कि यह स्थानीय मिनीमा में फंस सकता है। अन्य कार्यों में, कण फिल्टर का उपयोग करके इस समस्या को हल किया जाता है । हमारे मामले में, यह विकल्प, सिद्धांत रूप में, पर्याप्त था।

किसी वस्तु पर नज़र रखने से बोनस

वस्तु की स्थिति और आकार को जानने के बाद, आप नेत्रहीन उन्हें हेरफेर कर सकते हैं, जिसे मैंने वीडियो पर प्रदर्शित करने का प्रयास किया। OpenGL शेड्स का उपयोग करके ऑब्जेक्ट को विकृत किया गया था। हमारे मॉडल की मदद से, मैंने छवि पर ऑब्जेक्ट के बिंदु का अनुमान लगाया, और इस तरह इस बिंदु का रंग प्राप्त किया। फिर आप इस बिंदु को स्थानांतरित कर सकते हैं, दिलचस्प प्रभाव प्राप्त कर सकते हैं - उदाहरण के लिए, मॉर्फिंग। हालांकि, किसी को यह याद रखना चाहिए कि बिंदु को स्थानांतरित करना, यह आवश्यक है कि कुछ अपनी जगह पर बना रहे, अन्यथा असंगतता ध्यान देने योग्य हो जाएगी। इसके अलावा, हमारे ट्रैकिंग की गुणवत्ता और वस्तु के आकार के आधार पर, हम संचित त्रुटियों के कारण विभिन्न अवांछनीय प्रभाव प्राप्त करेंगे, जो अभी भी होगा। बस इसे किसी तरह ध्यान में रखना होगा। ऊपर प्रस्तुत वीडियो में, मैं यह दिखाना चाहता था कि संवर्धित वास्तविकता को छवि पर आभासी वस्तुओं को थोपने की तुलना में थोड़ा व्यापक उपयोग किया जा सकता है।

वैसे, वुफोरिया एसडीके अपने आकार के अनुसार किसी वस्तु पर नज़र रखता है, हालांकि मुझे नहीं लगता कि इस परियोजना को इसके साथ लागू करना संभव होगा, क्योंकि यह कड़ाई से परिभाषित किनारों का उपयोग करना संभव नहीं है और इमारत के रोशन के साथ जुड़ा नहीं हो सकता है।