संवर्धित वास्तविकता मार्कर बनाने के लिए SURF का उपयोग करना

संवर्धित वास्तविकता मार्कर बनाने के लिए SURF का उपयोग करना

यह संवर्धित वास्तविकता के विषय का एक निरंतरता है। यहाँ पहला भाग है । Inco उपयोगकर्ता द्वारा विषय की चर्चा में, उन्होंने संवर्धित वास्तविकता मार्कर वीडियो को पहचानने की दिशा में अपने काम के दिलचस्प परिणाम दिखाए। उस समय, कोई समय नहीं था, लेकिन कुछ महीनों के बाद मैं सोच रहा था कि यह सब कैसे काम करता है, दृष्टिकोण कितना स्थिर था, और मुफ्त घंटे थे। मैं आपको इस विचार के अपने कार्यान्वयन के लिए प्रस्तुत करता हूं, जिसके परिणामस्वरूप इस घटना की रिपोर्ट आई।


इस विषय में, मेरी रिपोर्ट के संक्षिप्त सारांश और बैठक में पर्याप्त समय नहीं होने की व्याख्या पर ध्यान दिया जाएगा: कार्यक्रम का स्रोत कोड। जो लोग प्रस्तुति को पूरी तरह से देखना और सुनना चाहते हैं, वे स्क्रेंकास्ट का उपयोग कर सकते हैं:

संवर्धित वास्तविकता क्या है?

सबसे पहले, मैं इस बात पर ध्यान देना चाहूंगा कि संवर्धित वास्तविकता क्या है।
हमारी वास्तविकता मौजूद है - हम अपनी आँखों से क्या देखते हैं, हम इसकी व्याख्या कैसे करते हैं, और यह वास्तव में कैसा है। इसके अलावा, आभासी वास्तविकता है। यह वह है जो उत्पन्न होता है, जो मौजूद नहीं है, वे आपको क्या दिखाना चाहते हैं।
यहाँ इन दो वास्तविकताओं के जंक्शन पर संवर्धित वास्तविकता है। यह हमारी वास्तविकता की ओर अधिक स्थानांतरित हो सकता है, फिर यह संवर्धित वास्तविकता होगी, या यह आभासीता की ओर अधिक स्थानांतरित हो सकता है - फिर यह हमारी वास्तविकता से पूरक होगा।

अब संवर्धित वास्तविकता क्या है?

अब इसका उपयोग किया जाता है:

• प्रस्तुतियों और प्रदर्शनों के लिए। पहली तस्वीर, वहाँ वे बांध दिखाते हैं, यह ऑटोकैड को समर्पित सम्मेलन से एक तस्वीर है
• इंटरफेस। नए इंटरफेस जिन्हें प्रोजेक्ट करने की आवश्यकता नहीं है। उसने अपना हाथ, या कुछ और (कागज की एक शीट) कैमरे के नीचे रखा, और आपके पास एक इंटरफ़ेस है जिसे आप ऑब्जेक्ट को नियंत्रित कर सकते हैं।
• समाजीकरण तक पहुंच। वह स्थिति जब आप परिदृश्य के माध्यम से अपना फोन चला रहे हों, और आपको इस परिदृश्य के बारे में सूचित किया जाए।

संवर्धित वास्तविकता कैसे काम करती है?

सबसे पहले, हमारे पास एक छवि है। छवि क्यों है - क्योंकि एक व्यक्ति अपनी आंखों की रोशनी, यानी कैमरे से छवि के साथ 70% पर जानकारी प्राप्त करता है। इसके अलावा, विभिन्न सेंसर, जीपीएस, गायरोस्कोप, एक्सेलेरोमीटर, कम्पास - ये सभी डिवाइस, इसकी अभिविन्यास और अंतरिक्ष में स्थिति की जानकारी देते हैं।
उदाहरण के लिए, यह जानते हुए कि आप कहां हैं और आपका फोन कहां दिख रहा है, हम आपको बता सकते हैं कि आपकी संभावना क्या है, आप क्या देखते हैं और तदनुसार, इस जानकारी का उपयोग करते हुए, आप जो देखते हैं, उसके बारे में संवर्धित वास्तविकता प्राप्त करते हैं, जो हम मानते हैं। आप देखिए। नए से उदाहरण के लिए:
अगला, इमेज प्रोसेसिंग, सेंसर की जानकारी प्राप्त करना। वास्तव में, सब कुछ इतना सरल नहीं है। जो छवि हमें कैमरे से मिलती है, उसे अक्सर प्रारंभिक प्रसंस्करण की आवश्यकता होती है। सेंसर हमें जो डेटा देते हैं, वह सही नहीं है, अगर हम एक ही एक्सेलेरोमीटर लेते हैं, तो यह बेशर्मी से, उच्च आवृत्तियों पर, यानी यह लगातार हमें कुछ गलत डेटा देता है जो हम चाहते थे। जीपीएस की तरह, इसमें सटीकता की सीमा है, जो कोई भी मोबाइल फोन के साथ जीपीएस के साथ काम करता है वह जानता है। जाइरोस्कोप - हर कोई कल्पना करता है कि यह जेट विमान की तरह एक जाइरोस्कोप है, जो तीन विमानों में एक स्थिति देता है। हां, यह तीन विमानों में एक स्थिति देता है, लेकिन कम्पास और एक्सेलेरोमीटर के बिना, यह पर्याप्त सटीक नहीं होगा। फिर से, संवर्धित वास्तविकता केवल एक छवि नहीं है, संवर्धित वास्तविकता डिवाइस के साथ होने वाली हर चीज को ध्यान में रखती है।
वस्तु की पहचान। यह सवाल का जवाब है, लेकिन मैं क्या देखता हूं। यह सबसे दिलचस्प है, यहाँ इस सभी संवर्धित वास्तविकता में। इसके बिना, ये सभी शांत खिलौने हैं, अर्थात्, फोन को मोड़ो, और आपके पास एक कार या मोटरसाइकिल है जो बाईं ओर दाईं ओर ले जाएगी, और यदि हम पहचानते हैं:

• जहां हम हैं - हम यह निष्कर्ष निकाल सकते हैं कि दृष्टि का क्षेत्र;
• हम जो देखते हैं - हम किसी व्यक्ति को उस छवि में कुछ दिखा सकते हैं जो वह देखता है।

संवर्धित वास्तविकता की प्रमुख समस्या यह है कि पूरक क्या है। कुछ पहचानने की जरूरत है। ऐसा करने के लिए, गणित और कंप्यूटर विज्ञान में मान्यता एल्गोरिदम हैं। हमें एक छवि मिली, उत्कृष्ट। अब इमेज डेटाबेस में खोजने की कोशिश करते हैं। इसलिए हमने छवि की प्रतिलिपि बनाई, चलो एक तस्वीर कहते हैं, यह जानना दिलचस्प होगा कि यह किस तरह की तस्वीर है। यह भी एक मुश्किल काम है। सूचकांक कैसे बनाया जाए यह भी कंप्यूटर विज्ञान में एक बहुत ही दिलचस्प दिशा है, और स्वाभाविक रूप से, बहुत सारे कार्य हैं।
और अब वास्तव में इसे कैसे दिखाया जाए, उपयोगकर्ता को कैसे प्रस्तुत किया जाए ताकि उपयोगकर्ता इसे समझ सके? यह प्रयोज्यता का मुद्दा उठाता है।

किसी वस्तु की पहचान कैसे करें?

तो, हमें छवि मिल गई, और हमें ऑब्जेक्ट, मार्कर, अर्थात, कुछ के बारे में पहचानना होगा, जिसके बारे में हम पूरक होंगे। यह मार्करों के साथ या मार्करों के बिना किया जा सकता है। यहां, कोई भी बारकोड, कोई भी शिलालेख, क्यूआर कोड, यह एक मार्कर है। फोन इसे पहचान सकता है और उदाहरण के लिए, वास्तविकता को पूरक करता है, उदाहरण के लिए, साधारण पात्रों के लिए अनुवाद के साथ। उदाहरण के लिए, कार नंबर के लिए इंटरनेट से मिली कुछ जानकारी, घर का नंबर आदि के लिए।
ज्यामितीय आकृति। क्लासिक संवर्धित वास्तविकता मार्कर एक वर्ग है। क्यों? क्योंकि प्लेन बनाना और होमोग्राफी ढूंढना काफी सरल है। तीन निर्देशांक में स्थिति का पता लगाएं।
ग्राफिक मार्कर जिसे हम बनाते हैं, यदि इसका एक स्पष्ट आकार है, जैसे कि एक वर्ग, यह वास्तविकता से बाहर खड़ा है, क्रमशः, यह इंटीरियर में एक असंगति का परिचय देता है। यदि मार्कर वास्तविकता के करीब है, अगर यह इस वास्तविकता में प्रवेश करता है - यह बेहतर है। एक खींचे गए वर्ग की तुलना में एक तस्वीर बेहतर है; एक तस्वीर एक क्यूआर कोड से बेहतर है। अब देखो, मार्करों के बिना, हम अपने निर्देशांक, अंतरिक्ष में स्थिति और निश्चित रूप से एक ग्राफिक मार्कर प्राप्त कर सकते हैं, जो वास्तव में एक मार्कर नहीं हो सकता है। हम अपनी वास्तविकता का हिस्सा पहचान सकते हैं और फिर कह सकते हैं कि यह हमारा मार्कर था। यदि हम चाहते हैं कि लोग कुछ जानना चाहें तो फिर से, आप छवि को पूर्व-उत्पन्न कर सकते हैं। हम एक मार्कर बनाते हैं, उदाहरण के लिए, एक तस्वीर जिसे हम दीवार पर लटकाते हैं।

एक मार्कर क्या हो सकता है।

यदि हम संवर्धित वास्तविकता मार्करों को लेते हैं, तो कई प्रणालियां हैं जो नब्बे के दशक की शुरुआत से विकसित की गई हैं। यहाँ उस विषय की एक कड़ी दी गई है जहाँ मैंने संवर्धित वास्तविकता की विस्तार मार्कर तकनीकों का वर्णन किया है।
यहाँ Dürer द्वारा एक उत्कीर्णन है - एक राइनो। क्या यह एक मार्कर हो सकता है? हाँ यह कर सकते हैं।

तदनुसार, कैसे? लेकिन इसके लिए, वास्तव में, SURF विधि है। यहाँ एक महान लेख है जो बहुत अच्छी तरह से लगातार लक्षणों को खोजने के लिए तकनीक का वर्णन करता है।

यदि आप विधि को ध्यान से समझते हैं, तो मूल ( एक , दो , तीन ) प्रकाशनों को देखें, तो इस तरह के निष्कर्ष दिखाई देंगे (अधिक जानकारी के बारे में)

1. विधि में एक संवेदनशीलता है जिसे समायोजित करने की आवश्यकता है।
2. विधि झूठी सकारात्मकता देती है।
3. विधि का निर्माण करते समय, अनुभवजन्य गुणांक का उपयोग किया जाता है, जिसे किसी विशेष मामले के लिए समायोजन की भी आवश्यकता होती है।
4. इस पद्धति में समानांतरकरण और अनुकूलन के लिए आवश्यक शर्तें हैं।

और सबसे महत्वपूर्ण बात - एक तैयार आवेदन में संवर्धित वास्तविकता का उपयोग करने के लिए, यह मार्कर को पहचानने के लिए पर्याप्त नहीं है, आपको इसका पालन करने में सक्षम होना चाहिए, झूठी सकारात्मकता को ट्रैक करना और बुझाना, अंकों की विषम प्रकोप जो हमें दे सकते हैं यदि हम इन तरीकों को ट्रैक करने के लिए उपयोग करते हैं।

किसी फ़्रेम में किसी ऑब्जेक्ट के निर्देशांक कैसे ढूंढें और वीडियो ओवरले करें?

यहां एक त्रि-आयामी मामले के लिए गणित का वर्णन करने वाला एक लेख है (जब हम अपने मार्कर पर एक 3 डी मॉडल को ओवरले करने की कोशिश करते हैं)। द्वि-आयामी मामले के लिए, सब कुछ बहुत सरल है।
कई बिंदुओं (चार या अधिक) के लिए एफाइन ट्रांसफॉर्मेशन के मापदंडों को खोजना आवश्यक है, जो हमें बताएगा कि छवि को संपीड़ित, विस्तार, विकृत कैसे करें ताकि हमें मिले प्रमुख बिंदु मिलें।

यह वह जगह है जहाँ झूठी सकारात्मकता का खतरा है। यदि हम "गलत" अंक लेते हैं, तो परिणाम गलत रूप से पाया जाने वाला परिवर्तन मैट्रिक्स होगा, और हमारी छवि नहीं होगी। इससे कैसे निपटा जाए - कई दृष्टिकोण हैं, लेकिन वे सभी उबलते हैं कि टिप्पणियों में डेटा के असामान्य स्तर का निर्धारण कैसे किया जाए। यानी समूह और क्लस्टरिंग।

कोड

इस कार्यक्रम को लागू करने के लिए, हमें स्थापित OpenCV लाइब्रेरी की आवश्यकता है। यह कोड लिनक्स के लिए लिखा गया था, लेकिन इसे विज़ुअल सी। स्रोतों में संकलित किया जाना चाहिए: Opensurf.zip
संक्षेप में कोड क्या करता है:
यह स्रोत कोड OpenSurf परियोजना पर आधारित है, main.cpp फ़ाइल संशोधित है
असल में, मैं (main.cpp फ़ाइल के टुकड़े) पर क्या छूना चाहूंगा:

स्रोत डेटा:

//    ,    CvCapture* capture1 = cvCaptureFromFile("imgs/ribky.avi"); //     (capture),        CvCapture* capture = cvCaptureFromFile("imgs/child_book.avi"); //CvCapture* capture = cvCaptureFromCAM( CV_CAP_ANY ); //  -  // This is the reference object we wish to find in video frame IplImage *img = cvLoadImage("imgs/marker6.png"); 

हमें मुख्य बिंदु मिलते हैं:

 //   img = cvQueryFrame(capture); frm_id++; //    surfDetDes(img, ipts, false, 4, 4, 2, 0.001f); //      getMatches(ipts,ref_ipts,matches); 

फ़्रेम का निर्माण और पहले चालीस फ़्रेमों पर हरे रंग के डॉट्स का ड्राइंग काफी पारदर्शी है, इसलिए हम सीधे वीडियो से फ़्रेम के ओवरले पर जाते हैं:

 //      frame = cvQueryFrame(capture1); //     pt1.resize(n); pt2.resize(n); //      for(int i = 0; i < n; i++ ) { pt1[i] = cvPoint2D32f(matches[i].second.x, matches[i].second.y); pt2[i] = cvPoint2D32f(matches[i].first.x, matches[i].first.y); } _pt1 = cvMat(1, n, CV_32FC2, &pt1[0] ); _pt2 = cvMat(1, n, CV_32FC2, &pt2[0] ); //  (     ) cvFindHomography(&_pt1, &_pt2, &_h, CV_RANSAC, 5); //  cvZero(frame1); //  ,          0,255,0 cvWarpPerspective(frame, frame1, &_h, CV_WARP_FILL_OUTLIERS,cvScalar(0,255,0) ); //   0,255,0          //    = not (0,253..255,0) imagegr=cvCreateImage(cvGetSize(frame1), frame1->depth, 1); cvInRangeS(frame1, cvScalar(0, 253, 0), cvScalar(0, 255, 0), imagegr ); cvNot(imagegr, imagegr); //  ,     0,253... 255,0   cvCopy(frame1,img,imagegr); 

Google ग्लास के निर्माण और संवर्धित वास्तविकता में बढ़ती रुचि के प्रकाश में, प्रस्तुति का लक्ष्य विधि का वर्णन करना था, चर्चा के दौरान कई बार लोगों के विचारों और विचारों के साथ साझा करना।