IOS और Android में AR

लेख, सबसे अधिक संभावना है, उन लोगों के लिए कुछ भी नया नहीं बताएगा जो लंबे समय से संवर्धित वास्तविकता चिप के साथ अनुप्रयोग विकसित कर रहे हैं, लेकिन यह संभवतः उन लोगों के लिए उपयोगी होगा जो इस विषय में रुचि रखते हैं और एआर आवेदन लिखने के करीब हैं।

प्रागितिहास

थोड़ा गीतात्मक विषयांतर - एआर क्या है और यह मोबाइल उपकरणों पर इतना लोकप्रिय क्यों हो गया है।

एक बार, शायद पिछली शताब्दी के शुरुआती 80 के दशक में, एक विमान के ललाट ग्लास पर सीधे जानकारी का अनुमान लगाने वाले प्रोजेक्टर को सैन्य लड़ाकू (उदाहरण के लिए, यक -41 - एक ऊर्ध्वाधर टेक-ऑफ फाइटर) में पेश किया जाने लगा। पायलट नवाचार से बहुत खुश थे, क्योंकि इस तरह से सबसे महत्वपूर्ण संकेतकों की निगरानी करना एनालॉग, यद्यपि डिजिटल, सेंसर पर एक नज़र डालने की तुलना में अधिक सुविधाजनक था।

यह विषय के लिए विशेष रूप से प्रासंगिक नहीं है, लेकिन हम निश्चित रूप से इस तथ्य के लिए जानते हैं (हमारे कर्मचारियों में से एक के पिता ने विकास में भाग लिया था) जो 1992 में पहले से ही, सोवियत सु -27 में प्रबुद्ध नोड्स के साथ कताई विमान के 3 डी मॉडल थे। ग्राफिक्स इंजन को 4 MHz प्रोसेसर (8086) पर असेंबलर में लिखा गया था। यह महत्वपूर्ण है कि अमेरिकियों ने 66 मेगाहर्ट्ज से 80486 पर एक क्रेक के साथ ऐसा ही किया था, इसलिए हमारा कोड हमेशा लिखना जानता था।

बाद में, वही ILS (विंडशील्ड इंडिकेटर्स) नागरिक उड्डयन में आया, और 1990 में बोइंग इंजीनियरों में से एक ने "ऑगमेंटेड रियलिटी" की अवधारणा को पेश किया।

बहुत बाद में, जब एक्सीलेरोमीटर और जाइरोस्कोप स्मार्टफोन में आए, उज्ज्वल सिर उन्हें कैमरे और ओपनजीएल ईएस से जोड़ने के विचार के साथ आया - यह उसी तरह से था जैसे कई गेम, नेविगेशन सहायक पैदा हुए थे, लेकिन इस दिशा में अधिकांश बजट मार्केटिंग और प्रचार अनुप्रयोगों पर खर्च किया जाता है। उदाहरण के लिए, किसी पत्रिका से घड़ी के लिए एक पेपर फ्रेम को काटकर, उसके हाथ पर रखकर और फोन के कैमरे के माध्यम से देखने पर, उपयोगकर्ता किसी भी ब्रांड की घड़ियों पर "कोशिश" कर सकता है जो पत्रिका का विज्ञापन करती हैं।

अब विशुद्ध रूप से तकनीकी हिस्सा, उन छोटी समस्याओं को जो प्रोग्रामर सबसे लोकप्रिय मोबाइल प्लेटफार्मों पर मुठभेड़ करेंगे।

आईओएस

IPhone और iPad के लिए iOS संस्करण बहुत समान हैं, हालांकि वे कई मायनों में भिन्न हैं। ये पैरामीटर, दुर्भाग्य से, इस तथ्य को शामिल करते हैं कि iPad OS पर कैमरे से छवि प्रदर्शित करने के लिए विंडो (UIImagePicker) एक नियमित UIView है, और iPhone OS पर यह एक UIViewController है। अगर आईपैड के मामले में सब कुछ स्पष्ट है - हम इसे किसी अन्य दृश्य की तरह प्रबंधित करते हैं और डालते हैं, तो आईफोन में सब कुछ थोड़ा और अधिक जटिल है - इमेजपिकर विंडो को मोडल होना चाहिए, और कैमरे के शीर्ष पर दृश्य जोड़ना केवल कैमरावेरवेल व्यू पैरामीटर का उपयोग करना संभव है। यानी कैमरे के शीर्ष पर कुछ 3D जोड़ने के लिए, आपको निम्न कार्य करने होंगे:

imagePicker .cameraOverlayView = [[ARView new] autorelease]; 

सबसे अधिक संभावना है, यह आईओएस 3 और नीचे से बचा हुआ एनाक्रोसिज्म है। इससे क्या असुविधा होती है? पूरी सूची के लिए:

• UIImagePickerController स्थिति पट्टी को छुपाता है। आपको एआर मोड से ट्रांज़िशन में इसे वापस करना होगा, उदाहरण के लिए, गेम मेनू। अन्यथा, ज्यादातर मामलों में, सभी दृश्य 20 पिक्सेल पर जाएंगे;
• कैमरे से छवि को पूर्ण स्क्रीन पर नहीं दिखाना संभव नहीं है, क्योंकि पूर्वावलोकन मानक UIImagePicker के तहत किया गया था, नीचे से नियंत्रण के साथ। और हमारे पास केवल दो विकल्प बचे हैं: नीचे से हमारे नियंत्रण बनाने के लिए, या छवि परिवर्तन के लिए एक मैट्रिक्स का उपयोग करने के लिए, इसमें मुख्य बात यह है कि छवि अनुपात को सही ढंग से संरक्षित करना;
• यदि आपको कैमरे की छवि बदलने की आवश्यकता है, उदाहरण के लिए, एक बटन के क्लिक पर एक स्थिर पृष्ठभूमि के लिए, तो यह कई कार्यों को जन्म देगा - आपको अपने दृश्य नियंत्रक में स्थिर पृष्ठभूमि के साथ दृश्य को लपेटने की आवश्यकता है, UIImagePickerCroller को हटाएं, ओवरले को जोड़ें जो आपके दृश्य में CameraOverlayView का उपयोग करें, और करें वर्तमान नया दृश्य नियंत्रक। यह भी आवश्यक है कि स्मृति में दृश्य को न खोएं और समय पर अनुरक्षण / रिलीज करें, या इसे हमेशा संपत्ति बनाए रखें। यह सभी के बजाय ImagePickerView.hidden = YES है; iPad के रूप में, प्लस प्रदर्शन में स्पष्ट रूप से धीमा है;
• आप बहुत अधिक UIButton का भी सामना कर सकते हैं। एआर / गैर-एआर मोड के स्विचिंग को लागू करने के लिए, कोड को व्यूकंट्रोलर उदाहरण में निष्पादित किया जाना था, लेकिन इसके लिए UIButton की अपनी योजना है। यदि UIButton में लक्ष्य के साथ एक क्लिक हैंडलर था - ViewController, तो व्यू व्यू कंट्रोलर से हटाए जाने के बाद और imagePicker.cameraOverlayView में रखा गया, तो यह हैंडलर काम करना बंद कर देता है। जाहिर तौर पर UIButton इस बात से अवगत है कि लक्ष्य ViewController अब इस तथ्य के कारण दिखाई नहीं दे रहा है कि छवि हर चीज के ऊपर एक पिसर है और इसे संदेश नहीं भेजती है। मुझे आंतरिक दृश्य को व्यू कंट्रोलर को पॉइंटर देना था और एक मध्यवर्ती कोड जोड़ना था जो पहले से ही व्यू कंट्रोलर को सीधे खींच लेगा।

सामान्य तौर पर, सभी मानक कक्षाओं के दृश्य होने पर बैसाखी का एक गुच्छा हमेशा बेहतर होता है, और केवल उपयोगकर्ता दृश्य नियंत्रकों को नियंत्रित करता है।

एंड्रॉयड

एंड्रॉइड के साथ, चीजें थोड़ी अलग हैं।

कैमरा पूर्वावलोकन, या बल्कि सरफेस व्यू, को किसी भी आकार के दृश्य में रखा जा सकता है, और हर चीज के शीर्ष पर किसी प्रकार की मोडल गतिविधि बनाने की कोई आवश्यकता नहीं है। लेकिन विशिष्ट इशारों के बिना ऐसा नहीं कर सकता था। यह पता चला है कि हमें स्वयं एक उपयुक्त पूर्वावलोकन आकार (आकार की सूची कभी-कभी बड़ी होती है, और विभिन्न निर्माताओं के उपकरणों पर अलग-अलग हो सकती है, लेकिन क्या है, यहां तक ​​कि एक निर्माता से भी) मिल सकता है। इष्टतम रिज़ॉल्यूशन और अनुपात की तलाश में, हमें सभी आकारों को संभावित विकल्पों से अलग करना होगा और उनकी तुलना दृश्य के आकार और अनुपात से करनी होगी, जहाँ हम इस पूर्वावलोकन को रनटाइम में रखना चाहते हैं। पूर्वावलोकन का आकार हमेशा SurfaceView के आकार के अनुरूप नहीं होगा, इसलिए चित्र के अनुपात को बनाए रखने और सही आकार प्राप्त करने के लिए, पूर्वावलोकन को अपना स्वयं का ViewGroup करना होगा, वहां SurfaceView को रखें, और गणना करें कि onLayout पद्धति में क्या और कैसे करें।

एक और दिलचस्प बात - अगर आईओएस में आप कैमरे से पूर्वावलोकन के शीर्ष पर एक 3 डी मॉडल खींचना चाहते हैं, तो आपके पास नीचे पूर्वावलोकन (UIImagePicker) है, और फिर 3 डी मॉडल सहित ऊपर से किसी भी दृश्य को आकर्षित करें। एंड्रॉइड ने इसे अपने तरीके से करने का फैसला किया - यदि मानक यूआई तत्वों को पूर्वावलोकन (सरफेस व्यू) के ऊपर आसानी से खींचा जा सकता है, तो GLSurfaceView में 3 डी मॉडल को (!) पूर्वावलोकन के तहत रखा जाना चाहिए। इस मामले में, आपको कई बॉडी मूवमेंट करने की आवश्यकता है:

• भूतल दृश्य के लिए, getHolder ()। setType (SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS) विधि को कॉल करें, हालाँकि दस्तावेज़ SURFACE_TYPE_PUSH_BUFFERS के लिए कहता है कि यह स्थिरांक अवक्रमित है। इसे नजरअंदाज कर दिया जाता है, जरूरत पड़ने पर यह मान अपने आप सेट हो जाता है। ”, लेकिन इस कॉल के बिना पूर्वावलोकन काम नहीं करता है और एप्लिकेशन भी क्रैश हो जाता है;
• GLSurfaceView में, आपको यह निर्दिष्ट करना होगा कि यह पारदर्शी है - getHolder ()। SetFormat (PixelFormat.TRANSLUCENT)। इस कॉल के बिना, कुछ उपकरणों पर सब कुछ काम कर सकता है (एचटीसी डिज़ायर एस पर काम किया गया), या यह काम नहीं कर सकता है (Google गैलेक्सीनेक्सस पर काम नहीं किया)। शायद यह विभिन्न उपकरणों पर GPU में अंतर के कारण है। इसलिए इस पद्धति की उपेक्षा न करना बेहतर है।
  

यह एआर के लिए काम करने के लिए पर्याप्त है, लेकिन तुरंत गैर-एआर मोड के लिए एक स्थिर पृष्ठभूमि के साथ समस्याएं थीं। आप देखते हैं, डिफ़ॉल्ट रूप से GLSurfaceView पारदर्शी नहीं है, इसके तहत आप मानक UI (न तो ImageVIew विजेट, और न ही GLSurfaceView की पृष्ठभूमि में ही काम करते हैं) का उपयोग करके कुछ भी प्रदर्शित नहीं कर सकते हैं। लेकिन यह सेटज़ोरडरऑनटॉप (ट्रू) विधि का उपयोग करके पारदर्शी बनाया जा सकता है - GLSurfaceView पारदर्शी हो जाता है, लेकिन साथ ही यह गतिविधि में सभी तत्वों के शीर्ष पर दिखाई देने लगता है। इससे कोई फर्क नहीं पड़ता - वे नीचे, ऊपर या किसी अन्य दृश्य में हैं। इसलिए केवल एक ही रास्ता है - अगर किसी 3D मॉडल के तहत कुछ तैयार करना है, और यह कैमरे से पूर्वावलोकन नहीं है, तो OpenGL ES हमारी मदद करेगा। ऐसा करने के लिए, आपको चित्र को एक बनावट के रूप में मेमोरी में लोड करने की आवश्यकता है, जो पहले दो पक्षों की शक्ति के गुणकों को प्राप्त करने के लिए इसे पुन: आकार देता है (कुछ GPU पर यह प्रदर्शन में गिरावट के बिना या बिना काम करता है; कुछ पर यह बिल्कुल काम नहीं करता है, इसलिए आपको ऐसा करने की आवश्यकता है)। यह बनावट एक विमान पर प्रदर्शित की जाएगी जिसका आयाम दृश्य पोर्ट के आयामों के बराबर है। हम केवल बनावट के सही अनुपात की गणना कर सकते हैं, क्योंकि विभिन्न अनुपातों के साथ कई अलग-अलग स्क्रीन आकार हैं।

उदाहरण के लिए

क्या निकलता है इसका एक उदाहरण, आप हमारे आवेदन के उदाहरण पर AppStore और Google Play में देख सकते हैं