ARCore का उपयोग करके संवर्धित वास्तविकता एप्लिकेशन कैसे बनाएं

इस गाइड में, आप सीखेंगे कि असली दुनिया में 3D मॉडल कैसे जोड़ें। Google की ARCore लाइब्रेरी आपको 2 डी छवि (चित्र या वीडियो) में पूर्ण 3 डी मॉडल जोड़ने की अनुमति देती है।

आपको सिस्टम को कुछ प्रकार की संदर्भ छवि प्रदान करने की आवश्यकता है, जो ARCore वास्तविक दुनिया की तलाश करेगा ताकि उसके आधार पर छवि में एक 3 डी मॉडल जोड़ा जा सके। संवर्धित वास्तविकता पहले से ही व्यापक रूप से उपयोग की जाती है, उदाहरण के लिए, पुस्तकों, समाचार पत्रों, पत्रिकाओं आदि में।

इस ट्यूटोरियल में डाइविंग करने से पहले, आपको इस विषय पर पिछले दो लेखों से परिचित होना चाहिए जो आपको मूल AR शब्दों से परिचित कराएँगे:

• ARCore क्या है? बस आपको पता होना चाहिए
• अपना पहला ARCore एप्लिकेशन बनाना

संवर्धित वास्तविकता चित्र क्या हैं?

डेवलपर्स के लिए प्रलेखन के अनुसार , एआरकोर में संवर्धित वास्तविकता चित्र आपको संवर्धित वास्तविकता अनुप्रयोगों को बनाने की अनुमति देते हैं जो पोस्टर या उत्पाद पैकेजिंग जैसे "2 डी" छवियों को "चेतन" कर सकते हैं।

आप ARCore में कुछ संदर्भ चित्र अपलोड करते हैं, और फिर यह आपको AR सत्र के दौरान उनके पता लगाने के बारे में सूचित करता है, उदाहरण के लिए, वीडियो शूट करते समय। और इस जानकारी का उपयोग 3D मॉडल को 2D छवि पर रखने के लिए किया जाता है।

संवर्धित वास्तविकता छवियों का उपयोग करने की सीमाएं

यहां संवर्धित वास्तविकता छवियों का उपयोग करते हुए आपके द्वारा सामना की जा सकने वाली कुछ सीमाएं हैं:

• ARCore एक समय में केवल 20 संदर्भ छवियों तक ही प्रक्रिया कर सकता है।
• वास्तविक दुनिया में भौतिक विमान समतल होना चाहिए, और इसका क्षेत्रफल 15 सेमी x 15 सेमी से अधिक होना चाहिए।
• ARCore चलती छवियों और वस्तुओं को ट्रैक नहीं कर सकता।

सही संदर्भ छवि का चयन

यहाँ ARCore के लिए एक अच्छी संदर्भ छवि चुनने के लिए कुछ सुझाव दिए गए हैं:

• संवर्धित वास्तविकता चित्र PNG, JPEG और JPG प्रारूपों का समर्थन करते हैं।
• इससे कोई फर्क नहीं पड़ता है कि छवि रंग या काले और सफेद है, मुख्य बात यह है कि यह उच्च विपरीत है।
• छवि रिज़ॉल्यूशन कम से कम 300 x 300 पिक्सेल होना चाहिए।
• उच्च रिज़ॉल्यूशन की छवियों का उपयोग करने का मतलब बेहतर प्रदर्शन नहीं है।
• दोहराए जाने वाले पैटर्न (जैसे पैटर्न या पोल्का डॉट्स) के साथ छवियों से बचा जाना चाहिए।
• आपकी छवि कितनी अच्छी तरह काम करती है, इसका मूल्यांकन करने के लिए arcoreimg टूल का उपयोग करें। कम से कम 75 अंक की रेटिंग की सिफारिश की जाती है।

कैसे उपयोग करें arcoreimg उपकरण:

• इस लिंक से Android के लिए ARCore SDK डाउनलोड करें ।
• फ़ाइल की सामग्री को किसी भी स्थान पर अनज़िप करें।
• निकाले गए फ़ोल्डर में, टूल्स> arcoreimg> विंडोज़ (भले ही आपके पास लिनक्स या macOS हो) पर जाएं।
• इस निर्देशिका में एक कमांड प्रॉम्प्ट खोलें।
• और इस कमांड को दर्ज करें:

arcoreimg.exe eval-img --input_image_path=dog.png 

अपनी छवि के लिए पूर्ण पथ के साथ dog.png बदलें।

संवर्धित वास्तविकता ऐप के साथ शुरुआत करना

अब जब आपने ARCore से खुद को परिचित कर लिया है और 75+ की रेटिंग के साथ एक अच्छी छवि का चयन किया है, तो आवेदन कोड लिखना शुरू करने का समय आ गया है।

खुशबू निर्माण

हम एक टुकड़ा बनाएंगे और इसे अपनी गतिविधि में शामिल करेंगे। CustomArFragment नामक एक क्लास बनाएं और इसे ArFragment से ArFragment । यहाँ CustomArFragment के लिए कोड है:

 package com.ayusch.augmentedimages; import android.util.Log; import com.google.ar.core.Config; import com.google.ar.core.Session; import com.google.ar.sceneform.ux.ArFragment; public class CustomArFragment extends ArFragment { @Override protected Config getSessionConfiguration(Session session) { getPlaneDiscoveryController().setInstructionView(null); Config config = new Config(session); config.setUpdateMode(Config.UpdateMode.LATEST_CAMERA_IMAGE); session.configure(config); getArSceneView().setupSession(session); return config; } } 

सबसे पहले, हम विमान का पता लगाने को बंद कर देते हैं। ऐसा करने से, हम उस स्क्रीन से हाथ के आइकन को हटाते हैं जो खंडित होने के तुरंत बाद दिखाई देता है और उपयोगकर्ता को विमान खोजने के लिए अपने स्मार्टफोन को स्थानांतरित करने की आवश्यकता के बारे में बताता है। हमें अब इसकी आवश्यकता नहीं है, क्योंकि हमें यादृच्छिक विमान नहीं, बल्कि एक ठोस छवि मिलती है।

फिर हमने LATEST_CAMERA_IMAGE सत्र के लिए अपडेट मोड सेट किया। यह सुनिश्चित करता है कि कैमरा फ्रेम अपडेट होने पर हमें छवि अपडेट के बारे में सूचित किया जाएगा।

छवि डेटाबेस सेटअप

संपत्ति फ़ोल्डर में चयनित संदर्भ छवि (जिसे आप भौतिक दुनिया में खोजना चाहते हैं) जोड़ें (इसे बनाएं यदि यह पहले से ही नहीं है)। अब हम अपने डेटाबेस में चित्र जोड़ सकते हैं।

जैसे ही टुकड़ा पैदा होगा हम इस डेटाबेस को बना लेंगे। लॉग में हम इस ऑपरेशन का परिणाम प्रदर्शित करते हैं:

 if ((((MainActivity) getActivity()).setupAugmentedImagesDb(config, session))) { Log.d("SetupAugImgDb", "Success"); } else { Log.e("SetupAugImgDb","Faliure setting up db"); } 

यहाँ क्या CustomArFragment की CustomArFragment दिखेगा:

 package com.ayusch.augmentedimages; import android.util.Log; import com.google.ar.core.Config; import com.google.ar.core.Session; import com.google.ar.sceneform.ux.ArFragment; public class CustomArFragment extends ArFragment { @Override protected Config getSessionConfiguration(Session session) { getPlaneDiscoveryController().setInstructionView(null); Config config = new Config(session); config.setUpdateMode(Config.UpdateMode.LATEST_CAMERA_IMAGE); session.configure(config); getArSceneView().setupSession(session); if ((((MainActivity) getActivity()).setupAugmentedImagesDb(config, session))) { Log.d("SetupAugImgDb", "Success"); } else { Log.e("SetupAugImgDb","Faliure setting up db"); } return config; } } 

जल्द ही हम setupAugmentedImagesDb में setupAugmentedImagesDb विधि जोड़ MainActivity । अब हमारी CustomArFragment जोड़ें:

 <?xml version="1.0" encoding="utf-8"?> <android.support.constraint.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:app="http://schemas.android.com/apk/res-auto" xmlns:tools="http://schemas.android.com/tools" android:layout_width="match_parent" android:layout_height="match_parent" tools:context=".MainActivity"> <fragment android:id="@+id/sceneform_fragment" android:name="com.ayusch.augmentedimages.CustomArFragment" android:layout_width="match_parent" android:layout_height="match_parent" /> </android.support.constraint.ConstraintLayout> 

डेटाबेस में एक छवि जोड़ना

अब हम अपने छवि डेटाबेस को स्थापित करेंगे, वास्तविक दुनिया में संदर्भ छवि खोजें और छवि में एक 3 डी मॉडल जोड़ें।

चलो हमारे डेटाबेस की स्थापना करके शुरू करते हैं। एक सार्वजनिक setupAugmentedImagesDb MainActivity क्लास में विधि बनाएँ:

 public boolean setupAugmentedImagesDb(Config config, Session session) { AugmentedImageDatabase augmentedImageDatabase; Bitmap bitmap = loadAugmentedImage(); if (bitmap == null) { return false; } augmentedImageDatabase = new AugmentedImageDatabase(session); augmentedImageDatabase.addImage("tiger", bitmap); config.setAugmentedImageDatabase(augmentedImageDatabase); return true; } private Bitmap loadAugmentedImage() { try (InputStream is = getAssets().open("blanket.jpeg")) { return BitmapFactory.decodeStream(is); } catch (IOException e) { Log.e("ImageLoad", "IO Exception", e); } return null; } 

हमने एक loadAugmentedImage विधि भी बनाई है जो एक छवि को संसाधन फ़ोल्डर से लोड करता है और एक बिटमैप देता है।

setupAugmentedImagesDb हम पहले मौजूदा सत्र के लिए अपने डेटाबेस को इनिशियलाइज़ करते हैं, और फिर इमेज को इस डेटाबेस में जोड़ते हैं। हमने अपनी छवि को बाघ का नाम दिया। फिर हम इस डेटाबेस को कॉन्फ़िगर में स्थापित करते हैं और यह true है कि यह दर्शाता है कि छवि सफलतापूर्वक जोड़ा गया था।

वास्तविक दुनिया संदर्भ छवि का पता लगाने

अब हम वास्तविक दुनिया में अपनी संदर्भ छवियां खोजना शुरू करेंगे। ऐसा करने के लिए, हम एक श्रोता बनाएंगे, जिसे हर बार वीडियो फ्रेम अपडेट होने के बाद कहा जाएगा, और इस फ्रेम का विश्लेषण एक संदर्भ छवि की उपस्थिति के लिए किया जाएगा।

MainActivity में MainActivity onCreate() विधि में इस लाइन को जोड़ें:

 arFragment.getArSceneView().getScene().addOnUpdateListener(this::onUpdateFrame); 

अब onUpdateFrame पर onUpdateFrame विधि जोड़ें:

 @RequiresApi(api = Build.VERSION_CODES.N) private void onUpdateFrame(FrameTime frameTime) { Frame frame = arFragment.getArSceneView().getArFrame(); Collection<AugmentedImage> augmentedImages = frame.getUpdatedTrackables(AugmentedImage.class); for (AugmentedImage augmentedImage : augmentedImages) { if (augmentedImage.getTrackingState() == TrackingState.TRACKING) { if (augmentedImage.getName().equals("tiger") && shouldAddModel) { placeObject(arFragment, augmentedImage.createAnchor(augmentedImage.getCenterPose()), Uri.parse("Mesh_BengalTiger.sfb")); shouldAddModel = false; } } } } 

पहली पंक्ति में हमें फ्रेम ही मिलता है। एक फ्रेम को वीडियो से एक नियमित स्क्रीनशॉट के रूप में कल्पना की जा सकती है। यदि आप इस बात से परिचित हैं कि वीडियो कैसे काम करता है, तो आप जानते हैं कि यह केवल छवियों का एक संग्रह है, जो एक-दूसरे को बहुत तेज़ी से बदलते हैं, जिससे कुछ आगे बढ़ने का आभास होता है। हम इनमें से एक तस्वीर लेते हैं।

फ्रेम प्राप्त होने के बाद, हम उस पर अपनी संदर्भ छवि की उपस्थिति के लिए इसका विश्लेषण करते हैं। हम ARCore द्वारा ट्रैक की गई सभी वस्तुओं की एक सूची frame.getUpdatedTrackables । फ्रेमवर्क का उपयोग frame.getUpdatedTrackables । फिर हम इस पर पुनरावृति करते हैं और जांचते हैं कि क्या हमारी बाघ की छवि फ्रेम में मौजूद है।

यदि कोई मिलान पाया जाता है, तो हम केवल 3D मॉडल को पता की गई छवि के शीर्ष पर ले जाते हैं।

नोट। shouldAddModel ध्वज shouldAddModel उपयोग किया जाता है ताकि हम केवल एक बार 3D मॉडल जोड़ सकें।

एक संदर्भ छवि पर एक 3 डी मॉडल रखकर

अब जब हमने वास्तविक दुनिया में अपनी संदर्भ छवि ढूंढ ली है, तो हम उसके ऊपर एक 3D मॉडल जोड़ सकते हैं। placeObject और addNodeToScene जोड़ें:

• placeObject : इस विधि का उपयोग किसी दिए गए Uri का उपयोग करके प्रदान की गई वस्तु को बनाने के लिए किया जाता है एक बार प्रतिपादन पूरा हो जाने पर, ऑब्जेक्ट को addNodeToScene पद्धति में पास किया जाता है, जहाँ ऑब्जेक्ट नोड से जुड़ा होता है और इस नोड को दृश्य पर रखा जाता है।
• addNodeToScene : यह विधि परिणामी एंकर से एक नोड बनाता है, एक और नोड बनाता है जिसमें विज़ुअलाइज्ड ऑब्जेक्ट जुड़ता है, फिर इस नोड को एंकर नोड में जोड़ता है और इसे मंच पर रखता है।

यह वही है जो MainActivity जैसा दिखता है:

 package com.ayusch.augmentedimages; import android.graphics.Bitmap; import android.graphics.BitmapFactory; import android.net.Uri; import android.os.Build; import android.support.annotation.RequiresApi; import android.support.v7.app.AppCompatActivity; import android.os.Bundle; import android.util.Log; import android.widget.Toast; import com.google.ar.core.Anchor; import com.google.ar.core.AugmentedImage; import com.google.ar.core.AugmentedImageDatabase; import com.google.ar.core.Config; import com.google.ar.core.Frame; import com.google.ar.core.Session; import com.google.ar.core.TrackingState; import com.google.ar.sceneform.AnchorNode; import com.google.ar.sceneform.FrameTime; import com.google.ar.sceneform.rendering.ModelRenderable; import com.google.ar.sceneform.rendering.Renderable; import com.google.ar.sceneform.ux.ArFragment; import com.google.ar.sceneform.ux.TransformableNode; import java.io.IOException; import java.io.InputStream; import java.util.Collection; public class MainActivity extends AppCompatActivity { ArFragment arFragment; boolean shouldAddModel = true; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_main); arFragment = (CustomArFragment) getSupportFragmentManager().findFragmentById(R.id.sceneform_fragment); arFragment.getPlaneDiscoveryController().hide(); arFragment.getArSceneView().getScene().addOnUpdateListener(this::onUpdateFrame); } @RequiresApi(api = Build.VERSION_CODES.N) private void placeObject(ArFragment arFragment, Anchor anchor, Uri uri) { ModelRenderable.builder() .setSource(arFragment.getContext(), uri) .build() .thenAccept(modelRenderable -> addNodeToScene(arFragment, anchor, modelRenderable)) .exceptionally(throwable -> { Toast.makeText(arFragment.getContext(), "Error:" + throwable.getMessage(), Toast.LENGTH_LONG).show(); return null; } ); } @RequiresApi(api = Build.VERSION_CODES.N) private void onUpdateFrame(FrameTime frameTime) { Frame frame = arFragment.getArSceneView().getArFrame(); Collection<AugmentedImage> augmentedImages = frame.getUpdatedTrackables(AugmentedImage.class); for (AugmentedImage augmentedImage : augmentedImages) { if (augmentedImage.getTrackingState() == TrackingState.TRACKING) { if (augmentedImage.getName().equals("tiger") && shouldAddModel) { placeObject(arFragment, augmentedImage.createAnchor(augmentedImage.getCenterPose()), Uri.parse("Mesh_BengalTiger.sfb")); shouldAddModel = false; } } } } public boolean setupAugmentedImagesDb(Config config, Session session) { AugmentedImageDatabase augmentedImageDatabase; Bitmap bitmap = loadAugmentedImage(); if (bitmap == null) { return false; } augmentedImageDatabase = new AugmentedImageDatabase(session); augmentedImageDatabase.addImage("tiger", bitmap); config.setAugmentedImageDatabase(augmentedImageDatabase); return true; } private Bitmap loadAugmentedImage() { try (InputStream is = getAssets().open("blanket.jpeg")) { return BitmapFactory.decodeStream(is); } catch (IOException e) { Log.e("ImageLoad", "IO Exception", e); } return null; } private void addNodeToScene(ArFragment arFragment, Anchor anchor, Renderable renderable) { AnchorNode anchorNode = new AnchorNode(anchor); TransformableNode node = new TransformableNode(arFragment.getTransformationSystem()); node.setRenderable(renderable); node.setParent(anchorNode); arFragment.getArSceneView().getScene().addChild(anchorNode); node.select(); } } 

अब अपना एप्लिकेशन रन करें। आपको स्क्रीन को नीचे दिखाए अनुसार देखना चाहिए। फोन को रेफरेंस ऑब्जेक्ट से थोड़ा ऊपर ले जाएं। और जैसे ही ARCore वास्तविक दुनिया में संदर्भ छवि का पता लगाता है, यह आपके 3D मॉडल को इसमें जोड़ता है।

यह भी पढ़ें: अपना पहला ARCore एप्लिकेशन बनाना