🍒 👎🏽 🙀 استكمال الواقع: مراجعة المواد 🦂 ♈️ 👨🏻‍🎨

نشرها إيجور ليتفينينكو ، كبير مطوري الهواتف المحمولة.

ربما سمع الجميع بخوذات الواقع الافتراضي التي تخلق تأثير الوجود في العالم الافتراضي. ومع ذلك ، أود اليوم ألا أتحدث عن الواقع الافتراضي ، بل عن الواقع المعزز. هذه المفاهيم مهمة للتمييز. في خوذات الواقع الافتراضي ، يتم إنشاء الصورة بأكملها - مثل هذا الواقع مصطنع تمامًا. الواقع المعزز ، على عكس الواقع الافتراضي ، لا يعني إنشاء حقيقة مصطنعة تمامًا ، ولكن إضافة دفق الفيديو لواقعنا إلى الأشياء والبيانات الافتراضية. وهكذا ، فإن الجمع بين العالم الافتراضي والواقعي يحدث.

تقنيات الواقع المعزز الأساسية

كيف يتم إنشاء الواقع المعزز؟ من أجل إضافة كائن حقيقي معين ، من الضروري اكتشاف هذا الكائن الحقيقي في دفق الفيديو. هذا هو أهم شيء - بعد اكتشاف شيء ما ، لم يعد من الصعب إنهاء شيء ما وإكماله بطريقة أو بأخرى. هناك طرق مختلفة للكشف عن الأشياء المطلوبة - بشكل أساسي لهذا ، يتم استخدام علامات الواقع المعزز. فيما يلي التسلسل التطوري مذكورة الطرق الرئيسية للكشف عن الأجسام المتممة:

أبسط علامة أو صورة.
بدون علامات - الواقع المعزز بدون علامات.
علامات ثلاثية الأبعاد بسيطة.
مزيج من علامات تقديم الأشياء المعقدة (الأسطوانة ، المكعب ، الصندوق).
علامة الإطار.
بناءً على الموقع.
الواقع المعزز الحقيقي.

علامة الصورة

يمكن التعرف بسهولة على أبسط مؤشر الواقع المعزز من خلال الإطار الأسود السميك. من السهل جدًا اكتشاف مثل هذا الكائن في دفق الفيديو:

المتطلبات:
- إطار أسود لا يقل عرضه عن 10٪.
- فقط بالأبيض والأسود.
- ثابت في المنعطفات - يمكننا تحديد زاوية الدوران في أي وقت.
- مربّع دائمًا.
الخوارزميات هنا هي الأبسط: يمكننا تحديد حواف الصورة (اكتشاف الحواف) ، والمربع والمربع الأبيض في المنتصف ، من خلال القيام بهذه العتبات - ثنائيات العرض على الشاشة. بهذه الطريقة يمكننا الوصول إلى المحتويات في الداخل ، وقطعها والعمل معها مثل الصورة - إنها أسهل بكثير من مسح الإطار بأكمله.
- كشف الزاوية.
- كشف النقطة.
- كشف الحواف.
- عتبة.
فائدة:
- أبسط خوارزمية الكشف هي الكثير من المكتبات المفتوحة والمغلقة التي يمكنها اكتشاف علامة.
- الأكثر استقرارًا - يتم دائمًا اكتشاف العلامة بدقة شديدة ولا يوجد أي تأثير ارتعاش نموذجي.

بدون علامات

على الرغم من الاسم ، مع النهج بدون علامات ، فإن العلامة ، في الواقع ، لا تزال موجودة. إنه فقط هنا لا يبدو وكأنه علامة ، ولكن مثل صورة.

المتطلبات:
- عدد كبير من الأجزاء الصغيرة.
- كلما زادت الألوان ، كان ذلك أفضل.
- من الثابت أن يتحول.
- النسبة المثالية هي 1: 1 ، أي كلما كان أقرب إلى المربع ، كان ذلك أفضل. بنسبة 1: 2 أو أكثر ، يتم التعرف على العلامة بشكل سيء للغاية
الخوارزميات يتم استخدام النقاط المميزة للكشف عن هذه العلامات: لنفترض أن هذه هي النقطة التي يتغير فيها التدرج. أي أن هذه هي النقطة التي تظهر فيها حدود واضحة. يمكن أيضًا استخدام خوارزمية للعثور على نقاط هندسية: في بعض الأماكن في الصورة توجد علامات دقيقة تشكل الزوايا - على سبيل المثال ، يمكن أن يكون التقاطع نقطة هندسية.
- Detect interest points.
- Fiducial markers/
- Edge detection — .
- Simultaneous localization and mapping (SLAM) — .
:
- : — . , — . , , — , .

تتيح لنا هذه التقنية أن نأخذ في الاعتبار الشكل البسيط للكائنات ثلاثية الأبعاد: المكعب ، الأسطوانة ، وما إلى ذلك. هنا يمكننا إنشاء تكوين يساعد على فهم أي نوع من الكائنات أمامنا - على سبيل المثال ، يمكن أن يكون كائن شكل معين مع مجموعة معينة من الألوان بمثابة علامة (على سبيل المثال ، نحن قدم طلبًا يعرف الدواء عن طريق التعبئة والتغليف والتسمية). لقد صنعنا أيضًا تطبيقًا يتعرف على العلامات التجارية للنبيذ - يمكن للمكتبة العثور على ملصقات من زوايا مختلفة ، والتي لا تعمل في تقنية بدون علامات أو بسيطة بسبب تحويل علامة غير خطية.

علامة الإطار

لنفترض أن لديك مؤتمر. لديك شعار تعلقه على الجدران لتظهر للناس أين يذهبون. هناك شعار واحد فقط ، وبالتالي فإن جميع الصور هي نفسها ؛ للقيام بذلك ، تحتاج إلى تحديد كل صورة بشكل فريد. كيف تفعل ذلك؟ باستخدام علامة إطار. عند استخدام علامة الإطار ، يتم تشفير معرف الصورة في الإطار:

المتطلبات:
- إطار موحد.
- من الثابت أن يتحول.
- مربّع دائمًا.
- يجب أن تكون الصورة الداخلية على النقيض من الإطار.
- حجم صغير (3-10 سم).
الخوارزميات:
- علامات ائتمانية.
فائدة:
- القدرة على تحديد نفس العلامة بشكل فريد.

الواقع المعزز القائم على الموقع

إذا كنت تتجول في المدينة وحصلت على معلومات حول المباني التي تراها ، على الأرجح ، تحدث إضافة الواقع باستخدام الموقع.

في هذه الحالة ، لا توجد مهمة التعرف على الصور. تعتمد هذه التقنية على استخدام جهاز استقبال GPS والبوصلة ومقياس التسارع الموجود في الجهاز المحمول. بفضلهم ، نحن نعرف في أي اتجاه نتطلع. وبالتالي ، لتكملة الواقع ، ما عليك سوى الاستجابة بشكل صحيح لقراءات مستشعرات الجهاز المحمول. هذه المهمة ليست صعبة للغاية - هناك ما يكفي من المكتبات التي تتعامل معها بشكل جيد.

الواقع المعزز الحقيقي

لا توجد علامات هنا. هنا ، أثناء التنقل ، نحدد الأشكال ثلاثية الأبعاد وخصائص أي كائنات تقع في عدسة الكاميرا. نحتاج إلى معرفة عمق الكائن من أجل تحويل صورة ثنائية الأبعاد إلى ثلاثية الأبعاد. للقيام بذلك ، يمكنك استخدام ، على سبيل المثال ، خوارزمية SLAM التي سبق ذكرها ، والتي تبحث عن نقاط مميزة على الكائنات المحيطة. حتى الآن ، على الأجهزة المحمولة ، كل هذا بطيء جدًا. الآن تعمل تقنية هذا الواقع المعزز على تنفيذ Sony بشكل نشط بالاشتراك مع PlayStation.

Keyshare - keyshare.org

والآن سأخبرك كيف كتبنا محرك الواقع المعزز في DataArt ولماذا فعلنا ذلك.

قررت إحدى الشركات الناشئة السويسرية اقتراح نظام جديد لزيادة المبيعات بناءً على استخدام تقنية الواقع المعزز ، وقمنا بتطوير هذا النظام من أجله. هذه هي الطريقة التي تعمل بها.

لدينا علامة الواقع المعزز الحاصلة على براءة اختراع في شكل صورة رئيسية يمكن وضعها ، على سبيل المثال ، في مجلة بجوار وصف المنتج. تسمح لك النقاط البيضاء ذات الأحجام المختلفة داخل هذا المفتاح بتحديد المحتويات بشكل فريد. هناك خادم - يأخذ الرمز قراءة من المفتاح ويعيد للمستخدم مجموعة متنوعة من البيانات حول المنتج ، ونموذجه ثلاثي الأبعاد ، وما إلى ذلك.

لتطوير مثل هذا المفتاح ، جربنا جميع المكتبات الأكثر شعبية ، لكننا لم نتمكن من العثور على علامة تناسب أي مجموعة. عندما نستخدم الواقع المعزز للعلامات ، فإنه يجلس عند نقاط رئيسية. العلامة باللون الأسود والأبيض ، وتتركز النقاط الرئيسية في الأماكن المتغيرة. في النهاية ، قررنا كتابة كل شيء من الصفر.

استخدمنا خوارزمية بحث MSER ، والتي تجد نطاقًا فقط. بعد كل شيء ، نحن نعلم أنه يوجد بالتأكيد مفتاح أسود وهناك بالتأكيد صليب أبيض داخل هذا المفتاح. لذلك ، نجد أولاً منطقة سوداء كبيرة ، وداخل هذه المنطقة نجد منطقة بيضاء. ثم نقطع الصورة ونلقي نظرة على نسبة العرض إلى الارتفاع - يجب أن تكون 2: 1. بعد ذلك ، نقوم بتحليل النموذج. بالتركيز على الصليب ، يمكننا أن نجد بداية العبارة الرئيسية. بالنسبة للنقاط ، فهي دائمًا ما تكون موجودة في نفس الأماكن ، لذا فإن العثور عليها سهل أيضًا. نتيجة لذلك ، حصلنا على خوارزمية بحث علامة عن طريق النموذج. هذا ، بالطبع ، ليس حلاً عالميًا ، لكنه يؤدي مهمتنا على ما يرام.

لذلك ، على iPhone 5S ، حصلنا على أداء أكثر من 25 FPS. لتحقيق ذلك كان من الصعب للغاية. في البداية ، كما هو الحال مع أي خوارزمية ، قمنا بتقليل الصورة: تعمل خوارزمية التعرف بشكل أفضل على صورة مخفضة بجودة منخفضة. ثم قدموا خوارزمية التنبؤ - بعد العثور على الصورة ، نفترض أن المفتاح لا يمكن أن يخرج من الإطار بأكثر من قيمة بكسل معينة. ثم نختصر الصورة. بعد ذلك ، نقوم بتحليل الديناميكيات: إذا قام المستخدم بتحويل الهاتف إلى اليسار ، فسيتحرك المفتاح إلى اليمين. هذه خوارزمية احتمالية. إذا لم نجد على الفور ما نبحث عنه ، فإننا نبدأ في معالجة مساحة أكبر من أي وقت مضى. لدينا خوارزمية عرض نموذج رائعة ، والتي تم كتابتها من الصفر.

ماذا لدينا ايضا؟ هناك ثلاثة صفوف على المفتاح ، في كل منها 13 نقطة. هذا يعني أن 469 مجموعة ممكنة. نظرًا لأن الصورة على مسافة تزيد عن متر تكون بالفعل ضبابية إلى حد ما ، فقد صنعنا خوارزمية فك تشفير احتمالية مع تصحيح الخطأ. نحن نستخدمه مع مفتاح التصحيح الذاتي. لذا نحدد بدقة العلامات الخاطئة الأربعة ، وهذا يكفي. لدينا أيضًا خوارزمية كشف محسنة وخوارزمية تتبع وتنبؤ للموضع التالي.

على الرغم من حقيقة أن هذا المفتاح يذكر إلى حد ما برمز QR ، إلا أن هناك اختلافات جوهرية. لا يمكنك إرفاق الواقع المعزز برمز QR ، لأن محتواه يتغير باستمرار. بمعنى آخر ، لا يمكنك إنشاؤها كعلامة. لا يمكنك وضع نموذج ثلاثي الأبعاد عليه ولا يمكنك تحديد زاوية الدوران. بالإضافة إلى ذلك ، يمكن التعرف على هذا المفتاح بسهولة كبيرة.

أداة التعرف على أندية كرة القدم

قمنا أيضًا بتطوير تطبيق يساعد المستخدمين على تتبع نوادي كرة القدم المفضلة لديهم. يسمح لك بإضافة الواقع الافتراضي إلى صورة شعار نادي كرة القدم - عند تحريك الكاميرا على الشعار ، يتم عرض بيانات النادي.

استكمال الواقع: مراجعة المواد