مركبة بدون طيار: خوارزميات موحية. تقرير ياندكس

نسخة مفصلة لتقرير آخر من اجتماع Yandex.Zhelezo - حول تطوير أجهزة الطائرات بدون طيار.



- مرحباً بالجميع ، اسمي فيتالي بودكولزين ، أنا رئيس قسم تطوير الأنظمة المدمجة لمشروع المركبات غير المأهولة. واليوم أود أن أتحدث معك حول ماهية السيارة غير المأهولة ، والمكونات المضمنة في تكوينها ، وكيفية جعل السيارة تتحرك وكيف يعتمد الطيار الآلي ومكوناته على الأجهزة المستخدمة.

لفهم أين يذهب بعد ذلك ، يحتاج الشخص أولاً إلى معرفة مكانه. سيارة بدون طيار ، أيضا. لهذا ، النظام الفرعي للترجمة مسؤول عننا. فأنت بحاجة إلى فهم ما يحدث من حولنا. نظام الإدراك أو الإدراك هو المسؤول عن رؤيتنا ، تصور العالم. استنادًا إلى بيانات الموقع ، وحول الكائنات من حولنا ، يمكننا إعداد تنبؤات حول حالة الطريق ، وتطوره ، وسلوك مستخدمي الطريق. واختر المسار الأمثل للحركة والمسار وتحويلها إلى إجراء تحكم.

لكن كل ما سبق هو ، في الحالة العامة ، خوارزميات. ويمكنك تشغيل هذه الخوارزميات على جهاز الكمبيوتر الخاص بك ، إذا كانت قوية بما فيه الكفاية. بالطبع ، هذا لن يجعل سيارة بدون طيار من جهاز كمبيوتر. شيئان مهمان مفقودين.



الأول هو مجموعة غنية إلى حد ما من أجهزة الاستشعار ، يتم سرد الرئيسي منها على الشريحة. وبالطبع ، نحن بحاجة إلى منصة ستنفذ أوامرنا. تحتاج إلى التفاعل معها.

دعونا نتناول قضية التفاعل مع السيارة. يحتاج الطيار الآلي ، مثل أي شخص ، إلى القيام بأشياء بسيطة لقيادة السيارة: لف العجلة ، والإسراع ، والإبطاء. قد يبدو أن الحل المنطقي يستخدم المحركات للتحكم في هذه الهيئات.

^{_{رابط من الشريحة}}

لكن هذا النهج لديه عدد من الصعوبات الكبيرة. لا يزال تطوير مركبة غير مأهولة يعني وجود سائق في مراحل معينة - تحتاج إلى اصطحاب السيارة إلى خدمة أو مراقبة الطيار الآلي عندما نختبر العديد من الميزات ، لا سيما في المراحل المبكرة. هذه الأجهزة تعقد بشكل كبير حياة السائق.

بطبيعة الحال ، فإن النظام برمته معقد ، وبصفة عامة يمكن لهذه الميكانيكا أن تقدم تأخيرات غير سارة في الضوابط. هذا يؤثر سلبا على دائرة التحكم في السيارة.

نعم ، ما زلنا بحاجة إلى منصة بسيطة في بداية المشروع ، لكننا كنا بحاجة إلى بعض النهج الأخرى للتفاعل مع هذه المنصة. وبدأنا في الحفر في عمق السيارة.



بعد دراسة ميزات المنصات المختلفة ، وجدنا أن العديد من السيارات الحديثة لديها القدرة على التحكم في أجهزتها الخاصة من السيارة. على سبيل المثال ، يتحكم المساعد في عجلة القيادة أثناء وقوف السيارات. يؤثر نظام التحكم في التطواف على تسارع السيارة ، كما يمكن أن يؤثر نظام التحكم التكيفي في التطواف أو نظام الحد من السرعة على نظام الفرامل.

كل هذه الأنظمة ، كقاعدة عامة ، مغلقة في السيارات. وللتفاعل معهم ، استغرق الأمر تطوير عدد من الأجهزة المتخصصة. بالإضافة إلى التفاعل مع السيارة ، كان النظام مطلوبًا لتوفير واجهة مريحة وسهلة الاستخدام لقيادة السيارة. وبالطبع ، كان يجب أن يكون النظام بسيطًا ومباشرًا ومرنًا للغاية.



لقد توصلنا إلى منصة حيث يتم تطوير لوحات تحكم صغيرة تتفاعل مع عقدة معينة بناءً على السيارة. يختلف تكوين هذه اللوحات ووظائفها من منصة إلى أخرى ، لكنهم جميعًا يجتمعون في شبكة واحدة ، حيث توجد وحدة رأس ، والتي نسميها تقليديًا عبارة. تراقب هذه الأجهزة. بالإضافة إلى ذلك ، توفر البوابة واجهة للطيار الآلي على أجهزة ملائمة. هنا نرى Ethernet ، ملائمًا لبنيتنا التحتية ، و CAN ، واجهة السيارات الأكثر شعبية. بالإضافة إلى ذلك ، تتفاعل وحدة الرأس لدينا باستمرار مع السيارة ، وتراقب حالة المكونات والتجمعات. إذا تم اكتشاف أي انحرافات ، فسيتم اتخاذ قرار بشأن الخطوات الإضافية بناءً على طبيعتها مع الطيار الآلي.

قررنا تنفيذ اللوحة على ميكروكنترولر شعبية إلى حد ما وثبت. أخذناهم بهامش من الأداء واخترنا تلك التي تدعم الواجهات الضرورية للعمل: CAN ، Ethernet والمدخلات / المخرجات الرقمية التناظرية.

لقد حصلنا على حل تبين أنه مرن بالنسبة لنا والذي سمح لنا بالانتقال من منصة إلى أخرى بأقل مشاكل.

دعنا نتحدث عن أجهزة الاستشعار. كل مركبة بدون طيار لديها مجموعة غنية من أجهزة الاستشعار. كل سيارة بدون طيار من Yandex بها أربعة أعمدة على السطح وثلاثة في الأمام وستة كاميرات موضوعة على السطح وست رادارات: اثنان في الخلف وأربعة في الأمام ، اثنان منها على الجانبين.



نحن نأخذ الرادارات والدرنات والكاميرات والاتصال ومحرك الأقراص إلى الكمبيوتر. لكن ليس بهذه البساطة. من المهم للغاية التأكد من أن بيانات المستشعر كافية وذات جودة عالية. لقد أجرينا عددًا كبيرًا من التجارب لفهم مكان وضع أجهزة الاستشعار ، حتى نتمكن من رؤية العالم بشكل أفضل وأكثر وضوحًا.

بالإضافة إلى ذلك ، كان على مصممينا العمل بجد لضمان تلبية جميع التغييرات في السيارة المتعلقة بأجهزة الاستشعار لمتطلبات هيئات التصديق.



إليك ما حدث. ست كاميرات على السطح توفر رؤية جيدة بزاوية 360 درجة مع تداخل كبير - يتم تمييز المناطق الداكنة على الشريحة. هذه الكاميرات أيضا تعطي رؤية عمودية جيدة. الكاميرا هي المستشعر الوحيد الذي يرى إشارات المرور ، لأنها يمكن أن تكون موجودة في أجزاء مختلفة ، اعتمادًا على التقاطع وأشياء أخرى.



الرادارات هي جهاز استشعار آخر مهم لكل سيارة. إنها مثيرة للاهتمام من حيث أنها لا تتمتع بزاوية رؤية واسعة جدًا ، ولكن تتمتع بنطاق جيد. يؤدي راداران أماميان وظيفة مراقبة ما يحدث في المستقبل ، ويتم استخدام الرادارات الخلفية في خوارزمياتنا ، كقاعدة عامة ، في إعادة البناء وتجاوز المناورات المماثلة. الرادارات التي تبدو جانبية ضرورية للقيادة عبر التقاطعات المعقدة إلى حد ما حيث قد لا تكون المعلومات الواردة من أجهزة الاستشعار كافية.



ربما الأكثر إثارة للاهتمام هو الاستشعار lidar. إنه مهتم بالمعلومات التي تأتي منه. هنا سحابة نقطة ، سحابة نقطة ، هذه بيانات من النجوم. يعرضون المشاة والسيارات والطريق وحتى حواف الطريق وغيرها من الأشياء. الصناديق هي بالفعل نتيجة عمل خوارزميات الاعتراف الخاصة بنا.



في المجموع ، تعطي جميع أجهزة الاستشعار نفس الصورة تقريبًا. كما ترون ، من المستحيل عدم ملاحظة أي شيء حول السيارة باستخدام مجموعة من أجهزة الاستشعار هذه.

أود أن أتطرق إلى مثالين واجهناه عندما كنا بحاجة لتطوير الأجهزة. سأبدأ بقضية الترجمة.

المصدر الرئيسي هو بطاقات عالية الوضوح. في كل نقطة زمنية ، تقوم مركبة غير مأهولة بمقارنة البيانات من النجوم مع هذه البطاقات. بناءً على مثل هذه المقارنة ، يحصل على موقعه بدقة سنتيمتر. GPS أو Glonass أو أي نظام الملاحة عبر الأقمار الصناعية ببساطة لا يناسب العمل مع مركبة بدون طيار بسبب ثباتها المنخفض ، اعتمادها الكبير على الظروف الخارجية ، الطقس ، الضوضاء ، التداخل. في المدينة ، كل هذا معقد بشكل كبير بسبب تداخل الإشارات ، الانعكاسات من المباني ، إلخ. لكن من أين نحصل على هذه البطاقات؟ نحن نبني خرائط لأنفسنا ، باستخدام مركباتنا بدون طيار مع مجموعة من أجهزة الاستشعار.

لبناء هذه الخرائط ، نحتاج إلى أرفف ونوع من المرجع على الأرض. تحتاج إلى الحصول على تنسيق الخاص بطريقة أو بأخرى. يمكن أن يوفر نظام GPS في البداية تنسيقًا ، لكن دقته ليست عالية جدًا. كما قلت ، تتأثر دقة GPS بالظروف الجوية ، والتداخل ، وهناك أيضًا انعكاسات في المدينة.



تأتي تقنية الحركية الحقيقية للإنقاذ. خلاصة القول هي: في مكان ما على الأرض يتم تثبيت محطة ثابتة مع نفس جهاز الاستقبال كما هو الحال في سيارة. إذا كانت المسافة بين السيارة والمحطة الأساسية لا تتجاوز 30 كم (في بعض الحالات 50 كم) ، فإن بيانات القمر الصناعي التي تتلقاها السيارة والمحطة الأساسية ستكون متشابهة تقريبًا. لكن المحطة الأساسية ، التي تعرف الإحداثيات الدقيقة لها (وهي ثابتة) وحساب الإحداثيات وفقًا لبيانات الأقمار الصناعية ، تستقبل ، خطأً ، خطأً في الحساب. بناءً على هذا الخطأ ، تم تطوير التعديلات التي يتم إرسالها عبر السيارة إلى السيارة عبر الإنترنت. السيارة ، مع الأخذ في الاعتبار التصحيحات المستلمة عند حساب الإحداثيات بواسطة الأقمار الصناعية ، تحصل على إحداثياتها بدقة سنتيمتر. بالطبع ، للعمل مع هذا النظام ، فأنت بحاجة إلى قناة إنترنت جيدة وطقس جيد حتى تكون إشارة GPS مستقرة.

للحصول على جهاز يعمل مع دعم RTK على سيارة أو محطة أساسية ، تحتاج إلى برنامج. المكتبات التي توفر ميزات RTK RTKLib متاحة للجمهور. هناك اختلافات مختلفة مع ميزات مختلفة. تتطلب المكتبات عادةً بيئة Linux ووحدات التنقل عبر القمر الصناعي التي توفر بيانات أولية.

بعد إجراء بعض التجارب ، ووضع نماذج أولية لعدد من الأشياء ، حصلنا على رسم تخطيطي لكتلة التعريب ، التي أطلقنا عليها GeoHub.

بالإضافة إلى وحدة الملاحة عبر الأقمار الصناعية المحددة ، هناك أيضًا وحدة من القياسات بالقصور الذاتي ، والتي نستخدمها في نظام التعريب. يأتي الإنترنت الآن عبر واجهة Ethernet المناسبة لبنيتنا التحتية.





هنا هو الجهاز الثاني ، جيله الثاني والخصائص التقنية الرئيسية.

استبدلنا وحدة القياس بالقصور الذاتي ووحدة إشارة القمر الصناعي. ونتيجة لذلك ، سمح لنا بإجراء سلسلة من التجارب على سيارة واختيار وحدة القياس بالقصور الذاتي المثلى من وجهة نظر المعلمات المختلفة ، وفيما يتعلق بوحدة إشارة القمر الصناعي ، تمكنا من التبديل إلى مستقبل ثنائي النطاق في العملية ، مما أدى إلى تحسين جودة تحديد الموقع بشكل كبير.

لماذا تطوير جهازك عندما يمكنك بالتأكيد الذهاب إلى السوق وشراء شيء مماثل؟ الجواب هو أنه بالنسبة لنا ، واحدة من أهم المعايير هي مرونة الجهاز. نظرًا للمتطلبات المتغيرة بسرعة في المشروع ، والوظائف الجديدة الناشئة ، نحتاج إلى أن نكون قادرين على الاستجابة بسرعة كبيرة لذلك. فقط من خلال المشروع ، داخل الشركة ، وتطوير الأجهزة والبرامج ، نحصل على سرعة عالية حقا لتطوير هذه التغييرات.

جهاز استشعار آخر مثير للاهتمام من وجهة نظر مركبة بدون طيار. حسنًا ، هناك كاميرا في كل هاتف وجهاز كمبيوتر محمول. ما يمكن أن يكون معقدا هنا؟ ولكن دعونا نرى ما هي المشاكل التي قد تواجهها عند استخدام الكاميرا في طائرة بدون طيار.



المشكلة الأولى هي الخفقان من مصادر ضوء LED. معظم إشارات المرور هي مجرد مثل هذه المصادر. توقف الفيديو في الوقت الذي اختفت فيه الإشارة الحمراء تقريبًا بسبب الخفقان.

لهذه المشكلة ، هناك حلول الأجهزة المدمجة في المستشعر ، ولكن لكي تعمل بشكل جيد وذات جودة عالية ، تحتاج إلى أن تكون قادرة على التفاعل بنشاط مع المستشعر.

الشرط الثاني للكاميرات هو مجموعة ديناميكية عالية ، أي القدرة على العمل في أي ظروف إضاءة ، سواء في الليل أو في ضوء الشمس الساطع. يعد وجود HDR مهمًا أيضًا ، أي إمكانية دمج الإطارات مع إضاءة مختلفة في إطار واحد للحصول على صورة أفضل.



على اليسار مثال على صورة حيث يتم استخدام وظيفة HDR ، وعلى اليمين - حيث يتم تعطيله.



بالإضافة إلى ذلك ، يجب علينا ، بالطبع ، الحصول على صورة بدقة كافية ومعدل إطار كاف. على الشريحة ، يتم تسليط الضوء على بضع نقاط أخرى ، متأصلة في المركبات غير المأهولة ، بما في ذلك. يجب أن تنتج الكاميرا دفق فيديو غير مضغوط ، ويفضل أن يكون بتنسيق RGB888 ، لأن شبكاتنا وخوارزمياتنا تعمل بهذا التنسيق ، وتريد تلقي إطارات بهذا التنسيق.

توفر معظم الكاميرات ، الحلول الجاهزة في السوق ، بيانات مضغوطة - H264 ، MPEG. المشاكل هنا بسيطة: نفقد الجودة أثناء الضغط ونقدم تأخيرًا في الضغط وإلغاء الضغط. يمكن أن يكون التأخير غير حاسم ، خاصة في أحمال النظام العالية. تنتج الكاميرا بدقة الوضوح العالي الكامل وتردد 30 إطارًا في الثانية بمعدل بت 16 بت لكل بكسل تدفقًا من جيجابت في الثانية تقريبًا لبيانات الفيديو الخالصة.

بالإضافة إلى ذلك ، توجد الكاميرات عادة على مسافة من جهاز الاستقبال ، وفي السيارة ، خاصةً أثناء بعض التجارب ، يمكن أن تكون موجودة عمومًا على الطرف الآخر من السيارة. احتجنا إلى كاميرات تسمح بنقل دفق الفيديو غير المضغوط بأكمله على مسافة تتراوح بين 6-8 أمتار ، مع مراعاة الكبلات. بالنسبة إلى كاميرا Full HD ذات 16 بت لكل بكسل ، فإن دفق الفيديو هو 1 جيجابت ، والذي لم يعد يسمح باستخدام شبكة جيجابت إيثرنت ، نظرًا لأن بيانات الخدمة المختلفة وما إلى ذلك تشارك في عملية النقل. عشرة غيغابت إيثرنت ليست مناسبة تماما. أنها مكلفة ، وارتفاع استهلاك الطاقة ، وتبديد الحرارة العالية ، وزيادة تعقيد البنية التحتية للشبكة.

نعم ، هناك واجهات أخرى مثيرة للاهتمام. أود أن أتحدث عن اثنين منهم عملنا معهم. يتم توفيرها بواسطة Maxim Integrated و Texas Instruments. الخصوصية هي أن دفق الفيديو متسلسل إلى بيانات تمر على مستوى مادي بسيط ، في هذه الحالة من خلال كابل متحد المحور ، بسرعة 3-4 ، وأحيانًا 6 جيجابت في الثانية. بالإضافة إلى ذلك ، تتيح لك هذه الواجهة استخدام قناة العودة للتحكم في الكاميرا على نفس الكابل المحوري. وعلى ذلك يمكن أن تذهب قوة الكاميرا. كل ما سبق يجعل هذه الواجهة جذابة للغاية.



عندما بدأنا ، وجدنا حلاً في السوق يرضي بشكل أساسي معظم المتطلبات. استخدمناها لبعض الوقت في بداية المشروع.



مخطط كتلة الحل أمامك. هذا جهاز استشعار يتم من خلاله تسلسل البيانات إلى واجهة GMSL / FPD-Link. في الجزء المتلقي ، والذي يمكن إزالته حتى 15 مترًا ، يتم إلغاء تسلسل البيانات ونقلها إلى المتلقي. في حلنا ، قدم هذا المتلقي البيانات عبر واجهة USB 3.0.

لكن بعد البدء في استخدام هذا الحل ، واجهنا عددًا من المشكلات غير السارة. المشكلة الرئيسية - الحل كان غير مستقر للغاية ، "سقطت" في العملية ، لم تبدأ الكاميرات بشكل جيد عندما بدأ الطيار الآلي. بالإضافة إلى ذلك ، لم يسمح الحل بضبط معلمات المستشعرات نفسها من أجل تحسين جودة الصورة. كان هناك أيضا عدد من المشاكل. على سبيل المثال ، كان من الصعب الحصول على الطابع الزمني الدقيق للكاميرا ، ووقت التصوير ، وهو أمر مهم للغاية ، لأنه بسرعة 15 م / ث مع تأخير قدره 100 مللي ثانية ، تسير السيارة بالفعل متر ونصف ، ويمكن أن يؤثر ذلك سلبًا على خوارزميات الإدراك.

كان هناك نقطة أخرى مثيرة للاهتمام. كانت واجهة الإخراج للحل المحدد USB 3.0 ، ووجدنا أنه صاخب للغاية. كيف نفهم هذا؟ كان لدينا سيارتين غير متصلتين بأي شيء. من جهة ، أطلقوا الكاميرا ، على حد سواء ، غرقت إشارة الملاحة عبر الأقمار الصناعية كثيرًا. ثم بدأنا في دراسة ما كان يحدث.

بعد تحليل كل أوجه القصور هذه بشكل عام ، بعد دراسة المخطط الهيكلي أمامك ، وهكذا ، توصلنا إلى استنتاج مفاده أن المشكلة تكمن في الجزء المتلقي. ثم بدأوا في التفكير فيما يجب فعله بها. نظرنا إلى ما هو موجود في السوق ، وحلول للفرق الأخرى ، وتوصلنا إلى استنتاج مفاده أننا بحاجة إلى إنشاء جهاز استقبال خاص بنا يعمل مع الكاميرا عبر واجهة GMSL أو FPD-Link.



أخذنا deserializers ، والتي ، كقاعدة عامة ، لديها واجهة MIPI CSI2 ، وبدأنا في البحث عن وحدة أو معالج يمكن أن يدعم هذه الواجهة. ووجدنا حلاً مثيراً للاهتمام مع ستة واجهات MIPI CSI2 ، فضلاً عن الأداء العالي والأجهزة الطرفية الغنية. سمح لنا هذا في نهاية المطاف باستخدام واجهة شبكة إيثرنت 10 جيجابت الملائمة للبنية التحتية لشبكتنا كواجهة إخراج لهذا الجهاز. بعد استلام بيانات GMSL / FPD-Link من 6 كاميرات (أو ، في بعض الحالات ، من 12 كاميرا) ، وبعد معالجتها ، يقوم الجهاز بنقل دفق الفيديو الذي تمت معالجته بالفعل إلى الكمبيوتر عبر شبكة إيثرنت بسرعة 10 جيجابت.



هنا هو الحل نفسه وخصائصه الرئيسية. بعد تطوير مثل هذا الشيء ، تعلمنا ليس فقط كيفية العمل بشكل موثوق مع 6 أو 12 كاميرا ، ولكن أيضًا أتيحت لنا الفرصة لضبط الكاميرات. هذا جعل من الممكن تحسين جودة الصورة ، والتي أثرت إيجابيا على تشغيل خوارزميات الإدراك. كما حصلنا على فهم واضح للوقت الذي يستغرقه إطلاق النار على الإطار ، وتعلمنا إدارة هذا الوقت. ووحدات المعالجة المركزية عالية الأداء ، سمحت لنا القدرة الحاسوبية للوحدة بإجراء معالجة الفيديو الأولية بأقل قدر من التأخير مباشرة على الوحدة.

يسمح برنامج ترميز الأجهزة في هذه الوحدة أيضًا بضغط بيانات الفيديو للتخزين اللاحق في السجلات.

كان علينا العمل ليس فقط مع أجهزة استشعار الترجمة والكاميرات. كان لدينا لتطوير حلول الأجهزة لجميع أجهزة الاستشعار التي نستخدمها تقريبا. تم كل ذلك لحل الزيادة في موثوقية وجودة البيانات التي تعتمد عليها خوارزميات الكشف والإدراك. ويعتمد عليهم كم سيكون الحل الذي أصدرته الطيار الآلي.

حسنًا ، لقد تعلمنا كيفية قيادة سيارة ، وعملنا على أجهزة استشعار ، ووضعها جيدًا ، وعلمناها أن نقدم لنا صورة عالية الجودة. ما العمل الآخر الذي يقوم به مهندسو الأنظمة المدمجة وعمال الأجهزة في مشروعنا؟ نحن نراقب ليس فقط تطوير أجهزة الاستشعار التي أصبحت روتينية ، ولكن أيضًا مصادر بديلة للمعلومات. نحن نستكشف باستمرار مسرعات بديلة للشبكات العصبية وغيرها من الخوارزميات ، بما في ذلك تلك التي تستخدم FPGAs. ومن الصعب تخيل تطوير المشروع دون تفاعل مع شركة صناعة سيارات ذات خبرة.


يمثل النظام الأساسي الجديد دائمًا تحديا للمطورين والمصممين ومطوري البرامج رفيعي المستوى.

مجال المركبات غير المأهولة حاليا في مرحلة نشطة للغاية من التطوير. كمهندس ، يسعدني أن ألاحظ ذلك ، لكن من الجيد أن أشارك. وليس الوقت البعيد هو الوقت الذي يصبح فيه من المعتاد بالنسبة لنا الدخول في سيارة ، والتوجه إلى المكان الذي نحتاج إليه ، والقيام بأعمالنا في راحة وأمان. هذا كل شيء ، شكرا لاهتمامكم.