कैसे टेस्ला ऑटोपायलट सिखाता है

टेस्ला ऑटोनॉमी इन्वेस्टर डे के दूसरे भाग का डिक्रिप्शन। ऑटोपायलट प्रशिक्षण चक्र, डेटा संग्रह बुनियादी ढांचा, स्वचालित डेटा लेबलिंग, मानव चालकों की नकल, वीडियो दूरी का पता लगाने, सेंसर-पर्यवेक्षण और बहुत कुछ।

पहला भाग पूर्ण स्व-ड्राइविंग कंप्यूटर (FSDC) का विकास है ।

होस्ट: FSDC छवि प्रसंस्करण के लिए बहुत ही जटिल तंत्रिका नेटवर्क के साथ काम कर सकता है। यह बात करने का समय है कि हमें चित्र कैसे मिलते हैं और हम उनका विश्लेषण कैसे करते हैं। हमारे पास टेस्ला, आंद्रेई करपाती में एक वरिष्ठ एआई निदेशक हैं, जो आपको यह सब समझाएंगे।

आंद्रेई: मैं लगभग दस वर्षों से तंत्रिका नेटवर्क में प्रशिक्षण ले रहा हूं, और अब औद्योगिक उपयोग के लिए 5-6 साल तक। जिसमें स्टैनफोर्ड, ओपन एआई और गूगल जैसे प्रसिद्ध संस्थान शामिल हैं। तंत्रिका नेटवर्क का यह सेट न केवल छवि प्रसंस्करण के लिए है, बल्कि प्राकृतिक भाषा के लिए भी है। मैंने ऐसे आर्किटेक्चर डिज़ाइन किए हैं जो मेरे डॉक्टरेट शोध प्रबंध के लिए इन दो तरीकों को मिलाते हैं।

स्टैनफोर्ड में, मैंने deconvolutionary तंत्रिका नेटवर्क पर एक पाठ्यक्रम पढ़ाया। मैं मुख्य शिक्षक था और उसके लिए पूरा पाठ्यक्रम विकसित किया। पहले मेरे पास लगभग 150 छात्र थे, अगले दो या तीन वर्षों में छात्रों की संख्या बढ़कर 700 हो गई। यह एक बहुत ही लोकप्रिय पाठ्यक्रम है, जो अभी स्टैनफोर्ड में सबसे बड़े और सबसे सफल पाठ्यक्रमों में से एक है।

इलोन: एंड्री वास्तव में दुनिया के सर्वश्रेष्ठ मशीन विजन विशेषज्ञों में से एक है। शायद सबसे अच्छा।

एंड्रयू: धन्यवाद। सभी को नमस्कार। पीट ने आपको एक चिप के बारे में बताया था जिसे हमने विशेष रूप से एक कार में तंत्रिका नेटवर्क के लिए विकसित किया था। मेरी टीम इन तंत्रिका नेटवर्क के प्रशिक्षण के लिए जिम्मेदार है। इसमें डेटा संग्रह, प्रशिक्षण और, भाग में तैनाती शामिल है।

एक कार में तंत्रिका नेटवर्क क्या करते हैं। कार में आठ कैमरे हैं जो वीडियो शूट करते हैं। तंत्रिका नेटवर्क इन वीडियो को देखते हैं, उन्हें संसाधित करते हैं, और जो वे देखते हैं उसके बारे में पूर्वानुमान बनाते हैं। हम रोड मार्किंग, ट्रैफिक प्रतिभागियों, अन्य वस्तुओं और उनकी दूरियों, रोडवे, ट्रैफिक लाइट्स, ट्रैफिक सिग्नल आदि में रुचि रखते हैं।



मेरी प्रस्तुति को तीन भागों में विभाजित किया जा सकता है। सबसे पहले, मैं आपको संक्षेप में तंत्रिका नेटवर्क से परिचित कराऊंगा और वे कैसे काम करते हैं और उन्हें कैसे प्रशिक्षित किया जाता है। यह किया जाना चाहिए ताकि दूसरे भाग में यह स्पष्ट हो कि यह इतना महत्वपूर्ण क्यों है कि हमारे पास टेस्ला कारों (बेड़े) का एक बड़ा बेड़ा है। यह तंत्रिका नेटवर्क के प्रशिक्षण में एक महत्वपूर्ण कारक क्यों है जो सड़क पर कुशलता से काम करता है? तीसरे भाग में, मैं मशीन विजन, लिडार और केवल वीडियो का उपयोग करके दूरी का अनुमान लगाने के बारे में बात करूंगा।

तंत्रिका नेटवर्क कैसे काम करते हैं?

(यहां बहुत नया नहीं है, आप छोड़ सकते हैं और अगले शीर्षक पर जा सकते हैं)

कार में नेटवर्क द्वारा हल किया जाने वाला मुख्य कार्य पैटर्न की पहचान है। हमारे लिए मनुष्य, यह एक बहुत ही सरल कार्य है। आप छवियों को देखते हैं और एक सेलो, नाव, इगुआना या कैंची देखते हैं। आपके लिए बहुत आसान और सरल है, लेकिन कंप्यूटर के लिए नहीं। कारण यह है कि ये कंप्यूटर छवियां केवल पिक्सेल की एक सरणी हैं, जहां प्रत्येक पिक्सेल उस बिंदु पर चमक मूल्य है। केवल छवि को देखने के बजाय, कंप्यूटर एक सरणी में एक लाख संख्या प्राप्त करता है।

Ilon: यदि आप चाहते हैं, मैट्रिक्स। वास्तव में मैट्रिक्स।



एंड्रयू: हाँ। हमें पिगलों और चमक मूल्यों के इस ग्रिड से उच्च-स्तरीय अवधारणाओं जैसे कि इगुआना और इतने पर स्थानांतरित करने की आवश्यकता है। जैसा कि आप कल्पना कर सकते हैं, इगुआना की इस छवि में एक विशिष्ट चमक पैटर्न है। लेकिन इगुआनाओं को अलग-अलग तरीकों से, अलग-अलग पोज में, अलग-अलग रोशनी की स्थितियों में, अलग-अलग पृष्ठभूमि पर चित्रित किया जा सकता है। आप इगुआना के कई अलग-अलग चित्र पा सकते हैं और हमें इसे किसी भी स्थिति में पहचानना होगा।

इसका कारण यह है कि आप और मैं आसानी से इसे संभाल सकते हैं कि हमारे पास छवियों को संसाधित करने वाला एक विशाल तंत्रिका नेटवर्क है। प्रकाश रेटिना में प्रवेश करता है और आपके मस्तिष्क के पीछे दृश्य कॉर्टेक्स में भेजा जाता है। सेरेब्रल कॉर्टेक्स में कई न्यूरॉन्स होते हैं जो एक दूसरे से जुड़े होते हैं और पैटर्न की पहचान करते हैं।

पिछले पांच वर्षों में, कंप्यूटर का उपयोग करके इमेज प्रोसेसिंग के आधुनिक दृष्टिकोणों ने भी तंत्रिका नेटवर्क का उपयोग करना शुरू कर दिया है, लेकिन इस मामले में, कृत्रिम तंत्रिका नेटवर्क। कृत्रिम तंत्रिका नेटवर्क दृश्य प्रांतस्था के एक कच्चे गणितीय सन्निकटन हैं। यहां न्यूरॉन्स भी हैं, वे एक दूसरे से जुड़े हुए हैं। एक विशिष्ट तंत्रिका नेटवर्क में दसियों या सैकड़ों लाखों न्यूरॉन्स शामिल होते हैं, और प्रत्येक न्यूरॉन में हजारों लिंक होते हैं।

हम एक तंत्रिका नेटवर्क ले सकते हैं और इसे हमारे iguana जैसे चित्र दिखा सकते हैं, और नेटवर्क एक भविष्यवाणी करेगा जो इसे देखता है। सबसे पहले, तंत्रिका नेटवर्क को दुर्घटना से पूरी तरह से आरंभ किया जाता है, न्यूरॉन्स के बीच कनेक्शन के सभी भार यादृच्छिक संख्याएं हैं। इसलिए, नेटवर्क पूर्वानुमान भी यादृच्छिक होगा। यह पता चल सकता है कि शुद्ध सोचता है कि यह शायद एक नाव है। प्रशिक्षण के दौरान, हम जानते हैं और ध्यान दें कि इगुआना छवि पर है। हम बस कहते हैं कि हम इस छवि के लिए एक इगुआना की संभावना को बढ़ाना चाहेंगे, और बाकी सब कुछ घटने की संभावना है। फिर बैक प्रोपेगेशन मेथड नामक गणितीय प्रक्रिया का उपयोग किया जाता है। स्टोचस्टिक ग्रेडिएंट डिसेंट, जो हमें लिंक के साथ सिग्नल को प्रसारित करने और उनके वज़न को अपडेट करने की अनुमति देता है। हम इन यौगिकों में से प्रत्येक के वजन को काफी अपडेट करेंगे, और जैसे ही अपडेट पूरा होगा, इस छवि के लिए एक इगुआना की संभावना थोड़ी बढ़ जाएगी, और अन्य उत्तरों की संभावना कम हो जाएगी।

बेशक, हम एक से अधिक एकल छवि के साथ ऐसा करते हैं। हमारे पास टैग किए गए डेटा का एक बड़ा सेट है। आमतौर पर ये लाखों छवियां, हजारों टैग या तो हैं। सीखने की प्रक्रिया को बार-बार दोहराया जाता है। आप कंप्यूटर को एक छवि दिखाते हैं, यह आपको अपनी राय बताता है, फिर आप सही उत्तर कहते हैं, और नेटवर्क थोड़ा कॉन्फ़िगर किया गया है। आप इसे लाखों बार दोहराते हैं, कभी-कभी एक ही छवि को सैकड़ों बार प्रदर्शित करते हैं। प्रशिक्षण में आमतौर पर कई घंटे या कई दिन लगते हैं।

अब तंत्रिका नेटवर्क के काम के बारे में कुछ सहज ज्ञान युक्त। उन्हें वास्तव में बहुत सारे उदाहरणों की आवश्यकता है। यह सिर्फ आपके सिर में फिट नहीं है, लेकिन वे वास्तव में खरोंच से शुरू करते हैं, वे कुछ भी नहीं जानते हैं। यहाँ एक उदाहरण है - एक प्यारा कुत्ता, और आप शायद उसकी नस्ल को नहीं जानते। यह एक जापानी स्पैनियल है। हम इस तस्वीर को देख रहे हैं और हमें एक जापानी स्पैनियल दिखाई दे रहा है। हम कह सकते हैं: "ठीक है, मैं समझता हूं, अब मुझे पता है कि जापानी स्पैनियल कैसा दिखता है।" यदि मैं आपको अन्य कुत्तों की कुछ और छवियां दिखाता हूं, तो आप उनमें से अन्य जापानी स्पैनियल्स पा सकते हैं। आपको केवल एक उदाहरण की आवश्यकता है, लेकिन कंप्यूटर नहीं कर सकते। उन्हें जापानी स्पैनील्स के बारे में बहुत सारे डेटा की आवश्यकता होती है, हजारों उदाहरण, विभिन्न पोज में, अलग-अलग रोशनी की स्थिति, अलग-अलग पृष्ठभूमि पर, आदि। आपको कंप्यूटर दिखाने की ज़रूरत है कि जापानी स्पैनियल अलग-अलग बिंदुओं से कैसे दिखता है। और उसे वास्तव में इस सभी डेटा की आवश्यकता है, अन्यथा कंप्यूटर वांछित टेम्पलेट को सीखने में सक्षम नहीं होगा।

ऑटोपायलट के लिए छवि लेआउट

तो यह सब स्वायत्त ड्राइविंग से कैसे संबंधित है। हम कुत्तों की नस्लों को लेकर बहुत चिंतित नहीं हैं। शायद वे भविष्य में देखभाल करेंगे। लेकिन अब हम सड़क के निशान, सड़क पर वस्तुओं, जहां वे हैं, जहां हम जा सकते हैं, और इसी तरह से रुचि रखते हैं। अब हमारे पास सिर्फ़ इगुआना जैसे लेबल नहीं हैं, लेकिन हमारे पास सड़क की छवियां हैं, और हम उदाहरण के लिए, सड़क चिह्नों में रुचि रखते हैं। एक व्यक्ति छवि को देखता है और इसे माउस से चिह्नित करता है।



हमारे पास टेस्ला कारों से संपर्क करने और और भी अधिक तस्वीरें मांगने का अवसर है। यदि आप यादृच्छिक फ़ोटो का अनुरोध करते हैं, तो आपको छवियां मिलेंगी, जहां एक नियम के रूप में, कार बस राजमार्ग के साथ जाती है। यह एक यादृच्छिक डेटा सेट होगा और हम इसे चिह्नित करेंगे।

यदि आप केवल यादृच्छिक सेटों को चिह्नित करते हैं, तो आपका नेटवर्क एक सरल, सामान्य ट्रैफ़िक स्थिति सीख लेगा और केवल इसमें अच्छा काम करेगा। जब आप उसे थोड़ा अलग उदाहरण दिखाते हैं, तो हम कहते हैं कि एक आवासीय क्षेत्र में सड़क के मुड़ने की छवि। आपका नेटवर्क गलत परिणाम दे सकता है। वह कहेगी "ठीक है, मैंने कई बार देखा है, सड़क सीधी जाती है।"



बेशक, यह पूरी तरह से असत्य है। लेकिन हम तंत्रिका नेटवर्क को दोष नहीं दे सकते। वह नहीं जानती कि क्या बाईं ओर पेड़, दाईं ओर कार, या पृष्ठभूमि में वे इमारतें हैं। नेटवर्क को इस बारे में कुछ भी पता नहीं है। हम सभी जानते हैं कि अंकन रेखा मायने रखती है और तथ्य यह है कि यह थोड़ा सा पक्ष में बदल जाता है। नेटवर्क को इसे ध्यान में रखना चाहिए, लेकिन ऐसा कोई तंत्र नहीं है जिसके द्वारा हम केवल तंत्रिका नेटवर्क को बता सकें कि सड़क के चिह्नों के ये स्ट्रोक वास्तव में मायने रखते हैं। हमारे हाथों में एकमात्र उपकरण लेबल डेटा है।



हम उन छवियों को लेते हैं जिन पर नेटवर्क गलत है, और उन्हें सही ढंग से चिह्नित करें। इस मामले में, हम मोड़ मार्कअप को चिह्नित करते हैं। फिर आपको कई समान छवियों को तंत्रिका नेटवर्क में स्थानांतरित करने की आवश्यकता है। और समय के साथ, वह ज्ञान जमा कर लेगी और इस पैटर्न को समझना सीख जाएगी, यह समझने के लिए कि छवि का यह हिस्सा एक भूमिका नहीं निभाता है, लेकिन यह मार्कअप बहुत महत्वपूर्ण है। नेटवर्क सीखेगा कि लेन को सही तरीके से कैसे खोजा जाए।

न केवल प्रशिक्षण डेटा सेट का आकार महत्वपूर्ण है। हमें केवल लाखों छवियों की आवश्यकता है। उन परिस्थितियों के स्थान को कवर करने के लिए बहुत काम करने की आवश्यकता है जो एक कार सड़क पर मिल सकती हैं। आपको रात में और बारिश में काम करने के लिए कंप्यूटर सिखाना होगा। सड़क एक दर्पण की तरह प्रकाश को प्रतिबिंबित कर सकती है, रोशनी व्यापक सीमाओं के भीतर भिन्न हो सकती है, छवियां बहुत अलग दिखेंगी।



हमें कंप्यूटर को यह सिखाना चाहिए कि छाया, कांटे और बड़ी वस्तुओं को कैसे संभालना है जो अधिकांश छवि पर कब्जा कर लेते हैं। सुरंगों या सड़क की मरम्मत के क्षेत्र में कैसे काम करें। और इन सभी मामलों में नेटवर्क को यह बताने के लिए कोई सीधा तंत्र नहीं है कि क्या करना है। हमारे पास केवल एक विशाल डेटा सेट है। हम चित्र ले सकते हैं, चिह्नित कर सकते हैं और नेटवर्क को प्रशिक्षित कर सकते हैं जब तक कि यह उनकी संरचना को समझना शुरू नहीं करता है।

बड़े और विविध डेटा सेट नेटवर्क को बहुत अच्छी तरह से काम करने में मदद करते हैं। यह हमारी खोज नहीं है। प्रयोग और अनुसंधान Google, फेसबुक, Baidu, डीपमाइंड से वर्णमाला। सभी समान परिणाम दिखाते हैं - तंत्रिका नेटवर्क वास्तव में डेटा पसंद करते हैं, जैसे मात्रा और विविधता। अधिक डेटा जोड़ें और तंत्रिका नेटवर्क की सटीकता बढ़ रही है।

एक सिमुलेशन में कारों के व्यवहार को अनुकरण करने के लिए आपको एक ऑटोपायलट विकसित करना होगा

कई विशेषज्ञ बताते हैं कि हम सही पैमाने पर आवश्यक डेटा प्राप्त करने के लिए सिमुलेशन का उपयोग कर सकते हैं। टेस्ला में, हमने कई बार यह सवाल पूछा है। हमारा अपना सिम्युलेटर है। सॉफ्टवेयर के विकास और मूल्यांकन के लिए हम व्यापक रूप से सिमुलेशन का उपयोग करते हैं। हमने इसका इस्तेमाल काफी सफलतापूर्वक प्रशिक्षण के लिए किया। लेकिन अंत में, जब तंत्रिका नेटवर्क के लिए प्रशिक्षण डेटा की बात आती है, तो कुछ भी वास्तविक डेटा को प्रतिस्थापित नहीं कर सकता है। प्रतिभागियों की उपस्थिति, भौतिकी और प्रतिभागियों के व्यवहार को लेकर मॉडलिंग में समस्याएं हैं।



वास्तविक दुनिया हमें अप्रत्याशित स्थितियों का एक समूह बना देती है। बर्फ, पेड़, हवा के साथ कठिन परिस्थितियों। विभिन्न दृश्य कलाकृतियां जिन्हें मॉडल करना मुश्किल है। सड़क की मरम्मत के क्षेत्र, झाड़ियों, हवा में लटके प्लास्टिक बैग। कई लोग, वयस्क, बच्चे और जानवर मिश्रित हो सकते हैं। इस सभी के व्यवहार और बातचीत को मॉडलिंग करना एक बिल्कुल अघुलनशील कार्य है।



यह एक पैदल यात्री के आंदोलन के बारे में नहीं है। यह इस बारे में है कि पैदल यात्री एक-दूसरे पर कैसे प्रतिक्रिया करते हैं, और कैसे कारें एक-दूसरे के प्रति प्रतिक्रिया करती हैं, कैसे वे आपकी प्रतिक्रिया करते हैं। यह सब अनुकरण करना बहुत मुश्किल है। आपको पहले एक ऑटोपायलट विकसित करने की आवश्यकता है, केवल एक सिमुलेशन में कारों के व्यवहार का अनुकरण करने के लिए।

यह वास्तव में कठिन है। यह कुत्ते, विदेशी जानवर हो सकते हैं, और कभी-कभी यह भी ऐसा कुछ नहीं है जो आप होने का दिखावा नहीं कर सकते, यह कुछ ऐसा है जो बस आपके दिमाग को पार नहीं करता है। मुझे नहीं पता था कि एक ट्रक एक ट्रक को ले जा सकता है जो एक ट्रक को ले जाता है जो दूसरे ट्रक को ले जाता है। लेकिन वास्तविक दुनिया में, यह और कई अन्य चीजें हो रही हैं जिनके साथ आना मुश्किल है। कारों से आने वाले आंकड़ों में मुझे जो विविधता दिखाई देती है, वह हमारे सिम्युलेटर में जो कुछ भी है उसके संबंध में सिर्फ पागल है। हालांकि हमारे पास एक अच्छा सिम्युलेटर है।

इलोन: सिमुलेशन ऐसा है जैसे आप अपने लिए अपना होमवर्क ईजाद कर रहे थे। यदि आप जानते हैं कि आप नाटक करने जा रहे हैं, तो ठीक है, निश्चित रूप से आप इससे निपटेंगे। लेकिन जैसा आंद्रेई ने कहा था, आप नहीं जानते कि आप क्या जानते हैं। दुनिया बहुत अजीब है, इसमें लाखों विशेष मामले हैं। यदि कोई व्यक्ति ड्राइविंग सिमुलेशन बनाता है जो ईमानदारी से वास्तविकता को पुन: पेश करता है, तो यह अपने आप में मानवता के लिए एक महत्वपूर्ण उपलब्धि होगी। लेकिन ऐसा कोई नहीं कर सकता। कोई रास्ता नहीं है।

प्रशिक्षण के लिए फ्लीट एक प्रमुख डेटा स्रोत है

आंद्रेई: तंत्रिका नेटवर्क अच्छी तरह से काम करने के लिए, आपको एक बड़े, विविध और वास्तविक डेटा सेट की आवश्यकता होती है। और अगर आपके पास एक है, तो आप अपने तंत्रिका नेटवर्क को प्रशिक्षित कर सकते हैं और यह बहुत अच्छा काम करेगा। तो टेस्ला इस संबंध में इतना खास क्यों है? उत्तर, निश्चित रूप से, बेड़े (बेड़े, टेस्ला बेड़े) है। हम सभी टेस्ला वाहनों से डेटा एकत्र कर सकते हैं और उन्हें प्रशिक्षण के लिए उपयोग कर सकते हैं।

आइए ऑब्जेक्ट डिटेक्टर के संचालन में सुधार के एक विशिष्ट उदाहरण को देखें। इससे आपको अंदाजा हो जाएगा कि हम तंत्रिका नेटवर्क को कैसे प्रशिक्षित करते हैं, हम उनका उपयोग कैसे करते हैं और समय के साथ कैसे बेहतर होते जाते हैं।

वस्तु का पता लगाना हमारे सबसे महत्वपूर्ण कार्यों में से एक है। हमें उन्हें ट्रैक करने के लिए कारों और अन्य वस्तुओं के आयामों को उजागर करने और यह समझने की आवश्यकता है कि वे कैसे आगे बढ़ सकते हैं। हम लोगों को छवियों को चिह्नित करने के लिए कह सकते हैं। लोग कहेंगे: "यहाँ कारें हैं, यहाँ साइकिल हैं" इत्यादि। और हम इस डेटा पर तंत्रिका नेटवर्क को प्रशिक्षित कर सकते हैं। लेकिन कुछ मामलों में, नेटवर्क गलत पूर्वानुमान लगाएगा।



उदाहरण के लिए, यदि हम एक कार से टकराते हैं जिस पर पीछे एक साइकिल जुड़ी हुई है, तो हमारा तंत्रिका नेटवर्क 2 वस्तुओं का पता लगाएगा - एक कार और एक साइकिल। जब मैंने पहली बार काम किया था तो इसी तरह उसने काम किया था। और अपने तरीके से यह सही है, क्योंकि ये दोनों वस्तुएं वास्तव में यहां मौजूद हैं। लेकिन ऑटोपायलट योजनाकार इस तथ्य की परवाह नहीं करता है कि यह बाइक एक अलग वस्तु है जो कार के साथ चलती है। सच्चाई यह है कि इस बाइक को कार के साथ मजबूती से जोड़ा गया है। सड़क पर वस्तुओं के संदर्भ में, यह एक वस्तु है - एक कार।



अब हम कई समान वस्तुओं को "एक कार" के रूप में चिह्नित करना चाहेंगे। हमारी टीम निम्नलिखित दृष्टिकोण का उपयोग करती है। हम इस छवि या कई छवियों को लेते हैं जिसमें ऐसा मॉडल मौजूद है। और हमारे पास एक मशीन लर्निंग मैकेनिज्म है जिसके साथ हम बेड़े को पूछ सकते हैं कि हमें ऐसे उदाहरण प्रदान करें जो समान दिखें। और बेड़े प्रतिक्रिया में छवियां भेजता है।



यहाँ छह प्राप्त छवियों का एक उदाहरण है। इन सभी में कारों से जुड़ी बाइक हैं। हम उन्हें सही तरीके से चिह्नित करेंगे और हमारा डिटेक्टर बेहतर काम करेगा। नेटवर्क को समझना शुरू हो जाएगा जब बाइक कार से जुड़ी होती है, और यह एक वस्तु है। आप इसमें नेटवर्क को प्रशिक्षित कर सकते हैं, बशर्ते आपके पास पर्याप्त उदाहरण हों। और इस तरह हम इस तरह की समस्याओं को हल करते हैं।

मैं टेस्ला कारों से डेटा प्राप्त करने के बारे में बहुत बात करता हूं। और मैं तुरंत यह कहना चाहता हूं कि हमने इस प्रणाली को शुरू से ही गोपनीय रखा है। प्रशिक्षण के लिए हमारे द्वारा उपयोग किए जाने वाले सभी डेटा को गुमनाम कर दिया जाता है।

बेड़े हमें न केवल कारों पर साइकिल भेजता है। हम लगातार कई अलग-अलग मॉडलों की तलाश कर रहे हैं। उदाहरण के लिए, हम नावों की तलाश कर रहे हैं - बेड़े सड़कों पर नावों की छवियां भेजता है। हम सड़क मरम्मत क्षेत्रों की छवियां चाहते हैं, और बेड़े हमें दुनिया भर से ऐसी कई छवियां भेजते हैं। या उदाहरण के लिए, सड़क पर कचरा, यह भी बहुत महत्वपूर्ण है। बेड़ा हमें सड़क पर टायर, शंकु, प्लास्टिक की थैलियों और जैसी छवियों को भेजता है।



हम पर्याप्त छवियां प्राप्त कर सकते हैं, उन्हें सही तरीके से चिह्नित कर सकते हैं, और तंत्रिका नेटवर्क सीखेंगे कि वास्तविक दुनिया में उनके साथ कैसे काम किया जाए। हमें यह समझने के लिए कि क्या हो रहा है और सही ढंग से जवाब देने के लिए तंत्रिका नेटवर्क की आवश्यकता है।

तंत्रिका नेटवर्क अनिश्चितता डेटा संग्रह को ट्रिगर करती है

तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए प्रक्रिया, जिसे हम बार-बार दोहराते हैं, इस प्रकार है। हमने बेड़े से प्राप्त छवियों के एक यादृच्छिक सेट के साथ शुरुआत की। हम छवियों को चिह्नित करते हैं, तंत्रिका नेटवर्क को प्रशिक्षित करते हैं और इसे कारों में लोड करते हैं। हमारे पास ऐसे तंत्र हैं जिनके द्वारा हम ऑटोपायलट के संचालन में अशुद्धियों का पता लगाते हैं। यदि हम देखते हैं कि तंत्रिका नेटवर्क सुनिश्चित नहीं है या ड्राइवर हस्तक्षेप या अन्य घटनाएं हैं, तो जिस डेटा पर यह हुआ है वह स्वचालित रूप से भेजा जाता है।



उदाहरण के लिए, सुरंग के निशान खराब रूप से पहचाने जाते हैं। हम देखते हैं कि सुरंगों में कोई समस्या है। पत्राचार चित्र हमारी इकाई परीक्षणों में आते हैं ताकि बाद में समस्या को दोहराया न जा सके। अब, समस्या को ठीक करने के लिए, हमें प्रशिक्षण के कई उदाहरणों की आवश्यकता है। हम बेड़े से हमें सुरंगों की अधिक छवियां भेजने, उन्हें सही ढंग से चिह्नित करने, उन्हें प्रशिक्षण सेट में जोड़ने और नेटवर्क को फिर से चलाने और फिर उन्हें कारों में लोड करने के लिए कहते हैं। यह चक्र बार-बार दोहराता है। हम इस पुनरावृत्ति प्रक्रिया को डेटा इंजन (डेटा इंजन? डेटा इंजन?) कहते हैं। हम छाया मोड में नेटवर्क चालू करते हैं, अशुद्धियों का पता लगाते हैं, अधिक डेटा का अनुरोध करते हैं, उन्हें प्रशिक्षण सेट में शामिल करते हैं। हम अपने तंत्रिका नेटवर्क की सभी प्रकार की भविष्यवाणियों के लिए ऐसा करते हैं।

स्वचालित डेटा मार्कअप

मैंने छवियों के मैनुअल मार्कअप के बारे में बहुत बात की। यह एक महंगी प्रक्रिया है, दोनों समय और वित्तीय रूप से। यह बहुत महंगा हो सकता है। मैं इस बारे में बात करना चाहता हूं कि आप यहां बेड़े का उपयोग कैसे कर सकते हैं। मैनुअल मार्किंग एक अड़चन है। हम केवल डेटा को स्थानांतरित करना चाहते हैं और इसे स्वचालित रूप से चिह्नित करते हैं। और इसके लिए कई तंत्र हैं।

एक उदाहरण के रूप में, हमारी हालिया परियोजनाओं में से एक है पुनर्निर्माण का पता लगाना।आप राजमार्ग पर गाड़ी चला रहे हैं, कोई व्यक्ति बाईं या दाईं ओर गाड़ी चला रहा है, और वह आपकी लेन में पुनर्निर्माण कर रहा है।



यहां एक वीडियो है जहां ऑटोपायलट एक पुनर्निर्माण का पता लगाता है। बेशक, हम इसे जल्द से जल्द खोजना चाहेंगे। इस समस्या को हल करने के लिए दृष्टिकोण यह है कि हम कोड नहीं लिखते हैं जैसे: बाईं दिशा सूचक चालू है, सही दिशा सूचक चालू है, चाहे कार समय पर क्षैतिज रूप से चली गई हो। इसके बजाय, हम बेड़े-आधारित ऑटो-लर्निंग का उपयोग करते हैं।

यह कैसे काम करता है? जब भी हमारी लेन में पुनर्निर्माण दर्ज किया जाता है, तो हम बेड़े से हमें डेटा भेजने के लिए कहते हैं। फिर हम समय वापस करते हैं और स्वचालित रूप से ध्यान दें कि यह कार आपके सामने 1.3 सेकंड में पुनर्निर्माण करेगी। इन आंकड़ों का उपयोग तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए किया जा सकता है। इस प्रकार, तंत्रिका नेटवर्क खुद ही आवश्यक संकेतों को निकाल देगा। उदाहरण के लिए, एक कार दस्त कर रही है और फिर पुनर्निर्माण कर रही है, या इसमें एक टर्न सिग्नल चालू है। तंत्रिका नेटवर्क स्वचालित रूप से लेबल किए गए उदाहरणों से इस सब के बारे में सीखता है।

छाया की जाँच

हम बेड़े को अपने आप डेटा भेजने के लिए कहते हैं। हम आधा मिलियन छवियां एकत्र कर सकते हैं, और सभी पर फिर से चिह्नित किया जाएगा। हम नेटवर्क को प्रशिक्षित करते हैं और इसे बेड़े में लोड करते हैं। लेकिन जब तक हम इसे पूरी तरह से चालू नहीं करते, लेकिन इसे छाया मोड में चलाएं। इस मोड में, नेटवर्क लगातार भविष्यवाणियां करता है: "अरे, मुझे लगता है कि यह कार फिर से बनने जा रही है।" और हम गलत पूर्वानुमान की तलाश कर रहे हैं।



यहां एक क्लिप का एक उदाहरण है जो हमें शैडो मोड से मिला है। यहां स्थिति थोड़ी स्पष्ट नहीं है, और नेटवर्क ने सोचा कि दाईं ओर की कार पुनर्निर्माण के बारे में थी। और आप देख सकते हैं कि वह मार्किंग लाइन से थोड़ा फ़्लर्ट कर रहा है। नेटवर्क ने इस पर प्रतिक्रिया दी, और सुझाव दिया कि कार जल्द ही हमारे लेन में होगी। लेकिन ऐसा हुआ नहीं।

नेटवर्क छाया मोड में काम करता है और पूर्वानुमान बनाता है। उनमें से झूठी सकारात्मक और झूठी नकारात्मक हैं। कभी-कभी नेटवर्क गलत तरीके से प्रतिक्रिया करता है, और कभी-कभी, यह घटनाओं को छोड़ देता है। ये सभी त्रुटियां डेटा संग्रह को ट्रिगर करती हैं। अतिरिक्त प्रयास के बिना डेटा को टैग किया जाता है और प्रशिक्षण में शामिल किया जाता है। और हम इस प्रक्रिया में लोगों को खतरे में नहीं डालते हैं। हम नेटवर्क को पुनः प्राप्त करते हैं और छाया मोड का फिर से उपयोग करते हैं। हम इसे कई बार दोहरा सकते हैं, वास्तविक ट्रैफ़िक स्थितियों में झूठे अलार्म का मूल्यांकन कर सकते हैं। एक बार संकेतक हमारे पास आते हैं, हम बस स्विच पर क्लिक करते हैं और नेटवर्क को कार को नियंत्रित करते हैं।

हमने पुनर्निर्माण डिटेक्टर के पहले संस्करणों में से एक को लगभग तीन महीने पहले लॉन्च किया था। यदि आप नोटिस करते हैं कि मशीन पुनर्निर्माण का पता लगाने में बहुत बेहतर हो गई है, तो यह बेड़े को कार्रवाई में प्रशिक्षित कर रहा है। और इस प्रक्रिया में एक भी व्यक्ति घायल नहीं हुआ। यह वास्तविक डेटा के आधार पर तंत्रिका नेटवर्क का बहुत अधिक प्रशिक्षण है, जो छाया मोड का उपयोग करता है और परिणामों का विश्लेषण करता है।

इलोन: वास्तव में, सभी ड्राइवर लगातार नेटवर्क को प्रशिक्षित करते हैं। इससे कोई फर्क नहीं पड़ता कि ऑटोपायलट चालू है या बंद है। नेटवर्क सीख रहा है। HW2.0 या उच्चतर उपकरण वाली मशीन द्वारा ट्रेस किया गया प्रत्येक मील नेटवर्क को शिक्षित करता है।

जब आप गाड़ी चला रहे होते हैं, तो आप वास्तव में डेटा को चिह्नित कर रहे होते हैं

आंद्रेई: एक और दिलचस्प परियोजना जो हम बेड़े प्रशिक्षण योजना में उपयोग करते हैं, वह पूर्वानुमान का रास्ता है। जब आप ड्राइव करते हैं, तो आप वास्तव में डेटा को चिह्नित कर रहे हैं। आप हमें बताएं कि विभिन्न ड्राइविंग परिस्थितियों में कैसे ड्राइव करें। यहाँ चौराहे पर छोड़ दिया गया ड्राइवरों में से एक है। हमारे पास सभी कैमरों का एक पूरा वीडियो है, और हम उस मार्ग को जानते हैं जिसे ड्राइवर ने चुना था। हम यह भी जानते हैं कि स्टीयरिंग व्हील के रोटेशन की गति और कोण क्या था। हम सभी को एक साथ लाते हैं और उस मार्ग को समझते हैं जिसे किसी व्यक्ति ने इस यातायात स्थिति में चुना है। और हम इसे एक शिक्षक के साथ शिक्षण के रूप में उपयोग कर सकते हैं। हम बस बेड़े से डेटा की आवश्यक मात्रा प्राप्त करते हैं, इन प्रक्षेप पथ पर नेटवर्क को प्रशिक्षित करते हैं, और उसके बाद तंत्रिका नेटवर्क पथ का अनुमान लगा सकते हैं।

इसे नकल विद्या कहते हैं। हम वास्तविक दुनिया से लोगों के प्रक्षेपवक्र लेते हैं और उनकी नकल करने की कोशिश करते हैं। और फिर से हम अपने पुनरावृत्तियों को ले सकते हैं।

यहां मुश्किल सड़क की स्थिति में एक पथ की भविष्यवाणी करने का एक उदाहरण है। वीडियो में हम नेटवर्क पूर्वानुमान का उपरिशायी करते हैं। ग्रीन उस पथ को चिह्नित करता है जो नेटवर्क को स्थानांतरित करेगा।



Ilon: पागलपन यह है कि नेटवर्क एक ऐसे मार्ग की भविष्यवाणी करता है जिसे वह देख भी नहीं सकता। अविश्वसनीय रूप से उच्च परिशुद्धता के साथ। वह यह नहीं देखती कि मोड़ के आसपास क्या है, लेकिन विश्वास है कि इस प्रक्षेपवक्र की संभावना बहुत अधिक है। और यह सही निकला। आज आप इसे कारों में देखेंगे, हम संवर्धित दृष्टि को शामिल करेंगे ताकि आप वीडियो पर लगाए गए प्रक्षेपवक्र के चिह्नों और अनुमानों को देख सकें।

आंद्रेई: वास्तव में, हुड के तहत, सबसे अधिक हो रहा है, और

Ilon: वास्तव में, यह थोड़ा डरावना है (एंड्री हंसते हुए)।

एंड्रयू: बेशक, मुझे बहुत सारे विवरण याद हैं। आप सभी ड्राइवरों को एक पंक्ति में उपयोग करने के लिए चिह्नित नहीं करना चाहते हैं, आप सबसे अच्छा नकल करना चाहते हैं। और हम इस डेटा को तैयार करने के लिए कई तरीकों का उपयोग करते हैं। दिलचस्प है, यह पूर्वानुमान वास्तव में तीन आयामी है। यह त्रि-आयामी अंतरिक्ष में एक पथ है जिसे हम 2D में प्रदर्शित करते हैं। लेकिन नेटवर्क में ढलान के बारे में जानकारी है, और यह ड्राइविंग के लिए बहुत महत्वपूर्ण है।

वर्तमान में कारों में काम करने के तरीके की भविष्यवाणी करना। वैसे, जब आप हाईवे पर जंक्शन से गुजरे थे, तो लगभग पांच महीने पहले, आपकी कार इसे सामना नहीं कर पाई थी। अब यह कर सकते हैं। यह एक्शन का तरीका है, एक्शन में, आपकी कारों में। हमने इसे कुछ समय पहले चालू किया। और आज आप देख सकते हैं कि यह चौराहों पर कैसे काम करता है। चौराहों पर काबू पाने के लिए प्रशिक्षण का एक महत्वपूर्ण हिस्सा स्वचालित रूप से डेटा को चिह्नित करके प्राप्त किया जाता है।

मैं तंत्रिका नेटवर्क प्रशिक्षण के प्रमुख घटकों के बारे में बात करने में कामयाब रहा। आपको वास्तविक डेटा का एक बड़ा, विविध सेट चाहिए। टेस्ला में, हम इसे बेड़े का उपयोग करके प्राप्त करते हैं। हम बेड़े का उपयोग करके डेटा इंजन, छाया मोड और स्वचालित डेटा विभाजन का उपयोग करते हैं। और हम इस दृष्टिकोण को पैमाना बना सकते हैं।

वीडियो द्वारा गहराई की धारणा

अपने भाषण के अगले भाग में मैं दृष्टि के माध्यम से गहराई पर विचार करने के बारे में बात करूंगा। आप शायद जानते हैं कि कारें कम से कम दो प्रकार के सेंसर का उपयोग करती हैं। एक चमक वीडियो कैमरा है, और दूसरा लिडार है, जिसका उपयोग कई कंपनियां करती हैं। लिडार आपके आसपास की दूरी का बिंदु माप देता है।

मैं यह नोट करना चाहता हूं कि आप सभी केवल अपने तंत्रिका नेटवर्क और दृष्टि का उपयोग करके यहां आए थे। आपने अपनी आँखों से लेज़रों के साथ शूटिंग नहीं की थी और अभी भी यहाँ समाप्त हुई।

यह स्पष्ट है कि मानव तंत्रिका नेटवर्क दूरी को निकालता है और दुनिया को विशेष रूप से दृष्टि के माध्यम से तीन आयामी मानता है। वह कई तरकीबों का इस्तेमाल करती है। मैं उनमें से कुछ के बारे में संक्षेप में बात करूंगा। उदाहरण के लिए, हमारे पास दो आंखें हैं, इसलिए आपको दुनिया की दो छवियां आपके सामने मिलती हैं। आपका मस्तिष्क इस जानकारी को दूरियों का अनुमान लगाने के लिए जोड़ता है, यह दो छवियों में त्रिभुज बिंदुओं द्वारा किया जाता है। कई जानवरों में, आँखें किनारे पर स्थित होती हैं और उनके देखने के क्षेत्र को थोड़ा पार किया जाता है। ये जानवर संरचना (गति) का उपयोग करते हैं। वे विभिन्न बिंदुओं से दुनिया की कई छवियों को प्राप्त करने के लिए अपने सिर को हिलाते हैं और त्रिकोणासन भी लगा सकते हैं।



यहां तक ​​कि एक आंख बंद होने और पूरी तरह से गतिहीन होने के बावजूद, आप दूरी की धारणा की एक निश्चित भावना को बनाए रखते हैं। यदि आप एक आंख बंद करते हैं, तो यह आपको प्रतीत नहीं होगा कि मैं दो मीटर करीब या एक सौ मीटर आगे हो गया हूं। ऐसा इसलिए है क्योंकि कई शक्तिशाली मोनोकुलर तकनीकें हैं जो आपके मस्तिष्क पर भी लागू होती हैं। उदाहरण के लिए, रेल की पृष्ठभूमि पर दो समान धारियों के साथ एक सामान्य ऑप्टिकल भ्रम। आपका मस्तिष्क दृश्य का मूल्यांकन करता है और उम्मीद करता है कि उनमें से एक दूरी में गायब होने वाली रेल लाइनों के कारण दूसरे से बड़ा होगा। आपका मस्तिष्क अपने आप बहुत कुछ करता है, और कृत्रिम तंत्रिका नेटवर्क भी ऐसा कर सकते हैं।

मैं तीन उदाहरण दूंगा कि आप वीडियो में गहराई की धारणा को कैसे प्राप्त कर सकते हैं। एक क्लासिक दृष्टिकोण और दो तंत्रिका नेटवर्क पर आधारित है।



हम कुछ सेकंड में एक वीडियो क्लिप ले सकते हैं और त्रिभुज और स्टीरियो विज़न विधियों का उपयोग करके 3 डी में परिवेश को फिर से बना सकते हैं। हम कार में समान तरीके लागू करते हैं। मुख्य बात यह है कि संकेत में वास्तव में आवश्यक जानकारी है, एकमात्र प्रश्न इसे निकालने के लिए है।

रडार का उपयोग करके दूरी को चिह्नित करना

जैसा कि मैंने कहा, तंत्रिका नेटवर्क एक बहुत शक्तिशाली दृश्य पहचान उपकरण है। यदि आप चाहते हैं कि वे दूरी को पहचानें, तो आपको दूरियों को चिह्नित करने की आवश्यकता है, और फिर नेटवर्क सीखेगा कि यह कैसे करना है। कुछ भी नहीं टैग किए गए डेटा के अलावा दूरी की भविष्यवाणी करने की क्षमता में नेटवर्क को प्रतिबंधित करता है।

हम आगे निर्देशित एक रडार का उपयोग करते हैं। यह रडार उन वस्तुओं की दूरी को मापता है और चिन्हित करता है जिन्हें तंत्रिका नेटवर्क देखता है। लोगों से कहने के बजाय "यह कार लगभग 25 मीटर दूर है", आप सेंसर का उपयोग करके डेटा को बेहतर तरीके से चिह्नित कर सकते हैं। इस दूरी पर रडार बहुत अच्छा काम करता है। आप डेटा को चिह्नित करते हैं और तंत्रिका नेटवर्क को प्रशिक्षित करते हैं। यदि आपके पास पर्याप्त डेटा है, तो एक तंत्रिका नेटवर्क दूरी की भविष्यवाणी करने में बहुत अच्छा होगा।



इस छवि में, वृत्त रडार द्वारा प्राप्त वस्तुओं को दिखाते हैं, और क्यूब्रोइड तंत्रिका नेटवर्क द्वारा प्राप्त वस्तुएं हैं। और अगर नेटवर्क अच्छी तरह से काम करता है, तो शीर्ष दृश्य में, घनाभों की स्थिति को मंडलियों की स्थिति के साथ मेल खाना चाहिए, जिसे हम देखते हैं। दूरी की भविष्यवाणी के साथ तंत्रिका नेटवर्क बहुत अच्छा करते हैं। वे विभिन्न वाहनों के आकार सीख सकते हैं, और छवि पर उनके आकार के अनुसार, दूरी को काफी सटीक रूप से निर्धारित करते हैं।

स्व पर्यवेक्षण

आखिरी तंत्र, जिसके बारे में मैं बहुत संक्षेप में बात करूंगा, थोड़ा अधिक तकनीकी है। इस दृष्टिकोण के बारे में केवल कुछ लेख हैं, मुख्य रूप से पिछले वर्ष या दो में। इसे स्व-पर्यवेक्षण कहते हैं।



यहाँ क्या चल रहा है आप तंत्रिका नेटवर्क पर कच्चे अनलिस्टेड वीडियो अपलोड करते हैं। और नेटवर्क अभी भी दूरी को पहचानना सीख सकता है। विवरण में जाने के बिना, विचार यह है कि एक तंत्रिका नेटवर्क इस वीडियो के प्रत्येक फ्रेम में दूरी की भविष्यवाणी करता है। हमारे पास सत्यापन के लिए टैग नहीं हैं, लेकिन एक लक्ष्य है - समय संगति। कोई फर्क नहीं पड़ता कि नेटवर्क किस दूरी की भविष्यवाणी करता है, यह पूरे वीडियो के अनुरूप होना चाहिए। और सुसंगत होने का एकमात्र तरीका दूरी की सही भविष्यवाणी करना है। नेटवर्क स्वचालित रूप से सभी पिक्सेल के लिए गहराई की भविष्यवाणी करता है। हम इसे पुन: पेश करने में कामयाब रहे, और यह बहुत अच्छी तरह से काम करता है।

—

संक्षेप में देना।लोग दृष्टि का उपयोग करते हैं, कोई लेज़र नहीं। मैं जोर देना चाहता हूं कि स्वायत्त ड्राइविंग के लिए शक्तिशाली दृश्य मान्यता बिल्कुल आवश्यक है। हमें तंत्रिका नेटवर्क की आवश्यकता है जो वास्तव में पर्यावरण को समझते हैं।



लिडार से मिले डेटा की जानकारी बहुत कम है। क्या यह सिल्हूट सड़क पर है, क्या यह एक प्लास्टिक बैग या टायर है? लिडार आपको बस कुछ बिंदु देगा, जबकि दृष्टि आपको बता सकती है कि यह क्या है। क्या यह लड़का साइकिल पर पीछे मुड़कर देख रहा है, क्या वह लेन बदलने की कोशिश कर रहा है या वह सीधे जा रहा है? सड़क की मरम्मत के क्षेत्र में, इन संकेतों का क्या मतलब है और मुझे यहां कैसे व्यवहार करना चाहिए? हां, संपूर्ण सड़क अवसंरचना को दृश्य उपभोग के लिए डिज़ाइन किया गया है। सभी संकेत, ट्रैफ़िक लाइट, सब कुछ दृष्टि के लिए है, जहाँ सभी जानकारी है। और हमें इसका उपयोग करना चाहिए।

यह लड़की फोन के बारे में भावुक है, क्या वह सड़क पर कदम रखने जा रही है? ऐसे सवालों के जवाब केवल दृष्टि की मदद से पाए जा सकते हैं और वे ऑटोपायलट स्तर 4-5 के लिए आवश्यक हैं। और यही हम टेस्ला में विकसित कर रहे हैं। हम बड़े पैमाने पर तंत्रिका नेटवर्क प्रशिक्षण, हमारे डेटा इंजन और बेड़े सहायता के माध्यम से ऐसा करते हैं।

इस संबंध में, लिडार पथ को काटने का एक प्रयास है। यह मशीन दृष्टि के मूलभूत कार्य को रोकता है, जिसका समाधान स्वायत्त ड्राइविंग के लिए आवश्यक है। यह प्रगति की झूठी भावना देता है। लिडार केवल त्वरित प्रदर्शनों के लिए अच्छा है।

प्रगति वास्तविक दुनिया में जटिल परिस्थितियों के साथ टकराव की आवृत्ति के लिए आनुपातिक है।

अगर मैं एक स्लाइड पर कहा गया है कि सभी फिट करना चाहते हैं, यह इस तरह दिखेगा। हमें 4-5 प्रणालियों के स्तर की आवश्यकता है जो 99.9999% मामलों में सभी संभावित स्थितियों को संभाल सकते हैं। अंतिम निन्स का पीछा करना मुश्किल और बहुत मुश्किल होगा। इसके लिए बहुत शक्तिशाली मशीन विजन सिस्टम की आवश्यकता होगी।

यहाँ दिखाया गया है कि आप पोषित दशमलव स्थानों के रास्ते पर आ सकते हैं। सबसे पहले, आपके पास बस आगे जाने वाली कारें हैं, फिर ये कारें थोड़ी असामान्य लगने लगती हैं, साइकिल उन पर दिखाई देती है, कारों पर कार। फिर आप वास्तव में दुर्लभ घटनाओं, जैसे कि एक छलांग में कारों या यहां तक ​​कि कारों में आते हैं। हम बेड़े से आने वाले डेटा में बहुत कुछ मिलते हैं।

और हम इन दुर्लभ घटनाओं को अपने प्रतिस्पर्धियों की तुलना में बहुत अधिक बार देखते हैं। यह उस गति को निर्धारित करता है जिसके साथ हम डेटा प्राप्त कर सकते हैं और प्रशिक्षण तंत्रिका नेटवर्क के माध्यम से समस्याओं को ठीक कर सकते हैं। प्रगति की गति उस आवृत्ति के समानुपाती होती है जिसके साथ आप वास्तविक दुनिया में कठिन परिस्थितियों का सामना करते हैं। और हम उनके अलावा किसी और की तुलना में अधिक बार आते हैं। इसलिए, हमारा ऑटोपायलट दूसरों की तुलना में बेहतर है। आपका धन्यवाद

क्यू एंड ए

प्रश्न: आप प्रत्येक कार से औसतन कितना डेटा एकत्र करते हैं?

एंड्रयू: यह केवल डेटा की मात्रा के बारे में नहीं है, यह विविधता के बारे में है। कुछ बिंदु पर, आपके पास पहले से ही राजमार्ग के साथ ड्राइविंग की पर्याप्त छवियां हैं, नेटवर्क उन्हें समझता है, यह अब आवश्यक नहीं है। इसलिए, हम रणनीतिक रूप से सही डेटा प्राप्त करने पर ध्यान केंद्रित कर रहे हैं। और हमारे बुनियादी ढांचे, बल्कि जटिल विश्लेषण के साथ, हमें वह डेटा प्राप्त करने की अनुमति देता है जिसकी हमें अभी आवश्यकता है। यह भारी मात्रा में डेटा के बारे में नहीं है, यह बहुत अच्छी तरह से चयनित डेटा के बारे में है।

प्रश्न: मुझे आश्चर्य है कि आप बदलते लेन की समस्या को कैसे हल करने जा रहे हैं। जब भी मैं एक घने प्रवाह में पुनर्निर्माण करने की कोशिश करता हूं, उन्होंने मुझे काट दिया। लॉस एंजिल्स की सड़कों पर मानव व्यवहार तर्कहीन हो रहा है। ऑटोपायलट सुरक्षित रूप से ड्राइव करना चाहता है, और आपको लगभग इसे असुरक्षित करना होगा।

एंड्रयू: मैंने तंत्रिका नेटवर्क के प्रशिक्षण के रूप में डेटा इंजन के बारे में बात की। लेकिन हम सॉफ्टवेयर स्तर पर ही ऐसा करते हैं। सभी पैरामीटर जो पसंद को प्रभावित करते हैं, उदाहरण के लिए, जब पुनर्निर्माण करना है, तो कितना आक्रामक। हम उन्हें छाया मोड में भी बदलते हैं, और निरीक्षण करते हैं कि वे कितनी अच्छी तरह काम करते हैं और अनुमानी को समायोजित करते हैं। वास्तव में, सामान्य मामले के लिए ऐसे उत्तराधिकारियों को डिजाइन करना एक मुश्किल काम है। मुझे लगता है कि इस तरह के निर्णय लेने के लिए हमें बेड़े के प्रशिक्षण का उपयोग करना होगा। लोग गलियाँ कब बदलते हैं? किन परिदृश्यों में? उन्हें कब लगता है कि गलियाँ बदलना असुरक्षित है? चलो बस डेटा की एक बड़ी मात्रा को देखें और पुनर्निर्माण सुरक्षित होने पर अलग करने के लिए मशीन लर्निंग क्लासिफायर सिखाएं। ये क्लासिफायर लोगों की तुलना में बहुत बेहतर कोड लिखने में सक्षम होंगे, क्योंकि वे ड्राइवरों के व्यवहार पर भारी मात्रा में डेटा पर भरोसा करते हैं।

Ilon: संभवतः, हमारे पास "लॉस एंजिल्स में यातायात" मोड होगा। मैड मैक्स मोड के बाद कहीं। हाँ, मैड मैक्स लॉस एंजिल्स में एक कठिन समय होगा।

आंद्रेई को समझौता करना पड़ेगा। आप असुरक्षित स्थिति नहीं बनाना चाहते हैं, लेकिन घर प्राप्त करना चाहते हैं। और जो नृत्य लोग एक ही समय में करते हैं, उन्हें प्रोग्राम करना बहुत मुश्किल होता है। मुझे लगता है कि सही मशीन सीखना है। जहां हम सिर्फ कई तरीकों को देखते हैं लोग ऐसा करते हैं और उनकी नकल करने की कोशिश करते हैं।

इलोन: अब हम थोड़ा रूढ़िवादी हैं, और, जैसे-जैसे हमारा आत्मविश्वास बढ़ता है, अधिक आक्रामक शासन चुनना संभव हो जाएगा। यूजर्स इसे चुन सकेंगे। आक्रामक मोड में, जब ट्रैफिक जाम में लेन बदलने की कोशिश की जाती है, तो विंग को झुर्रियों की थोड़ी संभावना होती है। कोई गंभीर दुर्घटना का खतरा नहीं। आपके पास यह विकल्प होगा कि आप विंग को मैश करने के एक गैर-शून्य अवसर से सहमत हैं या नहीं। दुर्भाग्य से, यह राजमार्ग पर यातायात में फंसने का एकमात्र तरीका है।

प्रश्न: क्या दशमलव बिंदु के बाद उन नौ में से एक पर ऐसा हो सकता है कि लिडार उपयोगी होगा? दूसरा सवाल यह है कि अगर लिडार वास्तव में बेकार हैं, तो उन लोगों का क्या होगा जो उन पर अपने फैसले लेते हैं?

Ilon: वे सभी लिडार से छुटकारा पा लेंगे, यह मेरा पूर्वानुमान है, आप लिख सकते हैं। मुझे कहना चाहिए, मैं लिडार से नफरत नहीं करता जितना यह लग सकता है। स्पेसएक्स ड्रैगन आईएसएस और डॉक पर जाने के लिए लिडार का उपयोग करता है। स्पेसएक्स ने इसके लिए खरोंच से अपना लिडार विकसित किया है। मैंने व्यक्तिगत रूप से इस परियोजना का नेतृत्व किया क्योंकि लिडार इस परिदृश्य में समझ में आता है। लेकिन कारों में यह बहुत बेवकूफी है। यह महंगा है और आवश्यक नहीं है। और, जैसे ही आंद्रेई ने कहा, जैसे ही आप वीडियो को संभालेंगे, लिडार बेकार हो जाएगा। आपके पास महंगे उपकरण होंगे जो कार के लिए बेकार है।

हमारे पास एक आगे का राडार है। यह सस्ती और उपयोगी है, खासकर खराब दृश्यता की स्थितियों में। कोहरा, धूल या बर्फ, राडार उनके माध्यम से देख सकते हैं। यदि आप सक्रिय फोटॉन पीढ़ी का उपयोग करने जा रहे हैं, तो दृश्यमान प्रकाश की तरंग दैर्ध्य का उपयोग न करें। क्योंकि, निष्क्रिय प्रकाशिकी होने से, आप पहले से ही दृश्यमान स्पेक्ट्रम की हर चीज का ध्यान रख चुके हैं। अब रडार जैसे अच्छे मर्मज्ञ गुणों के साथ एक तरंग दैर्ध्य का उपयोग करना बेहतर है। लिडार दृश्य स्पेक्ट्रम में फोटॉनों की सक्रिय पीढ़ी है। सक्रिय रूप से फोटॉनों को उत्पन्न करना चाहते हैं, इसे दृश्यमान स्पेक्ट्रम के बाहर करें। 3.8 मिमी बनाम 400-700 एनएम का उपयोग करके आप खराब मौसम की स्थिति में देख पाएंगे। इसलिए, हमारे पास एक रडार है। साथ ही तत्काल वातावरण के लिए बारह अल्ट्रासोनिक सेंसर। आंदोलन की दिशा में रडार सबसे उपयोगी है, क्योंकि यह सीधे तौर पर है कि आप बहुत तेजी से आगे बढ़ रहे हैं।

हमने कई बार सेंसर का मुद्दा उठाया है। क्या उनमें से काफी हैं? क्या हमारे पास सब कुछ है जो हमें चाहिए? कुछ और जोड़ने की जरूरत है? हममम। बहुत हो।

प्रश्न: ऐसा लगता है कि कारें यह निर्धारित करने के लिए किसी तरह की गणना कर रही हैं कि आपको क्या जानकारी भेजनी है। क्या यह वास्तविक समय में किया गया है या संग्रहीत जानकारी पर आधारित है?

एंड्री: गणना कारों में खुद वास्तविक समय में की जाती है। हम उन शर्तों को व्यक्त करते हैं जो हमारी रुचि रखते हैं, और कार सभी आवश्यक गणना करते हैं। यदि वे ऐसा नहीं करते हैं, तो हमें एक पंक्ति में सभी डेटा को स्थानांतरित करना होगा और इसे हमारे बैक-एंड में संसाधित करना होगा। हम ऐसा नहीं करना चाहते हैं।

Ilon: हमारे पास HW2.0 + के साथ चार सौ पच्चीस हजार कारें हैं। इसका मतलब है कि उनके पास आठ कैमरे, एक रडार, अल्ट्रासोनिक सेंसर और कम से कम एक एनवीडिया कंप्यूटर है। यह गणना करने के लिए पर्याप्त है कि कौन सी जानकारी महत्वपूर्ण है और कौन सी नहीं। वे महत्वपूर्ण जानकारी को संपीड़ित करते हैं और इसे प्रशिक्षण के लिए नेटवर्क पर भेजते हैं। यह वास्तविक दुनिया से डेटा संपीड़न की एक बड़ी डिग्री है।

प्रश्न: आपके पास सैकड़ों हजारों कंप्यूटरों का यह नेटवर्क है, जो एक शक्तिशाली वितरित डेटा केंद्र जैसा दिखता है। क्या आप ऑटोपायलट के अलावा अन्य उद्देश्यों के लिए इसके आवेदन को देखते हैं?

Ilon: मुझे लगता है कि यह कुछ और के लिए इस्तेमाल किया जा सकता है। जबकि हम ऑटोपायलट पर ध्यान केंद्रित करते हैं। जैसे ही हम इसे सही स्तर पर लाते हैं, हम अन्य अनुप्रयोगों के बारे में सोच सकते हैं। तब तक, यह HW3.0 या FSDC के साथ लाखों या दसियों लाखों कारें होंगी।

प्रश्न: यातायात की गणना?

Ilon: हाँ, हो सकता है। यह AWS (Amazon Web Services) जैसा कुछ हो सकता है।

प्रश्न: मैं मिनेसोटा में एक मॉडल 3 ड्राइवर हूं, जहां बहुत अधिक बर्फ है। कैमरा और रडार बर्फ के माध्यम से सड़क के निशान नहीं देख सकते हैं। आप इस समस्या को कैसे हल करेंगे? क्या आप उच्च सटीकता वाले जीपीएस का उपयोग करेंगे?

एंड्रयू: पहले से ही आज, ऑटोपायलट एक बर्फीली सड़क पर बहुत अच्छा व्यवहार करता है। यहां तक ​​कि जब निशान छिपे होते हैं, या भारी वर्षा में पानी से ढके होते हैं, या ढके होते हैं, तब भी ऑटोपायलट अपेक्षाकृत अच्छी तरह से व्यवहार करता है। हमने अभी तक अपने डेटा इंजन के साथ बर्फीली सड़क को विशेष रूप से नहीं संभाला है। लेकिन मुझे यकीन है कि इस समस्या को हल किया जा सकता है। क्योंकि बर्फीली सड़क की कई छवियों में, यदि आप किसी व्यक्ति से पूछते हैं कि निशान कहां होना चाहिए, तो वह आपको दिखाएगा। लोग इस बात पर सहमत हैं कि अंकन रेखाएँ कहाँ खींचना है। और जबकि लोग आपके डेटा को सहमत और चिह्नित कर सकते हैं, तंत्रिका नेटवर्क यह जानने में सक्षम होगा और अच्छी तरह से काम करेगा। एकमात्र प्रश्न यह है कि क्या मूल संकेत में पर्याप्त जानकारी है। एक व्यक्ति एनोटेटर के लिए पर्याप्त है? यदि उत्तर हाँ है, तो तंत्रिका नेटवर्क ठीक काम करेगा।

इलोन: स्रोत सिग्नल में सूचना के कई महत्वपूर्ण स्रोत हैं। तो मार्कअप, यह उनमें से सिर्फ एक है। सबसे महत्वपूर्ण स्रोत ड्राइववे है। आप कहां जा सकते हैं, और आप कहां नहीं जा सकते मार्कअप से ज्यादा महत्वपूर्ण है। सड़क की मान्यता बहुत अच्छी तरह से काम करती है। मुझे लगता है, विशेष रूप से आगामी सर्दियों के बाद, यह अविश्वसनीय रूप से काम करेगा। हमें आश्चर्य होगा कि यह इतना अच्छा कैसे काम कर सकता है। यह सिर्फ पागल है।

एंड्रयू: यह लोगों को चिह्नित करने की क्षमता के बारे में भी नहीं है। जब तक आप, एक व्यक्ति, सड़क के इस हिस्से को पार कर सकता है। बेड़ा आपसे सीखेगा। हम जानते हैं कि आपने यहां कैसे काम किया। और आपने स्पष्ट रूप से इसके लिए दृष्टि का उपयोग किया है। आपने मार्कअप नहीं देखा, लेकिन आपने पूरे दृश्य की ज्यामिति का उपयोग किया। आप देखें कि सड़क कैसे झुकती है, आपके आसपास अन्य कारें कैसे स्थित हैं। तंत्रिका नेटवर्क स्वचालित रूप से इन सभी पैटर्नों को उजागर करेगा, आपको बस इस बारे में पर्याप्त डेटा प्राप्त करने की आवश्यकता है कि लोग ऐसी स्थितियों से कैसे पार पाते हैं।

इलोन: जीपीएस से कसकर चिपकना बहुत महत्वपूर्ण नहीं है। जीपीएस त्रुटि बहुत महत्वपूर्ण हो सकती है। और वास्तविक यातायात की स्थिति अप्रत्याशित हो सकती है। यह एक सड़क की मरम्मत या चक्कर हो सकता है। अगर कार जीपीएस पर बहुत अधिक निर्भर करती है, तो यह एक खराब स्थिति है। आप परेशानी पूछ रहे हैं। जीपीएस केवल एक संकेत के रूप में उपयोग करने के लिए अच्छा है।

प्रश्न: आपके कुछ प्रतियोगी इस बारे में बात करते हैं कि वे धारणा और पथ योजना को बेहतर बनाने के लिए उच्च परिभाषा मानचित्र का उपयोग कैसे करते हैं। क्या आप अपने सिस्टम में कुछ इसी तरह का उपयोग करते हैं, क्या आपको इसमें कोई फायदा नजर आता है? क्या ऐसे क्षेत्र हैं जहाँ आप बेड़े से नहीं, बल्कि कार्ड जैसे कुछ और डेटा लेना चाहेंगे?

Ilon: मुझे लगता है कि उच्च-रिज़ॉल्यूशन मानचित्र एक बहुत बुरा विचार है। सिस्टम बेहद अस्थिर हो जाता है। यदि आप GPS और उच्च-रिज़ॉल्यूशन के मानचित्रों से जुड़े हैं, तो परिवर्तनों के अनुकूल होने में असमर्थ हैं और दृष्टि को प्राथमिकता नहीं देते। विजन वह चीज है जो सब कुछ करना चाहिए। देखिए, मार्कअप सिर्फ एक दिशानिर्देश है, सबसे महत्वपूर्ण चीज नहीं। हमने मार्कअप कार्ड का उपयोग करने की कोशिश की और जल्दी से महसूस किया कि यह एक बड़ी गलती थी। हमने उन्हें पूरी तरह से त्याग दिया।

प्रश्न: यह समझना कि वस्तुएं कहां हैं और कार कैसे चल रही है, सभी बहुत उपयोगी हैं। लेकिन बातचीत के पहलू के बारे में क्या? पार्किंग के दौरान, राउंडअबाउट और अन्य स्थितियों में जहां आप अन्य कारों के साथ बातचीत करते हैं जो लोग ड्राइव करते हैं। यह एक विज्ञान से ज्यादा एक कला है।

Ilon: यह बहुत अच्छी तरह से काम करता है। यदि आप पुनर्व्यवस्था, आदि के साथ स्थितियों को देखते हैं, तो ऑटोपायलट सामान्य रूप से नकल करता है।

एंड्रयू: अब हम वास्तविक दुनिया का विचार बनाने के लिए बहुत सारे मशीन लर्निंग का उपयोग करते हैं। इसके शीर्ष पर, हमारे पास एक शेड्यूलर और कंट्रोलर है और ड्राइव करने के तरीके, कैसे अन्य कारों को ध्यान में रखना है, इत्यादि के बारे में कई अनुमान हैं। और पैटर्न मान्यता की तरह, यहां कई गैर-मानक मामले हैं, यह बाज और कबूतर के खेल की तरह है, जिसे आप अन्य लोगों के साथ खेलते हैं। हमें विश्वास है कि अंततः हम इस समस्या को हल करने के लिए बेड़े-आधारित प्रशिक्षण का उपयोग करेंगे। हाथ से लिखने वाली हस्तरेखाएँ जल्दी से एक पठार पर टिकी हुई हैं।

प्रश्न: क्या आपके पास पलटनिंग मोड है? क्या सिस्टम इसके लिए सक्षम है?

आंद्रेई: मुझे पूरा यकीन है कि हम ऐसा शासन कर सकते हैं। लेकिन फिर, अगर आप लोगों को नकल करने के लिए नेटवर्क को प्रशिक्षित करते हैं। लोग कार के सामने संलग्न होते हैं और ड्राइव करते हैं और नेटवर्क इस व्यवहार को याद रखता है। इसमें एक तरह का जादू है, सब कुछ अपने आप होता है। विभिन्न समस्याएं एक से नीचे आती हैं, बस डेटा सेट को इकट्ठा करें और इसका उपयोग तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए करें।

इलोन: स्वायत्त ड्राइविंग के तीन चरण। सबसे पहले इस कार्यक्षमता को लागू करना है। दूसरा इसे इस हद तक लाना है कि कार में एक व्यक्ति को सड़क पर बिल्कुल भी ध्यान देने की आवश्यकता नहीं है। और तीसरा विश्वसनीयता के स्तर को दिखाना है जो नियामकों को आश्वस्त करता है। ये तीन स्तर हैं। हमें इस साल पहले स्तर पर पहुंचने की उम्मीद है। और हम उम्मीद करते हैं, अगले साल की दूसरी तिमाही में, आत्मविश्वास के स्तर तक पहुंचने के लिए जब किसी व्यक्ति को स्टीयरिंग व्हील पर अपने हाथों को रखने और सड़क को देखने की जरूरत नहीं है। उसके बाद, हम अगले वर्ष के अंत तक कम से कम कुछ न्यायालयों में विनियामक अनुमोदन की उम्मीद करते हैं। ये मेरी उम्मीदें हैं।

ट्रकों के लिए, यह संभावना है कि काफिला शासन को नियामकों द्वारा जल्द ही अनुमोदित किया जाएगा और कुछ भी नहीं। शायद लंबी यात्राओं के लिए आप हेड कार में एक ड्राइवर का उपयोग कर सकते हैं, और काफिले में 4 सेमी ट्रक उसके पीछे।

प्रश्न: मैं ऑटोपायलट के सुधार से बहुत प्रभावित हूं। पिछले हफ्ते मैं मोटरवे के दाहिने लेन में गाड़ी चला रहा था, और एक प्रवेश द्वार था। मेरा मॉडल 3 राजमार्ग में प्रवेश करने वाली दो कारों का पता लगाने में सक्षम था और धीमा हो गया ताकि एक कार चुपचाप मेरे सामने खड़ी हो और दूसरी मेरे पीछे। फिर मैंने सोचा, लानत है, यह पागल है, मुझे नहीं पता था कि मेरा मॉडल 3 ऐसे में सक्षम है।

लेकिन उसी हफ्ते मैं फिर से दाहिने लेन में गाड़ी चला रहा था, और वहाँ एक संकरा था, मेरा दायाँ लेन बाईं ओर विलीन हो गया। और मेरा मॉडल 3 सही ढंग से प्रतिक्रिया करने में सक्षम नहीं था, मुझे हस्तक्षेप करना पड़ा। क्या आप बता सकते हैं कि टेस्ला इस समस्या को कैसे हल कर सकते हैं?

एंड्रयू: मैंने डेटा संग्रह बुनियादी ढांचे के बारे में बात की। यदि आप हस्तक्षेप करते हैं, तो सबसे अधिक संभावना है कि हमें यह क्लिप मिला है। वह आँकड़ों में मिला, उदाहरण के लिए, किस संभावना के साथ हम सही ढंग से धारा में प्रवाहित होते हैं। हम इन नंबरों को देखते हैं, क्लिप को देखते हैं, और हम देखते हैं कि क्या गलत है। और हम बेंचमार्क की तुलना में सुधार प्राप्त करने के लिए व्यवहार को सही करने का प्रयास कर रहे हैं।

Ilon: ठीक है, हमारे पास सॉफ्टवेयर पर एक और प्रस्तुति है। हमारे पास पीट के साथ उपकरणों के बारे में एक प्रस्तुति थी, फिर एंड्री के साथ तंत्रिका नेटवर्क और अब स्टुअर्ट के साथ सॉफ्टवेयर निम्नानुसार है।
...