एक नियम के रूप में, एक डेटा वैज्ञानिक के पास मोबाइल विकास का एक अस्पष्ट विचार है, और मोबाइल एप्लिकेशन डेवलपर्स मशीन सीखने में संलग्न नहीं हैं। प्रिज्मा एआई में इंजीनियर आंद्रेई वोलोडिन , इन दो दुनियाओं के जंक्शन पर रहते हैं और पोड्लोडका पॉडकास्ट प्रस्तुत करते हैं कि यह कैसा लगता है।

पल का फायदा उठाते हुए, स्टैस त्येनगोव (टूटू। १२) और ग्लीब नोविक (टिंकफ बैंक) ने, सबसे पहले, एक बार के लिए यह स्पष्ट कर दिया कि कोई भी मोबाइल उपकरणों पर तंत्रिका नेटवर्क का प्रशिक्षण नहीं दे रहा है । और यह भी पता लगा कि मशीन सीखने में, दुर्भाग्य से, कोई जादूगर नहीं हैं; गहन सीखने, सुदृढीकरण सीखने और कैप्सूल नेटवर्क जैसी आधुनिक तकनीकों पर चर्चा की।

नतीजतन, चूंकि पोड्लोड्का मोबाइल विकास के बारे में एक ऑडियो शो है, वे उसके पास आए और यह पता लगाया कि यह सब मोबाइल उपकरणों के लिए कैसे काम करता है।

अगला इस वार्तालाप का पाठ संस्करण है, और पॉडकास्ट प्रविष्टि यहाँ है ।

आंद्रेई वोलोडिन, cocos2d और Fiber2d के बारे में

जीएलईबी: कृपया हमें अपने बारे में थोड़ा बताएं। क्या कर रहे हो

एंड्रयू: मैं एक मोबाइल डेवलपर हूं, लेकिन मैं क्लासिक आईओएस विकास में बहुत कम काम करता हूं। व्यावहारिक रूप से मेरी जिम्मेदारियों में UIKit के साथ काम करना शामिल नहीं है। मैं GitHub पर काफी लोकप्रिय Cocos2d गेम इंजन का मुख्य डेवलपर हूं। फिलहाल, मैं प्रिज्मा में GPU इंजीनियर हूं। मेरी जिम्मेदारियों में वीडियो कार्ड पर तंत्रिका नेटवर्क का एकीकरण और संवर्धित वास्तविकता के साथ काम करना शामिल है, विशेष रूप से, वीआर-किट के साथ।

GLEB: अच्छा! विशेष रूप से cocos2d के बारे में दिलचस्प। जहां तक ​​मुझे पता है, यह ढांचा बहुत पहले दिखाई दिया था।

एंड्रयू: हाँ, 2009 के आसपास।

GLEB: आपने शुरुआत से ही इसका इस्तेमाल किया?

एंड्रयू: नहीं। मैं 2015 में ही मुख्य डेवलपर बन गया। उससे पहले, मैं एक कोर योगदानकर्ता था। आशाजनक, जिसने विकास को वित्त पोषित किया, दिवालिया हो गया, जिन लोगों को विकास के लिए पैसा मिला, वे बचे, और मैं नेता बन गया। अब मैं मंच पर एक व्यवस्थापक हूं, कुछ समस्याओं के साथ नए लोगों की मदद कर रहा हूं, पिछले कुछ संस्करण मेरे द्वारा जारी किए गए हैं। यही है, मैं इस समय मुख्य अनुरक्षक हूं।

GLEB: लेकिन cocos2d अभी भी जीवित है?

एंड्रयू: सबसे अधिक संभावना नहीं है, मुख्य रूप से इस तथ्य के कारण कि यह उद्देश्य-सी में लिखा गया है, और बहुत सारी विरासत है। उदाहरण के लिए, मैं अपने उपयोग के साथ लिखे गए कुछ पुराने खिलौनों का समर्थन करता हूं, अन्य डेवलपर्स - मेरी विरासत परियोजनाएं। वर्तमान इंजनों में से आप Fiber2d के बारे में सुन सकते हैं। यह भी मेरा प्रोजेक्ट है।

Fiber2d Android पर पोर्ट किया जाने वाला पहला स्विफ्ट गेम इंजन है। हमने iOS और Android दोनों पर पूरी तरह से स्विफ्ट में लिखा एक गेम लॉन्च किया। इसके बारे में भी, जीथब पर पाया जा सकता है। यह cocos2d समुदाय के विकास में अगला मील का पत्थर है।

उंगलियों पर मशीन सीखने के बारे में

GLEB: चलिए आज धीरे-धीरे अपने विषय की ओर बढ़ना शुरू करते हैं। आज हम मशीन सीखने और इसके आसपास की सभी चीजों के बारे में बात करेंगे - मोबाइल फोन से जुड़े और असंबद्ध। सबसे पहले, आइए जानें कि मशीन सीखना क्या है। हम उंगलियों पर जितना संभव हो उतना समझाने की कोशिश करेंगे, क्योंकि सभी मोबाइल डेवलपर्स इससे परिचित नहीं हैं। क्या आप हमें बता सकते हैं कि यह क्या है?

एंड्रयू: क्लासिक परिभाषा के आधार पर, मशीन लर्निंग एक डेटा सेट में पैटर्न की खोज है । एक क्लासिक उदाहरण तंत्रिका नेटवर्क है, जो अब बहुत लोकप्रिय हैं। उनमें वर्गीकरण से संबंधित नेटवर्क हैं। वर्गीकरण कार्य का एक सरल उदाहरण यह निर्धारित करना है कि चित्र में क्या दिखाया गया है: किसी प्रकार की छवि है, और हम यह समझना चाहते हैं कि यह क्या है: एक कुत्ता, एक बिल्ली या कुछ और।

मानक कोड के साथ इसे लिखना बहुत मुश्किल है क्योंकि यह स्पष्ट नहीं है कि यह कैसे करना है। इसलिए, गणितीय मॉडल का उपयोग किया जाता है, जिन्हें मशीन लर्निंग कहा जाता है। वे इस तथ्य पर आधारित हैं कि कुछ कानूनों को बड़ी संख्या में उदाहरणों से निकाला जाता है, और फिर, इन कानूनों का उपयोग करके, नए उदाहरणों पर कुछ सटीकता के साथ भविष्यवाणियां करना संभव है जो मूल डेटा सेट में नहीं थे। यह संक्षेप में है।

GLEB: तदनुसार, एक प्रशिक्षण डाटासेट का उपयोग कर एक मॉडल को बदलने के बारे में एक कहानी सीख रहा है?

एंड्रयू: प्रशिक्षण के दौरान, मॉडल, एक नियम के रूप में, स्थिर रहता है। यही है, आप किसी तरह की वास्तुकला चुनते हैं और इसे सीखते हैं। यदि हम उदाहरण के लिए तंत्रिका नेटवर्क लेते हैं, जो सभी मशीन लर्निंग तक सीमित नहीं हैं, तो शुरू में, मोटे तौर पर, सभी वजन शून्य या अन्य समान मूल्य हैं। जैसे ही हम अपने डेटा को लर्निंग फ्रेमवर्क में फीड करते हैं, वज़न प्रत्येक नए उदाहरण के साथ थोड़ा बदल जाता है, और अंत में वे एक प्रशिक्षित मशीन में डालते हैं।

STAS: इस मॉडल का अंतिम उद्देश्य प्रशिक्षण नमूने से कुछ डेटा को जल्दी से प्रदान करना है, जल्दी से परिणाम प्राप्त करें?

एंड्रयू: हाँ, लेकिन यह सिर्फ गति के बारे में नहीं है। उदाहरण के लिए, कुछ कार्यों को अलग तरीके से हल नहीं किया जा सकता है - कहते हैं, वर्गीकरण का उदाहरण बहुत nontrivial है। इससे पहले कि वर्गीकरण जाल को निकाल दिया जाता, चित्र में जो दिखाया गया है उसे समझने के लिए कोई समाधान नहीं था। यही है, कुछ क्षेत्रों में यह सीधे क्रांतिकारी तकनीक है।

मैनुअल श्रम और मशीन सीखने के बारे में

STAS: मैंने हाल ही में अपनी दादी से कहा था कि मशीन सीखना क्या है। उसने शुरू में सोचा था कि मशीन लर्निंग वह है जब कोई मशीन किसी को सिखाती है। मैंने उसे समझाना शुरू किया कि वास्तव में, इसके विपरीत, हम मशीन को सिखाने की कोशिश कर रहे हैं ताकि यह किसी प्रकार का कार्य कर सके।

मैंने उन समस्याओं को प्रस्तुत किया जो मशीन लर्निंग को हल करती हैं। उनमें से अधिकांश, मशीन सीखने से पहले, लोगों द्वारा प्रदर्शन किए गए थे। इसके अलावा, यह कम-कुशल काम नहीं माना जाता था, लेकिन बहुत उच्च तकनीक नहीं है, ऐसा कहते हैं। ये सबसे सरल ऑपरेशन हैं जो एक व्यक्ति बड़े पैमाने पर कर सकता है। क्या आप कल्पना कर सकते हैं?

एंड्रयू: यह भी कहा जा सकता है। वास्तव में, अब इस तरह के काम की आवश्यकता है, लेकिन केवल मशीन सीखने के लिए डेटासेट तैयार करने के लिए। वास्तव में, कुछ क्षेत्रों में, उदाहरण के लिए, चिकित्सा में, मशीन सीखने से नियमित कार्यों को थोड़ा सुचारू करना और प्रक्रिया को थोड़ा आसान करना संभव हो जाता है। लेकिन हमेशा नहीं। मैं यह नहीं कहूंगा कि मशीन लर्निंग गूंगा काम को आसान बनाने पर केंद्रित है। कभी-कभी यह काफी बौद्धिक काम करता है।

STAS: क्या आप इस तरह के बौद्धिक कार्यों का उदाहरण दे सकते हैं?

एंड्रयू: उदाहरण के लिए, हमारे प्रिज्मा एप्लिकेशन - कई ने शायद इसका इस्तेमाल किया (यह एक विज्ञापन नहीं है!) यह नहीं कहा जा सकता है कि यह बौद्धिक काम है और लोग अक्सर छवि को चित्रों में बदल देते हैं, और तंत्रिका नेटवर्क ऐसा करता है - आप इसे एक सामान्य तस्वीर देते हैं और कुछ नया प्राप्त करते हैं । इसके अलावा, कोई इस बारे में बहस कर सकता है कि यह सुंदर है या नहीं, लेकिन यह तथ्य निर्विवाद है कि यह एक ऐसी चीज है जिसे कोई व्यक्ति नहीं कर सकता है, या इसमें बहुत अधिक समय लगता है।

कहानी के बारे में

जीएलईबी: हां, मुझे लगता है कि यह एक महान उदाहरण है। शायद कहानी पर थोड़ा गौर करें। इस विषय को कब तक विकसित किया गया है? यह मुझे लगता है कि प्रोग्रामिंग की शुरुआत से लगभग, कम से कम बहुत, बहुत समय पहले।

एंड्रयू: हां, सामान्य तौर पर, अब लागू होने वाली अधिकांश अवधारणाएं 90 के दशक में पहले ही विकसित हो चुकी हैं। स्वाभाविक रूप से, अब नए एल्गोरिदम दिखाई दिए हैं, और तत्कालीन एल्गोरिदम की गुणवत्ता में सुधार हुआ है। और यद्यपि एक भावना है कि मशीन सीखने में अचानक रुचि कहीं से भी उत्पन्न हुई, वास्तव में, लोग लंबे समय से इसमें रुचि रखते हैं।

शुरुआती चरणों में प्रगति इस तथ्य के कारण थी कि ये ज्यादातर गणितीय मॉडल हैं, और गणित लंबे समय से खोजों के संदर्भ में स्थिर हो गया है।

वर्तमान विस्फोट पूरी तरह से इस तथ्य के कारण है कि हमारे चारों ओर लोहे की क्षमता में काफी वृद्धि हुई है , मुख्य रूप से वीडियो कार्ड के उपयोग के कारण। इस तथ्य के कारण कि आज हम विशाल समानांतर कंप्यूटिंग करने में सक्षम हैं, नई प्रौद्योगिकियां दिखाई दी हैं - मशीन लर्निंग, क्रिप्टोक्यूरेंसी, आदि।

अधिकांश भाग के लिए, वर्तमान ब्याज और आम तौर पर वर्तमान लहर इस तथ्य से संबंधित है कि यह बस संभव हो गया । ये गणना पहले की जा सकती थी, लेकिन विनाशकारी रूप से लंबी। अब यह उन्हें काफी उचित समय लगता है, और इसलिए सभी ने इसका उपयोग करना शुरू कर दिया।

लोहे के बारे में

STAS: मैं वर्तमान में एक कोर्स कर रहा हूँ, और वहाँ सहित, मुझे सभी प्रकार के मॉडल को प्रशिक्षित करने की आवश्यकता है। मैं उनमें से कुछ को अपने कामकाजी मैकबुक पर प्रशिक्षित करता हूं। हां, कुछ मामलों में, आपको इंतजार करना होगा, शायद 5 मिनट, और मॉडल सबसे अच्छे नहीं हैं, औसत सटीकता लगभग 85% है, लेकिन मुख्य बात यह है कि वे काम करते हैं। यह स्पष्ट है कि लड़ाई में आप इस प्रतिशत को बेहतर बनाना चाहते हैं और शायद उत्पादन के लिए यह काफी उपयुक्त नहीं है।

एंड्रयू: हां, ऐसे मॉडल शायद बहुत दिलचस्प नहीं हैं। सबसे अधिक संभावना है, यह सबसे सरल भविष्यवाणियों और इतने पर होने के कारण है। वास्तविकता में, उदाहरण के लिए, एक प्रशिक्षण नमूना 90 जीबी का वजन कर सकता है, और यह सब सीखने में एक सप्ताह लग सकता है। एनवीडिया जैसी कंपनियों ने दावा किया है कि उन्होंने अब एक नया विशेष टेस्ला ग्राफिक्स कार्ड जारी किया है और आप 24 घंटे में इंसेप्शन वी 3 को प्रशिक्षित कर सकते हैं! इसे प्रत्यक्ष सफलता माना जाता है, क्योंकि इससे पहले कई सप्ताह लग गए थे।

अधिक डेटासेट और मॉडल की संरचना जितनी जटिल होती है, सीखने में उतना ही अधिक समय लगता है । लेकिन प्रदर्शन केवल समस्या नहीं है। सिद्धांत रूप में, यदि आपको वास्तव में इसकी आवश्यकता है, तो आप एक महीने इंतजार कर सकते हैं। समस्या अनुमान से संबंधित है - बाद में इस तंत्रिका नेटवर्क को कैसे लागू किया जाए। यह आवश्यक है कि इसके उपयोग के दौरान यह प्रदर्शन के मामले में भी अच्छे परिणाम दिखाए।

STAS: क्योंकि, विशेष रूप से, मैं चाहता हूं कि मोबाइल उपकरणों पर काम करना और जल्दी से काम करना।

एंड्रयू: मुझे नहीं लगता कि शुरू में यह मोबाइल एप्लिकेशन पर काम करने के लिए एक आंख के साथ विकसित होना शुरू हुआ था। 2011 में इस तरह की उछाल शुरू हुई, और फिर सभी समान, ये डेस्कटॉप समाधान थे। लेकिन अब समुदाय का सच्चा हित इस तथ्य से समर्थित है कि आईफ़ोन पर, सहित, वास्तविक समय में काम करने वाले नेटवर्क लॉन्च करना संभव हो गया है।

जीएलईबी: स्टास, आपने कहा कि अंतिम परिणाम इस बात पर निर्भर करता है कि आपका वीडियो कार्ड कितना शक्तिशाली है और सामान्य रूप से सिस्टम में है। यही है, यह अन्यथा काम नहीं करता है?

एंड्रयू: यह ऐसा नहीं है, लेकिन मुझे यकीन नहीं है कि मॉडल को कम-शक्ति वाली मशीन पर प्रशिक्षित किया जाएगा।

जीएलईबी: वैसे, मुझे याद है, 5 साल पहले, जब तंत्रिका नेटवर्क में सिर्फ उछाल था, हमारे शिक्षकों ने कहा कि सब कुछ नया है, बस पुरानी भूल है। यह 70-80 के दशक में पहले से ही था और इसने काम नहीं किया, तब से इसने काम नहीं किया। शायद, वे अभी भी गलत थे।

एंड्रयू: हाँ। कुछ कार्यों के लिए, मशीन लर्निंग ने अब बहुत मेहनत की है। निष्पक्ष रूप से, उन्हें काम करने के लिए कहा जा सकता है।

गहरी शिक्षा के बारे में

जीएलईबी: इस तरह की एक फैशनेबल चीज है - गहन शिक्षा। हमने इसके बारे में जो बात की, उससे इसका क्या अंतर है?

एंड्रयू: मैं यह नहीं कहूंगा कि मतभेद हैं। मशीन लर्निंग के कुछ उपसमुच्चय हैं, और उनमें से एक बड़ी संख्या है। आपको यह समझने की जरूरत है कि जिसे गहरी शिक्षा कहा जाता है, वह मशीन सीखने का वह हिस्सा है जिसे आमतौर पर तंत्रिका नेटवर्क के रूप में जाना जाता है । इसे गहरा कहा जाता है क्योंकि तंत्रिका नेटवर्क में कई परतें होती हैं, और अधिक परतें, तंत्रिका नेटवर्क जितनी गहरी होती हैं। इसी से नाम आया।

लेकिन मशीन लर्निंग के अन्य प्रकार भी हैं। उदाहरण के लिए, ट्री-ट्रैकिंग मशीन लर्निंग का उपयोग अब तक फेस ट्रैकिंग के लिए सफलतापूर्वक किया गया है क्योंकि यह न्यूरॉन्स की तुलना में बहुत तेज है। इसका उपयोग रैंकिंग, विज्ञापन प्रदर्शित करने और अधिक के लिए भी किया जाता है।

यानी गहरी सीख कुछ और नहीं है। यह वास्तव में मशीन सीखने का एक सबसेट है जिसमें सब कुछ शामिल है। बस गहरी सीख आज सबसे लोकप्रिय हो गई है।

तंत्रिका नेटवर्क के सिद्धांत के बारे में

STAS: मैं तंत्रिका नेटवर्क के सिद्धांत के बारे में थोड़ी बात करना चाहता था, मैं आसान कोशिश करूँगा। आपने कहा कि उनकी कई परतें हैं। सिद्धांत रूप में, यदि हमारे पास एक परत है, और विमान पर स्थित कुछ वस्तुएं हैं, तो एक परत की मदद से हम वास्तव में इस विमान को दो भागों में विभाजित कर सकते हैं, है ना?

एंड्रयू: नहीं, वास्तव में नहीं।

STAS: क्या हमें बड़ी संख्या में परतें मिलती हैं, अगर उंगलियों पर?

एंड्रयू: एक तंत्रिका नेटवर्क क्या है? चलो सीधे हो जाओ। यह सिर्फ एक गणितीय फ़ंक्शन है जो एक इनपुट के रूप में संख्याओं का एक सेट लेता है, और आउटपुट के रूप में संख्याओं का एक सेट भी देता है - बस।

अंदर क्या है? अब सबसे लोकप्रिय कन्ट्रोवर्शियल नेटवर्क हैं, जिनके भीतर कनविक्शन होता है - बस एक-दूसरे द्वारा बहुत सारे मैट्रिक्स गुणन होते हैं, परिणाम जोड़े जाते हैं, ये ऑपरेशन प्रत्येक लेयर में किए जाते हैं। इसके अलावा, परतों के बीच तथाकथित सक्रियण है, जो सिर्फ तंत्रिका नेटवर्क को गहरा करने की अनुमति देता है।

चूंकि रैखिक परिवर्तनों का संयोजन एक रैखिक परिवर्तन है, 10 रैखिक परतों को बनाने के बाद, उन्हें अभी भी एक रैखिक परत के रूप में दर्शाया जा सकता है। परतों के पतन के लिए नहीं, उनके बीच कुछ गणितीय क्रियाएं हैं जो फ़ंक्शन को गैर-रैखिक बनाती हैं। मापदंडों की संख्या बढ़ाने के लिए यह आवश्यक है।

मोटे तौर पर, एक तंत्रिका नेटवर्क सिर्फ संख्या का एक विशाल सरणी है, जो तब किसी तरह हमारे डेटा पर लागू होता है, उदाहरण के लिए, एक तस्वीर के लिए। लेकिन एक तस्वीर - वास्तव में संख्याओं का एक सेट - पिक्सेल की एक श्रृंखला है। जब हम नेटवर्क को प्रशिक्षित करते हैं, तो हम विचार करते हैं, उदाहरण के लिए, 15 मिलियन पैरामीटर (प्रत्येक संख्या एक अलग पैरामीटर है), जिसे थोड़ा बाईं ओर थोड़ा-थोड़ा स्थानांतरित किया जा सकता है, कुछ उत्तराधिकारियों की मदद से थोड़ा-थोड़ा। इतनी बड़ी संख्या में मापदंडों के लिए धन्यवाद, ऐसे शांत परिणाम प्राप्त होते हैं।

गहन प्रशिक्षण की सटीक आवश्यकता होती है ताकि इनमें से कई पैरामीटर हों, और सब कुछ एक परत तक न ढह जाए।

GLEB: यह कमोबेश स्पष्ट है।

एंड्रयू: डीप लर्निंग मशीन लर्निंग का सबसेट है। लेकिन किसी कारण से, इस विषय पर प्रचार शुरू हुआ - विशेष रूप से कुछ समय पहले सभी दरारें से, मुझे लगता है कि आप गहरी शिक्षा के बारे में सुन सकते थे। मुझे नहीं पता कि यह उचित है या नहीं।

जीएलईबी: मुझे लगता है कि इस तरह की लोकप्रियता इस तथ्य के कारण है कि यह प्रभावशाली परिणाम देती है।

कार्यों के बारे में

STAS: तंत्रिका नेटवर्क की सहायता से, आप मशीन सीखने की अधिकांश समस्याओं को हल कर सकते हैं, है ना?

एंड्रयू: हाँ।

STAS: तो फिर आइए बात करते हैं कि मशीन लर्निंग के तरीकों का उपयोग करके क्या कार्य हल किए जा सकते हैं?

एंड्रयू: वास्तव में, यह एक संवेदनशील विषय है, क्योंकि वास्तव में आपको जो कुछ भी हो रहा है, उसे आदर्श और रोमांटिक बनाने से रोकने की जरूरत है। जैसा कि मैंने कहा, वहां कोई कृत्रिम बुद्धिमत्ता नहीं है। यह एक विशुद्ध रूप से गणितीय मॉडल और गणितीय कार्य है जो किसी चीज को गुणा करता है, आदि।

पक्ष से ऐसा लगता है कि अब मशीन सीखना कुछ श्रेणियों के कार्यों पर थोड़ा रुक गया है। यह, उदाहरण के लिए, वर्गीकरण (एक उदाहरण जो हमने बहुत शुरुआत में बात की थी), वस्तुओं और उनके विभाजन पर नज़र रखना। आखिरी हमारे स्टिकी एआई एप्लिकेशन में है - यह एक व्यक्ति का चयन करता है, और पृष्ठभूमि हटाता है। उदाहरण के लिए, जब कैंसर कोशिकाओं का पता चला है, तो जैविक चिकित्सा विभाजन भी है। ऐसे जेनरेटर नेटवर्क हैं जो यादृच्छिक संख्याओं से सीखते हैं, और फिर वे कुछ नया बना सकते हैं। स्टाइल ट्रांसफर कार्य और अन्य हैं।

लेकिन फिलहाल मशीन सीखने का उपयोग करने के लिए कोई सुविधाजनक मंच और बुनियादी ढांचा नहीं है। उदाहरण के लिए, आपके पास एक समस्या है कि आप, एक व्यक्ति के रूप में, आसानी से हल कर सकते हैं, लेकिन एक प्रोग्रामर के रूप में, आप इसकी जटिलता के कारण इसे हल नहीं कर सकते हैं और क्योंकि आप सिर्फ एक अनिवार्य एल्गोरिथ्म नहीं लिख सकते हैं। लेकिन एक ही समय में, मुख्य रूप से एक तंत्रिका नेटवर्क को प्रशिक्षित करना संभव नहीं है, क्योंकि डेटा की कमी के साथ एक समस्या है। एक न्यूरॉन को प्रशिक्षित करने के लिए, आपको कई उदाहरणों के साथ बड़े डेटासेट की आवश्यकता होती है, इसके अलावा बहुत ही औपचारिक रूप से, एक निश्चित विनियमन में वर्णित है, आदि। साथ ही, आपको इस तंत्रिका नेटवर्क की वास्तुकला की आवश्यकता है।

यही है, पहले आपको संख्याओं के रूप में इनपुट डेटा को औपचारिक रूप देने की जरूरत है, मॉडल को स्वयं वास्तुकला बनाएं, फिर संख्या के रूप में आउटपुट डेटा को औपचारिक रूप से औपचारिक रूप से किसी तरह से व्याख्या करें। ऐसा करने के लिए, आपको एक काफी शक्तिशाली गणितीय उपकरण की आवश्यकता है और सामान्य तौर पर, यह समझने की आवश्यकता है कि सब कुछ कैसे काम करता है। इसलिए, अब मुझे यह प्रतीत होता है कि हमारे जैसे विशेष कंपनियों के बाहर न्यूरॉन्स का उपयोग करना थोड़ा मुश्किल है।

कुछ कार्य जो पहले हल नहीं किए गए थे, न्यूरॉन्स ने बहुत ही शांत हल करना सीखा। लेकिन ऐसी कोई बात नहीं है कि न्यूरॉन्स आए और अनसुलझी समस्याओं के पूरे स्पेक्ट्रम को हल किया।

GLEB: किन क्षेत्रों में आप वैश्विक समस्याओं को देखते हैं जिनके लिए तंत्रिका नेटवर्क आमतौर पर उपयुक्त नहीं हैं?

एंड्रयू: अभी जवाब देना मुश्किल है। हम उन कार्यों से सामना कर रहे हैं, जिन पर हम काम कर रहे हैं और जिन पर एक तंत्रिका नेटवर्क को प्रशिक्षित करना संभव नहीं है। उदाहरण के लिए, अब गेमिंग उद्योग सीखने में बहुत रुचि रखता है, और यहां तक ​​कि कुछ न्यूरॉन्स भी हैं जिनके पास कृत्रिम बुद्धि है। लेकिन, उदाहरण के लिए, एएए गेम में अभी तक इसका उपयोग नहीं किया गया है, क्योंकि सभी एक ही समय में, एक सार सैनिक की कृत्रिम बुद्धि को एक व्यक्ति की तरह व्यवहार करने के लिए प्रशिक्षित करना असंभव है ताकि यह प्राकृतिक दिखे। यह कठिन है।

डोटा के बारे में

STAS: क्या आपने सुना है कि डोटा में कृत्रिम बुद्धिमत्ता पहले से ही जीत रही है?

एंड्रयू: हाँ, लेकिन यह अभी भी थोड़ा अलग है। डोटा एक बहुत ही गणितीय खेल है, इसका वर्णन किया जा सकता है। मैं किसी को नाराज नहीं करना चाहता, लेकिन यह वास्तव में, चेकर्स की तरह - खेल एक और एक ही है। कुछ नियम हैं, और आप बस उनके द्वारा खेलते हैं।

लेकिन एक ही समय में, कुछ प्रकार के प्राकृतिक व्यवहार बनाने के लिए अभी भी कठिनाइयां हैं, मुख्य रूप से डेटा की थोड़ी मात्रा और इंजीनियरों की एक छोटी संख्या के साथ जुड़ा हुआ है जो ऐसा कर सकते हैं।

उदाहरण के लिए, Google पर, इंजीनियर एक 3 डी मानव मॉडल को चलने के लिए प्रशिक्षित करने के लिए तंत्रिका नेटवर्क का उपयोग कर रहे हैं - बस इसे स्थानांतरित करने के लिए। यह हमेशा भयानक लगता है, लोग इस तरह से नहीं चलते हैं।

TensorFlow के बारे में

STAS: आपने कहा कि अब, वास्तव में, मशीन लर्निंग को समझने के बिना मशीन लर्निंग की समस्याओं को हल करने का कोई आसान और सस्ता तरीका नहीं है। किसी भी मामले में, यह पता चला है कि यह fumbled होना चाहिए। मैं TensorFlow के बारे में जानना चाहूंगा। ऐसा लगता है कि Google यह सुनिश्चित करने की कोशिश कर रहा है कि यहां तक ​​कि वे लोग भी जिनमें बहुत अधिक पारंगत नहीं हैं और जिनके पास बहुत बड़ी पृष्ठभूमि नहीं है, वे कुछ सरल समस्याओं को हल कर सकते हैं। मुझे बताएं कि TensorFlow क्या है और आपको कैसे लगता है कि यह संभव है?

एंड्रयू: क्रम में आते हैं। TensorFlow वास्तव में सभी का सबसे आसान काम नहीं है । यह सबसे लोकप्रिय तथाकथित सीखने के ढांचे में से एक है - एक सामान्य-उद्देश्य सीखने की रूपरेखा, जरूरी नहीं कि न्यूरॉन। यह उच्चतम स्तर की रूपरेखा उपलब्ध नहीं है। उदाहरण के लिए, केरस, जो टेंसोरफ्लो पर एक उच्च-स्तरीय अमूर्त है। वहां आप बहुत कम कोड के साथ भी ऐसा कर सकते हैं।

विशिष्ट कार्यों को काफी सरलता से हल किया जाता है, क्योंकि, विशेष रूप से, गितूब पहले से ही उदाहरणों और रिपॉजिटरी से भरा है। कहते हैं, यदि आपकी कंपनी एक किताबों की दुकान के लिए एक चित्र खोज करती है, तो, सिद्धांत रूप में, आपके साथ सब कुछ ठीक है। आप गितुब में जाते हैं, उदाहरण हैं कि आप चित्र की विशेषताएं कैसे ले सकते हैं, आप सुविधाओं की खोज लिखते हैं - आपका काम हो गया!

वास्तव में, यह बड़ी संख्या में कार्यों के मामले में है। , . - , , , , , , TensorFlow — . , .

: , Google , ?

: , , , . , , , . , , .

: , . ? -, .

: . — « , , ». , .

: , , , , . ? , , 15 - iOS , - . , . , .

: — , , - . — — . . , , R&D , : «, !» — - , , , 0,5%: «, , !» . , .

: , , - , , . ? . , — , 70%. , , . , . , , .

: , , , . , . , - , . .

: , .

: , . .



: , ? , , , — ?

: , , . , .

-, , . , computer science. , .

. , 500 Python, . . . , . , , .

, . - , . , .

: , Python - , , C++? , .

: , . - learning , , TensorFlow, TensorFlow. ,

— , TensorFlow. TensorFlow — 1 — , , .

. , iOS . , learning , , Caffe, Torch, TensorFlow ., .

, , , . R&D - , . . () : « !» — , . C++.

:

• , . , .
  
• .
  

: . , , .

: , ? , ?

: , . , — . : , , : «, , — », - . , , -, - . , . .

. , , , .

: Google , Google Street Maps. , .

: , - .

Data Scientist

: . , — , , ?

: , .

: , , , , data scientist'. , - . . , , . — !

, . , -, . .

: hype train.

: , , data scientist . , .

: , . - data scientist'?

: . , . , , , Git- . Data scientist - , . , code review, unit- — . , .

: , , .

: , , - , , Kaffe 2, PyTorch — ! : « Data scientist TensorFlow».

GPU-

. , , , Swift, UI-kit, . , , .

, - , . , . , , . enterprise.

- , , , . , , . , .

: , . GPU - . , — . , Junior GPU . , , .

: — .

: , ?

: , , - .

: — ?

: , , -, - .

: , ?

: . , , , , . Macbook Air. — - , , .

, Nvidia Titan , . , .

: ? , Nvidia , . , , . ?

: print , . NIPS, , , . , , . - , — , .

. ONNX , . . , . , , . , - , . .

: , . , , , ?

: , . , . , . , — , ..

, . , . — , , . . , , . , , .

reinforcement training

: . , , , , AlphaGo. , , , reinforcement training.

: Reinforcement training — . , . , , , . , , . , . Reinforcement training , , , , : « !»

, AlphaGo — , . , . , , . , . AlphaGo , reinforcement training, , .

, , , , .

: , 10 ¹⁷⁰ — . , AlphaGo . , . , , , . — , - !

, , , . , , . , !

STAS: मैं आनुवंशिक एल्गोरिदम के बारे में पूछना चाहता हूं। विवरण के अनुसार, ऐसा लगता है कि सुदृढीकरण सीखने के लिए आनुवंशिक एल्गोरिदम को भी जिम्मेदार ठहराया जा सकता है। जैसा कि मैं उनकी कल्पना करता हूं, एक पीढ़ी है, हम प्रत्येक व्यक्ति को एक पीढ़ी में लेते हैं, यह कुछ कार्य करता है, हम इसके कार्यों का मूल्यांकन करते हैं, और फिर, इन अनुमानों के आधार पर, हम सर्वश्रेष्ठ का चयन करते हैं। फिर हमने उनके विशिष्ट गुणों को इंटरब्रेट किया, एक नई पीढ़ी का निर्माण किया, थोड़ा सा उत्परिवर्तन जोड़ा, और अब हमारे पास एक नई पीढ़ी है। और हम इन ऑपरेशनों को दोहराते हैं, इस पीढ़ी के प्रत्येक विशिष्ट सदस्य की अंतिम उपयोगिता को बढ़ाने की कोशिश कर रहे हैं। यह समझ में आता है। इसे सुदृढीकरण प्रशिक्षण माना जाता है या नहीं?

एंड्रयू: नहीं, आनुवंशिक एल्गोरिदम अभी भी कुछ अलग हैं।

STAS: क्या वे मशीन लर्निंग से संबंधित हैं?

एंड्रयू: मैं यह नहीं कहूंगा। मैंने इसे अभी नहीं लिया है, लेकिन हमने विश्वविद्यालय में आनुवांशिक एल्गोरिदम को हर किसी की तरह पास किया है, और मुझे ऐसा लगता है कि यह बात कुछ हद तक सरल और अधिक अनियमित या कुछ और है - संक्षेप में। यही है, यह पहले से ज्ञात है कि इनपुट क्या होगा, इस तरह के आउटपुट होंगे। मशीन लर्निंग में, हालांकि, चीजें कुछ अलग हैं - कुछ संभावना है, भविष्यवाणियों की सटीकता और उस भावना में सभी।

शायद मैं उन लोगों द्वारा सुधारा जाऊंगा जो शब्दावली को मुझसे बेहतर समझते हैं, लेकिन मेरे सिर के ऊपर से मैं नहीं कहूंगा।

STAS: यह पता चला है कि आनुवंशिक एल्गोरिदम का उपयोग अधिकांश वास्तविक समस्याओं को हल करने के लिए नहीं किया जाता है?

एंड्रयू: हां, वे ज्यादातर अधिक एल्गोरिदम हैं और व्यवहार में मैं शायद ही कभी उनसे मिला हूं।

कैप्सूल नेटवर्क के बारे में

GLEB: मशीन लर्निंग का एक और सबसेट है - तथाकथित कैप्सूल नेटवर्क। फिर, चलो बहुत गहरा नहीं है। मुझे संक्षेप में बताएं कि यह क्या है और अब यह प्रवृत्ति क्यों है?

एंड्रयू: यह वास्तव में सुपर नया विषय है, यह केवल कुछ महीने पुराना है। जेफरी हिंटन ने एक लेख जारी किया और कहा कि वर्तमान दृढ़ नेटवर्क कहीं नहीं हैं, और हम एक नई दृष्टि प्रदान करते हैं कि यह कैसे विकसित होगा। समुदाय ने इस कथन को अस्पष्ट रूप से स्वीकार किया और दो शिविरों में विभाजित किया: कुछ का कहना है कि यह एक अति-प्रचार है, अन्य - एक बड़ी बात और वह सब।

लेकिन अगर आप उंगलियों पर सही समझाते हैं, तो कन्वेंशन नेटवर्क कैसे काम करते हैं? उदाहरण के लिए, न्यूरॉन्स जो छवियों के साथ काम करते हैं। एक कनविक्शन है - मैट्रिसेस का एक कॉलम जो किसी कदम के साथ तस्वीर के माध्यम से चलता है, जैसे कि इसे स्कैन करना। इस तरह के कदम के प्रत्येक पुनरावृत्ति पर, इस टुकड़े पर यह सभी कनवल्शन लागू होता है, और प्रत्येक कनविक्शन एक नए सशर्त पिक्सेल में बदल जाता है, लेकिन बहुत बड़े आयाम के लिए, यह ऑपरेशन सभी ग्रिड के लिए दोहराया जाता है।

लेकिन दृढ़ नेटवर्क के साथ समस्या यह है कि पहली परत पर आने वाले सभी डेटा बहुत अंत तक पहुंचते हैं - शायद पूरे में नहीं, लेकिन वे सभी को प्रभावित करते हैं और सभी अंतिम चरण तक पहुंचते हैं। मोटे तौर पर, यदि आपको छवि के कुछ हिस्से को निर्धारित करने की आवश्यकता है, उदाहरण के लिए, एक बिल्ली, तो आपको पूरी छवि को स्कैन करने की आवश्यकता नहीं है। यह उस क्षेत्र को स्थानीय करने के लिए कुछ बिंदु पर पर्याप्त है जहां बिल्ली सबसे अधिक संभावना है, और केवल उसी पर विचार करें, जैसा कि एक व्यक्ति करता है।

यह कैप्सूल नेटवर्क कैसे काम करता है। मैं उनके इनसाइट्स को स्पष्ट रूप से समझाने का काम नहीं करूंगा, लेकिन मैंने जो समझा है: कैप्सूल नेटवर्क के अंदर कुछ पेड़ हैं, और प्रत्येक बाद के कैप्सूल इनपुट के लिए केवल प्रासंगिक डेटा प्राप्त करते हैं। यही है, उनके माध्यम से उन सभी-सभी-सभी चीजों को पारित नहीं किया जाता है जिन्हें हमने शुरू में प्रवेश के लिए स्वीकार किया था, और प्रत्येक नई परत के साथ (मुझे नहीं पता कि यह कैसे कैप्सुलर नेटवर्क की शब्दावली में कहा जा सकता है) केवल उस डेटा को संसाधित किया जाता है - जो केवल डेटा के टुकड़े हैं । यह दृढ़ और कैप्सुलर नेटवर्क के बीच महत्वपूर्ण अंतर है।

जीएलईबी: यह दिलचस्प लगता है, लेकिन मैं काफी समझ में नहीं आता - क्या यह सिर्फ सवाल के बारे में है?

एंड्रयू: नहीं, यह इसके बारे में है। मैंने सिर्फ समझाने के लिए छवियों का उपयोग किया। मुख्य विचार यह है: चलो सभी डेटा और सभी सुविधाओं को ड्राइव नहीं करते हैं, लेकिन केवल वे जो अगली परत के लिए प्रासंगिक हैं।

खेलों के बारे में अधिक

STAS: सुना है कि AlphaGo के बाद लोग StarCraft में सभी को हराने जा रहे हैं?

एंड्रयू: आपको निराश करने के लिए मजबूर किया गया है, लेकिन मैं वास्तव में इसका पालन नहीं करता हूं। यह नहीं है कि eSports मेरे लिए दिलचस्प था, लेकिन यह पहले से ही स्पष्ट हो रहा है कि भविष्य क्या है। उदाहरण के लिए, पहले से ही स्टार्टअप हैं जो डोटा खेलने के लिए प्रशिक्षित हैं। वे, एक व्यक्तिगत प्रशिक्षक के रूप में, विश्लेषण करते हैं कि आप कैसे खेलते हैं, और कहते हैं कि जहाँ आप बहुत अच्छे नहीं हैं, उनके पास ई-स्पोर्ट्स मैचों में प्रशिक्षित अपना डेटा है। सट्टेबाजी के लिए स्टार्टअप हैं जो भविष्यवाणी करते हैं कि कौन जीतेगा, और अधिक।

इस क्षेत्र में बहुत सारे लोग अब काम कर रहे हैं, मुख्यतः क्योंकि इसमें बहुत सारा पैसा घूम रहा है। लेकिन व्यक्तिगत रूप से, यह मेरे लिए पूरी तरह से उदासीन है, इसलिए मैं दुर्भाग्य से समाचार और रुझानों का पालन नहीं करता हूं।

STAS: आपको क्या लगता है कि विशेष रूप से रणनीतिक खेलों के लिए अच्छी कृत्रिम बुद्धि बनाने में कठिनाई क्या है? क्या मैं सही ढंग से समझता हूं कि मूल रूप से यह बहुत बड़ी संख्या में विकल्प हैं?

एंड्रयू: हाँ। वास्तव में, हमने पहले ही इस बिंदु पर चर्चा की जब मैंने समझाया कि कृत्रिम बुद्धिमत्ता का उपयोग अभी भी एएए गेम में नहीं किया जाता है, लेकिन साथ ही यह अल्फा-गो में और संभवतः, कहीं और है।

इसकी सभी जटिलता के साथ जाने का खेल इस तथ्य में शामिल है कि हर कदम पर आप एक पत्थर को रेखांकित करने के लिए बस एक चिप लगाते हैं, और गेम स्टारक्राफ्ट एक बहुत ही जटिल चीज है। वहाँ आप अपनी इकाइयों को लगभग असीमित संख्या में प्रक्षेपवक्रों के साथ भेज सकते हैं, अपने निर्माणों के विभिन्न सेट बना सकते हैं, आदि। यह सब एक पैरामीटर है।

इसके अलावा कठिनाई इस तथ्य में निहित है कि तंत्रिका नेटवर्क हमेशा एक व्यक्ति की तरह नहीं सोचते हैं। जब हम, उदाहरण के लिए, एक इकाई का निर्माण करते हैं, तो हमें यह याद रहता है। लेकिन हर बार कई न्यूरॉन्स चलते हैं। बेशक, ऐसे पुनरावर्ती नेटवर्क हैं जो अपनी पिछली उपलब्धियों को याद कर सकते हैं। वे विशेष रूप से, अनुवाद और पाठ संबंधी जानकारी के लिए उपयोग किए जाते हैं, जब वाक्य उत्पन्न होता है, तो न्यूरॉन अधिक से अधिक डेटा का उपयोग करता है।

इस तथ्य से भारी कठिनाइयाँ हैं कि पूरी जानकारी और विकल्पों को औपचारिक रूप देने की आवश्यकता है, यानी प्रशिक्षण के लिए डेटासेट खोजने के लिए, ताकि यह अभी भी किसी तरह पर्याप्त रूप से आपके प्रतिद्वंद्वी के कार्यों का जवाब दे, जो कि एक गेम खेलने के विपरीत एक मिलियन भी हो सकता है। या शतरंज।

STAS: मैं देख रहा हूँ - बहुत सारे पैरामीटर हैं।

GLEB: लेकिन मुझे यह समझ में नहीं आया कि, यह स्पष्ट है कि DotA के पास कम पैरामीटर हैं, लेकिन यह अभी भी इस अर्थ में उसी के बारे में है कि इसे कहीं भी भेजा गया था, आदि।

STAS: यहां आंद्रेई ने इस तथ्य को कम कर दिया कि, सबसे पहले, आपके पास एक इकाई है और विकल्पों की संख्या बहुत कम है।

एंड्रयू: सच कहूँ तो, मैंने अपने जीवन में कभी दूसरा डोटा नहीं खेला है, लेकिन मूल रूप में, जहाँ तक मुझे पता है, यह एक सुपर नियतात्मक खेल है। 3 गलियारे और टॉवर हैं जिन्हें नष्ट करने की आवश्यकता है।

जीएलईबी: हां, लेकिन स्टारक्राफ्ट में, हालांकि मैं बिल्कुल नहीं खेलता हूं, लेकिन कुछ तरीके और समान इकाइयां भी हैं। आप कहते हैं कि उनमें से बहुत सारे हैं, लेकिन सबसे अधिक संभावना है कि वे हमेशा बैचों में संचालित होते हैं। यानी लगभग एक ही चीज निकलती है।

STAS: आपको अभी भी लड़ाई के दौरान प्रत्येक इकाई को अलग से सही ढंग से व्यवस्थित करने की आवश्यकता है। फिलहाल जब उन्हें एक पैक में नहीं लिया जाता है, लेकिन व्यवस्थित होना शुरू होता है, तो तुरंत और अधिक पैरामीटर होते हैं।

एंड्रयू: आपकी समस्या यह है कि आप इन श्रेणियों में सोचते हैं: एक इकाई, आदि डालते हैं, लेकिन हर समय जब आप भूल जाते हैं कि एक न्यूरॉन सिर्फ एक मैट्रिक्स है - संख्या जो गुणा करती है। वहां आपको औपचारिकता करनी चाहिए, उदाहरण के लिए, कार्यों जैसी चीजें। मान लीजिए कि StarCraft के लिए एक मानचित्र है और उस पर किसी तरह का कार्य है - यदि आप किसी खिलाड़ी को हराते हैं या कुछ और करते हैं तो यह कोई मायने नहीं रखता है। यह सब गणितीय प्राइमेटिव के रूप में प्रस्तुत करने की आवश्यकता है, और यह वास्तव में सबसे कठिन है।

यदि यह वास्तव में कृत्रिम बुद्धिमत्ता थी, तो डोटा और स्टारक्राफ्ट के बीच अंतर कम से कम होगा। StarCraft यांत्रिकी में थोड़ा अधिक जटिल हो सकता है, लेकिन अभी भी उसी के बारे में। लेकिन इस तथ्य के कारण कि हम संख्याओं के साथ काम करते हैं, इसे औपचारिक रूप देना अधिक कठिन है।

आपसी सीखने के नेटवर्क के बारे में

STAS: मेरे पास आखिरी सवाल है जो हम अपने मोबाइल फोन पर जाने से पहले पूछना चाहते हैं। मुझे नहीं पता कि इसे सही तरीके से कैसे कहा जाता है, लेकिन एक तरीका है जब एक तंत्रिका नेटवर्क अनिवार्य रूप से दूसरे का अनुसरण करता है और पैटर्न खोजने की कोशिश करता है।

एंड्रयू: मैं अब यह समझाने के लिए काम नहीं करूंगा कि यह कैसे काम करता है, लेकिन मुझे यकीन है कि सुपर-कूल एल्गोरिदम हैं जो मैं कभी-कभी काम के बारे में सुनता हूं जब दो तंत्रिका नेटवर्क एक-दूसरे की कीमत पर सीखते हैं। विशेषज्ञता का यह क्षेत्र पहले से ही मेरे लिए पूरी तरह से दुर्गम है, लेकिन यह सब अच्छा लगता है। जहाँ तक मुझे पता है, यह जेनरेटरी नेटवर्क के लिए उपयोग किया जाता है। दुर्भाग्य से, मैं और नहीं कह सकता।

STAS: अच्छा है। आपने सबसे महत्वपूर्ण कीवर्ड दिए, बाकी Gleb है और पाठकों को आसानी से Google मिल जाएगा।

मोबाइल फोन (Apple) के बारे में

जीएलईबी: चलो उन सेल फोन पर चलते हैं जो हम लंबे समय से चले आ रहे हैं। सबसे पहले, जब हम मोबाइल उपकरणों पर मशीन सीखने की बात करते हैं तो हम क्या कर सकते हैं?

एंड्रयू: वैसे, क्या आपके पास आईओएस डेवलपर्स के लिए पॉडकास्ट है?

GLEB: हम iOS पॉडकास्ट नहीं हैं। हां, स्टास?

STAS: हाँ, मोबाइल डेवलपर्स के लिए। सवाल क्यों?

एंड्रयू: सिर्फ इसलिए कि स्थिति बहुत अलग है। Apple, इस तथ्य के आधार पर कि यह हमेशा सॉफ़्टवेयर और हार्डवेयर को एकीकृत करने में अच्छा रहा है, और इसके लिए प्रसिद्ध है, मशीन-प्रशिक्षित प्रचार ट्रेन में बहुत ही कुशलता से झुका हुआ है।

2014 में, Apple ने मेटल ग्राफिक्स एपीआई पेश किया। चीजों को इसमें सीवन किया गया था, उदाहरण के लिए, कंप्यूटर शेड्स, आदि। यह सब iOS 10 के आगमन के साथ अनुमति देता है, जिसमें धातु प्रदर्शन शेडर्स फ्रेमवर्क में बहुत सारी परतें, सक्रियता और अन्य ऑपरेटरों को शामिल किया गया है, विशेष रूप से, जटिल तंत्रिका नेटवर्क।

यह सिर्फ एक बहुत बड़ा बढ़ावा देता है, क्योंकि, एक नियम के रूप में, एक केंद्रीय प्रोसेसर की तुलना में वीडियो कार्ड पर गणना कई गुना तेज होती है। जब Apple को मोबाइल वीडियो कार्ड पर पढ़ने का अवसर दिया गया, और जल्दी से, अपने स्वयं के गणितीय ऑपरेटरों और इतने पर लिखने की कोई आवश्यकता नहीं थी। इसने सीधे बहुत मुश्किल से गोली चलाई। और एक साल बाद उन्होंने CoreML जारी किया (हम इसके बारे में थोड़ी देर बाद बात करेंगे)।

Apple की बहुत अच्छी नींव थी। मुझे पता नहीं है कि क्या उनके पास इस तरह की दृष्टि थी, या ऐसा संयोग था, लेकिन वे अब मोबाइल उपकरणों पर मशीन सीखने के उद्योग में उद्देश्यपूर्ण नेता हैं।

मोबाइल फोन (Android) के बारे में

आईओएस पर वास्तविक समय में अपेक्षाकृत शांत और महान काम करता है, दुर्भाग्य से, एंड्रॉइड पर सिर्फ शांत काम नहीं करता है। यह न केवल इस तथ्य के कारण है कि एंड्रॉइड बेकार है। अन्य कारक हैं - सबसे पहले, यह तथ्य कि एंड्रॉइड के पास बहुत ही विविध बुनियादी ढांचा है: कमजोर डिवाइस हैं, मजबूत हैं - आप सब कुछ प्राप्त नहीं कर सकते।

यदि धातु सभी iOS उपकरणों पर समर्थित है, तो एंड्रॉइड पर यह पहले से ही अधिक जटिल है - कहीं ओपनजीएल एक संस्करण में समर्थित है, कहीं और, कहीं यह बिल्कुल भी समर्थित नहीं है। कहीं वल्कन है, कहीं वह नहीं है। सभी निर्माताओं के पास अपने स्वयं के ड्राइवर हैं, जो निश्चित रूप से किसी भी तरह से अनुकूलित नहीं हैं, लेकिन बस मानक का न्यूनतम समर्थन करते हैं। यह भी होता है कि आप GPU पर एंड्रॉइड पर कुछ तंत्रिका नेटवर्क चलाते हैं, और वे सीपीयू की तरह ही गति में काम करते हैं, क्योंकि साझा मेमोरी के साथ काम करना बहुत अक्षम और वह सब है।

एंड्रॉइड पर, चीजें अभी खराब हैं। यह बल्कि आश्चर्य की बात है, क्योंकि Google नेताओं में से एक है, लेकिन इस संबंध में थोड़ा सा sagging है। एंड्रॉइड पर, स्पष्ट रूप से आधुनिक मशीन सीखने की क्षमताओं के उच्च-गुणवत्ता वाले कार्यान्वयन की कमी है।

हमारे लिए, उदाहरण के लिए, यहां तक ​​कि एप्लिकेशन में भी, सभी सुविधाएं समान तरीके से काम नहीं करती हैं। IOS पर जो तेजी से काम करता है वह एंड्रॉइड पर धीमा है, यहां तक ​​कि तुलनीय शक्ति के प्रमुख उपकरणों पर भी। इस अर्थ में, वर्तमान में, एक प्लेटफॉर्म के रूप में एंड्रॉइड sagging है।

CoreML के बारे में

STAS: चूंकि उन्होंने CoreML के बारे में कहा है, इसलिए शायद TensorFlow Lite के बारे में कहना सही होगा।

एंड्रयू: CoreML वास्तव में एक काला घोड़ा है। जब वह पिछले साल बाहर आया, तो सभी ने पहले कहा, "वाह, अच्छा!" लेकिन फिर यह स्पष्ट हो गया कि यह धातु के ऊपर सिर्फ एक छोटा आवरण है। हमारे सहित मशीन लर्निंग में जो कंपनियां गंभीरता से लगी हुई हैं, उनके पास लंबे समय से अपने समाधान हैं। उदाहरण के लिए, हमारे परीक्षण समाधान ने गति और अन्य मापदंडों के संदर्भ में CoreML से बेहतर परिणाम दिखाए।

लेकिन CoreML के साथ मुख्य समस्या यह थी कि इसे अनुकूलित नहीं किया जा सकता था। कभी-कभी ऐसा होता है कि आपको तंत्रिका नेटवर्क में एक जटिल परत की आवश्यकता होती है, जो कि, उदाहरण के लिए, धातु में नहीं है, और आपको इसे स्वयं लिखने की आवश्यकता है। CoreML में, अपनी परतों को एम्बेड करना संभव नहीं था, और इसलिए आपको धातु को निचले स्तर तक डाउनग्रेड करना पड़ा और खुद को सब कुछ लिखना पड़ा।

हाल ही में, CoreML ने इसे जोड़ा और अब यह ढांचा और दिलचस्प हो गया है। यदि आप एक डेवलपर हैं, जिनके पास कंपनी या एप्लिकेशन में मशीन लर्निंग से संबंधित कुछ भी नहीं है, तो आप कुछ न्यूरॉन को दो लाइनों में चला सकते हैं और जल्दी से इसे GPU पर चला सकते हैं। परिणाम, जो कोरएमएल के लिए प्रदर्शन परीक्षण दिखाते हैं, वे कस्टम समाधान और नंगे धातु के बराबर हैं।

यानी CoreML काफी अच्छा काम करती है। यह थोड़ा नम है, इसमें कीड़े हैं, लेकिन हर महीने यह बेहतर हो रहा है। ऐप्पल सक्रिय रूप से अपडेट को रोल आउट कर रहा है - जिस तरह से हम उपयोग कर रहे हैं, वह यह नहीं है कि ऐप्पल फ्रेमवर्क से अपडेट साल में एक बार या आईओएस के अर्ध-प्रमुख संस्करणों पर जारी किए जाते हैं। CoreML को सक्रिय रूप से अपडेट किया जा रहा है, इस अर्थ में, सब कुछ बहुत अच्छा है।

TensorFlow Lite CoreML में एक कनवर्टर प्रदान करता है, CatBoost CoreML में एक कनवर्टर का भी समर्थन करता है। संक्षेप में, Apple ने फिर से सब कुछ ठीक किया। उन्होंने एक ओपन सोर्स कन्वर्टर जारी किया और कहा: "कोरएमएलएल में सभी कन्वर्टर्स लिखें" - और कई सीखने की रूपरेखा ने इसका समर्थन किया।

सबसे पहले CoreML के बारे में कुछ संदेह था, पिछले WWDC में CoreML डेवलपर्स के लिए सबसे आम सवाल था: “आप इंटरनेट से मॉडल डाउनलोड करने की अनुमति क्यों नहीं देते? आप उन्हें एन्क्रिप्ट क्यों नहीं करते? " इन मॉडलों को प्राप्त करना संभव था, और, यह बौद्धिक संपत्ति की चोरी करता है।

अब सब कुछ मरम्मत, जोड़ा कार्यक्षमता, और फिलहाल, CoreML निश्चित रूप से इस अर्थ में अग्रणी मंच है।

STAS: क्या आप इसके बारे में अधिक विस्तार से बात कर सकते हैं? यह पता चला है कि अब आप मॉडल को स्टोर नहीं कर सकते हैं, लेकिन इसे कहीं से लोड कर सकते हैं?

एंड्रयू: हाँ, यह पहले से ही संभव है। पहले, जब हमने इस बारे में पूछा, तो डेवलपर्स ने मुस्कुराते हुए कहा: "बस हेडर देखो।" वास्तव में ऐसे डिजाइनर थे जो फाइलों को स्थानांतरित कर सकते थे और सब कुछ एक साथ आ जाएगा।

लेकिन अंदर के CoreML मॉडल काफी दिलचस्प हैं। वे वास्तव में साधारण बायनेरी हैं जो वज़न को संग्रहीत करते हैं, लेकिन साथ ही वे स्विफ्ट फाइलें उत्पन्न करते हैं, जो तब निहित वर्ग बनाते हैं। आप अपने आवेदन में इन कक्षाओं का उपयोग करते हैं, और संकलक इस मॉडल को कुछ फाइलों में संकलित करते हैं।

अब, कुछ हैक और दृष्टिकोणों का उपयोग करके, इस मॉडल को पोर्टेबल बनाना संभव है। आप एन्क्रिप्शन द्वारा अपनी बौद्धिक संपदा की रक्षा कर सकते हैं, और आवेदन का वजन हल्का कर सकते हैं।

सामान्य तौर पर, CoreML अब सही दिशा में आगे बढ़ रही है। ऐप रिव्यू के दृष्टिकोण से सब कुछ कानूनी रूप से नहीं किया जा सकता है, न कि सब कुछ हैक्स के बिना, आसानी से किया जा सकता है, लेकिन यह ध्यान देने योग्य है कि डेवलपर्स कैसे फ्रेमवर्क में सुधार करते हैं।

STAS: अच्छा! मैं जोड़ना चाहता था कि CoreML एक विशिष्ट समाधान की तरह दिखता है। सापेक्ष रूप से, यह सुविधाजनक है जब आप अपने आवेदन में मशीन सीखने का उपयोग करके कुछ सरल करना चाहते हैं। ऐसा लगता है कि यदि यह एक विशिष्ट कार्य है, तो Apple ने इस पूरे मार्ग को यथासंभव सरल बनाने की कोशिश की, अगर आपको एक तैयार मॉडल, डेटासेट और बहुत कुछ मिल जाए। यह केवल एक विशिष्ट समस्या के बारे में एक कहानी है, क्योंकि उनके लिए, शायद, सब कुछ पहले से ही तैयार है।

एंड्रयू: विशिष्ट कार्यों के लिए, यह आम तौर पर सुपर है! हाइपरबोले के बिना - मॉडल को चलाने के लिए कोड की दो पंक्तियों की वास्तव में आवश्यकता होती है। इस अर्थ में, हां, यह बहुत अच्छा है, विशेष रूप से इंडी डेवलपर्स या कंपनियों के लिए, जिनके पास कर्मचारियों पर एक आर एंड डी विभाग नहीं है, लेकिन यह भी कुछ ठंडा जोड़ना चाहते हैं।

लेकिन यह इतना दिलचस्प नहीं है, क्योंकि विशिष्ट कार्यों को जीथब पर और धातु के साथ हल किया गया था - आप बस इस कोड को अपने आप को कॉपी कर सकते हैं और इसे खेत पर रख सकते हैं - हालांकि थोड़ा और अधिक जटिल।

यह महत्वपूर्ण है कि अब यह ढांचा न केवल क्लासिक रोजमर्रा के कार्यों की ओर बढ़ रहा है, बल्कि एकीकृत समाधानों की ओर भी बढ़ रहा है। यह वास्तव में अच्छा है!

मोबाइल फोन पर प्रशिक्षण के बारे में

GLEB: आप कहते हैं कि धातु के आगमन के बाद मोबाइल फोन पर मॉडल को प्रशिक्षित करना संभव हो गया?

एंड्रयू: नहीं, मोबाइल फोन पर प्रशिक्षण कभी संभव नहीं था। इसका कोई मतलब नहीं है, आप इसे केवल चला सकते हैं। अगर मैंने ऐसा कहा तो मैंने आरक्षण कर दिया। मोबाइल फोन पर, निश्चित रूप से, कोई भी कुछ भी नहीं सिखाता है।

STAS: मैंने मोबाइल फोन पर प्रशिक्षण के बारे में कुछ भी नहीं सुना।

GLEB: मैंने भी नहीं सुना, लेकिन मैंने इसके बारे में सोचा। बेशक, यह सहज रूप से लगता है कि यह एक अजीब बात है। लेकिन निश्चित रूप से कोई दिलचस्प कार्य नहीं हैं, यह कब प्रासंगिक होगा?

एंड्रयू: उन्हें कल्पना करना मुश्किल है। अगर ऐसा कुछ है, तो केवल सीखने को वितरित किया। यह कैसे करना है, इसके बारे में भी वैज्ञानिक लेख हैं, लेकिन जैसा कि मैं इसे समझता हूं, आप पूछ रहे हैं कि एक ही फोन पर एकत्र किए गए डेटा से कैसे सीखें? यह सिर्फ इतना है कि भले ही आप इतना इकट्ठा करते हैं (जो नहीं हुआ), यह सीखने में इतना समय लगेगा कि यह कभी खत्म नहीं होगा, और कोई भी मोबाइल कोड के लिए प्रशिक्षण कोड को पोर्ट नहीं करेगा, क्योंकि क्यों? प्रशिक्षण हमेशा सर्वरों पर होता है, और उपकरणों पर निष्कर्ष।

STAS: लेकिन अंततः यह इस तरह से बदल जाता है। यदि आप एक कंपनी हैं, तो आप ऐसा कुछ चाहते हैं, जिसके लिए आपको डेटा चाहिए, और आप इसे अपने उपयोगकर्ताओं से एकत्र कर सकते हैं, अर्थात समय-समय पर इसे स्वयं लोड कर सकते हैं।

एंड्रयू: हाँ, लेकिन यह थोड़ा अलग तरीके से काम करता है। आप अपने हॉट सर्वर पर एक स्थान पर सभी उपयोगकर्ताओं से डेटा एकत्र करते हैं, आप वहां प्रशिक्षण लेते हैं, फिर तैयार मॉडल वापस भेजते हैं। लेकिन ऐसा नहीं है कि घर पर हर कोई कुछ न कुछ सिखाता है।

STAS: दूसरी ओर, मोबाइल फोन गर्म होगा - और सर्दियों में यह प्रासंगिक होगा, लेकिन बहुत, शायद, लंबे समय के लिए।

मोबाइल फोन और भविष्य के बारे में

जीएलईबी: क्या मोबाइल उपकरणों पर मशीन सीखने को लागू करने के मामले में कोई अन्य दिलचस्प चीजें हैं? हमने इस बारे में बात की कि हमारे पास पहले से क्या है। भविष्य में थोड़ा देखना दिलचस्प होगा - ताकि हम आम तौर पर कुछ सुपरफूड्स, सुपर-सॉल्यूशंस के लिए अपने मोबाइल प्लेटफॉर्म पर प्राप्त करना चाहें।

: , , performance — , , . , - , .

. , style- , . .

CoreML . , , . , , : , , — , Android, iOS, . , , iOS Android.

, , , , — Android, iOS, Github . - — Uber , Horovod. Apple — , . , , , , — .

, . , , , — , , - . , .

: , , ? , , ? .

: , — (M. Bishop. Pattern Recognition and Machine Learning. Christopher. Springer. 2006), - . , , 3D , , - . . , — , — .

, , , . , -, , Andrew Ng Coursera. , .

, , , — MNIST. Hello World, .

, , , , - , . - , , , .

: ?

: advanced- Andrew Ng! , , Kaggle, , . , , — Data Scientist.

— , , , . , — R&D . , . . , , .

. , Kaggle, - — 90% .

परिणाम

: . , , , , .

• , — . , , — .
• .
• .
• - .
• , , , .
  
• , . , , , - - !
• — , , CoreML — , .

, .

, AppsConf 2018 , 8 9 .

80 , Call for Papers — 3 . , , .