यांडेक्स निवासी कार्यक्रम, या एक अनुभवी बैक-एंड कैसे एमएल-इंजीनियर बन जाता है

Yandex अनुभवी बैकएंड डेवलपर्स के लिए एक निवासी मशीन सीखने का कार्यक्रम खोलता है। यदि आपने सी ++ / पायथन में बहुत कुछ लिखा है और इस ज्ञान को एमएल में लागू करना चाहते हैं, तो हम आपको सिखाएंगे कि व्यावहारिक शोध कैसे करें और अनुभवी क्यूरेटर का चयन करें। आप प्रमुख यांडेक्स सेवाओं पर काम करेंगे और ऐसे क्षेत्रों में रैखिक मॉडल और ग्रेडिएंट बूस्टिंग, सिफारिश प्रणाली, चित्र, पाठ और ध्वनि का विश्लेषण करने के लिए तंत्रिका नेटवर्क के रूप में कौशल प्राप्त करेंगे। आप यह भी सीखेंगे कि मीट्रिक ऑफ़लाइन और ऑनलाइन का उपयोग करके अपने मॉडल का सही मूल्यांकन कैसे करें।

कार्यक्रम की अवधि एक वर्ष है, जिसके दौरान प्रतिभागी मशीन इंटेलिजेंस और यैंडेक्स रिसर्च विभाग में काम करेंगे, साथ ही व्याख्यान और सेमिनार में भाग लेंगे। भागीदारी का भुगतान किया जाता है और पूर्ण रोजगार मान लिया जाता है: इस वर्ष 1 जुलाई से शुरू होने वाले सप्ताह में 40 घंटे। आवेदन पहले से ही खुले हैं और 1 मई तक चलेगा।

और अब और अधिक विस्तार से - किस तरह के दर्शकों के लिए हम इंतजार कर रहे हैं, वर्कफ़्लो क्या होगा और सामान्य तौर पर, एमएल में कैरियर बनाने के लिए बैकएंड विशेषज्ञ कैसे होगा।

दिशात्मकता

कई कंपनियों के पास रेजीडेंसी कार्यक्रम हैं, उदाहरण के लिए, Google और Facebook। वे मुख्य रूप से जूनियर और मध्यवर्ती स्तर के विशेषज्ञों के उद्देश्य से हैं जो एमएल अनुसंधान की दिशा में कदम बढ़ाने की कोशिश कर रहे हैं। हमारा कार्यक्रम अलग दर्शकों के लिए है। हम बैकेंड डेवलपर्स को आमंत्रित करते हैं जिन्होंने पहले से ही पर्याप्त अनुभव प्राप्त कर लिया है और यह सुनिश्चित करने के लिए जानते हैं कि उनकी दक्षताओं में उन्हें एमएल की ओर बढ़ने की जरूरत है, व्यावहारिक कौशल प्राप्त करें - न कि वैज्ञानिक कौशल - मशीन सीखने की औद्योगिक समस्याओं को हल करने में। इसका मतलब यह नहीं है कि हम युवा शोधकर्ताओं का समर्थन नहीं करते हैं। उनके लिए, हमने एक अलग कार्यक्रम आयोजित किया - इल्या सेगालोविच पुरस्कार , जो आपको यैंडेक्स में काम करने की भी अनुमति देता है।

जहां निवासी को काम करना है

हम, मशीन बुद्धि और अनुसंधान के प्रबंधन में, खुद परियोजना विचारों को विकसित करते हैं। प्रेरणा का मुख्य स्रोत वैज्ञानिक साहित्य, लेख और अनुसंधान समुदाय में रुझान हैं। मेरे सहकर्मी और मैं जो पढ़ते हैं उसका विश्लेषण करते हैं, देखते हैं कि वैज्ञानिकों द्वारा प्रस्तावित तरीकों में सुधार या विस्तार करना कैसे संभव है। उसी समय, हम में से प्रत्येक अपने ज्ञान और हितों के क्षेत्र को ध्यान में रखता है, उन क्षेत्रों के आधार पर समस्या का निर्माण करता है जिन्हें हम महत्वपूर्ण मानते हैं। बाहरी अनुसंधान और अपनी स्वयं की दक्षताओं के परिणामों के जंक्शन पर, एक परियोजना का विचार आमतौर पर पैदा होता है।

इस तरह की प्रणाली अच्छी है कि यह बड़े पैमाने पर यांडेक्स सेवाओं की तकनीकी समस्याओं को उत्पन्न होने से पहले ही हल कर देती है। जब किसी सेवा से पहले कोई समस्या उत्पन्न होती है, तो हमारे प्रतिनिधि हमारे पास पहले से तैयार की गई तकनीकों को लेने की सबसे अधिक संभावना रखते हैं, जो केवल उत्पाद में सही ढंग से लागू हो सकते हैं। अगर कुछ तैयार नहीं है, तो हम कम से कम जल्दी से याद करेंगे कि आप "खुदाई शुरू" कहाँ कर सकते हैं, जिसमें लेख एक समाधान की तलाश में है। जैसा कि आप जानते हैं, वैज्ञानिक दृष्टिकोण दिग्गजों के कंधों पर खड़ा होना है।

क्या करें?

यांडेक्स में - और यहां तक ​​कि विशेष रूप से हमारे प्रबंधन में - सभी मौजूदा एमएल दिशाएं विकसित हो रही हैं। हमारा कार्य विभिन्न प्रकार के उत्पादों की गुणवत्ता में सुधार करना है, और यह सब कुछ नया परीक्षण करने के लिए एक प्रोत्साहन के रूप में कार्य करता है। इसके अलावा, नई सेवाएं नियमित रूप से दिखाई देती हैं। इसलिए व्याख्यान कार्यक्रम में औद्योगिक विकास में मशीन सीखने के सभी प्रमुख (अच्छी तरह से स्थापित) क्षेत्र हैं। पाठ्यक्रम के अपने हिस्से को संकलित करने में, मैंने स्कूल ऑफ़ डेटा एनालिसिस के शिक्षण अनुभव का उपयोग किया, साथ ही अन्य एसएचए शिक्षकों की सामग्री और विकास भी। मुझे पता है कि मेरे साथियों ने भी ऐसा ही किया।

पहले महीनों में, पाठ्यक्रम कार्यक्रम पर प्रशिक्षण आपके कार्य समय का लगभग 30% होगा, फिर लगभग 10%। हालांकि, यह समझना महत्वपूर्ण है कि एमएल मॉडल के साथ काम करना सभी संबंधित प्रक्रियाओं की तुलना में लगभग चार गुना कम लेना जारी रखेगा। इनमें एक बैकएंड तैयार करना, डेटा प्राप्त करना, अपने प्रीप्रोसेसिंग के लिए एक पाइपलाइन लिखना, कोड का अनुकूलन करना, विशिष्ट हार्डवेयर के अनुकूल होना, आदि एक एमएल इंजीनियर है, यदि आप करेंगे, तो एक फुलस्टैक डेवलपर (केवल मशीन सीखने पर बड़ा जोर देने के साथ) सक्षम है। शुरू से अंत तक समस्या को हल करें। यहां तक ​​कि तैयार मॉडल के साथ, आपको संभवतः कई कार्यों को करने की आवश्यकता होगी: कई मशीनों में इसके निष्पादन को समानांतर करें, पेन, लाइब्रेरी या सेवा के घटक के रूप में कार्यान्वयन तैयार करें।

छात्र की पसंद
_{अगर आपको लगता है कि पहले एक बैकएंड डेवलपर के रूप में काम करके ML इंजीनियरों के पास जाना बेहतर है, तो ऐसा नहीं है। विकासशील सेवाओं में वास्तविक अनुभव के बिना एक ही SHAD में प्रवेश करना, सीखना और बाजार में बेहद लोकप्रिय बनना एक उत्कृष्ट विकल्प है। यांडेक्स के कई विशेषज्ञ इस तरह से अपने वर्तमान पदों पर थे। यदि कोई भी कंपनी स्नातक होने के तुरंत बाद आपको एमएल के क्षेत्र में नौकरी देने के लिए तैयार है, तो संभवतः यह प्रस्ताव स्वीकार करने योग्य है। एक अनुभवी संरक्षक के साथ एक अच्छी टीम में जाने की कोशिश करें और बहुत कुछ सीखने के लिए तैयार रहें।}

क्या आम तौर पर एमएल के साथ हस्तक्षेप करता है

यदि बैकएंडर एक एमएल इंजीनियर बनना चाहता है, तो वह - निवासी कार्यक्रम को ध्यान में रखे बिना - विकास की दो दिशाओं में से चुन सकता है।

सबसे पहले, एक शैक्षिक पाठ्यक्रम के हिस्से के रूप में अध्ययन करने के लिए। कौरसेरा के पाठ आपको बुनियादी तकनीकों को समझने के करीब लाएंगे, लेकिन अपने आप को पेशे में पर्याप्त रूप से विसर्जित करने के लिए, आपको इसे और अधिक समय देने की आवश्यकता है। उदाहरण के लिए, SHAD को समाप्त करें। अलग-अलग वर्षों में, ShAD में मशीन लर्निंग के अलग-अलग कोर्स थे - औसतन, लगभग आठ। उनमें से प्रत्येक स्नातक के अनुसार वास्तव में महत्वपूर्ण और उपयोगी है।

दूसरे, आप युद्ध परियोजनाओं में भाग ले सकते हैं जहां एक या दूसरे एमएल-एल्गोरिदम को लागू करना आवश्यक है। हालांकि, आईटी विकास बाजार पर ऐसी बहुत कम परियोजनाएं हैं: मशीन सीखने का उपयोग अधिकांश कार्यों में नहीं किया जाता है। यहां तक ​​कि बैंकों में जो सक्रिय रूप से एमएल से संबंधित अवसरों की खोज कर रहे हैं, कुछ डेटा विश्लेषण करते हैं। यदि आप इन टीमों में से एक में शामिल होने में असमर्थ हैं, तो आपको या तो अपना प्रोजेक्ट शुरू करना होगा (जहां, सबसे अधिक संभावना है, आप स्वयं समय सीमा निर्धारित करेंगे, और इसका मुकाबला उत्पादन कार्यों से बहुत कम है), या केगल पर प्रतिस्पर्धा शुरू करें।

वास्तव में, समुदाय के अन्य सदस्यों के साथ टीम बनाना और खुद को प्रतियोगिताओं में आज़माना अपेक्षाकृत आसान है - खासकर यदि आप कौरसेरा में उल्लिखित प्रशिक्षण और पाठ्यक्रमों के साथ अपने कौशल को सुदृढ़ करते हैं। प्रत्येक प्रतियोगिता की एक समय सीमा होती है - यह आपके लिए एक प्रोत्साहन के रूप में काम करेगी और आईटी कंपनियों में समान प्रणाली के लिए तैयार करेगी। यह एक अच्छा तरीका है - जो, हालांकि, वास्तविक प्रक्रियाओं से थोड़ा तलाकशुदा भी है। कागले में आपको पूर्व-संसाधित किया जाता है, यद्यपि हमेशा सही डेटा नहीं; उत्पाद में योगदान के बारे में सोचने की पेशकश न करें; और सबसे महत्वपूर्ण बात, उन्हें उत्पादन के लिए उपयुक्त समाधान की आवश्यकता नहीं है। आपके एल्गोरिदम संभवतः व्यावहारिक साबित होंगे और इसमें उच्च सटीकता होगी, लेकिन आपके मॉडल और कोड फ्रेंकस्टीन के विभिन्न हिस्सों से सिलना की तरह दिखेंगे - एक कॉम्बैट प्रोजेक्ट में, यह पूरा डिज़ाइन बहुत धीरे-धीरे काम करेगा, अपडेट और विस्तार करना मुश्किल होगा (उदाहरण के लिए, भाषा और आवाज एल्गोरिदम हमेशा आंशिक रूप से भाषा के विकास के साथ मेल खाता है)। कंपनियों को इस तथ्य में दिलचस्पी है कि न केवल आप उपरोक्त कार्य कर सकते हैं (यह स्पष्ट है कि आप, समाधान के लेखक के रूप में, यह कर सकते हैं), बल्कि आपके किसी भी सहयोगी। खेल और औद्योगिक प्रोग्रामिंग के बीच अंतर के बारे में बहुत कुछ कहा गया है , और कागले ठीक "एथलीटों" को शिक्षित करते हैं - भले ही वह इसे बहुत अच्छी तरह से करता है, जिससे उसे कुछ अनुभव प्राप्त करने की अनुमति मिलती है।

मैंने विकास के दो संभावित रेखाओं का वर्णन किया - शैक्षिक कार्यक्रमों के माध्यम से प्रशिक्षण और "लड़ाई में प्रशिक्षण", उदाहरण के लिए केगल पर। निवासी कार्यक्रम इन दो तरीकों का एक संयोजन है। SHAD स्तर के व्याख्यान और संगोष्ठियाँ आपकी प्रतीक्षा कर रही हैं, साथ ही साथ वास्तव में परियोजनाओं का मुकाबला भी कर रही हैं।