मशीन लर्निंग प्रतियोगिताओं में कैसे भाग लें। यैंडेक्स में व्याख्यान

एमएल प्रशिक्षण के नियमित उपस्थित लोगों में से कई की उचित राय है कि प्रतियोगिताओं में भाग लेना पेशे में सबसे तेज़ तरीका है। हमारे पास इस विषय पर एक लेख भी था। आज के व्याख्यान के लेखक आर्थर कुज़ीन ने अपने स्वयं के उदाहरण का उपयोग करते हुए दिखाया कि कैसे कुछ वर्षों में एक क्षेत्र से पीछे हटना संभव है जो डेटा विश्लेषण में एक विशेषज्ञ से प्रोग्रामिंग से संबंधित नहीं है।


- सभी को नमस्कार। मेरा नाम आर्थर कजिन है, मैं डब्रेन में एक प्रमुख डेटा वैज्ञानिक हूं।

एमिल के पास एक व्यापक रिपोर्ट थी, जो कई पहलुओं के बारे में बता रही थी। मैं उस पर ध्यान केंद्रित करूंगा जो मुझे सबसे महत्वपूर्ण और मजेदार लगता है। इससे पहले कि मैं रिपोर्ट के विषय पर उतरूं, मैं अपना परिचय देना चाहता हूं। आम तौर पर, मैंने भौतिकी से स्नातक किया और लगभग 8 साल तक, तीसरे वर्ष से, मैंने प्रयोगशाला में काम किया, जो एनके के तल पर स्थित है। यह प्रयोगशाला सूक्ष्म और नैनोस्ट्रक्चर के निर्माण में लगी हुई है।



इस समय मैंने एक शोधकर्ता के रूप में काम किया, और इसका एमएल या प्रोग्रामिंग से कोई लेना-देना नहीं था। इससे पता चलता है कि मशीन लर्निंग में प्रवेश करने की सीमा कितनी कम है, आप इसमें कितनी तेजी से विकास कर सकते हैं। इसके अलावा, 2013 के क्षेत्र में, मेरे दोस्तों ने मुझे एक स्टार्टअप के लिए बुलाया, जो एमएल में लगा हुआ था। और 2-3 वर्षों के दौरान मैंने एक ही समय में प्रोग्रामिंग और एमएल दोनों का अध्ययन किया। मेरी प्रगति धीमी थी - मैंने सामग्री का अध्ययन किया, इसमें विलम्ब हुआ, लेकिन यह उतनी तेजी से नहीं था जितना अब हो रहा है। मेरे लिए, सब कुछ बदल गया जब मैंने एमएल प्रतियोगिताओं में भाग लेना शुरू कर दिया। कारों के वर्गीकरण के बारे में पहली प्रतियोगिता एविटो की थी। मुझे वास्तव में यह पता नहीं था कि इसमें भाग कैसे लेना है, लेकिन तीसरे स्थान पर जाने में कामयाब रहा। इसके तुरंत बाद, एक और प्रतियोगिता शुरू हुई, जो पहले से ही विज्ञापनों के वर्गीकरण के लिए समर्पित थी। चित्र, पाठ, विवरण, मूल्य थे - यह एक जटिल प्रतियोगिता थी। इसमें, मैंने पहला स्थान प्राप्त किया, जिसके बाद मुझे लगभग तुरंत एक प्रस्ताव मिला और वे मुझे अवितो के पास ले गए। तब कोई कनिष्ठ स्थिति नहीं थी, मुझे तुरंत मध्य में ले जाया गया - लगभग बिना प्रासंगिक अनुभव के।

इसके अलावा, जब मैं पहले से ही एविटो में काम कर रहा था, मैंने कागले में प्रतियोगिताओं में भाग लेना शुरू किया और लगभग एक साल में मुझे भव्य स्वामी प्राप्त हुए। अब मैं ओवरऑल रैंकिंग में 58 वें स्थान पर हूं। यह मेरा प्रोफाइल है। एक-डेढ़ साल तक एविटो में काम करने के बाद, मैं डब्रेन में चला गया और अब मैं सात डेटा वैज्ञानिकों के काम को समन्वित करते हुए एक डेटा विज्ञान निदेशक के रूप में एक सा हूं। जो कुछ भी मैं अपने काम में उपयोग करता हूं वह मैंने प्रतियोगिताओं से सीखा। इसलिए, मेरा मानना ​​है कि यह एक बहुत अच्छा विषय है, और हर संभव तरीके से मैं प्रतियोगिताओं में भाग लेने और विकास करने की वकालत करता हूं।



कभी-कभी वे मुझसे पूछते हैं कि यदि आप डेटा वैज्ञानिक बनना चाहते हैं तो क्या करना होगा। इसके दो तरीके हैं। पहले कुछ कोर्स सुनो। उनमें से बहुत सारे हैं, वे सभी उच्च गुणवत्ता वाले हैं। लेकिन मेरे लिए व्यक्तिगत रूप से यह बिल्कुल भी काम नहीं करता है। सभी लोग अलग-अलग हैं, लेकिन मुझे यह पसंद नहीं है, बस, क्योंकि, एक नियम के रूप में, पाठ्यक्रम बहुत सार कार्य हैं, और जब मैं एक अनुभाग से गुजरता हूं, तो मैं हमेशा यह नहीं समझता कि मुझे यह जानने की आवश्यकता क्यों है। इस दृष्टिकोण के विपरीत, आप बस प्रतियोगिता को हल कर सकते हैं और शुरू कर सकते हैं। और यह दृष्टिकोण के मामले में एक पूरी तरह से अलग प्रवाह है। इसमें यह अंतर है कि आप तुरंत एक निश्चित मात्रा में ज्ञान प्राप्त कर लेते हैं और किसी अज्ञात विषय में आने पर नए विषय का अध्ययन करना शुरू कर देते हैं। यही है, आप तय करना और समझना शुरू करते हैं कि आपके पास तंत्रिका नेटवर्क को प्रशिक्षित करने के बारे में ज्ञान की कमी है। आप लेते हैं, Google और अध्ययन - केवल जब आपको इसकी आवश्यकता होती है। यह प्रेरणा, प्रगति के संदर्भ में बहुत सरल है, क्योंकि आपके पास पहले से ही प्रतिस्पर्धा के ढांचे में एक कार्य कड़ाई से तैयार है, एक लक्ष्य मीट्रिक और ओपन डेटा साइंस चैट के संदर्भ में बहुत अधिक समर्थन है। और, एक दूर के बोनस के रूप में, यह है कि आपका निर्णय एक परियोजना होगी जो अभी तक नहीं है।



इतना मज़ा क्यों आ रहा है? सकारात्मक भावनाएं कहां से हैं? विचार यह है कि जब आप एक सबमिशन भेजते हैं और यह पिछले एक की तुलना में थोड़ा बेहतर होता है, तो वे कहते हैं - आपने मीट्रिक में सुधार किया, यह अच्छा है। आप लीडरबोर्ड पर चढ़ते हैं। इसके विपरीत, यदि आप कुछ नहीं करते हैं और सबमिशन नहीं भेजते हैं, तो आप नीचे जाते हैं। और यह एक प्रतिक्रिया का कारण बनता है: आप प्रगति करते समय अच्छा महसूस करते हैं, और इसके विपरीत। यह एक अच्छा तंत्र है जो शोषण करता है, ऐसा लगता है, केवल कागल। और एक अन्य बिंदु: कागले स्लॉट मशीनों और टिंडर के समान निर्भरता तंत्र का शोषण करता है। आपको पता नहीं है कि आपका सबमिशन बेहतर है या बुरा। यह एक परिणाम की उम्मीद का कारण बनता है जो आपके लिए अज्ञात है। इस प्रकार, कागले अत्यधिक नशे की लत है, लेकिन यह काफी रचनात्मक है: आप विकसित होते हैं और अपने निर्णय को बेहतर बनाने की कोशिश करते हैं।

पहली खुराक कैसे प्राप्त करें? आपको गुठली अनुभाग में आने की आवश्यकता है। उन्होंने पाइपलाइन या पूरे समाधान के कुछ टुकड़े रखे। एक अलग सवाल यह है कि लोग ऐसा क्यों करते हैं। एक आदमी ने समय बिताया - इसे सार्वजनिक रूप से रखने का क्या मतलब है? वे लाभ ले सकते हैं और लेखक को बायपास कर सकते हैं।

विचार यह है कि, सबसे पहले, सबसे अच्छा समाधान बाहर नहीं रखा जाता है। एक नियम के रूप में, ये समाधान प्रशिक्षण मॉडल के दृष्टिकोण से इष्टतम नहीं हैं, उनके पास सभी बारीकियां नहीं हैं, लेकिन शुरुआत से अंत तक एक पूरी पाइपलाइन है ताकि आप डेटा प्रोसेसिंग, पोस्टप्रोसेसिंग, संग्रह जमा करना आदि से संबंधित नियमित कार्यों को हल न करें। यह नए प्रवेशकों को आकर्षित करने के लिए प्रवेश सीमा को कम कर रहा है। आपको यह समझने की आवश्यकता है कि आंकड़ों का समुदाय वैज्ञानिक चर्चा के लिए खुला है और सामान्य तौर पर, काफी सकारात्मक है। मैंने इसे वैज्ञानिक समुदाय में नहीं देखा है। मुख्य प्रेरणा यह है कि नए लोग नए विचारों के साथ आते हैं। यह समस्या, प्रतियोगिता की चर्चा को विकसित करता है और पूरे समुदाय को विकसित करने की अनुमति देता है।

यदि आपने किसी और के फैसले को लिया, तो इसे लॉन्च किया, प्रशिक्षित करना शुरू किया, फिर अगली बात जो मैं करने की सलाह देता हूं वह है डेटा पर ध्यान देना। बनल सलाह, लेकिन आपने यह नहीं माना कि ऊपर से कितने लोग इसका उपयोग नहीं करते हैं। यह समझने के लिए कि यह क्यों महत्वपूर्ण है, मैं आपको यूजीन निज़िबित्सकी की रिपोर्ट देखने की सलाह देता हूं। वह फिल्म प्रतियोगिताओं में चेहरे के बारे में और एयरबस में चेहरे के बारे में बात करता है, जिसे डेटा को देखकर भी देखा जा सकता है। यह ज्यादा समय नहीं लेता है और समस्या को समझने में मदद करता है। और चित्रों में चेहरे इस तथ्य के बारे में थे कि विभिन्न प्लेटफार्मों पर और विभिन्न प्रतियोगिताओं में ट्रेन से परीक्षण उत्तर प्राप्त करना संभव था। यही है, आप किसी भी मॉडल को प्रशिक्षित नहीं कर सकते हैं, लेकिन केवल डेटा को देखें और समझें कि आप अपने परीक्षण के लिए उत्तर कैसे प्राप्त कर सकते हैं - आंशिक या पूरी तरह से। यह एक आदत है जो न केवल प्रतियोगिताओं में, बल्कि वास्तविक अभ्यास में भी महत्वपूर्ण है, जब आप डेटा वैज्ञानिकों के साथ काम करते हैं। वास्तविक जीवन में, सबसे अधिक संभावना है, कार्य खराब रूप से तैयार किया जाएगा। आप इसे तैयार नहीं करते हैं, लेकिन आपको यह समझने की जरूरत है कि इसका सार और डेटा का सार क्या है। डेटा देखने की आदत बहुत जरूरी है, इस पर समय बिताएं।

आगे आपको यह समझने की जरूरत है कि कार्य क्या है। यदि आप डेटा को देखते हैं और समझते हैं कि लक्ष्य क्या है ... आप, यदि मैं सही ढंग से समझता हूं, तो अधिकांश भाग के लिए, फ़िज़टेख से हैं। आपके पास कुछ महत्वपूर्ण सोच होनी चाहिए जो आपको इस सवाल पर उठाती है: प्रतियोगिता को डिजाइन करने वाले लोगों ने सबकुछ सही क्यों किया? क्यों नहीं बदलते हैं, उदाहरण के लिए, लक्ष्य मीट्रिक, कुछ और की तलाश करें, और नई मीट्रिक से सही चीजें एकत्र करें? मेरी राय में, अब जब ट्यूटोरियल और अन्य लोगों के कोड का एक समूह है, तो फीड भविष्यवाणी करना कोई समस्या नहीं है। एक मॉडल को प्रशिक्षित करने के लिए, एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए एक बहुत ही सरल कार्य है, जो बहुत व्यापक लोगों के लिए सुलभ है। लेकिन यह समझना महत्वपूर्ण है कि आपका लक्ष्य क्या है, आप क्या अनुमान लगाते हैं और अपने लक्ष्य मीट्रिक को कैसे इकट्ठा करते हैं। यदि आप वस्तुनिष्ठ वास्तविकता में कुछ अप्रासंगिक होने की भविष्यवाणी करते हैं, तो मॉडल बस नहीं सीखता है और आपको बहुत खराब गति मिलती है।

उदाहरण। एक प्रतियोगिता थी जो टॉपकोडर कोनिका-मिनोल्टा में हुई थी।



इसमें निम्नलिखित शामिल थे: आपके पास दो चित्र हैं, शीर्ष एक, और उनमें से एक में गंदगी है, दाईं ओर एक छोटी सी बिंदी है। इसे उजागर करना और खंडित करना आवश्यक था। यह एक बहुत ही सरल कार्य प्रतीत होता है, और तंत्रिका नेटवर्क को इसे एक बार में हल करना चाहिए। लेकिन समस्या यह है कि ये दो तस्वीरें हैं जिन्हें या तो समय के अंतर के साथ लिया गया था, या विभिन्न कैमरों से। नतीजतन, एक तस्वीर दूसरे के सापेक्ष थोड़ा स्थानांतरित हो गई। पैमाना वास्तव में बहुत छोटा था। लेकिन इस कार्य की एक और विशेषता थी कि मुखौटे भी छोटे होते हैं। एक तस्वीर है जो दूसरे के सापेक्ष स्थानांतरित हो गई, जबकि मुखौटा अभी भी उसके सापेक्ष स्थानांतरित हो गया। यह लगभग स्पष्ट है कि कठिनाई क्या है।



तीसरे स्थान पर अलेक्सी बुस्लाव, उन्होंने सियामी न्यूरल नेटवर्क को दो इनपुट के साथ लिया ताकि इन स्याम देश के प्रमुखों ने इस विकृत तस्वीर के बारे में कुछ परिवर्तन सीखा। उसके बाद, उन्होंने इन विशेषताओं को संयोजित किया, उनके पास संकल्पों का एक समूह था, और उन्हें किसी प्रकार की भविष्यवाणी मिली। इस कैंटीन को डेटा में समतल करने के लिए, उसने एक जटिल नेटवर्क को एक साथ रखा। उदाहरण के लिए, मैंने कभी सियामी नेटवर्क को प्रशिक्षित नहीं किया है, मुझे ऐसा करने की जरूरत नहीं है। उसने यह किया, यह बहुत अच्छा है, उसने तीसरा स्थान लिया। पहले स्थान पर एवगेनी (nrzb।) था, जिसने बस तस्वीर का आकार बदला। उन्होंने इसे डेटा में एक कैंट के रूप में देखा, क्योंकि उन्होंने उन्हें देखा, चित्रों का आकार बदला और वेनिला यूनेट को प्रशिक्षित किया। यह एक बहुत ही सरल तंत्रिका नेटवर्क है, यह सिर्फ पाठ्यपुस्तक में, लेखों में है। इससे पता चलता है कि यदि आप डेटा को देखते हैं और सही लक्ष्य का चयन करते हैं, तो आप एक सरल समाधान के साथ शीर्ष पर हो सकते हैं।

मैं दूसरे स्थान पर समाप्त हो गया, क्योंकि मैं जेन्या के साथ दोस्त हूं, उसके बाद टॉपकोडर किसी कारण से नाराज थे और मुझे कागल टीम में नहीं ले गए। लेकिन वे बहुत शांत लोग हैं, टॉपकोडर ने 5-6 स्थान लिया, यह (NRZB।) और विक्टर डर्नोव। अलेक्जेंडर बुस्लाव ने तीसरा स्थान हासिल किया। उन्होंने आगे की टीम बनाई और एक प्रतियोगिता में वर्ग दिखाया जो कि कागले पर था। यह भी एक बहुत ही सुंदर समाधान का एक उदाहरण है, जब दोस्तों ने न केवल एक राक्षसी वास्तुकला विकसित की, बल्कि सही लक्ष्य चुना।

_{^{स्लाइड से लिंक करें}}

यहां कार्य कोशिकाओं को खंडित करना था, और न केवल यह कहना कि सेल कहां है और कहां नहीं, लेकिन व्यक्तिगत कोशिकाओं को अलग करना आवश्यक था, जैसे कि प्रत्येक स्वतंत्र सेल का इंस्टेज विभाजन। इसके अलावा, इस प्रतियोगिता से पहले बहुत सी विभाजन प्रतियोगिताएं थीं, और यह दावा किया गया था कि विभाजन की समस्या को ओडीएस समुदाय द्वारा काफी अच्छी तरह से हल किया गया था, शिल्प स्तर पर, विज्ञान का एक निश्चित अत्याधुनिक जो हमें इस समस्या को अच्छी तरह से हल करने की अनुमति देता है।

उसी समय, सेगमेंटेशन का कार्य, जब आपको कोशिकाओं को अलग करने की आवश्यकता होती है, बहुत खराब तरीके से हल किया गया था। इस प्रतियोगिता से पहले कला का राज्य MacrCNN था, जो एक प्रकार का डिटेक्टर है, कुछ फीचर एक्सट्रैक्टर, फिर एक ब्लॉक जो मास्क का विभाजन करता है, और इसे प्रशिक्षित करना बहुत मुश्किल है, आपको पाइपलाइन के प्रत्येक टुकड़े को अलग से प्रशिक्षित करने की आवश्यकता है, यह एक पूरा गाना है।

इसके बजाय, टॉपकोडर ने एक पाइपलाइन विकसित की जब आप केवल कोशिकाओं और सीमाओं की भविष्यवाणी करते हैं। पाइपलाइन विभाजन मामूली से जटिल होता है और आपको कोशिकाओं से सीमाओं को घटाते हुए बहुत सुंदर विभाजन करने की अनुमति देता है। उसके बाद, उन्होंने इस एल्गोरिथ्म की सटीकता के संदर्भ में बार उठाया, जबकि उनका अलग तंत्रिका नेटवर्क उन कोशिकाओं से बेहतर भविष्यवाणी करता है, जो इस क्षेत्र में शिक्षाविदों ने पहले किए हैं। यह टॉपकोडर के लिए अच्छा है और शिक्षाविदों के लिए बहुत बुरा है। जहां तक ​​मुझे पता है, हाल ही में शिक्षाविदों ने इस डेटासेट पर एक लेख प्रकाशित करने की कोशिश की, तो उन्होंने इसे अस्वीकार कर दिया क्योंकि वे कागल के परिणाम को हरा नहीं सकते थे। शिक्षाविदों के लिए कठिन समय आ गया है, अब हमें कुछ सामान्य करने की जरूरत है, न कि सिर्फ अपने क्षेत्र में ही काम करना है।



न केवल केगल में, बल्कि काम पर, पाइप-प्रशिक्षण के लिए अगली चीज मैं बहुत डूबता हूं। मैं एक राक्षसी तंत्रिका नेटवर्क वास्तुकला बनाने में कई मूल्यों को नहीं देखता हूं, जो सुविधाओं के साथ शांत टुकड़े के साथ आ रहा है, जिसमें सुविधाएँ शामिल हैं। यह सब काम करता है, लेकिन यह सिर्फ एक तंत्रिका नेटवर्क को प्रशिक्षित करने में सक्षम होने के लिए अधिक महत्वपूर्ण है। और कोई समझदार रॉकेट नहीं है, यह एक बहुत ही सरल बात है, यह देखते हुए कि अब लेख, ट्यूटोरियल और इतने पर एक गुच्छा है। मैं इस तथ्य में बहुत सारे मूल्यों को देखता हूं कि आपके पास सिर्फ एक पाइपलाइन प्रशिक्षण था। मैं इसे एक कोड के रूप में समझता हूं जो एक कॉन्फ़िगरेशन पर चलता है, और यह आपको नियंत्रित, अनुमानित और काफी तेज़ तरीके से एक तंत्रिका नेटवर्क सिखाता है।

यह स्लाइड उस प्रतियोगिता से प्रशिक्षण लॉग दिखाती है जो अभी हो रही है, कागल नमक। मेरे पास अभी भी वीडियो कार्ड का एक गुच्छा है, यह भी कुछ बोनस है। विचार यह है कि पाइप लाइन की मदद से, मैंने आर्किटेक्चर की एक ग्रिड खोज की जो मुझे सबसे दिलचस्प लगी। मैंने सिर्फ सभी आर्किटेक्चर के लिए एक लॉन्च कॉन्फिगर किया, कन्वेंशन द्वारा, न्यूरल नेटवर्क्स के चिड़ियाघर पर एक फोरम, बिना किसी प्रयास के सभी न्यूरल नेटवर्क्स पर चला गया और प्रशिक्षित किया गया। यह एक बहुत बड़ा बोनस है, और यही मैं प्रतिस्पर्धा से प्रतिस्पर्धा और काम पर पुन: उपयोग करता हूं। इसलिए, मैं न केवल तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए, बल्कि आप जो भी सिखा रहे हैं उसके बारे में सोचने के लिए और आप पाइपलाइन के संदर्भ में जो कुछ भी लिखते हैं, उसके बारे में बहुत चिंतित हैं।



यहाँ मैंने कुछ मुख्य बातों पर प्रकाश डाला जो प्रशिक्षण पाइपलाइन में होनी चाहिए। यह एक स्टार्टअप कॉन्फ़िगरेशन है जो सीखने की प्रक्रिया को पूरी तरह से परिभाषित करता है। जहां आप डेटा के बारे में, तंत्रिका नेटवर्क के बारे में, नुकसान के बारे में सभी मापदंडों को निर्दिष्ट करते हैं - सब कुछ लॉन्च कॉन्फ़िगरेशन में होना चाहिए। यह नियंत्रणीय होना चाहिए। आगे लॉगिंग। मैंने जो सुंदर लॉग दिखाए, वे इस तथ्य का परिणाम हैं कि मैं अपने हर कदम को रिकॉर्ड करता हूं।

प्रतिरूपकता का अर्थ है कि एक नया तंत्रिका नेटवर्क, एक नया संवर्द्धन, एक नया डेटासेट जोड़ने में आपको अधिक समय नहीं लगेगा। यह सब बहुत सरल और बनाए रखने योग्य होना चाहिए।

Reproducibility सिर्फ बीज को ठीक कर रही है, जबकि न केवल रेंपी और रैंडम में यादृच्छिक हैं, लेकिन अभी भी कुछ पैत्रिक हैं, मैं आपको और बताऊंगा। और पुन: प्रयोज्य। एक बार जब आप एक पाइपलाइन विकसित कर लेते हैं, तो इसका उपयोग अन्य कार्यों में किया जा सकता है। और यह एक बड़ा बोनस है, जो लोग जल्दी प्रतियोगिताओं में भाग लेना शुरू करते हैं, प्रतियोगिताओं में और काम में इन पाइपलाइनों का उपयोग करना जारी रख सकते हैं, यह सभी अन्य प्रतिभागियों को एक बड़ा बोनस देता है।

कुछ पूछ सकते हैं: मुझे पता नहीं है कि कैसे कोड करना है, क्या करना है, कैसे एक पाइपलाइन विकसित करना है? एक उपाय है।

_{^{स्लाइड से लिंक: पहला , दूसरा , तीसरा}}

सर्गेई कोलेनिकोव मेरे सहयोगी हैं जो डब्रेन में काम करते हैं, वह लंबे समय से इस तरह का विकास कर रहे हैं। सबसे पहले उन्होंने उसे प्योरोच कॉमन कहा, फिर उन्होंने प्रोमेथियस को बुलाया, अब इसे कैटलिस्ट कहा जाता है। सबसे अधिक संभावना है, एक सप्ताह में नाम अलग होगा, लेकिन लिंक अगले नाम के लिए होगा, लिंक "कैटालिस्ट" का पालन करें।

विचार यह है कि सर्गेई ने कुछ प्रकार के परिवाद विकसित किए हैं, जो एक ट्रेनलूप है। और यह वर्तमान संस्करण में लगभग सभी गुण हैं जो मैंने वर्णित किया है। वर्गीकरण, विभाजन और अन्य शांत वस्तुओं का एक गुच्छा कैसे किया जाए, इस पर अभी भी उदाहरण हैं।

यहां उन विशेषताओं की सूची दी गई है, जो विकसित हो रही हैं। आप इस परिवाद को ले सकते हैं और अपने एल्गोरिदम, वर्तमान में हो रही प्रतियोगिता में अपने तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए इसका उपयोग करना शुरू कर सकते हैं। मैं सभी को इसे करने की सलाह देता हूं।

इसके विपरीत, एक और FastAI है, हाल ही में जारी किया गया संस्करण 1.0 है, लेकिन घृणित कोड है और कुछ भी स्पष्ट नहीं है।

आप इसे महारत हासिल कर सकते हैं, यह आपको कुछ वृद्धि देगा, लेकिन इस तथ्य के कारण कि यह कोड के संदर्भ में बहुत खराब लिखा गया है, उनका अपना प्रवाह है कि इसे कैसे लिखा जाना चाहिए। कुछ बिंदु पर शुरू, आप समझ नहीं पाएंगे कि क्या हो रहा है। इसलिए, मैं FastAI की सिफारिश नहीं करता हूं, मैं किसी भी "कैटलिस्ट" का उपयोग करने की सलाह देता हूं।



अब मान लीजिए कि आप इस सब से गुजर चुके हैं, आपके पास अपनी खुद की पाइपलाइन है, अपना निर्णय है, और अब आप टीम में भाग ले सकते हैं। एमिल से सिर्फ इतना पूछा गया कि अगर आप ऐसा करते हैं तो आप किसी टीम में शामिल होना कितना उचित है। यह मुझे लगता है कि टीम बनाना वैसे भी इसके लायक है, भले ही आप शीर्ष में न हों, लेकिन कहीं बीच में हैं। यदि आपने अपना समाधान स्वयं विकसित किया है, तो यह हमेशा कुछ विवरणों में अन्य लोगों के निर्णय से भिन्न होता है। और संयुक्त होने पर, यह लगभग हमेशा अन्य प्रतिभागियों के साथ बढ़ावा देता है।

इसके अलावा, यह मजेदार है, यह इस तथ्य के संदर्भ में कुछ टीम वर्क है कि अब आपके पास एक सामान्य रिपॉजिटरी होगी जहां आप एक दूसरे के कोड को देख सकते हैं, आपके पास सबमिशन के लिए एक सामान्य प्रारूप और एक चैट रूम है जहां सभी मज़ा होता है। सोशल इंटरैक्शन और सॉफ्ट स्किल्स भी काम में बहुत महत्वपूर्ण हैं, जो विकास के लायक भी है।



यह इस अर्थ में एक बड़ा बोनस है कि अब आप अन्य लोगों का कोड देखते हैं कि वे इस या उस निर्णय को कैसे बनाते हैं। और अक्सर मैं अपने पिछले आदेशों के साथ रिपॉजिटरी में देखता हूं, कोड के संदर्भ में वहां शांत समाधान ढूंढता हूं। यह वह है जिसे टीम वर्क के रूप में प्रतियोगिता से बाहर किया जा सकता है।

मान लीजिए आप यह सब चक्कर लगा चुके हैं। आपने क्या सहन किया है?



सबसे अधिक संभावना है, आपने किसी और का कोड चलाना सीख लिया। मुझे वास्तव में उम्मीद है कि आपने डेटा देखने की आदत विकसित कर ली है। आप समस्या को समझते हैं, प्रयोगों का संचालन करना सीख चुके हैं, आपके पास स्वयं के किसी प्रकार का समाधान है, और अब आप इसे परियोजना के रूप में डिजाइन कर सकते हैं। यदि आप सारगर्भित दिखते हैं, तो यह कुछ आईटी कंपनी में सामान्य काम के समान है। यदि आप एक प्रतियोगिता से गुजरते हैं और एक अच्छा परिणाम दिखाते हैं, तो रिज्यूम में यह एक मजबूत बिंदु है, कम से कम मेरे लिए। जब मैं डब्रेन में भर्ती हुआ था, तो लगभग 20-25 के आसपास मेरा साक्षात्कार हुआ था। कुछ सीमा मामलों की पहचान की जा सकती है। एक दोस्त था जो सिर्फ सार्वजनिक कर्नेल चलाता था, और वास्तव में इसका पता नहीं लगाता था। यह मेरे लिए बुरा लग रहा था, मैं सिर्फ इस मुद्दे को समझने के लिए दोस्त चाहता था, मैंने इसे नहीं लिया।

एक और दोस्त जिसने ईमानदारी से कहा कि वह लीडरबोर्ड पर हावी हो गया था, लेकिन एक ही समय में अपने फैसले के सभी विवरणों को बताया, जो डाटासेंस बाउल पर था, हम इसे ले गए, मैं वास्तव में उसके साथ काम करना पसंद करता हूं। कागले और आपका निर्णय आपके रिज्यूमे में एक बहुत मजबूत बिंदु है, यदि आप इसे प्रस्तुति के रूप में सही ढंग से प्रारूपित कर सकते हैं, तो यह भविष्य के नियोक्ता के लिए एक अच्छा शो है।

यदि व्यक्तिगत लाभ के बारे में प्रश्न हैं, तो मुझे आशा है कि मैंने बंद कर दिया, कंपनियों को इसकी आवश्यकता क्यों है?



मैंने एविटो में काम किया, वे नियमित रूप से डेटा विश्लेषण पर प्रतियोगिता आयोजित करते थे। इसके कई कारण हैं। जब प्रतियोगिता आयोजित की जाती है, तो आपको कम से कम एक डेटासेट इकट्ठा करने की आवश्यकता होती है, और बहुत अच्छी तरह से कार्य को तैयार करता है, जो कुछ दर्द होता है।

_{^{स्लाइड से लिंक करें}}

यही है, समस्या का विवरण प्लस डेटासेट कंपनी के लिए पहले से ही बहुत कुछ है।उदाहरण के लिए, जब एविटो ने डुप्लीकेट कॉन्टेस्ट आयोजित किया, इससे पहले कि मैंने उनके साथ काम करना शुरू किया, उन्होंने सिर्फ एक डेटासेट, पुराने मॉडल को वापस रखा और गुणवत्ता में सुधार किया। डेटासेट को इकट्ठा करना वह काम है जो मॉडल की गुणवत्ता को बेहतर बनाने के लिए आवश्यक है।

इसके अलावा, जब कई प्रतिभागी एक ही डेटासेट के साथ काम करते हैं, तो उन्हें कुछ जानकारी मिलती है, यह डेटा कैसे व्यवस्थित है, इस पर उपयोगी जानकारी। इस तथ्य का उल्लेख नहीं करने के लिए कि प्रतियोगिता के परिणामों के अनुसार, आप समझ सकते हैं कि इस निर्णय की ऊपरी पट्टी क्या है। यदि सबसे अच्छा डेटा वैज्ञानिक इस समस्या को हल करते हैं, तो सबसे अधिक संभावना यह है कि इस कार्य पर क्या हासिल किया जा सकता है।

, , — . , . , «» , . «» — , .



, — . , - . , — , . , , , . — importance XGBoost . , , . . , . , . , .

यदि कंपनियां भाग नहीं लेना चाहतीं, संगठित नहीं करना चाहतीं, तो उनके पास बस कुछ प्रासंगिक कार्य हैं, फिर, एक नियम के रूप में, प्रतियोगिता के बाद, लोग अपने निर्णयों की समीक्षा करते हैं और एक कोड भी। और यदि आपके पास स्वयं एक प्रासंगिक कार्य है जो बहुत समान है, तो आप साहित्य समीक्षा के रूप में कुछ गर्म शुरुआत ले सकते हैं और ऊपर से समाधान की समीक्षा कर सकते हैं।



एक उदाहरण के रूप में, प्रतियोगिताओं को जीतने के तरीके पर एक कसेरा कोर्स । अगला चर्चा के लिए एमएल ट्रेनिंग साइट और ओडीएस चैट रूम है। मेरे पास यह सब है।