* फार्म - (अंग्रेजी खेती से) - एक विशिष्ट उद्देश्य के लिए कुछ गेम क्रियाओं का एक लंबा और उबाऊ दोहराव (अनुभव प्राप्त करना, संसाधन प्राप्त करना, आदि)।

परिचय

हाल ही में (1 अक्टूबर), उत्कृष्ट डीएस / एमएल पाठ्यक्रम का एक नया सत्र शुरू किया गया था (मैं किसी को भी जो चाहता है, जैसा कि अब इसे प्रारंभिक पाठ्यक्रम के रूप में "डीएस" दर्ज करने के लिए कहा जाता है) की सिफारिश करता है। और, हमेशा की तरह, किसी भी पाठ्यक्रम को पूरा करने के बाद, स्नातकों का एक सवाल है - जहां अभी तक कच्चे सैद्धांतिक ज्ञान को मजबूत करने के लिए व्यावहारिक अनुभव प्राप्त करना है। यदि आप किसी भी प्रोफ़ाइल फ़ोरम पर यह प्रश्न पूछते हैं, तो जवाब सबसे अधिक संभावना होगा - कागले को हल करें। कागल हाँ है, लेकिन व्यावहारिक कौशल के लिए सबसे प्रभावी रूप से इस मंच का उपयोग कहां और कैसे शुरू करें? इस लेख में, लेखक अपने स्वयं के अनुभव पर इन सवालों के जवाब देने की कोशिश करेगा, साथ ही प्रतिस्पर्धी डीएस के क्षेत्र पर मुख्य रेक के स्थान का वर्णन करेगा, ताकि पंपिंग प्रक्रिया को तेज किया जा सके और इससे एक प्रशंसक मिल सके।

इसके रचनाकारों से पाठ्यक्रम के बारे में कुछ शब्द:

Mlcourse.ai पाठ्यक्रम OpenDataScience समुदाय की बड़े पैमाने पर गतिविधियों में से एक है। @ योरको और कंपनी (~ 60 लोग) प्रदर्शित करते हैं कि शांत कौशल विश्वविद्यालय के बाहर प्राप्त किया जा सकता है, और यहां तक ​​कि बिल्कुल मुफ्त भी। पाठ्यक्रम का मुख्य विचार सिद्धांत और व्यवहार का इष्टतम संयोजन है। एक ओर, मूल अवधारणाओं की प्रस्तुति गणित के बिना नहीं होती है, दूसरी तरफ - होमवर्क का एक बहुत कुछ, कागले इंक्लायज प्रतियोगिताओं और परियोजनाएं, आपके हिस्से पर प्रयास का एक निश्चित निवेश, उत्कृष्ट मशीन सीखने के कौशल के साथ देंगी। पाठ्यक्रम की प्रतिस्पर्धात्मक प्रकृति पर ध्यान नहीं देना असंभव है - छात्रों की एक सामान्य रेटिंग आयोजित की जा रही है, जो दृढ़ता से प्रेरित करती है। यह पाठ्यक्रम भी अलग है कि यह वास्तव में जीवंत समुदाय में होता है।

इस कोर्स में दो कागले इंक्लास प्रतियोगिताएं शामिल हैं। दोनों बहुत दिलचस्प हैं, वे संकेतों के निर्माण में अच्छी तरह से काम करते हैं। पहले देखी गई साइटों के अनुक्रम द्वारा उपयोगकर्ता की पहचान है । दूसरा माध्यम पर एक लेख की लोकप्रियता की भविष्यवाणी है । मुख्य लाभ दो होमवर्क से है, जहां आपको स्मार्ट होने और इन प्रतियोगिताओं में आधार रेखा को हरा देने की आवश्यकता है।

पाठ्यक्रम और इसके रचनाकारों को श्रद्धांजलि देने के बाद, हम अपनी कहानी जारी रखते हैं ...

मुझे याद है कि डेढ़ साल पहले, एंड्रयू एनजी से एक कोर्स (अभी भी पहला संस्करण) पूरा हुआ था, मास्को इंस्टीट्यूट ऑफ फिजिक्स एंड टेक्नोलॉजी से विशेषज्ञता पूरी हुई थी , किताबों का एक पहाड़ पढ़ा गया था - सैद्धांतिक सिर भरा हुआ, लेकिन जब आप अपने बुनियादी मुकाबला कार्य को हल करने की कोशिश करते हैं - तो एक स्तब्धता उत्पन्न होती है। नहीं, समस्या को कैसे हल किया जाए - यह स्पष्ट है कि कौन से एल्गोरिदम को लागू करना है - यह भी समझ में आता है, लेकिन कोड को लिखना बहुत मुश्किल है, जिसमें स्केलेर / पांडा हर मिनट तक पहुंचने में मदद करते हैं, आदि। ऐसा क्यों - कोई संचित पाइपलाइन और "आपकी उंगलियों पर" कोड की भावना नहीं है।

यह काम नहीं करेगा, लेखक ने सोचा, और कग्गल चला गया। यह एक प्रतियोगिता प्रतियोगिता से दूर शुरू करने के लिए डरावना था, और प्रतियोगिता की सभा " हाउस की कीमतें: उन्नत प्रतिगमन तकनीक " पहला संकेत बन गया, जिसने इस लेख में वर्णित प्रभावी पंपिंग के लिए दृष्टिकोण का गठन किया।

बाद में क्या वर्णित किया जाएगा, इसका कोई पता नहीं है, सभी तकनीक, तरीके और तकनीक स्पष्ट और अनुमानित हैं, लेकिन यह उनकी प्रभावशीलता से अलग नहीं होता है। कम से कम, उनके बाद, लेखक छह महीने के लिए कागेल प्रतियोगिता मास्टर को लेने और एकल मोड में तीन प्रतियोगिताओं में भाग लेने में कामयाब रहे और, इस लेख के लेखन के समय, कागले विश्व रेटिंग के शीर्ष -200 में प्रवेश करें। वैसे, यह इस सवाल का जवाब देता है कि लेखक ने खुद को इस तरह का लेख लिखने की हिम्मत भी क्यों दी।

संक्षेप में, कागल क्या है

कागले डेटा साइंस में प्रतियोगिताओं को आयोजित करने के लिए सबसे प्रसिद्ध प्लेटफार्मों में से एक है। प्रत्येक प्रतियोगिता में, आयोजक समस्या का विवरण, इस समस्या को हल करने के लिए डेटा अपलोड करते हैं, एक मीट्रिक जिसके द्वारा समाधान का मूल्यांकन किया जाएगा - और समय सीमा और पुरस्कार सेट करें। प्रतिभागियों को प्रति दिन 3 से 5 प्रयासों (आयोजकों द्वारा) को "सबमिट" (अपना समाधान भेजने) दिया जाता है।

डेटा को एक प्रशिक्षण नमूने (ट्रेन) और परीक्षण (परीक्षण) में विभाजित किया गया है। प्रशिक्षण भाग के लिए, लक्ष्य चर (लक्ष्य) का मूल्य ज्ञात है, परीक्षण भाग के लिए - नहीं। प्रतिभागियों का कार्य एक ऐसा मॉडल तैयार करना है, जो डेटा के प्रशिक्षण भाग पर प्रशिक्षित हो, परीक्षण पर अधिकतम परिणाम का उत्पादन करेगा।

प्रत्येक प्रतिभागी परीक्षण के नमूने के लिए भविष्यवाणियां करता है - और कागेल को परिणाम भेजता है, फिर रोबोट (जो परीक्षण के लिए लक्ष्य चर जानता है) भेजे गए परिणाम का मूल्यांकन करता है, जो लीडरबोर्ड पर प्रदर्शित होता है।

लेकिन सब कुछ इतना सरल नहीं है - परीक्षण डेटा, बदले में, एक निश्चित अनुपात में सार्वजनिक (सार्वजनिक) और निजी (निजी) भाग में विभाजित है। प्रतियोगिता के दौरान, भेजे गए निर्णय का मूल्यांकन, आयोजकों द्वारा निर्धारित मीट्रिक के अनुसार, डेटा के सार्वजनिक भाग पर और लीडरबोर्ड (तथाकथित सार्वजनिक लीडरबोर्ड) पर किया जाता है - जिसके द्वारा प्रतिभागी अपने मॉडल की गुणवत्ता का मूल्यांकन कर सकते हैं। अंतिम निर्णय (आमतौर पर प्रतिभागी की पसंद पर) परीक्षण डेटा के निजी भाग पर मूल्यांकन किया जाता है - और परिणाम निजी लीडरबोर्ड पर पड़ता है, जो प्रतियोगिता के अंत के बाद ही उपलब्ध होता है और जिसके द्वारा, वास्तव में, अंतिम परिणामों का मूल्यांकन किया जाता है, पुरस्कार, बन्स और पदक वितरित किए जाते हैं।

इस प्रकार, प्रतियोगिता के दौरान, प्रतिभागियों को केवल यह जानकारी उपलब्ध होती है कि उनके मॉडल ने व्यवहार डेटा के सार्वजनिक भाग पर क्या व्यवहार किया है (क्या परिणाम - या दिखाया गति)। अगर, निर्वात में एक गोलाकार घोड़े के मामले में, डेटा का निजी हिस्सा सार्वजनिक रूप से वितरण और आंकड़ों में मेल खाता है - सब कुछ ठीक है, लेकिन यदि नहीं - तो सार्वजनिक रूप से अच्छा प्रदर्शन करने वाला मॉडल निजी भाग में काम नहीं कर सकता है, अर्थात ओवरफ़िक्स (रिट्रेन)। और यहाँ यह कहा जाता है कि शब्दजाल में "उड़ान" क्या कहा जाता है, जब एक सार्वजनिक स्थान पर 10 वें स्थान के लोग एक निजी हिस्से पर 1000-2000 स्थानों पर उड़ते हैं, इस तथ्य के कारण कि उनके द्वारा चुना गया मॉडल पीछे हट गया है और इसके लिए आवश्यक सटीकता नहीं दे सकता है नया डेटा।

इससे कैसे बचें? इसके लिए, सबसे पहले, सही सत्यापन योजना का निर्माण करना आवश्यक है, ऐसा कुछ जो लगभग सभी डीएस पाठ्यक्रमों में पहले पाठों में पढ़ाया जाता है। क्योंकि यदि आपका मॉडल उस डेटा पर सही पूर्वानुमान नहीं दे सकता है जो उसने कभी नहीं देखा है - चाहे आप कितनी भी परिष्कृत तकनीक का उपयोग करें, चाहे आप कितने भी जटिल तंत्रिका नेटवर्क का निर्माण करें - उत्पादन में इस तरह के मॉडल का उत्पादन नहीं किया जा सकता है, क्योंकि इसके परिणाम बेकार हैं।

काग्ले पर प्रत्येक प्रतियोगिता के लिए, एक अलग पृष्ठ बनाया जाता है, जिस पर डेटा के साथ एक अनुभाग होता है, जिसमें मीट्रिक का वर्णन होता है - और हमारे लिए सबसे दिलचस्प - एक मंच और गुठली।

फोरम वह और कागल फोरम, लोग विचारों को लिखते हैं, चर्चा करते हैं और साझा करते हैं। लेकिन गुठली पहले से अधिक दिलचस्प हैं। वास्तव में, यह आपके स्वयं के कोड को चलाने की क्षमता है जो कि कागेल क्लाउड में प्रतिस्पर्धा डेटा तक सीधी पहुंच है (अमेजन AWS, Google के GCE के एनालॉग आदि) सीमित संसाधन प्रत्येक कर्नेल के लिए आवंटित किए गए हैं, इसलिए यदि बहुत अधिक डेटा नहीं है, तो साथ काम करें उनके साथ आप सीधे कागल वेबसाइट पर ब्राउज़र से - कोड लिख सकते हैं, इसे निष्पादन के लिए चला सकते हैं, परिणाम सबमिट कर सकते हैं। दो साल पहले, कागले को Google द्वारा अधिग्रहित किया गया था, इसलिए यह आश्चर्य की बात नहीं है कि यह कार्यक्षमता Google क्लाउड इंजन "हुड के नीचे" का उपयोग करती है।

इसके अलावा, कई प्रतियोगिताएं थीं (हाल ही में - मर्करी ), जहां आप केवल गुठली के माध्यम से डेटा के साथ काम कर सकते हैं। एक बहुत ही दिलचस्प प्रारूप, प्रतिभागियों के बीच हार्डवेयर में अंतर को समतल करना और मस्तिष्क को कोड और दृष्टिकोण के अनुकूलन के लिए चालू करने के लिए मजबूर करना, चूंकि, स्वाभाविक रूप से, कर्नेल के पास एक सख्त संसाधन सीमा थी, उस समय - 4 कोर / 16 जीबी रैम / 60% रन-टाइम। / 1 जीबी स्क्रैच और आउटपुट डिस्क स्थान। इस प्रतियोगिता पर काम करते समय, लेखक ने किसी भी सैद्धांतिक पाठ्यक्रम की तुलना में तंत्रिका नेटवर्क अनुकूलन के बारे में अधिक सीखा। थोड़ा सोने के लिए पर्याप्त नहीं था, 23 वें पर एकल समाप्त हो गया, लेकिन अनुभव प्राप्त किया और बहुत खुशी मिली ...

इस अवसर को लेते हुए, मैं इस प्रतियोगिता में अपनी सलाह और समर्थन के लिए ओडेसाई के अपने सहयोगियों - आर्थर स्टीफनेंको (आर्थर) , कोन्स्टेंटिन लोपुकिन (कोस्टिया) , सर्गेई फ़िरोनोव (सर्गेइफ़) को फिर से धन्यवाद कहना चाहता हूं। सामान्य तौर पर, बहुत सारे दिलचस्प बिंदु थे, कॉन्स्टेंटिन लोपुखिन (कोस्टिया) , जिन्होंने पावेल जानकीविज़ के साथ पहला स्थान हासिल किया , फिर एक कमरे में " 75 लाइनों का संदर्भ अपमान " कहा जाता था - कोडबोर्ड के 75 ज़ोन के परिणाम को उत्पन्न करने वाले कोड की 75 लाइनों में एक कर्नेल। यह निश्चित रूप से देखा जाना चाहिए :)

ठीक है, विचलित, और इसलिए - लोग कोड लिखते हैं और समाधान, दिलचस्प विचारों और अधिक के साथ गुठली निकालते हैं। आमतौर पर, प्रत्येक प्रतियोगिता में, कुछ हफ़्ते के बाद, एक या दो उत्कृष्ट कर्नेल EDA (खोजपूर्ण डेटा विश्लेषण) दिखाई देते हैं, जिसमें डेटासेट, सांख्यिकी, विशेषताओं आदि का विस्तृत विवरण होता है। और कुछ आधारभूत (मूल समाधान), जो निश्चित रूप से, लीडरबोर्ड पर सबसे अच्छा परिणाम नहीं दिखाते हैं, लेकिन उनका उपयोग आपके स्वयं के समाधान बनाने के लिए शुरुआती बिंदु के रूप में किया जा सकता है।

कागल क्यों?

वास्तव में, कोई फर्क नहीं पड़ता कि आप किस प्लेटफॉर्म पर खेलेंगे, बस कागल पहले और सबसे अधिक प्रचारित हैं, एक उत्कृष्ट समुदाय और काफी आरामदायक वातावरण के साथ (मुझे आशा है कि वे स्थिरता और प्रदर्शन के लिए गुठली को परिष्कृत करेंगे, अन्यथा कई लोग उस नरक को याद करेंगे जो अंदर जा रहा था। मरकरी ) लेकिन, सामान्य तौर पर, मंच बहुत सुविधाजनक और आत्मनिर्भर है, और इसके पासा की अभी भी सराहना की जाती है।

प्रतिस्पर्धी डीएस के विषय पर सामान्य रूप से एक छोटा विषयांतर। बहुत बार, लेखों, वार्तालापों और अन्य संचार में, लगता है कि यह सब बकवास है, प्रतियोगिताओं में अनुभव का वास्तविक कार्यों से कोई लेना-देना नहीं है, और वहां के लोग 5 वें दशमलव स्थान पर पहुंचने में लगे हुए हैं, जो पागलपन और तलाक है वास्तविकता। आइए इस मुद्दे को थोड़ा और विस्तार से देखें:

शिक्षाविदों और विज्ञान के विपरीत, डीएस-विशेषज्ञों का अभ्यास करने के रूप में, हम, अपने काम में, व्यापार समस्याओं को हल करेंगे। यह (यहां CRISP-DM का संदर्भ है) यह उस कार्य को हल करने के लिए है जो आवश्यक है:

• व्यापार चुनौती को समझें
• इस विषय पर डेटा का मूल्यांकन करें कि क्या इस व्यवसाय कार्य का उत्तर उनमें छिपा हो सकता है
• यदि जवाब पाने के लिए मौजूदा पर्याप्त नहीं है तो अतिरिक्त डेटा एकत्र करें
• उस मीट्रिक का चयन करें जो व्यवसाय के लक्ष्य को सबसे करीब से बताता है
• और उसके बाद ही मॉडल का चयन करें, डेटा को चयनित मॉडल और "नाली hgbusta" में परिवर्तित करें। (सी)

इस सूची के पहले चार बिंदुओं को कहीं भी नहीं पढ़ाया जाता है (मुझे सही करें, अगर इस तरह के पाठ्यक्रम सामने आए हैं - मैं बिना किसी हिचकिचाहट के साइन अप करूंगा), यहां हम केवल इस उद्योग में काम करने वाले सहयोगियों के अनुभव से सीख सकते हैं। और यहां अंतिम बिंदु है - मॉडल और उससे परे की पसंद से शुरू करना, प्रतियोगिताओं में पंप करना संभव और आवश्यक है।

किसी भी प्रतियोगिता में, हमारे लिए ज्यादातर काम आयोजकों द्वारा किया गया था। हमारे पास वर्णित व्यावसायिक लक्ष्य है, अनुमानित मीट्रिक का चयन किया गया है, डेटा एकत्र किया गया है - और हमारा कार्य इस सभी लेगो से एक कार्यशील पाइपलाइन का निर्माण करना है। और यहां कौशल को पंप किया जाता है - कैसे पास के साथ काम करना है, कैसे तंत्रिका नेटवर्क और पेड़ों के लिए डेटा तैयार करना है (और क्यों तंत्रिका नेटवर्क को एक विशेष दृष्टिकोण की आवश्यकता है), कैसे सही तरीके से सत्यापन का निर्माण करना है, कैसे पीछे हटना नहीं है, कैसे हाइपरपैरामीटर चुनना है, कैसे ......। एक दर्जन या दो "कैसे", जिनके सक्षम प्रदर्शन से एक अच्छा विशेषज्ञ अलग हो जाता है जो हमारे पेशे से गुजर रहे हैं।

आप काग्ले पर "खेत" क्या कर सकते हैं

मूल रूप से, और यह उचित है, सभी नवागंतुक व्यावहारिक अनुभव प्राप्त करने और पंप करने के लिए कागल आते हैं, लेकिन यह मत भूलो कि इसके अलावा कम से कम दो और लक्ष्य हैं:

• कृषि पदक और पासा
• कागल समुदाय में फार्म प्रतिष्ठा

याद रखने वाली मुख्य बात यह है कि ये तीन लक्ष्य पूरी तरह से अलग हैं, इन्हें हासिल करने के लिए अलग-अलग तरीकों की आवश्यकता होती है, और आपको विशेष रूप से प्रारंभिक अवस्था में इनका मिश्रण नहीं करना चाहिए!

यह कुछ भी नहीं है कि जब आप पंप कर रहे हों तो इसे "प्रारंभिक चरण में" पर जोर दिया जाता है - ये तीन लक्ष्य एक में विलीन हो जाएंगे और समानांतर में हल हो जाएंगे, लेकिन जब आप बस शुरू कर रहे हैं - तो उन्हें मिलाएं नहीं ! इस तरह आप इस अन्यायपूर्ण दुनिया में दर्द, निराशा और नाराजगी से बचेंगे।

आइए नीचे की ओर से लक्ष्यों पर संक्षेप में जाएं:

• प्रतिष्ठा - मंच पर अच्छी पोस्ट (और टिप्पणियां) लिखकर और उपयोगी गुठली बनाकर पंप की गई। उदाहरण के लिए, EDA कर्नेल (ऊपर देखें), गैर-मानक तकनीकों का वर्णन करने वाले पोस्ट आदि।
• पदक एक बहुत ही विवादास्पद और घृणास्पद विषय है, लेकिन ओह ठीक है। यह सार्वजनिक कर्नेल (*) को सम्मिश्रित करने, अनुभव में पूर्वाग्रह के साथ एक टीम में भागीदारी और अपनी खुद की शीर्ष पाइपलाइन बनाने के द्वारा पंप किया जाता है।
• अनुभव - निर्णयों के विश्लेषण के माध्यम से पंप और त्रुटियों पर काम करते हैं।

(*) सार्वजनिक कर्नेल सम्मिश्रण एक कृषि पदक तकनीक है जिसमें एक सार्वजनिक लीडरबोर्ड पर अधिकतम गति के साथ गुठली को चुना जाता है, उनकी भविष्यवाणियों को औसत (मिश्रित) किया जाता है, और परिणाम प्रस्तुत किया जाता है। आमतौर पर, यह विधि एक कठिन ओवरफिट (ट्रेन को पीछे हटने) और प्रिवेट में उड़ान भरने की ओर ले जाती है, लेकिन कभी-कभी यह आपको चांदी में लगभग जमा करने की अनुमति देती है। प्रारंभिक चरण में, लेखक एक समान दृष्टिकोण (बेल्ट और पैंट के बारे में नीचे पढ़ें) की सिफारिश नहीं करता है।

मैं "अनुभव" चुनने के लिए पहले लक्ष्य की सिफारिश करता हूं और उस क्षण तक चिपका रहता हूं जब आपको लगता है कि आप एक ही समय में दो / तीन लक्ष्यों पर काम करने के लिए तैयार हैं।

उल्लेख के लायक दो और बिंदु हैं (व्लादिमीर इग्लोविकोव (टर्नाउस) - अनुस्मारक के लिए धन्यवाद)।

पहला कागले में निवेश के प्रयासों का एक नया, अधिक दिलचस्प और / या अत्यधिक भुगतान किया गया स्थान है। कोई फर्क नहीं पड़ता कि कैसे कागले मर जाता है अब लोगों को समझने के लिए, कागेल प्रतियोगिता मास्टर सारांश में लाइन, और अन्य उपलब्धियां अभी भी कुछ लायक हैं।

इस बिंदु को स्पष्ट करने के लिए, हम अपने सहयोगियों सेर्गेई मुशिन्स्की (सेपरपांग) और अलेक्जेंडर बुस्लाव (अल्बु) के साथ दो साक्षात्कार ( एक , दो ) का हवाला दे सकते हैं।

और वेलेरी बाबुश्किन ( वेनहेड्स) की राय भी:

Valery Babushkin - X5 रिटेल ग्रुप में डेटा साइंस के प्रमुख (कर्मचारियों की वर्तमान संख्या 30 लोग हैं + 2019 से 20 रिक्तियां)

एनालिटिक्स समूह के प्रमुख यैंडेक्स सलाहकार

कागल प्रतियोगिता मास्टर भविष्य की टीम के सदस्य के मूल्यांकन के लिए एक उत्कृष्ट प्रॉक्सी मीट्रिक है। बेशक, 30 लोगों और अविवादित लोकोमोटिव की टीमों के रूप में नवीनतम घटनाओं के संबंध में, पहले की तुलना में प्रोफ़ाइल का थोड़ा अधिक गहन अध्ययन आवश्यक है, लेकिन यह अभी भी कई मिनटों का मामला है। एक व्यक्ति जिसने मास्टर की उपाधि प्राप्त की है, उच्च संभावना के साथ कम से कम औसत गुणवत्ता का कोड लिखना जानता है, मशीन सीखने में काफी पारंगत है, डेटा को साफ करना और स्थिर समाधान बनाना जानता है। यदि आप अभी भी एक मास्टर की जीभ का घमंड नहीं कर सकते हैं, तो भागीदारी का तथ्य भी एक प्लस है, कम से कम उम्मीदवार कागेल के अस्तित्व के बारे में जानता है और बहुत आलसी नहीं था और इसे महारत हासिल करने में समय बिताया। और अगर एक सार्वजनिक कर्नेल के अलावा कुछ और लॉन्च किया गया था, जिसके परिणामस्वरूप समाधान अपने परिणामों को पार कर गया (जो जांचना बहुत आसान है), तो यह तकनीकी विवरणों के बारे में विस्तृत चर्चा के लिए एक अवसर है, जो शास्त्रीय सिद्धांत प्रश्नों की तुलना में बहुत बेहतर और दिलचस्प है, जिनके उत्तर भविष्य में कोई व्यक्ति कैसे काम करेगा, इसकी कम समझ है। केवल एक चीज से मुझे डरना चाहिए और जो मुझे पता चला है, वह यह है कि कुछ लोगों को लगता है कि डीएस का काम कागल जैसा है, जो मौलिक रूप से गलत है। कई और लोग सोचते हैं कि DS = ML, जो एक गलती भी है

दूसरा बिंदु यह है कि कई समस्याओं के समाधान को पूर्व-प्रिंट या लेखों के रूप में तैयार किया जा सकता है, जो एक ओर ज्ञान को अनुमति देता है कि सामूहिक मन ने प्रतियोगिता के दौरान जन्म दिया, मंच के विकलों में नहीं मरना है, लेकिन दूसरी ओर लेखकों के पोर्टफोलियो में एक और रेखा जोड़ देता है। और +1 की दृश्यता, जो किसी भी स्थिति में कैरियर और प्रशस्ति पत्र दोनों पर सकारात्मक प्रभाव डालती है।

पदक खोने के दर्द से कैसे बचा जाए

स्कोर करने के लिए!

मैं समझा दूंगा। लगभग हर प्रतियोगिता में, इसके अंत के करीब, एक कर्नेल को जनता पर एक समाधान के साथ रखा जाता है जो पूरे लीडरबोर्ड को ऊपर उठाता है, लेकिन आपके लिए, आपके निर्णय के अनुसार, नीचे। और हर बार जब फोरम मंच शुरू होता है! यह कैसे होता है कि मेरा चांदी पर फैसला था, और अब मैं कांस्य पर भी नहीं खींचता। क्या हो रहा है, इसे वापस लाओ।

याद रखें - कागले एक प्रतिस्पर्धी डीएस है। आपके द्वारा स्थित लीडरबोर्ड पर जगह आपके ऊपर है। , , , .

— .

, — . , , , - . , — . , - .

, , — … . , , — — .

, . — . ( Talking Data , 8- ) , (ppleskov) : " , , — ". , .

— :

" "()

, .

— python 3.6 jupyter notebook ubuntu . Python - DS, , jupyter , jupyter_contrib_nbextensions , , ubuntu — , bash :)

jupyter_contrib_nbextensions :

• Collapsible headings ( )
• Code folding ( )
• Split cells (, - )

.

- , . — . — .

, jupyter notebook , , . ( , , ( (ternaus) )

, jupyter - IDE, pycharm .

, , " ". , .

/OOF (.) .

(*) OOF — out of folds , -. . .

कैसे? :

• , , , ..
• , , ( , , ..)
• DS/ML. https://dvc.org .

सामान्य तौर पर, समुदाय में धीरे-धीरे तीसरे विकल्प पर स्विच करने की प्रवृत्ति होती है, क्योंकि और पहले और दूसरे में उनकी कमियां हैं, लेकिन वे सरल, विश्वसनीय और, स्पष्ट रूप से, कागले के लिए पर्याप्त हैं।

हां, उन लोगों के लिए अजगर के बारे में अधिक जो एक प्रोग्रामर नहीं हैं - इससे डरो मत। आपका कार्य कोड की मूल संरचना और भाषा के मूल सार को समझना है ताकि अन्य लोगों की गुठली को समझ सकें और अपने पुस्तकालयों को लिख सकें। वेब पर शुरुआती लोगों के लिए बहुत सारे अच्छे पाठ्यक्रम हैं, शायद टिप्पणियों में वे आपको बताएंगे कि वास्तव में कहां हैं। दुर्भाग्य से (या सौभाग्य से) मैं ऐसे पाठ्यक्रमों की गुणवत्ता का आकलन नहीं कर सकता, इसलिए मैं लेख में लिंक प्रदान नहीं करता।

तो, चलिए फ्रेमवर्क पर चलते हैं।

टिप्पणी

सभी आगे का विवरण सारणीबद्ध और पाठ डेटा के साथ काम पर आधारित होगा। चित्र, जो अब केगल पर बहुत अधिक हैं, अलग-अलग रूपरेखाओं के साथ एक अलग विषय हैं। एक बुनियादी स्तर पर, उन्हें संसाधित करने में सक्षम होना अच्छा है, यदि केवल ResNet / VGG जैसी किसी चीज़ के माध्यम से ड्राइव करना और सुविधाओं को खींचना है, लेकिन उनके साथ गहरा और अधिक सूक्ष्म कार्य एक अलग और बहुत व्यापक विषय है जिसे इस लेख के ढांचे में नहीं माना जाता है।

लेखक ईमानदारी से स्वीकार करता है कि वह चित्रों में बहुत अच्छा नहीं है। सुंदर में शामिल होने का एकमात्र प्रयास कैमरा आइडेंटिफिकेशन प्रतियोगिता में था, जिस तरह से, [ ods.ai ] टैग के साथ हमारी टीमों ने पूरे लीडरबोर्ड को इस हद तक उड़ा दिया था कि कागेल के प्रवेशकों ने हमें यह सुनिश्चित करने के लिए सुस्त में जाना था कि सब कुछ भीतर है नियम - और समुदाय को आश्वस्त करता है। इसलिए, इस प्रतियोगिता में मुझे 46 वें स्थान के साथ मानद रजत मिला, और जब मैंने अपने सहयोगियों से शीर्ष समाधानों का वर्णन पढ़ा, तो मैंने महसूस किया कि मैं उच्चतर नहीं हो सकता और वे वास्तव में वृद्धि के साथ काले जादू का उपयोग करते हैं, 300GB डेटा की अच्छाई। बलिदान और इतने पर।

सामान्य तौर पर, यदि आप चित्रों के साथ शुरू करना चाहते हैं, तो आपको अन्य रूपरेखाओं और अन्य गाइडों की आवश्यकता है।

मुख्य लक्ष्य

आपका कार्य निम्नलिखित कार्यों के लिए पाइपलाइन लिखना है (ज्यूपिटर नोटबुक + मॉड्यूल के रूप में डिज़ाइन किया गया है):

• EDA (खोजपूर्ण डेटा विश्लेषण) । यहां हमें एक टिप्पणी करने की आवश्यकता है - कागल में विशेष रूप से प्रशिक्षित लोग हैं :) जिन्होंने हर प्रतियोगिता में तेजस्वी ईडीए कर्नेल को देखा। आप उन्हें पार करने में शायद ही सफल होंगे, लेकिन आपको अभी भी समझना होगा कि आप डेटा को कैसे देख सकते हैं, क्योंकि युद्ध अभियानों में, यह विशेष रूप से प्रशिक्षित व्यक्ति आप होंगे। इसलिए, हम दृष्टिकोणों का अध्ययन करते हैं, अपने पुस्तकालयों का विस्तार करते हैं।
• डेटा क्लीनिंग - डाटा क्लीनिंग के बारे में सब कुछ। उत्सर्जन, चूक आदि।
• डेटा की तैयारी - मॉडल के लिए डेटा की तैयारी से संबंधित सब कुछ। कुछ ब्लॉक:
  
  • संपूर्ण
  • प्रतिगमन / तंत्रिका नेटवर्क के लिए
  • पेड़ों के लिए
  • विशेष (समय श्रृंखला, चित्र, एफएम / एफएफएम )
  • पाठ ( वेक्टराइज़र, TF-IDF , एम्बेडिंग )
• मॉडल
  
  • रैखिक मॉडल
  • पेड़ के मॉडल
  • तंत्रिका नेटवर्क
  • विदेशी (FM / FFM)
• सुविधा का चयन
• हाइपरपरमेटर्स सर्च करते हैं
• कलाकारों की टुकड़ी

गुठली में, आमतौर पर ये सभी कार्य एक ही कोड में एकत्र किए जाते हैं, जो समझ में आता है, लेकिन मैं अत्यधिक अनुशंसा करता हूं कि इनमें से प्रत्येक के लिए एक अलग लैपटॉप और एक अलग मॉड्यूल (मॉड्यूल का एक सेट) बनाया जाए। तो यह आपके लिए बाद में आसान हो जाएगा।

संभावित होलीवर को चेतावनी देना - इस ढांचे की संरचना अंतिम सत्य नहीं है, आपकी पाइपलाइनों की संरचना के कई अन्य तरीके हैं - यह उनमें से सिर्फ एक है।

डेटा मॉड्यूल के बीच या तो CSV, या पंख / अचार / एचडीएफ के रूप में प्रसारित किया जाता है - जो आपके लिए अधिक सुविधाजनक है और जो आप या आत्मा झूठ के लिए उपयोग किया जाता है।

वास्तव में, बहुत कुछ अभी भी डेटा की मात्रा पर निर्भर करता है, टॉकिंगडाटा में, उदाहरण के लिए, एलबीजी के लिए डेटासेट बनाते समय मुझे मेमोरी की कमी के आसपास जाने के लिए मेममैप के माध्यम से जाना पड़ता था।

अन्य मामलों में, मुख्य डेटा एचडीएफ / पंख में संग्रहीत किया जाता है , कुछ छोटा (जैसे चयनित विशेषताओं का एक सेट) सीएसवी में है । मैं दोहराता हूं - कोई भी टेम्प्लेट नहीं हैं, जो किसके लिए उपयोग किया जाता है, उसके साथ काम करें

प्रारंभिक चरण

हम किसी भी आरंभ हो रही प्रतियोगिता में जाते हैं (जैसा कि पहले ही उल्लेख किया गया है, लेखक ने हाउस प्राइस: एडवांस्ड रिग्रेशन तकनीक से शुरू किया था), और हमारे लैपटॉप बनाना शुरू करते हैं। हम सार्वजनिक कर्नेल पढ़ते हैं, कोड के टुकड़े, प्रक्रियाएं, दृष्टिकोण आदि। आदि हम पाइपलाइन के माध्यम से डेटा चलाते हैं, सबमिट करते हैं - हम परिणाम को देखते हैं, हम एक सर्कल में सुधार करते हैं और इसी तरह।

इस चरण में कार्य एक पूर्ण रूप से काम कर रहे पूर्ण-चक्र पाइपलाइन को इकट्ठा करना है, जिसमें डेटा और लोडिंग से लेकर अंतिम सबमिट तक शामिल है।

अगले चरण पर जाने से पहले 100% क्या तैयार और काम करना चाहिए, इसकी एक नमूना सूची:

• EDA । (डेटासेट, बॉक्सप्लेट, श्रेणियों की श्रेणी, ...) पर आंकड़े
• डेटा की सफाई। (भरण, सफाई श्रेणियों, संयोजन श्रेणियों के माध्यम से गुजरता है)
• डेटा की तैयारी
  
  • सामान्य (प्रोसेसिंग श्रेणियां - लेबल / ohe / फ़्रीक्वेंसी, श्रेणियों पर संख्याओं का प्रक्षेपण, संख्याओं का परिवर्तन, बिनिंग)
  • प्रतिगमन के लिए (विभिन्न स्केलिंग)
• मॉडल
  
  • रैखिक मॉडल (विभिन्न प्रतिगमन - रिज / लॉजिस्टिक)
  • ट्री मॉडल (lgb)
• सुविधा का चयन
  
  • ग्रिड / यादृच्छिक खोज
• कलाकारों की टुकड़ी
  
  • प्रतिगमन / lgb

युद्ध में जाओ

अपनी पसंद की कोई भी प्रतियोगिता चुनें और ... शुरू करें :)

• हम डेटा को देखते हैं, मंचों को पढ़ते हैं और एक स्थिर सत्यापन योजना का निर्माण करते हैं। कोई सामान्य योजना नहीं होगी - आप एक लीडरबोर्ड पर उड़ान भरेंगे, जैसा कि मर्सिडीज, सैंटनर और अन्य की प्रतियोगिताओं में होता है। मर्सिडीज लीडरबोर्ड को देखें , उदाहरण के लिए (हरे तीर और संख्या का मतलब है कि जनता की तुलना में लीडरबोर्ड में लोग कितने पदों पर पहुंचे हैं, लाल वाले - कितने नीचे उड़ गए):

  
  

  मैं लेख और दानिला सवेनकोवा (danila_savenkov) के प्रदर्शन को पढ़ने की भी सलाह देता हूं:

  
  

  यह विषय हाउ टू विन टू ए डेटा साइंस प्रतियोगिता में भी शामिल है: टॉप केगलर्स कोर्स से सीखें।

  
  

जबकि कोई कार्य सत्यापन योजना नहीं है - आगे कोई कदम नहीं !!!

• हमारी उत्पन्न पाइपलाइन के माध्यम से डेटा चलाएं और परिणाम सबमिट करें
• हम अपने सिर को पकड़ लेते हैं, पागल हो जाते हैं, शांत हो जाते हैं ... और जारी रखते हैं ...
• हम इस्तेमाल की जाने वाली तकनीकों और दृष्टिकोणों के बारे में सभी गुठली पढ़ते हैं।
• सभी फोरम चर्चा पढ़ें
• हम नई तकनीकों के साथ पाइपलाइनों को फिर से तैयार / पूरक करते हैं
• हम चरण 1 पास करते हैं

याद रखें - इस स्तर पर हमारा लक्ष्य अनुभव प्राप्त करना है ! काम करने के तरीकों और तरीकों के साथ हमारी पाइपलाइन भरें, हमारे मॉड्यूल को काम करने वाले कोड से भरें। हम पदक से परेशान नहीं हैं - या यों कहें, यह बहुत अच्छा है यदि आप तुरंत लीडरबोर्ड पर अपना स्थान ले सकते हैं, लेकिन यदि नहीं, तो चिंता न करें। हम पांच मिनट के लिए यहां नहीं आए, पदक और मौत कहीं नहीं जाएगी।

यहाँ प्रतियोगिता खत्म हो गई है, क्या आप कहीं बाहर हैं, ऐसा लगता है कि हर कोई अगले पर कब्जा कर रहा है?

नहीं!

आप आगे क्या करते हैं:

• पांच दिन तक इंतजार करना होगा। मंच को न पढ़ें, इस समय केगल को भूल जाएं। अपने मस्तिष्क को आराम दें और अपनी आंखों को धुंधला करें।
• प्रतियोगिता में वापस जाएं। इन पांच दिनों के लिए, अच्छे स्वाद के नियमों के अनुसार, सभी शीर्ष अपने निर्णयों का विवरण पोस्ट करेंगे - मंच पर पोस्टों में, गुठली के रूप में, गिथूब रिपोजिटरी के रूप में।

और यहाँ आपका व्यक्तिगत हेल शुरू होता है!

• आप ए 4 प्रारूप की कई शीट लेते हैं, प्रत्येक में उपरोक्त रूपरेखा (ईडीए / तैयारी / मॉडल / एनसेंबल / फ़ीचर चयन / हाइपरपरमेटर्स खोज / ...) से मॉड्यूल का नाम लिखते हैं
• लगातार सभी समाधानों को पढ़ें, नई तकनीकों, विधियों और दृष्टिकोणों को लिखें जो आपके लिए संगत पत्रक पर नए हैं।

और सबसे बुरी बात:

• लगातार प्रत्येक मॉड्यूल के लिए, इन दृष्टिकोणों और तरीकों के कार्यान्वयन को लिखें (जासूस), अपनी पाइपलाइन और पुस्तकालयों का विस्तार।
• सबमिट-सबमिट मोड में, अपने अपडेट किए गए पाइपलाइन के माध्यम से डेटा को तब तक चलाएं जब तक कि आपके पास गोल्ड ज़ोन में समाधान न हो या जब तक कि धैर्य और नसें बाहर न निकल जाएं।

और उसके बाद ही हम अगली प्रतियोगिता के लिए आगे बढ़ते हैं।

नहीं, मैं गड़बड़ नहीं हूँ। हां, यह संभव और आसान है। आप तय कीजिए।

5 दिन प्रतीक्षा करें और तुरंत न पढ़ें, क्योंकि मंच पर आप प्रश्न पूछ सकते हैं? इस स्तर पर (मेरी राय में) समाधानों की चर्चा के साथ पहले से ही गठित थ्रेड्स को पढ़ना बेहतर है, आपके पास जो प्रश्न हो सकते हैं - या तो कोई पहले से ही पूछ रहा है, या बेहतर है कि उनसे बिल्कुल न पूछें, लेकिन खुद जवाब देखने के लिए)

यह सब ऐसा क्यों करते हैं? खैर, एक बार फिर - इस चरण का कार्य समाधान, विधियों और दृष्टिकोणों का एक डेटाबेस विकसित करना है। कॉम्बैट वर्किंग बेस। ताकि अगली प्रतियोगिता में आप समय बर्बाद न करें, लेकिन तुरंत कहें - हाँ, मतलब लक्ष्य एन्कोडिंग में आ सकता है, और वैसे, मेरे पास सिलवटों के माध्यम से इसके लिए सही कोड है। या ओह! मुझे याद है कि पहनावा scipy.optimize के माध्यम से चला गया, और वैसे, कोड मेरे लिए पहले से ही तैयार है।

कुछ इस तरह ...

वर्किंग मोड पर जाएं

इस मोड में, हम कई प्रतियोगिताओं को हल करते हैं। हर बार हम देखते हैं कि चादरों पर कम और कम रिकॉर्ड हैं, और मॉड्यूल में अधिक से अधिक कोड। धीरे-धीरे, विश्लेषण का कार्य इस तथ्य तक कम हो जाता है कि आप समाधान का वर्णन पढ़ते हैं, कहते हैं कि हाँ, वाह, ओह वहाँ है! और अपने गुल्लक में एक या दो नए मंत्र या दृष्टिकोण जोड़ें।

उसके बाद, मोड त्रुटि हैंडलिंग मोड में बदल जाता है। आधार आपके लिए तैयार है, अब इसे सही तरीके से लागू करने की आवश्यकता है। प्रत्येक प्रतियोगिता के बाद, समाधानों का वर्णन पढ़ते हुए, देखें कि आपने क्या नहीं किया, क्या बेहतर किया जा सकता है, आप क्या चूक गए, या आप इसमें कहाँ गए, जैसा कि मैंने विषाक्त में किया था। सोने की अंडरबेली में वह काफी अच्छी तरह से चला, और निजी पर 1,500 पदों से नीचे चला गया। यह आंसू के लिए शर्म की बात है ... लेकिन शांत हो गया, एक गलती पाई, एक पोस्ट में सुस्त लिखा - और एक सबक सीखा।

ऑपरेटिंग मोड में अंतिम निकास का एक संकेत यह तथ्य हो सकता है कि शीर्ष समाधान के विवरणों में से एक आपके उपनाम से लिखा जाएगा।

इस चरण के अंत तक पाइपलाइनों में लगभग क्या होना चाहिए:

• संख्यात्मक सुविधाओं को बनाने और बनाने के लिए सभी प्रकार के विकल्प - अनुमान, संबंध,
• श्रेणियों के साथ काम करने की विभिन्न विधियाँ - सही संस्करण में लक्ष्य एन्कोडिंग, आवृत्ति, लेबल / ohe,
• पाठ पर कई एम्बेडिंग योजनाएं (दस्ताने, Word2Vec, Fasttext)
• विभिन्न पाठ सदिश योजनाएँ (गणना, TF-IDF, हैश)
• कई सत्यापन योजनाएं (मानक के लिए एन * एम, समूह द्वारा समय-आधारित)
• हाइपरपैरामीटर के चयन के लिए बायेसियन अनुकूलन / हाइपरटॉप / कुछ और
• सुविधाओं के चयन के लिए शफ़ल / लक्ष्य क्रमचय / बोरुता / आरएफई -
• रैखिक मॉडल - एक डेटा सेट पर एक ही शैली में
• एलजीबी / एक्सजीबी / कैटबॉस्ट - एक डेटा सेट पर एक ही शैली में

लेखक ने अलग-अलग मॉडल के लिए एपीआई में अंतर को समतल करने के लिए एकल बाहरी इंटरफ़ेस के साथ रैखिक और पेड़-आधारित मॉडल के लिए अलग से मेटाक्लाज़ बनाया। लेकिन अब आप एक ही कुंजी एक लाइन में चला सकते हैं, उदाहरण के लिए, एक एकल संसाधित डेटा सेट पर एलजीबी या एक्सजीबी।

• सभी अवसरों के लिए कई तंत्रिका नेटवर्क (हम अब के लिए तस्वीरें नहीं लेते हैं) - पाठ के लिए एम्बेडिंग / सीएनएन / आरएनएन, अनुक्रमों के लिए आरएनएन, बाकी सब के लिए फ़ीड-फॉरवर्ड। ऑटो-एनकोडर को समझना और सक्षम होना अच्छा है।
• प्रतिगमन और वर्गीकरण कार्यों के लिए lgb / प्रतिगमन / scipy पर आधारित पहनावा
• पहले से ही जेनेटिक एल्गोरिदम में सक्षम होना अच्छा है, कभी-कभी वे अच्छी तरह से चलते हैं

संक्षेप में देना

कोई भी खेल, और प्रतिस्पर्धी डीएस भी एक खेल है, यह बहुत पसीना और बहुत काम है। यह न तो अच्छा है, न बुरा है, यह एक सच्चाई है। प्रतियोगिताओं में भागीदारी (यदि आप प्रक्रिया को सही तरीके से पूरा करते हैं) तकनीकी कौशल को बहुत अच्छी तरह से पंप करता है, साथ ही यह कमोबेश खेल भावना को हिलाता है जब आप वास्तव में कुछ करना नहीं चाहते हैं, तो सीधे सब कुछ तोड़ देता है - लेकिन आप अपने लैपटॉप पर उठते हैं, मॉडल को फिर से शुरू करते हैं, गणना तक शुरू करते हैं, ताकि इस दुर्भाग्यपूर्ण 5 वें दशमलव स्थान से बाहर निकलें।

तो कागले तय करें - खेत का अनुभव, पदक और प्रशंसक!

लेखक की पाइपलाइनों के बारे में कुछ शब्द

इस खंड में मैं डेढ़ साल में एकत्रित पाइपलाइनों और मॉड्यूल के मुख्य विचार का वर्णन करने का प्रयास करूंगा। फिर - यह दृष्टिकोण सार्वभौमिक या अद्वितीय होने का दावा नहीं करता है, लेकिन अचानक कोई मदद करेगा।

• माध्य लक्ष्य एन्कोडिंग को छोड़कर सभी फ़ीचर इंजीनियरिंग कोड, फ़ंक्शन के रूप में एक अलग मॉड्यूल में निकाले जाते हैं। मैंने वस्तुओं के माध्यम से इकट्ठा करने की कोशिश की, यह बोझिल हो गया, और इस मामले में यह आवश्यक नहीं है।
• फीचर इंजीनियरिंग की सभी विशेषताएं एक ही शैली में बनाई गई हैं और एक ही कॉल और रिटर्न हस्ताक्षर हैं:

def do_cat_dummy(data, attrs, prefix_sep='_ohe_', params=None): # do something return _data, new_attrs 

हम डेटासेट, कार्य के लिए विशेषताएँ, नई विशेषताओं के लिए एक उपसर्ग और इनपुट के लिए अतिरिक्त पैरामीटर पास करते हैं। आउटपुट में, हमें नई विशेषताओं और इन विशेषताओं की सूची के साथ एक नया डेटासेट मिलता है। इसके अलावा इस नए डेटासेट को एक अलग अचार / पंख में सहेजा गया है।

इससे यह पता चलता है कि हमें पूर्व-निर्मित क्यूब्स से प्रशिक्षण के लिए डेटासेट इकट्ठा करने का अवसर मिलता है। उदाहरण के लिए, श्रेणियों के लिए हम एक साथ तीन प्रसंस्करण करते हैं - लेबल एनकोडिंग / ओएचई / फ्रीक्वेंसी, इसे तीन अलग-अलग पंखों में सहेजें, और फिर मॉडलिंग चरण में हम बस इन ब्लॉकों के साथ खेलते हैं, एक सुरुचिपूर्ण आंदोलन में विभिन्न प्रशिक्षण डेटासेट बनाते हैं।

  pickle_list = [ 'attrs_base', 'cat67_ohe', # 'cat67_freq', ] short_prefix = 'base_ohe' _attrs, use_columns, data = load_attrs_from_pickle(pickle_list) cat_columns = [] 

यदि आपको कोई अन्य डेटासेट बनाने की आवश्यकता है, तो pickle_list बदलें, रिबूट करें और नए डेटासेट के साथ काम करें।

सारणीबद्ध डेटा (वास्तविक और श्रेणीबद्ध) से अधिक कार्यों के मुख्य सेट में श्रेणियों के विभिन्न कोडिंग, श्रेणीबद्ध पर संख्यात्मक विशेषताओं का प्रक्षेपण, साथ ही साथ विभिन्न परिवर्तन शामिल हैं।

  def do_cat_le(data, attrs, params=None, prefix='le_'): def do_cat_dummy(data, attrs, prefix_sep='_ohe_', params=None): def do_cat_cnt(data, attrs, params=None, prefix='cnt_'): def do_cat_fact(data, attrs, params=None, prefix='bin_'): def do_cat_comb(data, attrs_op, params=None, prefix='cat_'): def do_proj_num_2cat(data, attrs_op, params=None, prefix='prj_'): 

विशेषताओं के संयोजन के लिए एक सार्वभौमिक स्विस चाकू, जिसमें हम स्रोत विशेषताओं की एक सूची और रूपांतरण कार्यों की एक सूची को स्थानांतरित करते हैं, सामान्य रूप से, एक डाटासेट और नई विशेषताओं की एक सूची जो हमें मिलती है।

  def do_iter_num(data, attrs_op, params=None, prefix='comb_'): 

प्लस विभिन्न अतिरिक्त विशिष्ट कन्वर्टर्स।

पाठ डेटा को संसाधित करने के लिए, एक अलग मॉड्यूल का उपयोग किया जाता है, जिसमें प्रीप्रोसेसिंग, टोकेनाइजेशन, लेमेटेटाइजेशन / स्टेमिंग, ट्रांसलेशन फ्रिक्वेंसी टेबल में विभिन्न तरीके शामिल होते हैं। आदि सब कुछ स्केलेर , एनएलटीके और केरस का उपयोग करके मानक है।

समय श्रृंखला को एक अलग मॉड्यूल द्वारा भी संसाधित किया जाता है, जिसमें मूल डेटासेट को साधारण कार्यों (प्रतिगमन / वर्गीकरण) और अनुक्रम-टू-सीक्वेंस दोनों के लिए परिवर्तित करने के लिए कार्य किया जाता है। कार्स को खत्म करने के लिए फ्रांकोइस चॉलेट का धन्यवाद ताकि सीक-2-सीक मॉडल का निर्माण राक्षसों को बुलाने के एक वूडू अनुष्ठान जैसा न हो।

उसी मॉड्यूल में, वैसे, श्रृंखला के सामान्य सांख्यिकीय विश्लेषण के कार्य हैं - स्टेशनरी, एसटीएल अपघटन, आदि के लिए जाँच ... यह श्रृंखला के "महसूस" करने के लिए विश्लेषण के प्रारंभिक चरण में बहुत मदद करता है और देखें कि यह कैसा है।

• ऐसे कार्य जिन्हें संपूर्ण डेटासेट में तुरंत लागू नहीं किया जा सकता है, लेकिन क्रॉस-वैलिडेशन के दौरान सिलवटों के अंदर उपयोग करने की आवश्यकता होती है, उन्हें एक अलग मॉड्यूल में रखा जाता है:

  
  
  • मतलब लक्ष्य एन्कोडिंग
  • अपसम्लिंग / डाउनसमलिंग
  
  

  उन्हें प्रशिक्षण चरण में मॉडल वर्ग (नीचे मॉडल के बारे में पढ़ें) के अंदर पारित किया जाता है।

  
  

  _fpreproc = fpr_target_enc _fpreproc_params = fpr_target_enc_params _fpreproc_params.update(**{ 'use_columns' : cat_columns, }) 

• मॉडलिंग के लिए, एक मेटाक्लस बनाया गया था जो अमूर्त विधियों के साथ एक मॉडल की अवधारणा को सामान्य करता है: फिट / भविष्यवाणी / set_params आदि। प्रत्येक विशिष्ट पुस्तकालय (LGB, XGB, Catboost, SKLearn, RGF, ...) के लिए इस मेटाक्लस का एक कार्यान्वयन बनाया गया है।

यही है, एलजीबी के साथ काम करने के लिए हम एक मॉडल बनाते हैं

  model_to_use = 'lgb' model = KudsonLGB(task='classification') 

XGB के लिए:

  model_to_use = 'xgb' metric_name= 'auc' task='classification' model = KudsonXGB(task=task, metric_name=metric_name) 

और सभी फ़ंक्शन model साथ आगे काम करते हैं।

• सत्यापन के लिए, कई कार्य बनाए गए हैं जो तुरंत क्रॉस-मान्यता के दौरान कई बीजों के लिए भविष्यवाणी और OOF दोनों की गणना करते हैं, साथ ही train_test_split के माध्यम से नियमित सत्यापन के लिए एक अलग कार्य करते हैं। सभी सत्यापन कार्य मेटा-मॉडल विधियों का उपयोग करके संचालित किए जाते हैं, जो एक मॉडल-स्वतंत्र कोड देता है और किसी अन्य पुस्तकालय के पाइपलाइन से कनेक्शन की सुविधा प्रदान करता है।

  
  

   res = cv_make_oof( model, model_params, fit_params, dataset_params, XX_train[use_columns], yy_train, XX_Kaggle[use_columns], folds, scorer=scorer, metric_name=metric_name, fpreproc=_fpreproc, fpreproc_params=_fpreproc_params, model_seed=model_seed, silence=True ) score = res['score'] XX_train [use_columns], yy_train, XX_Kaggle [use_columns], परतों, गणक = गणक, METRIC_NAME = METRIC_NAME, fpreproc = _fpreproc, fpreproc_params = _fpreproc_params, model_seed = model_seed, चुप्पी = सच res = cv_make_oof( model, model_params, fit_params, dataset_params, XX_train[use_columns], yy_train, XX_Kaggle[use_columns], folds, scorer=scorer, metric_name=metric_name, fpreproc=_fpreproc, fpreproc_params=_fpreproc_params, model_seed=model_seed, silence=True ) score = res['score'] 

  
  

• सुविधा चयन के लिए - सभी संभव तरीकों से दिलचस्प, मानक RFE और मेरा पसंदीदा फेरबदल क्रमपरिवर्तन नहीं।

  
  

• हाइपरपैरामीटर की खोज करने के लिए, बायेसियन ऑप्टिमाइज़ेशन का मुख्य रूप से उपयोग किया जाता है, फिर से एक एकीकृत रूप में ताकि आप किसी भी मॉडल (क्रॉस-वैलिडेशन मॉड्यूल के माध्यम से) के लिए खोज चला सकें। यह इकाई सिमुलेशन के समान लैपटॉप में रहती है।

  
  

• रिज / लॉगग्राम, एलजीबी, न्यूरल नेटवर्क और मेरे पसंदीदा scipy.optimize के आधार पर प्रतिगमन और वर्गीकरण कार्यों के लिए एकीकृत, टुकड़ियों के लिए कई कार्य किए गए थे।

  
  

  एक छोटा स्पष्टीकरण - पाइपलाइन से प्रत्येक मॉडल दो फ़ाइलों को परिणाम के रूप में देता है: सब_एक्सएक्सएक्स और ओओएफएक्सएक्सएक्सएक्स , जो परीक्षण के लिए भविष्यवाणी और ट्रेन के लिए ओओएफ भविष्यवाणी है। अगला, निर्दिष्ट निर्देशिका से पहनावा मॉड्यूल में, हम सभी मॉडलों के पूर्वानुमानों को दो डेटा फ़्रेमों में अपलोड करते हैं - df_sub / df_oof । ठीक है, तो हम सहसंबंधों को देखते हैं, सर्वश्रेष्ठ का चयन करते हैं, फिर df_oof पर स्तर 2 मॉडल बनाते हैं और df_sub पर लागू होते हैं।

  
  

  कभी-कभी, मॉडलों के सर्वश्रेष्ठ सबसेट की खोज करने के लिए, आनुवंशिक एल्गोरिदम द्वारा खोज अच्छी है (लेखक इस पुस्तकालय का उपयोग करता है), कभी-कभी कारुआना से विधि । सबसे सरल मामलों में, मानक प्रतिगमन और scipy.optimize कार्य ठीक है।

  
  

• तंत्रिका नेटवर्क एक अलग मॉड्यूल में रहते हैं, लेखक एक कार्यात्मक शैली में केरस का उपयोग करता है , हां, पाइटोरच के रूप में लचीला नहीं है, लेकिन अभी के लिए पर्याप्त है। फिर से, सार्वभौमिक प्रशिक्षण कार्यों को लिखा जाता है जो नेटवर्क के प्रकार के लिए अपरिवर्तनीय हैं।

  
  

होम क्रेडिट से हालिया प्रतियोगिता में एक बार फिर इस पाइपलाइन का परीक्षण किया गया, सभी ब्लॉकों और मॉड्यूल के सावधानीपूर्वक और सटीक उपयोग ने 94 वें स्थान और चांदी को लाया।

लेखक आम तौर पर एक राजसी विचार व्यक्त करने के लिए तैयार होता है कि सारणीबद्ध डेटा और सामान्य रूप से बनाई गई पाइपलाइन के लिए, किसी भी प्रतियोगिता के लिए अंतिम सबमिशन शीर्ष 100 लीडरबोर्ड में उड़ना चाहिए। स्वाभाविक रूप से, अपवाद हैं, लेकिन सामान्य तौर पर यह कथन सत्य प्रतीत होता है।

टीम वर्क के बारे में

यह इतना सरल नहीं है कि कागले को टीम में तय करना या एकल व्यक्ति (और टीम पर) पर बहुत कुछ निर्भर करता है, लेकिन जो लोग अभी शुरुआत कर रहे हैं उनके लिए मेरी सलाह है कि एकल शुरू करने की कोशिश करें। क्यों? मैं अपनी बात समझाने की कोशिश करूंगा:

• सबसे पहले, आप अपनी ताकत को समझेंगे, कमजोरियों को देखेंगे और सामान्य तौर पर, डीएस अभ्यास के रूप में अपनी क्षमता का आकलन करने में सक्षम होंगे।
• दूसरी बात, यहां तक ​​कि एक टीम में काम करते हुए भी (जब तक कि यह एक अलग टीम नहीं है), तब भी वे आपसे तैयार-पूर्ण समाधान की प्रतीक्षा कर रहे होंगे - यानी आपके पास पहले से ही काम करने वाली पाइपलाइन होनी चाहिए। (" सबमिट करें या नहीं ") (C)
• और तीसरा, यह इष्टतम है जब टीम में खिलाड़ियों का स्तर लगभग समान (और काफी अधिक) है, तो आप वास्तव में उच्च-स्तरीय उपयोगी कुछ सीख सकते हैं) कमजोर टीमों में (अपमानजनक कुछ भी नहीं है, मैं प्रशिक्षण के स्तर और कागले के अनुभव के बारे में बात कर रहा हूं) कुछ भी सीखना बहुत मुश्किल है, फोरम और गुठली को काटने के लिए बेहतर है। हां, आप पदक हासिल कर सकते हैं, लेकिन लक्ष्यों के लिए ऊपर देखें और पैंट बनाए रखने के लिए एक बेल्ट)

साक्ष्य के लिए कप्तान से उपयोगी सुझाव और रेक कार्ड का वादा :)

ये युक्तियां लेखक के अनुभव को दर्शाती हैं, हठधर्मिता नहीं हैं, और हमारे अपने प्रयोगों द्वारा सत्यापित (और होनी चाहिए) हैं

• हमेशा सक्षम सत्यापन का निर्माण शुरू करें - कोई भी नहीं होगा, अन्य सभी प्रयास भट्टी में उड़ जाएंगे। मर्सिडीज लीडरबोर्ड को फिर से देखें।

  
  

  लेखक वास्तव में प्रसन्न है कि इस प्रतियोगिता में उसने एक स्थिर क्रॉस-वेलिडेशन स्कीम (3x10 सिलवटों) का निर्माण किया, जिसने गति बनाए रखी और वैध 42 वें स्थान पर लाया)

  
  

• यदि सक्षम सत्यापन बनाया गया है, तो हमेशा अपनी मान्यता के परिणामों पर भरोसा करें । यदि आपके मॉडल की गति सत्यापन में सुधार करती है, लेकिन सार्वजनिक रूप से बिगड़ती है - तो मान्यताओं पर भरोसा करना अधिक उचित है। विश्लेषण करते समय, बस उस डेटा के टुकड़े को पढ़ें, जिस पर सार्वजनिक लीडरबोर्ड को एक और गुना माना जाता है। आप अपने मॉडल को एक गुना से अधिक नहीं करना चाहते हैं?

  
  

• यदि मॉडल और योजना अनुमति देती है, तो हमेशा OOF पूर्वानुमान बनाएं और उन्हें मॉडल के करीब रखें। कलाकारों की टुकड़ी में, आपको कभी नहीं पता होगा कि आग क्या होगी।

  
  

• परिणाम प्राप्त करने के लिए हमेशा आगे / OOF कोड रखें । यह स्थानीय रूप से कहीं भी, जीथब पर कोई फर्क नहीं पड़ता। दो बार, यह पता चला कि पहनावा में सबसे अच्छा मॉडल वह था जो दो सप्ताह पहले बॉक्स से बाहर किया गया था, और जिसके लिए कोड सहेजा नहीं गया था। दर्द।

  
  

• क्रॉस-वेलिडेशन के लिए "राइट" साइड के चयन पर हैमर, उन्होंने खुद को पहले पाप किया। बेहतर किसी भी तीन को चुनें और 3xN क्रॉस-वेलिडेशन करें। परिणाम अधिक स्थिर और आसान होगा।

  
  

• पहनावा में मॉडल की संख्या का पीछा न करें - यह बेहतर है, लेकिन अधिक विविध - मॉडल में अधिक विविध, प्रीप्रोसेसिंग में, डेटासेट में। सबसे खराब स्थिति में, मापदंडों के अनुसार, उदाहरण के लिए, कठोर नियमितीकरण के साथ एक गहरा पेड़, एक उथला।

  
  

• सुविधाओं का चयन करने के लिए शफल / बोरुटा / आरएफई का उपयोग करें , याद रखें कि विभिन्न पेड़-आधारित मॉडल में विशेषता महत्व एक चूरा बैग पर तोते में एक मीट्रिक है।

  
  

• लेखक की व्यक्तिगत राय (पाठक की राय से मेल नहीं खा सकती है) बेयसियन ऑप्टिमाइज़ेशन > रैंडम सर्च> हाइपरपरेटर्स के चयन के लिए हाइपरटॉप । (">" == बेहतर)

  
  

• एक सार्वजनिक कर्नेल पर रखी गई फाड़ लीडरबोर्ड को सबसे अच्छे रूप में संभाला जाता है:

  
  
  • समय है - हम देखते हैं कि नया क्या है और अपने आप में क्या है
  • कम समय - इसे हमारे सत्यापन के लिए फिर से करें, OOF करें - और इसे पहनावा को बांधें
  • बिल्कुल भी समय नहीं है - हम मूर्खतापूर्वक अपने सर्वोत्तम समाधान के साथ मिश्रित होते हैं और तेजी से देखते हैं।
  
  

• दो अंतिम प्रस्तुतियाँ कैसे चुनें - अंतर्ज्ञान से, बिल्कुल। लेकिन गंभीरता से, तो आमतौर पर हर कोई निम्नलिखित तरीकों का अभ्यास करता है:

  
  
  • कंजर्वेटिव सबमिशन (टिकाऊ मॉडल पर) / जोखिम भरा सबमिशन।
  • OOF / पब्लिक लीडरबोर्ड पर सर्वश्रेष्ठ
  
  

• याद रखें - सब कुछ एक अंक है और इसके प्रसंस्करण की संभावनाएं केवल आपकी कल्पना पर निर्भर करती हैं। प्रतिगमन के बजाय वर्गीकरण का उपयोग करें, दृश्यों को चित्र के रूप में समझें आदि।

  
  

और अंत में:

• ओडेसाई :) चैट में शामिल हों और डीएस से और जीवन से मज़े लें! )

उपयोगी लिंक

सामान्य

http://ods.ai/ - जो सर्वश्रेष्ठ डीएस समुदाय में शामिल होना चाहते हैं उनके लिए :)
https://mlcourse.ai/ - ods.ai कोर्स वेबसाइट
https://www.Kaggle.com/general/68205 - कागल पर पाठ्यक्रम के बारे में पोस्ट करें

सामान्य तौर पर, मैं अत्यधिक अनुशंसा करता हूं कि उसी मोड में जो लेख में वर्णित है, एमएलट्रेनिंग वीडियो चक्र देखें - बहुत सारे दिलचस्प दृष्टिकोण और तकनीकें हैं।

वीडियो

• बहुत अच्छा वीडियो कैसे एक ग्रैंडमास्टर बनने के लिए :) Pavel Pleskov (ppleskov) द्वारा
• हैकिंग के बारे में वीडियो, एक गैर-मानक दृष्टिकोण और स्टैनिस्लाव सेमेनोव (stasg7) से बीएनपी परिबास प्रतियोगिता के उदाहरण पर लक्ष्य एन्कोडिंग
• स्टैनिस्लाव के साथ एक और वीडियो "क्या कागले सिखाता है"

पाठ्यक्रम

आप विशेषज्ञता के दूसरे वर्ष से कागले में समस्याओं को हल करने के तरीकों और तरीकों के बारे में अधिक जान सकते हैं, " कैसे एक डेटा विज्ञान प्रतियोगिता जीतें: शीर्ष केग्लर्स से सीखें"

एक्सट्रा करिकुलर रीडिंग:

• लौरा ++, XGBoost / LightGBP पैरामीटर
• FastText - फेसबुक से पाठ के लिए एम्बेडिंग
• वर्डबैच / एफटीआरएल / एफएम-एफटीआरएल - @anttip से पुस्तकालयों का एक सेट
• एक और एफटीआरएल कार्यान्वयन
• बायेसियन ऑप्टिमाइज़ेशन - हाइपरपरमेटर्स का चयन करने के लिए एक पुस्तकालय
• नियमित रूप से लालची वन (आरजीएफ) पुस्तकालय - एक अन्य वृक्ष विधि
• प्रैक्टिस में मॉडल स्टैकिंग के लिए एक कैग्लर गाइड
• ELI5 - कॉन्स्टेंटिन लोपुखिन (कोस्टिया) से मॉडल भार को देखने के लिए एक महान पुस्तकालय
• फ़ीचर चयन: लक्ष्य क्रमपरिवर्तन - और अंदर के लिंक का पालन करें
• ट्री मॉडल के लिए विशेषता महत्व के उपाय
• अशक्त महत्व के साथ चयन सुविधा
• संक्षेप में ऑटोएन्कोडर्स के बारे में
• स्लाइडशेयर पर कागल प्रस्तुति
• और एक और
• और सामान्य तौर पर कई दिलचस्प चीजें हैं
• कागल प्रतियोगिताओं का समाधान जीतना
• कागले पर डेटा विज्ञान शब्दावली

निष्कर्ष

विशेष रूप से सामान्य और प्रतिस्पर्धी डेटा विज्ञान में डेटा साइंस का विषय परमाणु (सी) के रूप में अटूट है। इस लेख में, लेखक ने केवल प्रतिस्पर्धी प्लेटफार्मों का उपयोग करके व्यावहारिक कौशल को पंप करने के विषय को थोड़ा प्रकट किया। अगर यह दिलचस्प हो गया - कनेक्ट करें, चारों ओर देखें, अनुभव जमा करें - और अपने लेख लिखें। अधिक अच्छी सामग्री, हम सभी के लिए बेहतर है!

प्रश्नों का अनुमान लगाते हुए - नहीं, लेखक की पाइपलाइनों और पुस्तकालयों को अभी तक स्वतंत्र रूप से उपलब्ध नहीं कराया गया है।

ओडेसाई के सहयोगियों के लिए बहुत-बहुत धन्यवाद : व्लादिमीर इग्लोविकोव (टर्नाउस) , यूरी काश्नीत्स्की (यॉर्को) , वालेरी बाबुश्किन ( वेनहेड्स) , एलेक्सी प्रैंकिन (pronkin_alexey) , दिमित्री पेत्रोव (dmitry_petrov) , आर्थर कुज़िन (n01z3) , और हर कोई भी पढ़ता है संपादन और समीक्षा के लिए प्रकाशन से पहले लेख।

अंतिम प्रूफ़रीडिंग के लिए निकिता ज़वगोरदोय (nzz) को विशेष धन्यवाद।

आपका ध्यान देने के लिए धन्यवाद, मुझे उम्मीद है कि यह लेख किसी के लिए उपयोगी होगा।

कागल / ओडेसाई में मेरा उपनाम: क्रुएगर