तरीकों को सुनिश्चित करें। पुस्तक का अंश

नमस्ते, ख़बरोज़ीतली, हमने प्रिंटिंग हाउस को एक नई किताब , मशीन लर्निंग: अल्गोरिद्म फ़ॉर बिज़नेस सौंप दिया है। यहाँ कलाकारों की टुकड़ी के बारे में एक अंश है, इसका उद्देश्य यह बताना है कि उन्हें क्या प्रभावी बनाता है, और सामान्य गलतियों से कैसे बचें जो वित्त में उनके दुरुपयोग की ओर ले जाती हैं।

6.2। त्रुटि के तीन स्रोत

एमओ मॉडल आमतौर पर तीन त्रुटियों से ग्रस्त हैं ।

1. पूर्वाग्रह: यह त्रुटि अवास्तविक मान्यताओं के कारण होती है। जब पूर्वाग्रह अधिक होता है, तो इसका मतलब है कि एमओ एल्गोरिथ्म लक्षण और परिणामों के बीच महत्वपूर्ण संबंधों को नहीं पहचान सका। इस स्थिति में, यह कहा जाता है कि एल्गोरिथ्म "अप्राप्त है।"

2. फैलाव: यह त्रुटि प्रशिक्षण उपसमुच्चय में छोटे परिवर्तन की संवेदनशीलता के कारण होती है। जब विचरण अधिक होता है, तो इसका मतलब है कि एल्गोरिथ्म को प्रशिक्षण उपसमुच्चय तक पहुंचाया गया है, और इसलिए प्रशिक्षण उपसमुच्चय में न्यूनतम परिवर्तन भी बहुत भिन्न भविष्यवाणियां कर सकते हैं। एक प्रशिक्षण सबसेट में सामान्य पैटर्न मॉडलिंग के बजाय, एल्गोरिथ्म गलती से संकेत के लिए शोर लेता है।

3. शोर: यह त्रुटि अवलोकन मूल्यों के फैलाव के कारण होती है, जैसे अप्रत्याशित परिवर्तन या माप त्रुटियां। यह एक घातक त्रुटि है जिसे किसी भी मॉडल द्वारा समझाया नहीं जा सकता है।


एक पहनावा विधि एक ऐसी विधि है जो कई कमजोर छात्रों को जोड़ती है, जो एक ही (अधिक मजबूत) छात्र बनाने के लक्ष्य के साथ समान शिक्षण एल्गोरिथ्म पर आधारित हैं, जिनका प्रदर्शन किसी भी व्यक्तिगत छात्रों की तुलना में बेहतर है। कलाकारों की टुकड़ी पूर्वाग्रह और / या फैलाव को कम करने में मदद करती है।

6.3। बूटस्ट्रैप एकत्रीकरण

पूर्वानुमान (एकत्रीकरण), या बूटस्ट्रैप नमूनों का एकत्रीकरण, पूर्वानुमानों में विचरण को कम करने का एक प्रभावी तरीका है। यह निम्नानुसार काम करता है: सबसे पहले, रिटर्न के साथ यादृच्छिक नमूने का उपयोग करके डेटा के एन प्रशिक्षण सबसेट को उत्पन्न करना आवश्यक है। दूसरा, फिट एन मूल्यांकनकर्ताओं, प्रत्येक प्रशिक्षण उपसमुच्चय के लिए एक। इन मूल्यांकनकर्ताओं को एक-दूसरे से स्वतंत्र रूप से समायोजित किया जाता है, इसलिए, मॉडल को समानांतर में समायोजित किया जा सकता है। तीसरा, पहनावा पूर्वानुमान एन मॉडल से व्यक्तिगत पूर्वानुमान का एक सरल अंकगणितीय माध्य है। श्रेणीगत चरों के मामले में, एक अवलोकन जो किसी वर्ग से संबंधित होता है, वह मूल्यांकनकर्ताओं के हिस्से से निर्धारित होता है, जो इस अवलोकन को इस वर्ग के सदस्य के रूप में वर्गीकृत करते हैं (बहुमत से वोट, यानी बहुमत से वोट से)। जब आधार मूल्यांकक भविष्यवाणी की संभावना के साथ भविष्यवाणियां कर सकता है, तो बैगेज क्लासिफायर को संभावनाओं का औसत मूल्य मिल सकता है।

यदि आप नॉन-पैकेट सटीकता की गणना करने के लिए स्केलेर लाइब्रेरी के बैगिंग क्लासीफायर वर्ग का उपयोग करते हैं, तो आपको इस दोष के बारे में पता होना चाहिए: https://github.com/scikit-learn/scikitlearn/issues/8933 । एक समाधान एक पूर्णांक अनुक्रमिक क्रम में लेबल का नाम बदलना है।

6.3.1। फैलाव में कमी

बैगिंग का मुख्य लाभ यह है कि यह पूर्वानुमान के विचरण को कम करता है, जिससे ओवरफिटिंग की समस्या को हल करने में मदद मिलती है। बैगेड प्रेडिक्शन (iancei [c]) में विचरण बैगेड अप्रेजलर्स (N) की संख्या का एक फंक्शन है, एक एप्रिसाइज़र (σ̄) द्वारा की गई प्रिडिक्शन का औसत विचरण, और उनकी भविष्यवाणियों (ρ̄) के बीच औसत कोरिलेशन:


अनुक्रमिक बूटस्ट्रैपिंग (अध्याय 4) संभव के रूप में स्वतंत्र रूप से नमूने लेने के लिए है, जिससे ρ̄ को कम किया जा सके, जिससे बैगेड क्लासिफायर के फैलाव को कम करना चाहिए। अंजीर में। 6.1, हमने एन [5, 30], ρ] [0, 1], और 1 = 1 के एक समारोह के रूप में बैगेड भविष्यवाणी के मानक विचलन आरेख की साजिश रची।

6.3.2। बेहतर सटीकता

एक बैगेड क्लासिफायरियर पर विचार करें, जो एन स्वतंत्र क्लासीफायरर्स के बीच बहुसंख्यक वोट द्वारा k वर्गों पर भविष्यवाणी करता है। हम भविष्यवाणियों को {0,1} के रूप में नामित कर सकते हैं, जहां 1 का अर्थ सही भविष्यवाणी है। क्लासिफायर की सटीकता 1 के रूप में भविष्यवाणी को चिह्नित करने के लिए संभाव्यता पी है। औसतन, हमें एनपी भविष्यवाणियों को एनपी (1 - पी) के विचरण के साथ 1 के रूप में चिह्नित किया गया है। बहुमत का अनुमान सही भविष्यवाणी करता है जब सबसे अधिक अनुमानित वर्ग मनाया जाता है। उदाहरण के लिए, एन = 10 और के = 3 के लिए, बैगेड क्लासिफायर ने अवलोकन करने पर सही भविष्यवाणी की



लिस्टिंग 6.1। बैगेड क्लासिफायर की शुद्धता

from scipy.misc import comb N,p,k=100,1./3,3. p_=0 for i in xrange(0,int(N/k)+1): p_+=comb(N,i)*p**i*(1-p)**(Ni) print p,1-p_ 

सामान्य मामले में किसी भी क्लासिफायर को प्राप्त करने के पक्ष में यह एक मजबूत तर्क है, जब कम्प्यूटेशनल क्षमताएं इसकी अनुमति देती हैं। हालांकि, बढ़ावा देने के विपरीत, बैगिंग कमजोर वर्ग की सटीकता में सुधार नहीं कर सकता है:


इस विषय के विस्तृत विश्लेषण के लिए, पाठक को कोंडोरसेट ज्यूरी प्रमेय की ओर रुख करने की सलाह दी जाती है। यद्यपि यह प्रमेय राजनीति विज्ञान में बहुसंख्यक मतदान के उद्देश्य से प्राप्त किया गया था, इस प्रमेय द्वारा संबोधित समस्या में ऊपर वर्णित एक के साथ सामान्य विशेषताएं हैं।

6.3.3। अवलोकनों का अतिरेक

अध्याय 4 में, हमने एक कारण की जांच की कि वित्तीय टिप्पणियों को समान रूप से वितरित और पारस्परिक रूप से स्वतंत्र नहीं माना जा सकता है। अत्यधिक टिप्पणियों का बैगिंग पर दो हानिकारक प्रभाव पड़ता है। सबसे पहले, रिटर्न के साथ लिए गए नमूने लगभग समान होने की संभावना है, भले ही उनके सामान्य अवलोकन न हों। यह करता है और बैगिंग, विचलन को कम नहीं करेगा, भले ही एन के लिए। उदाहरण के लिए, यदि टी पर प्रत्येक मामले को टी और टी +100 के बीच वित्तीय रिटर्न के अनुसार चिह्नित किया गया है, तो हमें प्रति बैग मूल्यांकित मामलों में 1% मामलों का चयन करना होगा, लेकिन अब और नहीं। अध्याय 4 में, धारा 4.5, तीन वैकल्पिक समाधानों की सिफारिश की गई है, जिनमें से एक स्केलेर लाइब्रेरी में बैगेज क्लासिफायर वर्ग के कार्यान्वयन में max_samples = आउट ['डब्ल्यूडब्ल्यू'] मीन () है। एक और (बेहतर) समाधान अनुक्रमिक बूटस्ट्रैप चयन की विधि का अनुप्रयोग था।

अवलोकन अतिरेक का दूसरा हानिकारक प्रभाव यह है कि अतिरिक्त-पैकेट सटीकता को फुलाया जाएगा। यह इस तथ्य के कारण है कि प्रशिक्षण उप-नमूने में नमूनों के स्थानों की वापसी के साथ यादृच्छिक नमूना जो पैकेज के बाहर के लोगों के समान हैं। इस मामले में, विभाजन से पहले फेरबदल के बिना सही स्तरीकृत के-ब्लॉक क्रॉस-सत्यापन, परीक्षण उपसमुच्चय पर बहुत कम सटीकता दिखाएगा जो पैकेज के बाहर मूल्यांकन किया गया था। इस कारण से, इस स्केलेर लाइब्रेरी वर्ग का उपयोग करते समय, यह स्तरीकृतKFold (n_splits = k, shuffle = False) सेट करने की सलाह दी जाती है, बैगेड क्लासिफायर को क्रॉस-चेक करें, और गैर-पैकेट सटीकता के परिणामों को अनदेखा करें। एक उच्च k के लिए एक कम k श्रेयस्कर होता है, क्योंकि ओवर-स्प्लिटिंग फिर से टेस्ट सब्मिट में पैटर्न देगा जो ट्रेनिंग सब्मिट में उपयोग किए गए समान हैं।

6.4। बेतरतीब जंगल

निर्णय के पेड़ अच्छी तरह से ज्ञात हैं कि वे ओवर-फिट होते हैं, जिससे पूर्वानुमान का विचरण बढ़ जाता है। इस समस्या को हल करने के लिए, कम विचरण के साथ पहनावा पूर्वानुमान उत्पन्न करने के लिए एक यादृच्छिक वन (आरएफ) विधि विकसित की गई थी।

यादृच्छिक वन में कुछ सामान्य समानताएं होती हैं जो व्यक्तिगत मूल्यांकनकर्ताओं को स्वतंत्र रूप से बूटस्ट्रैप किए गए डेटा सबसेट पर प्रशिक्षण देने के अर्थ में होती हैं। बैगिंग से मुख्य अंतर यह है कि यादृच्छिकता का एक दूसरा स्तर यादृच्छिक जंगलों में बनाया गया है: प्रत्येक नोडल विखंडन के अनुकूलन के दौरान, मूल्यांकनकर्ताओं को आगे सजाने के लिए विशेषताओं का केवल एक यादृच्छिक सदस्यता (वापसी के बिना) का मूल्यांकन किया जाएगा।

बैगिंग की तरह, एक यादृच्छिक वन बिना ओवरफिट किए हुए पूर्वानुमानों के विचरण को कम कर देता है (जब तक कि याद न हो)। दूसरा लाभ यह है कि एक यादृच्छिक वन विशेषताओं के महत्व का मूल्यांकन करता है, जिसके बारे में हम अध्याय 8 में विस्तार से चर्चा करेंगे। तीसरा लाभ यह है कि एक यादृच्छिक वन ऑफ-पैकेज सटीकता का अनुमान प्रदान करता है, हालांकि वित्तीय अनुप्रयोगों में उन्हें फुलाए जाने की संभावना है (जैसा कि वर्णित है) धारा 6.3.3)। लेकिन बैगिंग की तरह, एक यादृच्छिक जंगल व्यक्तिगत निर्णय पेड़ों की तुलना में कम पूर्वाग्रह का प्रदर्शन नहीं करेगा।

यदि बड़ी संख्या में नमूने निरर्थक हैं (समान रूप से वितरित और पारस्परिक रूप से स्वतंत्र नहीं हैं), तब भी एक फिर से फिट होगा: वापसी के साथ यादृच्छिक नमूना बड़ी संख्या में लगभग समान पेड़ों () का निर्माण करेगा, जहां प्रत्येक निर्णय पेड़ ओवरफीड होता है (जिस कारण निर्णय पेड़ कुख्यात हैं) । बैगिंग के विपरीत, एक यादृच्छिक जंगल हमेशा डेटा के प्रशिक्षण सबसेट के आकार के अनुसार बूटस्ट्रैप नमूनों का आकार निर्धारित करता है। आइए देखें कि हम स्केलेर लाइब्रेरी में यादृच्छिक जंगलों की पुन: फिटिंग की इस समस्या को कैसे हल कर सकते हैं। चित्रण प्रयोजनों के लिए, मैं स्केलेर लाइब्रेरी वर्गों का उल्लेख करूंगा; हालाँकि, ये समाधान किसी भी कार्यान्वयन के लिए लागू किए जा सकते हैं:

1. पेड़ों के बीच विसंगति को प्राप्त करने के लिए कम से कम मूल्य के लिए max_features पैरामीटर सेट करें।

2. प्रारंभिक पड़ाव: नियमितीकरण पैरामीटर min_weight_fraction_leaf को पर्याप्त रूप से बड़े मूल्य (उदाहरण के लिए, 5%) पर सेट करें ताकि ऑफ-पैकेट सटीकता आउट-ऑफ-सैंपल (k-block) शुद्धता में परिवर्तित हो जाए।

3. बेस DecisionTreeClassifier मूल्यांकनकर्ता पर बैगिंगक्लासीफायर मूल्यांकनकर्ता का उपयोग करें, जहां max_samples नमूनों के बीच विशिष्ट विशिष्टता (एवीजीयू) पर सेट है।

• clf = DecisionTreeClassifier (मानदंड = 'एन्ट्रॉपी', मैक्स_फ्रीचर = 'ऑटो', क्लास_वेट = 'संतुलित')
• bc = BaggingClassifier (base_estimator = clf, n_estimators = 1000, max_samples = avgU, max_features = 1.)

4. आधार पर रैगिंगक्लासीफाइज़र मूल्यांकनकर्ता का उपयोग करें RandomForestClassifier मूल्यांकनकर्ता, जहां max_samples नमूनों के बीच औसत विशिष्टता (avgU) पर सेट है।

• clf = randomForestClassifier (n_estimators = 1, मानदंड = 'एन्ट्रोपी', बूटस्ट्रैप = ​​गलत, वर्ग_वेट = 'संतुलित_समस्या')
• bc = BaggingClassifier (base_estimator = clf, n_estimators = 1000, max_samples = avgU, max_features = 1.)

5. क्रमबद्ध बूटस्ट्रैप के साथ मानक बूटस्ट्रैप को बदलने के लिए यादृच्छिक वन वर्ग को संशोधित करें।

संक्षेप में, 6.2 को सूचीबद्ध करना विभिन्न वर्गों का उपयोग करके यादृच्छिक वन को कॉन्फ़िगर करने के तीन वैकल्पिक तरीके दिखाता है।

लिस्टिंग 6.2। एक यादृच्छिक जंगल स्थापित करने के तीन तरीके

 clf0=RandomForestClassifier(n_estimators=1000, class_weight='balanced_ subsample', criterion='entropy') clf1=DecisionTreeClassifier(criterion='entropy', max_features='auto', class_weight='balanced') clf1=BaggingClassifier(base_estimator=clf1, n_estimators=1000, max_samples=avgU) clf2=RandomForestClassifier(n_estimators=1, criterion='entropy', bootstrap=False, class_weight='balanced_subsample') clf2=BaggingClassifier(base_estimator=clf2, n_estimators=1000, max_samples=avgU, max_features=1.) 

जब निर्णय लेने वाले पेड़ फिट होते हैं, तो एक नियम के रूप में, कुल्हाड़ियों के साथ मेल खाने वाली दिशा में फीचर स्पेस का रोटेशन, पेड़ के लिए आवश्यक स्तरों की संख्या को कम कर देता है। इस कारण से, मेरा सुझाव है कि आप विशेषताओं के पीसीए पर एक यादृच्छिक पेड़ फिट करते हैं, क्योंकि इससे गणना में तेजी आ सकती है और पुन: फिट करने के लिए थोड़ा कम हो सकता है (अध्याय 8 में इस पर अधिक)। इसके अलावा, जैसा कि अध्याय 4, धारा 4.8 में वर्णित है, तर्क वर्ग_वेट = 'संतुलित_समर्पण' पेड़ों को गर्भपात करने वाले अल्पसंख्यक वर्गों को रोकने में मदद करेगा।

6.5। प्रोत्साहन

Kearns and Valiant [1989] सबसे पहले यह पूछने के लिए था कि क्या अत्यधिक सटीक वैल्यूएशन की प्राप्ति के लिए कमजोर वैल्यूएर्स को संयोजित किया जा सकता है। कुछ ही समय बाद, Schapire [1990] ने इस सवाल का एक सकारात्मक उत्तर दिया, जिसमें एक प्रक्रिया का उपयोग किया गया था जिसे हम आज (बूस्टिंग, बूस्टिंग, प्रवर्धन) कहते हैं। सामान्य शब्दों में, यह निम्नानुसार काम करता है: पहला, कुछ सैंपल वेट (यूनिफॉर्म वेट द्वारा इनिशियलाइज्ड) के अनुसार रिटर्न के साथ रैंडम सेलेक्शन द्वारा एक ट्रेनिंग सब्मिट जेनरेट करें। दूसरे, इस प्रशिक्षण सबसेट का उपयोग करके एक मूल्यांकनकर्ता को फिट करें। तीसरा, यदि एक एकल मूल्यांकक स्वीकार्यता सीमा से अधिक सटीकता प्राप्त करता है (उदाहरण के लिए, एक द्विआधारी क्लासिफायरियर में यह 50% है ताकि क्लासिफायरियर रैंडम फॉर्च्यून बताने से बेहतर काम करता है), तो मूल्यांक शेष रहता है, अन्यथा इसे त्याग दिया जाता है। चौथा, गलत तरीके से वर्गीकृत टिप्पणियों के लिए अधिक वजन और सही ढंग से वर्गीकृत टिप्पणियों के लिए कम वजन। पांचवां, एन मूल्यांक प्राप्त होने तक पिछले चरणों को दोहराएं। छठा, पहनावा पूर्वानुमान एन मॉडलों से व्यक्तिगत पूर्वानुमानों का भारित औसत है, जहां व्यक्तिगत मूल्यांकनकर्ताओं की सटीकता से वजन निर्धारित किया जाता है। कई उन्नत एल्गोरिदम हैं, जिनमें से AdaBoost अनुकूली बूस्टिंग सबसे लोकप्रिय (गेरोन [2017]) में से एक है। चित्र 6.3 AdaBoost एल्गोरिथ्म के मानक कार्यान्वयन में निर्णय प्रवाह को सारांशित करता है।

6.6। फाइनेंस बूस्टिंग बनाम बैगिंग

उपरोक्त विवरण से, कई पहलू बैगिंग से पूरी तरह से अलग होने को बढ़ावा देते हैं:

• अलग-अलग क्लासिफायर का समायोजन क्रमिक रूप से किया जाता है।
• गरीब क्लासिफायर को खारिज कर दिया जाता है।
• प्रत्येक पुनरावृत्ति पर, अवलोकनों का भार अलग-अलग होता है।

पहनावा पूर्वानुमान व्यक्तिगत छात्रों का भारित औसत है।

बूस्टिंग का मुख्य लाभ यह है कि यह पूर्वानुमानों में विचरण और पूर्वाग्रह दोनों को कम करता है। फिर भी, ओवर-फिटिंग के अधिक जोखिम के कारण पूर्वाग्रह सुधार होता है। यह तर्क दिया जा सकता है कि वित्तीय अनुप्रयोगों में आमतौर पर बैगिंग को बढ़ावा देना बेहतर होता है। बैगिंग ओवरफिटिंग समस्या को हल करता है, जबकि ओवरफिटिंग समस्या को हल करता है। ओवरफिटिंग अक्सर अंडरफिटिंग की तुलना में अधिक गंभीर समस्या है, क्योंकि एमओ एल्गोरिथम को बहुत अधिक वित्तीय रूप से फिट करने के लिए शोर के अनुपात के कम संकेत के कारण वित्तीय रूप से मुश्किल नहीं है। इसके अलावा, बैगिंग को समानांतर किया जा सकता है, जबकि आमतौर पर बूस्ट करने के लिए अनुक्रमिक निष्पादन की आवश्यकता होती है।

6.7। स्केलेबिलिटी के लिए बैगिंग

जैसा कि आप जानते हैं, कुछ लोकप्रिय एमओ एल्गोरिदम नमूना आकार के आधार पर बहुत अच्छी तरह से पैमाने नहीं बनाते हैं। समर्थन वेक्टर मशीनें (SVM) विधि एक प्रमुख उदाहरण है। यदि आप SVM मूल्यांकनकर्ता को एक लाख से अधिक टिप्पणियों में फिट करने का प्रयास करते हैं, तो एल्गोरिथ्म में परिवर्तित होने तक एक लंबा समय लग सकता है। और इसके अभिसरण के बाद भी, इस बात की कोई गारंटी नहीं है कि समाधान एक वैश्विक अनुकूलता है या यह कि इसे फिर से संरेखित नहीं किया जाएगा।

एक व्यावहारिक दृष्टिकोण एक बैगित एल्गोरिथ्म का निर्माण करना है जहां आधार मूल्यांकनकर्ता एक वर्ग से संबंधित है जो नमूना आकार के साथ अच्छी तरह से स्केल नहीं करता है, जैसे कि एसवीएम। इस बुनियादी मूल्यांकन को परिभाषित करने में, हम एक प्रारंभिक पड़ाव के लिए एक सख्त स्थिति का परिचय देते हैं। उदाहरण के लिए, स्केलेर लाइब्रेरी में सपोर्ट वेक्टर मशीनों (एसवीएम) के कार्यान्वयन में, आप अधिकतम मान के लिए कम मान सेट कर सकते हैं, उदाहरण के लिए, 1E5 पुनरावृत्तियों। डिफ़ॉल्ट मान max_iter = -1 है, जो मूल्यांकनकर्ता को सहनशीलता स्तर से नीचे आने तक त्रुटियों को जारी रखने के लिए कहता है। दूसरी ओर, आप टोल पैरामीटर के साथ सहिष्णुता के स्तर को बढ़ा सकते हैं, जो कि tol = iE-3 को डिफॉल्ट करता है। इन दोनों विकल्पों में से कोई भी एक शुरुआती रोक की ओर ले जाएगा। आप समान मानकों का उपयोग करके अन्य एल्गोरिदम को जल्दी से बंद कर सकते हैं, जैसे कि एक यादृच्छिक वन (मैक्स_डेप) में स्तरों की संख्या या वजन के कुल योग का न्यूनतम भारित अंश (सभी इनपुट नमूने) एक पत्ती नोड (मिनिएवेट_फ्रेम_लीफ़) पर होना चाहिए।

यह देखते हुए कि बैग किए गए एल्गोरिदम को समानांतर किया जा सकता है, हम एक बड़े अनुक्रमिक कार्य को छोटे वाले श्रृंखलाओं में बदल देते हैं जिन्हें एक साथ निष्पादित किया जाता है। बेशक, एक शुरुआती पड़ाव व्यक्तिगत आधार मूल्यांकनकर्ताओं से परिणामों के विचरण को बढ़ाएगा; हालांकि, यह वृद्धि बैगेड एल्गोरिथ्म से जुड़े विचरण में कमी से अधिक हो सकती है। आप नए स्वतंत्र आधार मानों को जोड़कर इस कमी को नियंत्रित कर सकते हैं। इस तरह से उपयोग किया जाता है, बैगिंग आपको बहुत बड़े डेटा सेट पर तेज और मजबूत अनुमान प्राप्त करने की अनुमति देता है।

»पुस्तक की अधिक जानकारी प्रकाशक की वेबसाइट पर पाई जा सकती है
» सामग्री
» अंश

एक कूपन पर मशीन-लर्निंग के लिए खाबरोज़ीते पूर्व-ऑर्डर पुस्तकों के लिए 25% की छूट