पिछले अध्याय

30. लर्निंग कर्व इंटरप्रिटेशन: लार्ज बायस

मान लें कि एक सत्यापन नमूने पर आपकी त्रुटि वक्र इस तरह दिखती है:

हमने पहले ही कहा है कि यदि सत्यापन के नमूने में एक एल्गोरिथ्म त्रुटि एक पठार तक पहुंचती है, तो आप केवल डेटा जोड़कर गुणवत्ता के वांछित स्तर को प्राप्त करने की संभावना नहीं है।

लेकिन यह कल्पना करना मुश्किल है कि सत्यापन नमूना (देव त्रुटि) पर एल्गोरिथ्म की गुणवत्ता की निर्भरता के वक्र के एक्सट्रपलेशन को कैसे जोड़ा जाएगा, जब डेटा जोड़ देगा। और अगर सत्यापन का नमूना छोटा है, तो इस सवाल का जवाब देना इस तथ्य के कारण और भी कठिन है कि वक्र शोर हो सकता है (बिंदुओं का एक बड़ा प्रसार है)।

मान लीजिए कि हमने अपने ग्राफ में परीक्षण के नमूने से डेटा की मात्रा पर त्रुटि की भयावहता की निर्भरता का एक वक्र जोड़ा और निम्नलिखित चित्र प्राप्त किया:

इन दो घटों को देखकर, आप पूरी तरह से आश्वस्त हो सकते हैं कि अकेले नए डेटा को जोड़ने से वांछित प्रभाव नहीं होगा (यह एल्गोरिथ्म की गुणवत्ता को बढ़ाने की अनुमति नहीं देगा)। यह निष्कर्ष कहां निकाला जा सकता है?
चलिए निम्नलिखित दो बिंदुओं को याद करते हैं:

• यदि हम प्रशिक्षण सेट में अधिक डेटा जोड़ते हैं, तो प्रशिक्षण सेट में एल्गोरिथ्म त्रुटि केवल बढ़ सकती है। इस प्रकार, हमारे चार्ट की नीली रेखा या तो नहीं बदलेगी, या रेंग जाएगी और हमारे एल्गोरिथ्म (हरी रेखा) के वांछित गुणवत्ता स्तर से दूर चली जाएगी।
• सत्यापन नमूने में लाल त्रुटि रेखा आमतौर पर प्रशिक्षण नमूने में एल्गोरिदम की नीली त्रुटि रेखा से अधिक होती है। इस प्रकार, किसी भी बोधगम्य परिस्थिति में, डेटा जोड़ने से लाल रेखा में और कमी नहीं होगी, यह इसे वांछित स्तर के करीब नहीं लाएगा। यह लगभग असंभव है, यह देखते हुए कि प्रशिक्षण के नमूने में भी त्रुटि वांछित से अधिक है।

एक ही ग्राफ पर सत्यापन और प्रशिक्षण नमूनों में डेटा की मात्रा पर एल्गोरिथ्म की त्रुटि की निर्भरता के दोनों वक्रों पर विचार करने से आपको सत्यापन नमूने में डेटा की मात्रा से सीखने के एल्गोरिथ्म के त्रुटि वक्र को और अधिक आत्मविश्वास से अलग करने की अनुमति मिलती है।

मान लीजिए कि हमारे सिस्टम में त्रुटियों के इष्टतम स्तर के रूप में एल्गोरिथम की वांछित गुणवत्ता का अनुमान है। इस मामले में, उपरोक्त रेखांकन मानक "पाठ्यपुस्तक" का एक उदाहरण है कि सीखने की अवस्था को हटाने योग्य पूर्वाग्रह के उच्च स्तर के साथ कैसा दिखता है। सबसे बड़े प्रशिक्षण नमूने के आकार में, संभवतः हमारे निपटान में सभी डेटा के अनुरूप है, प्रशिक्षण नमूने में एल्गोरिथ्म त्रुटि और एल्गोरिथ्म की वांछित गुणवत्ता के बीच एक बड़ा अंतर है, जो उच्च स्तर के पूर्वाग्रह से बचने का संकेत देता है। इसके अलावा, प्रशिक्षण नमूने में त्रुटि और सत्यापन नमूने में त्रुटि के बीच का अंतर छोटा है, जो एक छोटे से प्रसार को इंगित करता है।

इससे पहले, हमने सभी उपलब्ध प्रशिक्षण डेटा के उपयोग से संबंधित ग्राफ के ऊपर सबसे सही बिंदु पर प्रशिक्षण और सत्यापन नमूनों पर प्रशिक्षित एल्गोरिदम की त्रुटियों पर चर्चा की। प्रशिक्षण के लिए उपयोग किए गए नमूने के विभिन्न आकारों के लिए बनाए गए प्रशिक्षण नमूने से डेटा की मात्रा पर त्रुटि की निर्भरता का वक्र, हमें प्रशिक्षण नमूने के विभिन्न आकारों पर प्रशिक्षित एल्गोरिथ्म की गुणवत्ता का अधिक संपूर्ण चित्र प्रदान करता है।

31. लर्निंग कर्व इंटरप्रिटेशन: अन्य मामले

सीखने की अवस्था पर विचार करें:

क्या एक उच्च पूर्वाग्रह, एक उच्च पार्सिंग, या दोनों एक ही बार में है?

प्रशिक्षण डेटा पर नीला त्रुटि वक्र अपेक्षाकृत कम है, सत्यापन डेटा पर लाल त्रुटि वक्र प्रशिक्षण डेटा पर नीले त्रुटि की तुलना में काफी अधिक है। इस प्रकार, इस मामले में, पूर्वाग्रह छोटा है, लेकिन प्रसार बड़ा है। अधिक प्रशिक्षण डेटा जोड़ने से सत्यापन नमूने में त्रुटि और प्रशिक्षण नमूने में त्रुटि के बीच अंतर को बंद करने में मदद मिल सकती है।

अब इस चार्ट पर विचार करें:

इस मामले में, प्रशिक्षण के नमूने में त्रुटि बड़ी है, यह वांछित गुणवत्ता स्तर के अनुरूप एल्गोरिथ्म से काफी अधिक है। सत्यापन नमूने में त्रुटि प्रशिक्षण नमूने में त्रुटि की तुलना में काफी अधिक है। इस प्रकार, हम एक साथ बड़े पूर्वाग्रह और बिखराव से निपट रहे हैं। आपको अपने एल्गोरिथ्म को कम करने और ऑफसेट करने और फैलाने के तरीकों की तलाश करनी चाहिए।

32. बिल्डिंग लर्निंग कर्व्स

मान लीजिए कि आपके पास बहुत छोटा प्रशिक्षण नमूना है, जिसमें केवल 100 उदाहरण हैं। आप 10 उदाहरणों के एक बेतरतीब ढंग से चयनित सबसेट का उपयोग करके अपने एल्गोरिथ्म को प्रशिक्षित करते हैं, फिर 20 उदाहरणों से, फिर 30 और इसी तरह 100 तक, दस उदाहरणों के अंतराल के साथ उदाहरणों की संख्या में वृद्धि। फिर इन 10 बिंदुओं का उपयोग करके आप अपने सीखने की अवस्था का निर्माण करते हैं। आप पा सकते हैं कि वक्र छोटे प्रशिक्षण नमूनों के लिए शोर (मूल्यों से अधिक या अपेक्षा से कम) दिखाई देता है।

जब आप केवल 10 बेतरतीब ढंग से चयनित उदाहरणों के साथ एल्गोरिथ्म को प्रशिक्षित करते हैं, तो आप भाग्यशाली नहीं हो सकते हैं और यह अस्पष्ट / गलत तरीके से चिह्नित उदाहरणों के एक बड़े हिस्से के साथ एक विशेष रूप से "खराब" प्रशिक्षण हो जाएगा। या, इसके विपरीत, आप एक विशेष रूप से "अच्छा" प्रशिक्षण सदस्यता ले सकते हैं। एक छोटे से प्रशिक्षण नमूने की उपस्थिति का अर्थ है कि सत्यापन और प्रशिक्षण नमूनों में त्रुटियों का मूल्य यादृच्छिक उतार-चढ़ाव के अधीन हो सकता है।

यदि मशीन लर्निंग का उपयोग करके आपके एप्लिकेशन के लिए उपयोग किया जाने वाला डेटा दृढ़ता से एक वर्ग के प्रति पक्षपाती है (जैसा कि कैट वर्गीकरण समस्या के साथ, जिसमें नकारात्मक उदाहरणों का अनुपात सकारात्मक के अनुपात से बहुत बड़ा है), या यदि हम बड़ी संख्या में कक्षाओं के साथ काम कर रहे हैं (जैसे कि जानवरों की 100 अलग-अलग प्रजातियों की पहचान), फिर विशेष रूप से "अप्रतिस्पर्धी" या खराब प्रशिक्षण नमूना प्राप्त करने का मौका भी बढ़ जाता है। उदाहरण के लिए, यदि आपके उदाहरणों में से 80% नकारात्मक उदाहरण हैं (y = 0), और केवल 20% सकारात्मक उदाहरण हैं (y = 1), तो एक अच्छा मौका है कि 10 उदाहरणों के एक प्रशिक्षण उपसमुच्चय में केवल नकारात्मक उदाहरण होंगे, इस मामले में बहुत प्रशिक्षित एल्गोरिथ्म से कुछ उचित मिलना मुश्किल है।

अगर, प्रशिक्षण नमूने में सीखने की अवस्था की उदासीनता के कारण, रुझानों का आकलन करना मुश्किल है, तो निम्न दो समाधानों का प्रस्ताव कर सकते हैं:

• 10 प्रशिक्षण उदाहरणों के लिए केवल एक मॉडल को प्रशिक्षित करने के बजाय, 100 उदाहरणों से युक्त प्रारंभिक नमूने से कई (3 से 10) प्रतिस्थापन के साथ अलग-अलग यादृच्छिक प्रशिक्षण उपप्रकारों का चयन करना। उनमें से प्रत्येक पर मॉडल को प्रशिक्षित करें और इनमें से प्रत्येक मॉडल के सत्यापन और प्रशिक्षण नमूने पर त्रुटि की गणना करें। प्रशिक्षण और सत्यापन नमूनों पर औसत त्रुटि की गणना और साजिश करें।

  
  

  लेखक की टिप्पणी: एक प्रतिस्थापन के साथ एक नमूना का मतलब निम्न है: पहला प्रशिक्षण सदस्यता बनाने के लिए 100 से पहले 10 अलग-अलग उदाहरणों को यादृच्छिक रूप से चुनें। फिर, दूसरा प्रशिक्षण सदस्यता बनाने के लिए, फिर से 10 उदाहरणों को फिर से लें, लेकिन पहले सदस्यता में चुने गए लोगों को छोड़कर (फिर से सौ उदाहरणों में से)। इस प्रकार, एक विशिष्ट उदाहरण दोनों उपसमूह में दिखाई दे सकता है। यह एक नमूने को एक प्रतिस्थापन से एक प्रतिस्थापन के बिना एक नमूने के साथ अलग करता है, एक प्रतिस्थापन के बिना एक नमूना के मामले में, दूसरा प्रशिक्षण सदस्यता केवल 90 उदाहरणों से चुना जाएगा जो पहले सदस्यता में नहीं आए थे। व्यवहार में, प्रतिस्थापन के साथ या बिना उदाहरणों के चयन की विधि का बहुत महत्व नहीं होना चाहिए, लेकिन प्रतिस्थापन के साथ उदाहरणों का चयन आम बात है।

  
  

• यदि आपका प्रशिक्षण नमूना किसी एक वर्ग के लिए पक्षपाती है, या यदि इसमें कई वर्ग शामिल हैं, तो 10 प्रशिक्षण उदाहरणों से मिलकर एक "संतुलित" सब्स्क्राइब चुनें, जिसे बेतरतीब ढंग से 100 नमूने के नमूनों में से चुना गया है। उदाहरण के लिए, आप यह सुनिश्चित कर सकते हैं कि 2/10 उदाहरण सकारात्मक और 8/10 नकारात्मक हैं। संक्षेप में, आप यह सुनिश्चित कर सकते हैं कि निर्धारित डेटा सेट में प्रत्येक वर्ग के उदाहरणों का अनुपात प्रारंभिक प्रशिक्षण नमूने में उनके हिस्से के जितना संभव हो उतना करीब है।

  
  

  मैं इनमें से किसी भी तरीके से परेशान नहीं होता जब तक कि त्रुटि घटता का ग्राफिंग इस निष्कर्ष पर नहीं पहुंचता है कि ये वक्र अत्यधिक शोर हैं, जो हमें समझने योग्य प्रवृत्तियों को देखने की अनुमति नहीं देता है। यदि आपके पास एक बड़ा प्रशिक्षण नमूना है - मान लें कि 10,000 उदाहरण हैं और आपकी कक्षाओं का वितरण बहुत पक्षपाती नहीं है, तो आपको इन तरीकों की आवश्यकता नहीं हो सकती है।

  
  

अंत में, एक सीखने की अवस्था का निर्माण एक कम्प्यूटेशनल दृष्टिकोण से महंगा हो सकता है: उदाहरण के लिए, आपको दस मॉडलों को प्रशिक्षित करने की आवश्यकता है, पहले 1000 उदाहरणों में, दूसरे 2000 में, और इसी तरह जब तक कि 10,000 उदाहरण न हों। बड़े नमूनों पर मॉडल प्रशिक्षण की तुलना में छोटी मात्रा में मॉडल प्रशिक्षण बहुत तेजी से होता है। इस प्रकार, उपर्युक्त वर्णित (1000, 2000, 3000, ..., 10000) के रूप में समान रूप से प्रशिक्षण उप-आकार के आकारों को समान रूप से वितरित करने के बजाय, आप उदाहरणों की संख्या में गैर-रैखिक वृद्धि के साथ मॉडल को प्रशिक्षित कर सकते हैं, उदाहरण के लिए, 1000, 2000, 4000, 6000 और 10,000 उदाहरण। सभी एक ही, यह आपको सीखने की अवस्था में प्रशिक्षण उदाहरणों की संख्या पर मॉडल की गुणवत्ता की निर्भरता की प्रवृत्ति की स्पष्ट समझ देनी चाहिए। बेशक, यह तकनीक तभी प्रासंगिक है जब अतिरिक्त मॉडलों को प्रशिक्षित करने की कम्प्यूटेशनल लागत अधिक हो।

विस्तार