पिछले अध्याय

20 ऑफसेट और स्कैटर: त्रुटियों के दो मुख्य स्रोत

अनुवादक की टिप्पणी परिवर्तन से पहले, इस अध्याय को "व्यवस्थित और यादृच्छिक: दो मुख्य स्रोत की त्रुटियां" कहा गया था , अर्थात, मैंने पूर्वाग्रह और विचरण का अनुवाद करने के लिए "यादृच्छिक त्रुटियों" और "व्यवस्थित त्रुटियों" का उपयोग किया है। हालाँकि, मंच के सदस्य रोबोट @ फकर ने एक टिप्पणी में, ठीक ही उल्लेख किया है कि इन शब्दों के लिए रूसी शब्दावली में मशीन सीखने के क्षेत्र में "विस्थापन" और "बिखराव" की अवधारणाएं निर्धारित हैं। मैंने के.वी. के काम को देखा। वोरोत्सोव, जो रूस में मशीन सीखने के क्षेत्र और पेशेवर समुदाय के संसाधनों के अधिकारियों में से एक हैं, और टिप्पणी रोबोट @ फकर के साथ सहमत हैं। इस तथ्य के बावजूद कि, मेरे दृष्टिकोण से, एल्गोरिदम के प्रशिक्षण में "पूर्वाग्रह" और "विचरण" के बीच एक गहरी सार्थक समानता है और एक भौतिक प्रयोग की "व्यवस्थित त्रुटि" और "यादृच्छिक त्रुटि" है, इसके अलावा वे समान रूप से गणितीय रूप से व्यक्त किए गए हैं , फिर भी, इस क्षेत्र में स्थापित शर्तों का उपयोग करना सही है। इसलिए, मैंने "ऑफसेट और स्कैटर" के साथ "व्यवस्थित और यादृच्छिक त्रुटियों" की जगह, इसके और बाद के अध्यायों के अनुवाद को संशोधित किया और मैं भविष्य में इस दृष्टिकोण से चिपके रहूंगा।

मान लीजिए कि आपके प्रशिक्षण, सत्यापन और परीक्षण के नमूनों का समान वितरण है। फिर आपको प्रशिक्षण के लिए अधिक डेटा लेने की आवश्यकता है, यह केवल एल्गोरिथ्म की गुणवत्ता में सुधार करेगा, क्या यह सच है?

यद्यपि अधिक डेटा प्राप्त करना नौकरी को नुकसान नहीं पहुंचा सकता है, दुर्भाग्य से, नया डेटा हमेशा उतना मदद नहीं करता जितना आप उम्मीद कर सकते हैं। कुछ मामलों में, अतिरिक्त डेटा प्राप्त करने का काम बेकार हो सकता है। निर्णय कैसे करें - डेटा जोड़ने के लिए किन मामलों में, और कब इसके बारे में चिंता न करें।

मशीन लर्निंग में, त्रुटि के दो मुख्य स्रोत हैं: पूर्वाग्रह और बिखराव (विचरण)। यह समझना कि वे क्या हैं, आपको यह तय करने में मदद करेंगे कि क्या अधिक डेटा जोड़ना है, यह आपको क्लासिफायर की गुणवत्ता में सुधार के लिए रणनीति चुनने में भी मदद करेगा।

मान लीजिए कि आप 5% त्रुटि के साथ एक पहचानकर्ता बनाने की उम्मीद कर रहे हैं। वर्तमान में, प्रशिक्षण नमूने पर आपका क्लासिफायर त्रुटि 15% है, सत्यापन नमूना 16% पर। इस मामले में, प्रशिक्षण डेटा जोड़ने से गुणवत्ता में उल्लेखनीय वृद्धि होने की संभावना नहीं है। आपको अन्य सिस्टम परिवर्तनों पर ध्यान केंद्रित करना चाहिए। वास्तव में, अपने प्रशिक्षण सेट में और उदाहरण जोड़ने से केवल आपके एल्गोरिथ्म के लिए उस सेट पर एक अच्छा परिणाम प्राप्त करना मुश्किल हो जाएगा (यह निम्नलिखित अध्यायों में क्यों समझाया जाएगा)।

यदि प्रशिक्षण नमूने में आपकी गलतियों का प्रतिशत 15% है (जो 85% की सटीकता से मेल खाती है), लेकिन आपका लक्ष्य 5% (95% सटीकता) में त्रुटियों का प्रतिशत है, तो सबसे पहले आपको प्रशिक्षण नमूने में अपने एल्गोरिथ्म की गुणवत्ता में सुधार करने की आवश्यकता है। सत्यापन / परीक्षण नमूनों में एल्गोरिथ्म की गुणवत्ता आमतौर पर प्रशिक्षण नमूने (प्रशिक्षण नमूने में) में अपने काम की गुणवत्ता से भी बदतर है। आपको यह समझने की आवश्यकता है कि जिन दृष्टिकोणों ने आपको सटीकता के लिए प्रेरित किया है, वे 85% से अधिक उदाहरणों में नहीं हैं जिनसे आपका एल्गोरिथ्म परिचित है, आपको 95% सटीकता उन उदाहरणों में प्राप्त करने की अनुमति नहीं देगा जो इस एल्गोरिथम ने भी नहीं देखे हैं।

मान लीजिए, जैसा कि ऊपर बताया गया है, आपके एल्गोरिथ्म की त्रुटि दर सत्यापन नमूने में 16% (सटीकता 84%) है। हमें 16% त्रुटि को दो घटकों में तोड़ना चाहिए:

• सबसे पहले, प्रशिक्षण नमूने में एल्गोरिथ्म त्रुटियों का अनुपात। इस उदाहरण में, यह 15% है। हम अनौपचारिक रूप से इसे पूर्वाग्रह कहते हैं।
• दूसरा, एल्गोरिथ्म प्रशिक्षण की तुलना में सत्यापन (या परीक्षण) के नमूने पर कितना बुरा काम करता है। हमारे उदाहरण में, यह प्रशिक्षण नमूने की तुलना में सत्यापन के नमूने पर 1% खराब है। हम अनौपचारिक रूप से इसे एल्गोरिथम का एक विचरण भी मानेंगे।

लेखक की टिप्पणी आंकड़ों में, पूर्वाग्रह और बिखराव (व्यवस्थित और यादृच्छिक त्रुटियों) के लिए एक अधिक सटीक परिभाषा है, लेकिन यह हमें परेशान नहीं करना चाहिए। मोटे तौर पर, हम मानते हैं कि पूर्वाग्रह आपके प्रशिक्षण सेट में आपके एल्गोरिथ्म में एक गलती है जब आपके पास एक बहुत बड़ा प्रशिक्षण सेट है। तितर बितर - यह एक ही पैरामीटर सेटिंग्स के साथ प्रशिक्षण की तुलना में परीक्षण नमूने पर एल्गोरिदम कितना खराब काम करता है। यदि आप मानक त्रुटि का उपयोग करते हैं, तो आप इन दो मात्राओं को परिभाषित करने वाले सूत्र लिख सकते हैं और साबित कर सकते हैं कि कुल त्रुटि पूर्वाग्रह और बिखराव के योग के बराबर है (यादृच्छिक और व्यवस्थित त्रुटियों का योग)। लेकिन हमारे उद्देश्यों के लिए, मशीन सीखने की समस्याओं में एल्गोरिदम में सुधार, पूर्वाग्रह और बिखराव की एक अनौपचारिक परिभाषा पर्याप्त है।

एल्गोरिथ्म के प्रशिक्षण में कुछ परिवर्तन त्रुटि के पहले घटक को प्रभावित करते हैं - पूर्वाग्रह और प्रशिक्षण नमूने में एल्गोरिदम के प्रदर्शन में सुधार। कुछ बदलाव दूसरे घटक को प्रभावित करते हैं - विचरण और एल्गोरिदम को सत्यापन और परीक्षण के नमूनों को बेहतर बनाने में मदद करते हैं। सिस्टम में किए जाने वाले सबसे प्रभावी परिवर्तनों का चयन करने के लिए, यह समझना बहुत उपयोगी है कि इन दो त्रुटि घटकों में से प्रत्येक समग्र सिस्टम त्रुटि को कैसे प्रभावित करता है।

लेखक की टिप्पणी: कुछ दृष्टिकोण भी हैं जो एक साथ विस्थापन और बिखराव को कम करते हैं, जिससे सिस्टम वास्तुकला में महत्वपूर्ण परिवर्तन होते हैं। लेकिन वे आमतौर पर खोजने और कार्यान्वित करने में अधिक कठिन होते हैं।

सिस्टम में किए जाने वाले सबसे प्रभावी परिवर्तनों का चयन करने के लिए, यह समझना बहुत उपयोगी है कि इन दो त्रुटि घटकों में से प्रत्येक समग्र सिस्टम त्रुटि को कैसे प्रभावित करता है।

अंतर्ज्ञान का विकास यह समझने में योगदान देता है कि योगदान त्रुटि में कैसे योगदान देता है, और कौन सा स्कैटर, आपको अपने एल्गोरिथ्म को बेहतर बनाने के तरीकों को प्रभावी ढंग से चुनने में मदद करेगा।

त्रुटि वर्गीकरण के 21 उदाहरण

हमारी बिल्ली वर्गीकरण समस्या पर विचार करें। एक आदर्श क्लासिफायरियर (उदाहरण के लिए, एक व्यक्ति) इस कार्य की उत्कृष्ट गुणवत्ता प्राप्त कर सकता है।

मान लीजिए कि हमारे एल्गोरिथ्म की गुणवत्ता निम्नानुसार है:

• प्रशिक्षण के नमूने में त्रुटि = 1%
• सत्यापन नमूने में त्रुटि = 11%

इस वर्गीकरण के साथ समस्या क्या है? पिछले अध्याय से परिभाषाओं को लागू करते हुए, हम पूर्वाग्रह का अनुमान 1% और प्रसार 10% (= 11% - 1%) पर लगाते हैं। इस प्रकार, हमारे एल्गोरिथ्म में एक बड़ा प्रसार है । क्लासिफायरियर के पास प्रशिक्षण के नमूने में बहुत कम त्रुटि है, लेकिन एक सत्यापन नमूने के प्रशिक्षण परिणामों को सामान्य नहीं कर सकता है। दूसरे शब्दों में, हम ओवरफिटिंग से निपट रहे हैं।

अब इस स्थिति पर विचार करें:

• प्रशिक्षण के नमूने में त्रुटि = 15%
• सत्यापन के नमूने में त्रुटि = 16%

फिर हम पूर्वाग्रह 15% और प्रसार 1% पर अनुमान लगाते हैं। इस क्लासिफायर को प्रशिक्षण नमूने में खराब तरीके से प्रशिक्षित किया गया था, जबकि सत्यापन के नमूने में इसकी त्रुटि प्रशिक्षण नमूने की तुलना में थोड़ी बड़ी है। इस प्रकार, इस क्लासिफायर में एक बड़ा पूर्वाग्रह है, लेकिन एक छोटा प्रसार है। यह निष्कर्ष निकाला जा सकता है कि यह एल्गोरिथ्म अंडरफुटिंग है ।

हम निम्नलिखित त्रुटि वितरण पर भी विचार करते हैं:

• प्रशिक्षण के नमूने में त्रुटि = 15%
• सत्यापन के नमूने में त्रुटि = 30%

इस मामले में, पूर्वाग्रह 15% है और प्रसार भी 15% है। इस क्लासिफायर में उच्च पूर्वाग्रह और प्रसार होता है: यह प्रशिक्षण नमूने में अच्छी तरह से काम नहीं करता है, उच्च पूर्वाग्रह होता है, और सत्यापन नमूने में इसकी गुणवत्ता प्रशिक्षण एक की तुलना में बहुत खराब होती है, अर्थात। बिखराव भी बड़ा है। इस मामले को फिर से शिक्षित करने / अंडर-एजुकेशन के संदर्भ में वर्णन करना मुश्किल है, यह क्लासिफायरियर, सेवानिवृत्त और अल्प-शिक्षित दोनों है।

अंत में, इस स्थिति पर विचार करें:

• प्रशिक्षण के नमूने में त्रुटि = 0.5%
• सत्यापन नमूने में त्रुटि = 1%

यह एक महान क्लासिफायरियर है, इसमें कम पूर्वाग्रह और बिखराव है। उत्कृष्ट परिणाम प्राप्त करने के लिए इंजीनियरों को बधाई!

22 इष्टतम त्रुटि दर के साथ तुलना

बिल्लियों की मान्यता के लिए हमारे उदाहरण में, त्रुटियों का आदर्श हिस्सा "इष्टतम" क्लासिफायरियर के लिए उपलब्ध स्तर है और यह स्तर 0% के करीब है। एक तस्वीर देखने वाला व्यक्ति लगभग हमेशा यह पहचानने में सक्षम होता है कि बिल्ली तस्वीर में मौजूद है या नहीं, और हम यह आशा कर सकते हैं कि जितनी जल्दी या बाद में मशीन इसे ठीक करेगी।

लेकिन अधिक जटिल कार्य हैं। उदाहरण के लिए, कल्पना करें कि आप एक स्पीच रिकग्निशन सिस्टम विकसित कर रहे हैं, और पाया कि 14% ऑडियो रिकॉर्डिंग्स में बहुत अधिक बैकग्राउंड नॉइज़ या इतने गैरकानूनी भाषण हैं कि एक व्यक्ति यह भी नहीं बता सकता कि वहाँ क्या कहा गया था। इस मामले में, यहां तक ​​कि सबसे "इष्टतम" भाषण मान्यता प्रणाली में 14% के क्षेत्र में त्रुटि हो सकती है।

मान लें कि हमारे भाषण मान्यता कार्य में हमारे एल्गोरिथ्म ने निम्नलिखित परिणाम प्राप्त किए हैं:

• प्रशिक्षण के नमूने में त्रुटि = 15%
• सत्यापन के नमूने में त्रुटि = 30%

प्रशिक्षण नमूने में क्लासिफायर की गुणवत्ता पहले से ही इष्टतम के करीब है, जिसकी त्रुटि दर 14% है। इस प्रकार, इस मामले में, हमारे पास पूर्वाग्रह को कम करने के कई अवसर नहीं हैं (प्रशिक्षण नमूने में एल्गोरिथ्म में सुधार)। हालांकि, इस एल्गोरिथ्म के संचालन को एक सत्यापन नमूने के लिए सामान्यीकृत करना संभव नहीं है, इसलिए, तितर बितर कमी गतिविधियों के लिए एक बड़ा क्षेत्र है।

यह मामला पिछले अध्याय से तीसरे उदाहरण के समान है, जिसमें प्रशिक्षण नमूने में त्रुटि भी 15% के बराबर है और सत्यापन नमूने में त्रुटि 30% है। यदि इष्टतम त्रुटि दर 0% के आसपास है, तो 15% के प्रशिक्षण नमूने में त्रुटि एल्गोरिथ्म में सुधार के लिए काम के लिए बहुत जगह देती है। इस धारणा के साथ, एल्गोरिथम में पूर्वाग्रह को कम करने के प्रयास बहुत फलदायी हो सकते हैं। लेकिन अगर वर्गीकरण त्रुटियों का इष्टतम अनुपात 14% से कम नहीं हो सकता है, तो प्रशिक्षण नमूने में एल्गोरिथ्म त्रुटियों का एक समान अनुपात (यानी, 14-15% के क्षेत्र में) बताता है कि पूर्वाग्रह को कम करने की संभावनाएं लगभग समाप्त हो गई हैं।

ऐसी समस्याओं के लिए जिनमें वर्गीकरण त्रुटियों का इष्टतम अनुपात शून्य से काफी भिन्न होता है, एक अधिक विस्तृत त्रुटि संरचना का प्रस्ताव किया जा सकता है। हम भाषण मान्यता के साथ उपरोक्त उदाहरण पर विचार करना जारी रखते हैं, सत्यापन नमूने में 30% की कुल त्रुटि को निम्नलिखित घटकों में विघटित किया जा सकता है (परीक्षण नमूने में त्रुटियों का उसी तरह विश्लेषण किया जा सकता है):

• इष्टतम पूर्वाग्रह (अपरिहार्य पूर्वाग्रह): 14%। कल्पना कीजिए, हमने तय किया कि दुनिया में सबसे अच्छा संभव भाषण मान्यता प्रणाली भी, 14% की त्रुटि दर होगी। हम इस बारे में लर्निंग एल्गोरिदम की भरपाई के "अपरिहार्य" भाग के रूप में बात करेंगे।
• परिहार्य पूर्वाग्रह : 1%। इस मूल्य की गणना प्रशिक्षण नमूने में त्रुटियों के अनुपात और त्रुटियों के इष्टतम अनुपात के बीच अंतर के रूप में की जाती है।

लेखक की टिप्पणी: यदि यह मान नकारात्मक निकला, तो प्रशिक्षण नमूने पर आपका एल्गोरिथ्म "इष्टतम" एक की तुलना में एक छोटी सी त्रुटि दिखाता है। इसका मतलब यह है कि आप प्रशिक्षण सेट पर मुकर गए, आपके एल्गोरिथ्म ने प्रशिक्षण सेट के उदाहरणों (और उनकी कक्षाओं) को याद किया। इस मामले में, आपको पूर्वाग्रह को कम करने के बजाय प्रसार को कम करने के तरीकों पर ध्यान देना चाहिए।

• भिन्न : 15%। प्रशिक्षण नमूने और सत्यापन नमूने में त्रुटियों के बीच अंतर

हमारी पिछली परिभाषाओं से संबंधित, विस्थापन और डिस्पोजेबल विस्थापन निम्नानुसार हैं:

पूर्वाग्रह (पूर्वाग्रह) = इष्टतम पूर्वाग्रह ( "अपरिहार्य पूर्वाग्रह" ) + प्रयोज्य पूर्वाग्रह ( "परिहार्य पूर्वाग्रह" )

लेखक का ध्यान दें : इन परिभाषाओं को यह समझाने के लिए चुना जाता है कि लर्निंग एल्गोरिदम की गुणवत्ता को कैसे बेहतर बनाया जा सकता है। ये परिभाषाएँ आंकड़ों में अपनाए गए पूर्वाग्रह और बिखराव की औपचारिक परिभाषाओं से भिन्न हैं। तकनीकी रूप से, जिसे मैं "ऑफसेट" के रूप में परिभाषित करता हूं, उसे "एक त्रुटि कहा जाना चाहिए जो डेटा संरचना में है (इसे पहचाना और समाप्त नहीं किया जा सकता") और "हटाएं पूर्वाग्रह" को "सीखने के एल्गोरिथ्म पूर्वाग्रह के रूप में परिभाषित किया जाना चाहिए जो इष्टतम पूर्वाग्रह से अधिक हो" ।

परिहार्य पूर्वाग्रह दिखाता है कि प्रशिक्षण के नमूने में आपके एल्गोरिथ्म की गुणवत्ता "इष्टतम क्लासिफायरियर" की गुणवत्ता से कितनी खराब है।

विचरण का मूल विचार समान है। सिद्धांत रूप में, हम हमेशा पर्याप्त रूप से बड़े प्रशिक्षण नमूने पर प्रशिक्षण द्वारा प्रसार को लगभग शून्य तक कम कर सकते हैं। इस प्रकार, कोई भी प्रसार "परिहार्य" होता है जब पर्याप्त रूप से बड़ा नमूना होता है, इसलिए "अपरिहार्य प्रसार" (अपरिहार्य विचरण) जैसी कोई चीज नहीं हो सकती है।

एक अन्य उदाहरण पर विचार करें जिसमें इष्टतम त्रुटि 14% है और हमारे पास है:

• प्रशिक्षण के नमूने में त्रुटि = 15%
• सत्यापन के नमूने में त्रुटि = 16%

पिछले अध्याय में, हमने उच्च-पूर्वाग्रह वर्गीकरणकर्ता के रूप में ऐसे संकेतकों के साथ एक वर्गीकरण का वर्गीकरण किया, वर्तमान परिस्थितियों में हम कहते हैं कि "परिहार्य पूर्वाग्रह" 1% है, और प्रसार लगभग 1% है। इस प्रकार, एल्गोरिथ्म पहले से ही काफी अच्छा काम कर रहा है और इसके काम की गुणवत्ता में सुधार करने के लिए लगभग कोई भंडार नहीं है। इस एल्गोरिथ्म की गुणवत्ता इष्टतम से केवल 2% नीचे है।

इन उदाहरणों से, यह स्पष्ट है कि घातक त्रुटि की भयावहता को जानना आगे के कार्यों पर निर्णय लेने के लिए उपयोगी है। आंकड़ों में, इष्टतम त्रुटि दर को बेयस त्रुटि दर भी कहा जाता है।

इष्टतम त्रुटि दर का आकार कैसे पता करें? उन कार्यों के लिए जो एक व्यक्ति के साथ अच्छी तरह से सामना करता है, जैसे कि छवि मान्यता या ऑडियो क्लिप को डिकोड करना, आप मूल्यांकनकर्ताओं को डेटा को चिह्नित करने के लिए कह सकते हैं, और फिर प्रशिक्षण नमूने में मानव मार्कअप की सटीकता को माप सकते हैं। यह इष्टतम त्रुटि दर का अनुमान देगा। यदि आप एक ऐसी समस्या पर काम कर रहे हैं जो किसी व्यक्ति के लिए भी मुश्किल है (उदाहरण के लिए, यह अनुमान लगाने के लिए कि कौन सी फिल्म को उपयोगकर्ता को दिखाने के लिए या किस विज्ञापन को देखना है), तो इस मामले में इष्टतम त्रुटि दर का आकलन करना मुश्किल है।

मानव-स्तरीय प्रदर्शन अनुभाग की तुलना में, अध्याय 35 के माध्यम से 33, मैं और अधिक विस्तार से चर्चा करूँगा कि एक व्यक्ति द्वारा प्राप्त की जा सकने वाली गुणवत्ता के स्तर के साथ एक सीखने के एल्गोरिथ्म की तुलना करने की प्रक्रिया।

अंतिम अध्यायों में, आपने सीखा कि प्रशिक्षण और सत्यापन नमूनों में क्लासिफायर त्रुटियों के अनुपात का विश्लेषण करके हटाने योग्य / अपरिवर्तनीय पूर्वाग्रह और बिखराव का मूल्यांकन कैसे करें। अगला अध्याय इस बात की जांच करेगा कि आप इस तरह के विश्लेषण से निष्कर्ष का उपयोग कैसे तय कर सकते हैं कि क्या पूर्वाग्रह को कम करने या प्रसार को कम करने वाली विधियों पर ध्यान केंद्रित करना है। पूर्वाग्रह से निपटने के दृष्टिकोण बिखराव को कम करने के दृष्टिकोण से बहुत अलग हैं, इसलिए गुणवत्ता में सुधार के लिए आपको अपनी परियोजना में जिन तकनीकों को लागू करना चाहिए, वे इस बात पर बहुत निर्भर हैं कि वर्तमान में समस्या क्या है - बड़े पूर्वाग्रह या बड़े बिखराव।

पर पढ़ें!

23 दूर करने वाले और बिखरे हुए व्यक्ति

पूर्वाग्रह और बिखराव को समाप्त करने का एक सरल सूत्र यहां दिया गया है:

• यदि आपके पास एक बड़ा बचने योग्य पूर्वाग्रह है, तो अपने मॉडल की जटिलता को बढ़ाएं (उदाहरण के लिए, परतों या (और) न्यूरॉन्स को जोड़कर अपने तंत्रिका नेटवर्क को बढ़ाएं)
• यदि आपके पास एक विस्तृत प्रसार है, तो अपने प्रशिक्षण सेट में उदाहरण जोड़ें।

यदि आपके पास तंत्रिका नेटवर्क के आकार को बढ़ाने और प्रशिक्षण सेट में डेटा को असीमित रूप से जोड़ने का अवसर है, तो यह बड़ी संख्या में मशीन सीखने के कार्यों के लिए एक अच्छा परिणाम प्राप्त करने में मदद करेगा।

व्यवहार में, मॉडल के आकार को बढ़ाने से अंततः कम्प्यूटेशनल कठिनाइयों का कारण होगा, क्योंकि बहुत बड़े मॉडल का प्रशिक्षण धीमा है। आप प्रशिक्षण के लिए उपलब्ध डेटा की सीमा को भी समाप्त कर सकते हैं। (यहां तक ​​कि इंटरनेट के पार, बिल्लियों की तस्वीरों की संख्या!)

एल्गोरिथ्म मॉडल के विभिन्न आर्किटेक्चर, उदाहरण के लिए, तंत्रिका नेटवर्क के विभिन्न आर्किटेक्चर, आपके कार्य के संबंध में पूर्वाग्रह और बिखराव के लिए अलग-अलग मान देंगे। हाल के गहन शिक्षण अनुसंधान के एक शाफ्ट ने बड़ी संख्या में अभिनव तंत्रिका नेटवर्क मॉडल आर्किटेक्चर बनाए हैं। इस प्रकार, यदि आप तंत्रिका नेटवर्क का उपयोग करते हैं, तो गैर-कल्पना प्रेरणा का एक बड़ा स्रोत हो सकता है। खुले स्रोतों में एल्गोरिदम के उत्कृष्ट कार्यान्वयन की एक बड़ी संख्या भी है, उदाहरण के लिए गिटहब। हालांकि, नए आर्किटेक्चर का उपयोग करने के प्रयासों के परिणाम ऊपर दिए गए सरल सूत्र की तुलना में काफी कम अनुमानित हैं - मॉडल का आकार बढ़ाएं और डेटा जोड़ें।

मॉडल का आकार बढ़ने से आम तौर पर पूर्वाग्रह कम हो जाता है, लेकिन यह प्रसार में वृद्धि का कारण भी बन सकता है, और पीछे हटने का जोखिम भी बढ़ जाता है। हालाँकि, जब आप नियमितीकरण का उपयोग नहीं कर रहे हैं, तो केवल तब ही रिट्रेनिंग की समस्या उत्पन्न होती है। यदि आप अपने मॉडल में एक अच्छी तरह से डिज़ाइन किए गए नियमितीकरण की विधि को शामिल करते हैं, तो आप आमतौर पर रिट्रीटिंग की अनुमति के बिना मॉडल के आकार को सुरक्षित रूप से बढ़ाने का प्रबंधन करते हैं।

मान लें कि आप L2 नियमितीकरण या ड्रॉपआउट ( अनुवादक के नोट का उपयोग करके गहरी शिक्षा लागू करते हैं : आप ड्रॉपआउट के बारे में पढ़ सकते हैं, उदाहरण के लिए, यहां: https://habr.com/company/wunderfund/blog/330814/ ), नियमित रूप से काम करने वाले मापदंडों का उपयोग करके, जो त्रुटिपूर्ण हैं सत्यापन नमूना। यदि आप मॉडल का आकार बढ़ाते हैं, तो आमतौर पर आपके एल्गोरिथ्म की गुणवत्ता समान रहती है या बढ़ती है; इसकी महत्वपूर्ण गिरावट की संभावना नहीं है। एकमात्र कारण जो हमें मॉडल के आकार को बढ़ाने से इंकार करना है वह है बड़े कम्प्यूटेशनल ओवरहेड।

24 ऑफसेट और प्रसार के बीच व्यापार बंद

आपने "ऑफसेट और स्कैटर के बीच ट्रेडऑफ़" के बारे में सुना होगा। एल्गोरिदम सीखने के लिए किए जा सकने वाले कई परिवर्तनों में, पूर्वाग्रह को कम करने और प्रसार को बढ़ाने या इसके विपरीत, ऐसे भी हैं। «» .

, — () , , . , , .

( ). , , , .

, , . , , , , .

, , . .

, , .

25

, :

• (, ): , . , , , .
• , , . , ( ). , . ; , , , , .
• (L2 , L1 , Dropout): , , .
• (, ) : ,

:

• : , .

26

, / .

, , , , , . , , . . .

, - . , , 100 , , . , :

, , . , .

, -, , . , - , , , - . , , .

27

, :

• : , , .
• (L1 , L2 , dropout): , .
• (. . , ): , . , .
• / : , . (, 1000 900) . ( 1000 100 10 ) , , . , , , , , , , . , , .
• () ( / ). ! , , . , . . . , . , , .

यहां मैं दो अतिरिक्त सामरिक तकनीकें देता हूं, जो कि पूर्वाग्रह को कम करने के संबंध में पिछले अध्यायों में कही गई बातों को दोहराते हैं:

• त्रुटि विश्लेषण से प्राप्त समझ के आधार पर आने वाले संकेतों को संशोधित करें : मान लीजिए कि आपके त्रुटि विश्लेषण ने इस विचार को जन्म दिया है कि आप अतिरिक्त लक्षण बना सकते हैं जो एल्गोरिदम को त्रुटियों की कुछ श्रेणियों से छुटकारा पाने में मदद करेगा। ये नए फीचर्स स्कैटर और ऑफसेट दोनों को कम करने में मदद करेंगे। सैद्धांतिक रूप से, नए लक्षणों के अतिरिक्त प्रसार को बढ़ा सकते हैं; लेकिन अगर ऐसा होता है, तो आप हमेशा नियमितीकरण का लाभ उठा सकते हैं, जो आमतौर पर प्रसार में वृद्धि का स्तर होता है।
• मॉडल आर्किटेक्चर (उदाहरण के लिए, तंत्रिका नेटवर्क आर्किटेक्चर) को अपने कार्य के लिए अधिक उपयुक्त बनाने के लिए संशोधित करें : यह दृष्टिकोण पूर्वाग्रह और बिखराव दोनों को कम कर सकता है।

विस्तार