🚌 👨 👨🏻‍⚕️ एक सीखने की गति कारक क्या है और यह गहरी सीखने की विशेषताओं को कैसे बेहतर बनाता है? ⤴️ 🛀🏿 🐊

यह लेख निम्नलिखित पहलुओं पर मेरे विचार व्यक्त करने का मेरा प्रयास है:

सीखने की गति कारक क्या है और इसका मूल्य क्या है?
मॉडल का प्रशिक्षण करते समय इस गुणांक का चयन कैसे करें?
मॉडलों के प्रशिक्षण के दौरान सीखने की गति के गुणांक को बदलना क्यों आवश्यक है?
पूर्व-प्रशिक्षित मॉडल का उपयोग करते समय एक सीखने की गति कारक के साथ क्या करना है?

इस पोस्ट का अधिकांश भाग fast.ai द्वारा तैयार सामग्रियों पर आधारित है: [१], [२], [५] और [३] - मुद्दे के सार की त्वरित समझ के लिए उनके काम के संक्षिप्त संस्करण का प्रतिनिधित्व करते हैं। विवरण के साथ खुद को परिचित करने के लिए, नीचे दिए गए लिंक पर क्लिक करने की सिफारिश की गई है।

सीखने की गति कारक क्या है?

सीखने की गति गुणांक एक हाइपरपैरेट है जो उस क्रम को निर्धारित करता है जिसमें हम ग्रेडिएंट डिसेंट में नुकसान फ़ंक्शन को ध्यान में रखते हुए अपने तराजू को समायोजित करेंगे। कम मूल्य, धीमी हम झुकाव के साथ चलते हैं। यद्यपि सीखने की गति के कम गुणांक का उपयोग करते समय, हम इस अर्थ में एक सकारात्मक प्रभाव प्राप्त कर सकते हैं कि हम एक भी स्थानीय न्यूनतम याद नहीं करते हैं, इसका मतलब यह भी हो सकता है कि हमें अभिसरण पर बहुत समय बिताना होगा, खासकर अगर हम पठारी क्षेत्र में हैं।

संबंध निम्नलिखित सूत्र द्वारा चित्रित किया गया है

• n e w_{w} e i g h t = म ौ ज ू द ा_{व} े ट - L e a r n i n g_{r} a t e * g r a d i e n t

$• new_weight = मौजूदा_वेट - Learning_rate * gradient$

छोटे (शीर्ष) और बड़े (नीचे) सीखने की गति कारकों के साथ धीरे-धीरे वंश। स्रोत: एंड्रयू एनजी का मशीन लर्निंग कोर्स कोर्टेरा पर

सबसे अधिक बार, सीखने की गति कारक उपयोगकर्ता द्वारा मनमाने ढंग से निर्धारित किया जाता है। सबसे अच्छी स्थिति में, सीखने की गति के गुणांक को निर्धारित करने के लिए कौन सा मूल्य सबसे उपयुक्त है, इसके लिए वह पिछले प्रयोगों (या किसी अन्य प्रकार की प्रशिक्षण सामग्री) पर भरोसा कर सकता है।

अनिवार्य रूप से, सही मूल्य चुनना काफी कठिन है। नीचे दिए गए आरेख विभिन्न परिदृश्यों को दर्शाते हैं जो तब उत्पन्न हो सकते हैं जब उपयोगकर्ता स्वतंत्र रूप से सीखने की गति की दर को समायोजित करता है।

अभिसरण पर विभिन्न शिक्षण दर कारकों का प्रभाव। (Img क्रेडिट: सीएस 231 एन)

इसके अलावा, सीखने की गति कारक को प्रभावित करता है कि हमारा मॉडल कितनी जल्दी एक स्थानीय न्यूनतम (उर्फ सर्वश्रेष्ठ सटीकता प्राप्त करेगा) तक पहुंचता है। इस प्रकार, बहुत शुरुआत से सही विकल्प मॉडल के प्रशिक्षण के लिए समय की कम बर्बादी की गारंटी देता है। कम प्रशिक्षण समय, बादल में GPU कंप्यूटिंग शक्ति पर कम पैसा खर्च किया जाता है।

क्या गुणांक सीखने की दर निर्धारित करने के लिए एक अधिक सुविधाजनक तरीका है?

पैराग्राफ 3.3 में। " तंत्रिका नेटवर्क के लिए चक्रीय सीखने की दर गुणांक " लेस्ली स्मिथ ने निम्नलिखित की वकालत की: प्रारंभिक दक्षता कम सीखने की गति के साथ एक मॉडल को प्रशिक्षित करके सीखने की दक्षता का अनुमान लगाया जा सकता है, जो तब प्रत्येक पुनरावृति में (रैखिक या घातीय) बढ़ जाती है।

प्रत्येक मिनी-पैकेज के बाद सीखने की गति कारक बढ़ जाती है।

प्रत्येक पुनरावृत्ति पर संकेतकों के मूल्यों को ठीक करते हुए, हम देखेंगे कि जैसे-जैसे सीखने की गति बढ़ती है, एक बिंदु तक पहुंच जाता है (जिस पर) हानि फ़ंक्शन का मान कम हो जाता है और बढ़ना शुरू हो जाता है। व्यवहार में, हमारी सीखने की गति आदर्श रूप से ग्राफ़ पर नीचे बिंदु के बाईं ओर कहीं होनी चाहिए (जैसा कि नीचे दिए गए ग्राफ़ में दिखाया गया है)। इस मामले में (मूल्य होगा) 0.001 से 0.01 तक।

उपरोक्त उपयोगी है। इसका उपयोग कैसे शुरू करें?

फिलहाल जेरेमी हावर्ड द्वारा विकसित फास्ट.आईए पैकेज में एक तैयार किया गया कार्य है, यह पाइरॉच लाइब्रेरी के शीर्ष पर एक प्रकार का अमूर्त / ऐड-ऑन है (यह कैसे और केरस और टेन्सरफ़्लो के मामले में कैसे किया जाता है)।

तंत्रिका नेटवर्क के प्रशिक्षण से पहले (शुरू) सीखने की गति के इष्टतम गुणांक की खोज शुरू करने के लिए केवल निम्नलिखित कमांड दर्ज करना आवश्यक है।

learn.lr_find() learn.sched.plot_lr()

मॉडल में सुधार

इसलिए, हमने इस बारे में बात की कि सीखने की गति का गुणांक क्या है, इसका मूल्य क्या है और मॉडल को प्रशिक्षित करने के लिए शुरू करने से पहले इसका इष्टतम मूल्य कैसे प्राप्त किया जाए।
अब हम इस बात पर ध्यान केंद्रित करेंगे कि ट्यूनिंग मॉडल के लिए सीखने की गति कारक का उपयोग कैसे किया जा सकता है।

परम्परागत बुद्धि

आमतौर पर, जब उपयोगकर्ता अपनी सीखने की गति को गुणांक निर्धारित करता है और मॉडल को प्रशिक्षित करना शुरू कर देता है, तो उसे तब तक इंतजार करना होगा जब तक कि सीखने की गति में गिरावट शुरू न हो जाए और मॉडल इष्टतम मूल्य तक पहुंच जाए।

हालांकि, जिस क्षण से पठार एक पठार पर पहुंचता है, मॉडल को प्रशिक्षित करते समय नुकसान फ़ंक्शन के मूल्यों में सुधार करना कठिन हो जाता है। [3] में, डूपिन ने इस विचार को व्यक्त किया कि नुकसान फ़ंक्शन को कम करने में कठिनाई काठी बिंदु से उपजी है, और स्थानीय न्यूनतम से नहीं।

त्रुटियों की सतह पर एक काठी बिंदु। एक काठी बिंदु एक फ़ंक्शन की परिभाषा के डोमेन से एक बिंदु है जो किसी दिए गए फ़ंक्शन के लिए स्थिर है, लेकिन इसका स्थानीय चरम नहीं है । (ImgCredit: safaribooksonline)

तो इससे कैसे बचा जा सकता है?

मैं कई विकल्पों पर विचार करने का प्रस्ताव करता हूं। उनमें से एक, सामान्य, [1] के उद्धरण का उपयोग करते हुए,

... सीखने की गति गुणांक के लिए एक निश्चित मूल्य का उपयोग करने और समय के साथ इसे कम करने के बजाय, यदि प्रशिक्षण अब हमारे नुकसान को सुचारू नहीं करता है, तो हम कुछ चक्रीय फ़ंक्शन के अनुसार प्रत्येक पुनरावृत्ति में सीखने की गति गुणांक को बदलने जा रहे हैं। प्रत्येक लूप में - पुनरावृत्तियों की संख्या के संदर्भ में - एक निश्चित लंबाई है। यह विधि सीखने की गति के गुणांक को उचित सीमा मूल्यों के बीच भिन्न करने की अनुमति देती है। यह वास्तव में मदद करता है, क्योंकि, काठी के बिंदुओं में फंसना, सीखने की गति के गुणांक में वृद्धि करने से हमें काठी बिंदुओं के पठार का तेज चौराहा मिलता है

[2] में, लेस्ली ने "त्रिभुज विधि" का प्रस्ताव किया, जिसमें सीखने की गति के गुणांक को कई पुनरावृत्तियों के बाद संशोधित किया गया है।

"त्रिकोण की विधि" और "त्रिकोण -2 की विधि" लेज़ली एन। स्मिथ द्वारा प्रस्तावित, सीखने की दर गुणांक के चक्रीय परीक्षण के तरीके हैं। ऊपरी ग्राफ में, न्यूनतम और अधिकतम इर को बराबर रखा जाता है।

एक अन्य विधि, जो कम लोकप्रिय नहीं है और जिसे "स्टोचैस्टिक ग्रेडिएंट डिसेंट विद वार्म रिसेट" कहा जाता है, लोनचिलोव एंड हटर द्वारा प्रस्तावित किया गया था [6]। यह विधि, जो एक चक्रीय फ़ंक्शन के रूप में कॉशन फ़ंक्शन के उपयोग पर आधारित है, प्रत्येक चक्र में अधिकतम बिंदु पर सीखने की गति के गुणांक को पुनरारंभ करता है। "हॉट" बिट की उपस्थिति इस तथ्य के कारण है कि जब सीखने की दर गुणांक को फिर से शुरू किया जाता है, तो यह शून्य स्तर से नहीं, बल्कि उन मापदंडों से शुरू होता है, जहां मॉडल पिछले चरण में पहुंच गया है।

चूंकि इस पद्धति में विविधताएं हैं, इसलिए नीचे दिया गया ग्राफ़ अपने आवेदन के तरीकों में से एक को दिखाता है, जहां प्रत्येक चक्र एक ही समय अंतराल से बंधा हुआ है।

SGDR - ग्राफ, सीखने की दर गुणांक बनाम। पुनरावृत्तियों

इस प्रकार, हमें समय-समय पर "चोटियों" पर कूदकर प्रशिक्षण की अवधि को छोटा करने का एक तरीका मिलता है (जैसा कि नीचे दिखाया गया है)।

निर्धारित और चक्रीय सीखने की दर गुणांक की तुलना (img क्रेडिट: arxiv.org/abs/1704.00109
समय की बचत के अलावा, यह विधि, अध्ययनों के अनुसार, ट्यूनिंग के बिना और कम पुनरावृत्तियों के लिए वर्गीकरण सटीकता में सुधार करती है।

ट्रांसफर लर्निंग में ट्रांसफर लर्निंग रेशियो

उपवास के दौरान, कृत्रिम बुद्धिमत्ता की समस्याओं को हल करने में एक पूर्व प्रशिक्षित मॉडल के प्रबंधन पर जोर दिया जाता है। उदाहरण के लिए, छवि वर्गीकरण समस्याओं को हल करते समय, छात्रों को सिखाया जाता है कि कैसे पूर्व-प्रशिक्षित मॉडल जैसे कि वीजीजी और रेसनेट 50 का उपयोग करें और उन्हें छवि डेटा के नमूने से लिंक करें, जिसकी भविष्यवाणी करने की आवश्यकता है।
यह वर्णन करने के लिए कि मॉडल को fast.ai प्रोग्राम में कैसे बनाया गया है ( तेजी से भ्रमित न होने के लिए । ए पैकेज - प्रोग्राम से पैकेज), नीचे वे चरण हैं जो हम एक साधारण स्थिति में लेंगे:

डेटा वृद्धि और precompute सक्षम करें = सत्य
उच्चतम सीखने की दर गुणांक खोजने के लिए Ir_find () का उपयोग करें, जहां नुकसान अभी भी स्पष्ट रूप से सुधार रहा है।
1-2 युग के लिए पूर्व-परिकलित सक्रियण की अंतिम परत को प्रशिक्षित करें।
डेटा लाभ के साथ अंतिम परत को प्रशिक्षित करें (यानी, गणना = असत्य) 1-2 युग के लिए _len 1 चक्र के साथ।
सभी परतों को पिघलाएं।
एक सीखने की गति कारक पर पहले की परतें रखें जो अगली उच्च परत के नीचे 3x-10x है
पुनः उपयोग करें Ir_find ()
चक्र के साथ एक पूर्ण नेटवर्क को प्रशिक्षित करें _mult = 2 = 2 जब तक वह फिर से शुरू नहीं करता है।

आप देख सकते हैं कि चरण दो, पांच और सात (उपरोक्त में से) लर्निंग फैक्टर की दर से संबंधित हैं। अपनी पोस्ट के पहले भाग में, हमने दूसरे उल्लिखित चरणों के बिंदु पर प्रकाश डाला - जहां हमने मॉडल को शुरू करने से पहले सीखने की गति का सबसे अच्छा गुणांक प्राप्त करने के तरीके को छुआ था।

अगले पैराग्राफ में, हमने बात की कि आप एसजीडीआर का उपयोग करके प्रशिक्षण के समय को कैसे कम कर सकते हैं, और समय-समय पर सीखने की गति कारक को फिर से शुरू करके सटीकता में सुधार करें ताकि आप उन क्षेत्रों से बच सकें जहां ग्रेडिएंट शून्य के करीब है।
अंतिम खंड में, हम विभेदित अधिगम की अवधारणा को स्पर्श करेंगे और यह समझाएंगे कि कैसे इसका उपयोग सीखने की गति के गुणांक को निर्धारित करने के लिए किया जाता है जब एक प्रशिक्षित मॉडल एक पूर्व-प्रशिक्षित के साथ जुड़ा हुआ हो ...

डिफरेंशियल लर्निंग क्या है

यह एक ऐसी विधि है जिसमें प्रशिक्षण के दौरान नेटवर्क पर विभिन्न प्रशिक्षण गति कारक निर्धारित किए जाते हैं। यह उपयोगकर्ताओं को प्रशिक्षण के दौरान नेटवर्क के माध्यम से समान सीखने की गति कारक का उपयोग करके आमतौर पर सीखने की गति कारकों को समायोजित करने का तरीका प्रदान करता है।

मुझे ट्विटर से प्यार करने का कारण खुद उस व्यक्ति की सीधी प्रतिक्रिया है।
(इस पोस्ट को लिखने के समय, जेरेमी ने सेबस्टियन रुडर के साथ एक लेख प्रकाशित किया, जो इस विषय में और भी गहरा गया। इसलिए, मेरा मानना है, सीखने की गति के अंतर गुणांक का अब एक और नाम है - भेदभावपूर्ण सटीक ट्यून :)

अवधारणा को और अधिक स्पष्ट रूप से प्रदर्शित करने के लिए, हम नीचे दिए गए आरेख का उल्लेख कर सकते हैं, जिसमें पूर्व-प्रशिक्षित मॉडल 3 समूहों में "विभाजित" है, जहां प्रत्येक को सीखने की गति गुणांक के बढ़ते मूल्य के साथ समायोजित किया जाता है।

विभेदित अधिगम दर गुणांक के साथ सीएनएन उदाहरण । छवि क्रेडिट [3] से

इस कॉन्फ़िगरेशन विधि में निम्नलिखित समझ है: पहली कुछ परतों में आम तौर पर डेटा के बहुत छोटे विवरण होते हैं, जैसे कि लाइनें और कोण - जिनसे हम बहुत कुछ बदलने की कोशिश नहीं करेंगे और उनमें निहित जानकारी को बचाने की कोशिश करेंगे। सामान्य तौर पर, किसी भी बड़ी संख्या में अपना वजन बदलने की कोई गंभीर आवश्यकता नहीं है।

इसके विपरीत, बाद की परतों के लिए - जैसे कि चित्र में हरे रंग से चित्रित, जहां हमें डेटा के विस्तृत संकेत मिलते हैं, जैसे कि आंखों, या मुंह, या नाक के गोरे - उन्हें बचाने की आवश्यकता गायब हो जाती है।

यह अन्य ठीक ट्यूनिंग विधियों के साथ तुलना कैसे करता है?

[९] में, यह साबित हुआ कि पूरे मॉडल को ठीक करना बहुत महंगा होगा, क्योंकि उपयोगकर्ता १०० से अधिक परतें प्राप्त कर सकते हैं। सबसे अधिक बार, लोग एक समय में एक परत मॉडल का अनुकूलन करने का सहारा लेते हैं।

हालांकि, यह कई आवश्यकताओं का कारण है, तथाकथित समवर्ती हस्तक्षेप, और एक डेटा सेट के माध्यम से कई इनपुट की आवश्यकता होती है, जो छोटे सेटों के अति-प्रशिक्षण की ओर जाता है।

हमने यह भी दिखाया कि [9] में प्रस्तुत तरीके एनआरएल वर्गीकरण से संबंधित विभिन्न कार्यों में सटीकता में सुधार और त्रुटियों की संख्या को कम करने में सक्षम हैं।

स्रोत से लिए गए परिणाम [9]

संदर्भ:
[१] सीखने की दर के साथ काम करने के तरीके में सुधार करना।
[२] चक्रीय अधिगम दर तकनीक।
[३] अंतर सीखने की दरों का उपयोग करके स्थानांतरण सीखना।
[४] लेस्ली एन स्मिथ। प्रशिक्षण तंत्रिका नेटवर्क के लिए चक्रीय सीखना दरें।
[५] एक डीप न्यूरल नेटवर्क के लिए एक ऑप्टिमल लर्निंग रेट का अनुमान लगाना
[६] स्टोचैस्टिक ग्रैडिएंट डिसेंट विथ वार्म रिस्टार्ट्स
[[] २०१ for में डीप लर्निंग हाइलाइट्स के लिए अनुकूलन
[[] पाठ १ नोटबुक, fast.ai भाग १ V2
[९] पाठ वर्गीकरण के लिए ठीक-ठीक भाषा मॉडल

एक सीखने की गति कारक क्या है और यह गहरी सीखने की विशेषताओं को कैसे बेहतर बनाता है?