एआई, व्यावहारिक पाठ्यक्रम। छवियों में भावनाओं को पहचानने के लिए मॉडल और हाइपरपरमेटर्स स्थापित करना

इस प्रशिक्षण श्रृंखला के पिछले लेखों में, डेटा तैयार करने के संभावित विकल्पों का वर्णन किया गया था। छवियों के साथ डेटा के पूर्व-प्रसंस्करण और इसके अलावा , इन लेखों में, एक दृढ़ तंत्रिका नेटवर्क की छवियों के आधार पर भावनाओं को पहचानने के लिए आधार मॉडल का भी निर्माण किया गया था।
इस लेख में, हम आगमनात्मक अधिगम नामक तकनीक का उपयोग करके छवियों में भावनाओं को पहचानने के लिए एक बेहतर दृढ़ तंत्रिका नेटवर्क मॉडल का निर्माण करेंगे।

पहले आपको छवियों में पहचानने के लिए मूल मॉडल पर लेख के साथ खुद को परिचित करने की आवश्यकता है, आप इसे पढ़ते समय भी संदर्भित कर सकते हैं, क्योंकि कुछ खंड, स्रोत डेटा का अध्ययन और नेटवर्क संकेतक का वर्णन करने सहित, यहां विस्तार से नहीं दिया जाएगा।

डेटा

डेटा सेट में दो वर्गों की भावनाओं के साथ 1630 छवियां शामिल हैं: नकारात्मक (कक्षा 0) और सकारात्मक (कक्षा 1)। ऐसी छवियों के कुछ उदाहरण नीचे दिए गए हैं।

नकारात्मक






सकारात्मक






कुछ उदाहरणों में स्पष्ट सकारात्मक या नकारात्मक भावना होती है, जबकि अन्य को वर्गीकृत नहीं किया जा सकता है - यहां तक ​​कि मानव भागीदारी के साथ भी। ऐसे मामलों के एक दृश्य निरीक्षण के आधार पर, हम अनुमान लगाते हैं कि अधिकतम संभव सटीकता लगभग 80 प्रतिशत होनी चाहिए। ध्यान दें कि कक्षाओं में एक छोटे असंतुलन के कारण एक यादृच्छिक क्लासिफायर लगभग 53 प्रतिशत सटीकता प्रदान करता है।

मॉडल को प्रशिक्षित करने के लिए, हम नमूनों के हिस्से को बनाए रखने की तकनीक का उपयोग करते हैं और प्रारंभिक डेटा सेट को दो भागों में विभाजित करते हैं, जिनमें से एक (प्रारंभिक सेट का 20 प्रतिशत) सत्यापन के लिए हमारे द्वारा उपयोग किया जाएगा। विभाजन का उपयोग स्तरीकरण का उपयोग करके किया जाता है : इसका मतलब है कि प्रशिक्षण और परीक्षण सेट में कक्षाओं के बीच संतुलन बनाए रखा जाता है।

डेटा अपर्याप्तता का समाधान करना

मूल मॉडल ने परिणाम दिखाए, केवल छवियों के वर्ग की यादृच्छिक भविष्यवाणियों की तुलना में थोड़ा बेहतर। इस व्यवहार के कई संभावित कारण हो सकते हैं। हम मानते हैं कि मुख्य कारण यह है कि नेटवर्क के अवतरण वाले भाग के ऐसे प्रशिक्षण के लिए डेटा की उपलब्ध मात्रा निश्चित रूप से अपर्याप्त है जो इनपुट छवि के आधार पर विशेषता विशेषताओं को प्राप्त करने की अनुमति देगा।
डेटा अपर्याप्तता की समस्या को हल करने के कई अलग-अलग तरीके हैं। यहाँ उनमें से कुछ हैं:

• फिर से लाना । विधि का विचार डेटा के वितरण का मूल्यांकन करना और इस वितरण से नए उदाहरणों का चयन करना है।
• बिना शिक्षक के सीखना । हर कोई एक ही प्रकृति के डेटा की बड़ी मात्रा को किसी दिए गए डेटासेट में चिह्नित उदाहरणों के रूप में पा सकता है। उदाहरण के लिए, यह भाषण पहचान के लिए वीडियो मान्यता या ऑडियो पुस्तकों के लिए फिल्में हो सकती हैं। रास्ते के साथ अगला कदम मॉडल को पूर्व-प्रशिक्षण के लिए इस डेटा का उपयोग करना है (उदाहरण के लिए, ऑटो-एनकोडर का उपयोग करके)।
• डेटा ऑगमेंटेशन । इस प्रक्रिया के दौरान, नमूना डेटा को परिवर्तनों के दिए गए सेट का उपयोग करके यादृच्छिक रूप से संशोधित किया जाता है।
• प्रेरक अधिगम । यह विषय हमारे लिए बहुत महत्वपूर्ण है, इसलिए आइए इसके बारे में अधिक विस्तार से परिचित हों।

प्रेरक अधिगम

आगमनात्मक प्रशिक्षण शब्द लगभग समान प्रकृति के विभिन्न डेटा सेटों पर प्रशिक्षित मॉडल (अक्सर बहुत बड़े) का उपयोग करने वाली तकनीकों के एक सेट को संदर्भित करता है।





पारंपरिक मशीन सीखने और आगमनात्मक सीखने के तरीकों की तुलना। छवि एस। रूडर के ब्लॉग प्रविष्टि "आगमनात्मक सीखने?" ।
आगमनात्मक सीखने का उपयोग करने के लिए तीन मुख्य परिदृश्य हैं:

• पूर्व प्रशिक्षित मॉडल । कोई भी उपयोगकर्ता बस किसी और द्वारा प्रशिक्षित मॉडल ले सकता है और अपने कार्यों के लिए उपयोग कर सकता है। यदि कार्य बहुत समान हैं, तो ऐसा परिदृश्य संभव है।
• संकेतों का ब्लॉक चयन । इस बिंदु पर, हम जानते हैं कि मॉडल की वास्तुकला को दो मुख्य भागों में विभाजित किया जा सकता है: फीचर निष्कर्षण इकाई , जो इनपुट डेटा से सुविधाओं को निकालने के लिए जिम्मेदार है, और वर्गीकरण मॉड्यूल , जो प्राप्त विशेषताओं के आधार पर उदाहरणों को वर्गीकृत करता है। आमतौर पर, सुविधा निष्कर्षण ब्लॉक मॉडल का मुख्य हिस्सा है। विधि का विचार एक अन्य समस्या में प्रशिक्षित मॉडल से सुविधाओं को अलग करने के लिए एक ब्लॉक लेना है, इसके वजन गुणांक (उन्हें अप्रशिक्षित करना) को ठीक करना, और फिर विचार के तहत समस्या के लिए इसके आधार पर नए वर्गीकरण मॉड्यूल का निर्माण करना है। वर्गीकरण मॉड्यूल आमतौर पर बहुत गहरा नहीं होता है और इसमें कई पूरी तरह से जुड़े हुए परत होते हैं, इसलिए यह मॉडल प्रशिक्षित करना बहुत आसान है।
• सटीक और गहरी ट्यूनिंग । यह विधि एक सुविधा निष्कर्षण ब्लॉक का उपयोग करते हुए परिदृश्य की तरह है। समान एक्ट्रेसेस "फ्रीजिंग" के अपवाद के साथ किए जाते हैं जो कि फीचर एक्सट्रैक्शन एक्सट्रैक्ट ब्लॉक है। उदाहरण के लिए, आप वीजीजी नेटवर्क को एक फीचर एक्सट्रैक्शन ब्लॉक के रूप में ले सकते हैं और इसमें "फ्रीज" केवल पहले तीन (चार में से) कन्वेन्शनल ब्लॉक। इस स्थिति में, सुविधा निष्कर्षण इकाई वर्तमान कार्य के लिए बेहतर अनुकूलन कर सकती है। अधिक जानकारी के लिए, एफ। चॉलेट का ब्लॉग पोस्ट देखें। बहुत कम मात्रा में डेटा का उपयोग करके शक्तिशाली छवि वर्गीकरण मॉडल बनाएं ।

आगमनात्मक सीखने का उपयोग करने के लिए परिदृश्यों का विस्तृत विवरण पाया जा सकता है स्टैनफोर्ड यूनिवर्सिटी पाठ्यक्रम CS231n में दृश्य मान्यता के लिए प्रासंगिक तंत्रिका नेटवर्क Fei- Fee Li द्वारा और एस। रुडर इंडक्टिव सीखने द्वारा ब्लॉग प्रविष्टियाँ विकास में अगला सीमांत है। मशीन लर्निंग (अधिक व्यापक रूप से चर्चा किए गए विषय)।

आपके पास प्रश्न हो सकते हैं: इन सभी तरीकों की आवश्यकता क्यों है और वे काम क्यों कर सकते हैं? हम उनका जवाब देने की कोशिश करेंगे।

• बड़े डेटासेट का उपयोग करने के लाभ। उदाहरण के लिए, हम ImageNet प्रतियोगिता डेटासेट में शामिल 14 मिलियन छवियों पर प्रशिक्षित मॉडल से सुविधा निष्कर्षण ब्लॉक ले सकते हैं। ये मॉडल जटिल हैं जो इनपुट डेटा से बहुत उच्च-गुणवत्ता वाली सुविधाओं की निकासी की अनुमति देते हैं।
• समय से संबंधित विचार। बड़े मॉडलों को प्रशिक्षित करने में सप्ताह या महीने भी लग सकते हैं। इस मामले में, हर कोई भारी मात्रा में समय और कंप्यूटिंग संसाधनों को बचा सकता है।
• एक वज़नदार धारणा अंतर्निहित है कि यह सब क्यों काम कर सकता है: इस प्रकार, एक कार्य में प्रशिक्षण से प्राप्त विशेषताएँ किसी अन्य कार्य के लिए उपयोगी और उपयुक्त हो सकती हैं। दूसरे शब्दों में, सुविधाओं में समस्या के संबंध में आक्रमण की संपत्ति है। ध्यान दें कि नए कार्य का डोमेन मूल कार्य के डोमेन के समान होना चाहिए। अन्यथा, सुविधा निष्कर्षण इकाई भी परिणाम खराब हो सकता है।

वर्धित मॉडल आर्किटेक्चर

अब हम आगमनात्मक सीखने की अवधारणा से परिचित हैं। हम यह भी जानते हैं कि इमेजनेट एक प्रमुख घटना है, जिसमें लगभग सभी आधुनिक उन्नत कंफर्टेबल न्यूरल नेटवर्क आर्किटेक्चर का परीक्षण किया गया था। आइए, इनमें से किसी एक नेटवर्क से सुविधा निष्कर्षण ब्लॉक लेने की कोशिश करें।

सौभाग्य से, केरेस लाइब्रेरी हमें कई प्री-प्रशिक्षित (इमेजनेट के माध्यम से) मॉडल प्रदान करती है जो इस प्लेटफॉर्म के अंदर बनाए गए थे। हम इनमें से एक मॉडल का आयात और उपयोग करते हैं।



इस मामले में, हम VGG आर्किटेक्चर के साथ एक नेटवर्क का उपयोग करेंगे। केवल सुविधा निष्कर्षण इकाई का चयन करने के लिए, हम झूठा में शामिल_टॉप पैरामीटर सेट करके नेटवर्क के वर्गीकरण मॉड्यूल (शीर्ष तीन पूरी तरह से जुड़ी हुई परतें) को हटाते हैं। हम ImageNet में प्रशिक्षित नेटवर्क के भार का उपयोग करके अपने नेटवर्क को आरंभ करना चाहते हैं। अंतिम पैरामीटर इनपुट का आकार है।

कृपया ध्यान दें कि इमेजनेट प्रतियोगिता में मूल चित्रों का आकार (224, 224, 3) है, जबकि हमारी छवियां (400, 500, 3) आकार में हैं। हालाँकि, हम कन्वेन्शनल लेयर्स का उपयोग करते हैं - इसका मतलब है कि नेटवर्क वेट्स कन्वेक्शन ऑपरेशन में चल रही गुठली का वजन है। साथ में पैरामीटर पृथक्करण की संपत्ति के साथ (इसके बारे में एक चर्चा हमारे सैद्धांतिक लेख में पाया गया है कि छवियों को वर्गीकृत करने के लिए दृढ़ तंत्रिका नेटवर्क का अवलोकन ), यह इस तथ्य की ओर जाता है कि इनपुट डेटा का आकार लगभग मनमाना हो सकता है, क्योंकि एक स्लाइडिंग विंडो के माध्यम से सजा का प्रदर्शन किया जाता है, और यह विंडो स्लाइड कर सकती है किसी भी आकार की छवि। केवल सीमा यह है कि इनपुट डेटा का आकार काफी बड़ा होना चाहिए ताकि यह कुछ मध्यवर्ती परत में एक बिंदु (स्थानिक माप) तक न गिरे, क्योंकि अन्यथा आगे की गणना करना असंभव होगा।

हमारे द्वारा उपयोग की जाने वाली एक और चाल कैशिंग है । वीजीजी एक बहुत बड़ा नेटवर्क है। सुविधा निष्कर्षण इकाई के माध्यम से सभी छवियों (1630 उदाहरण) के लिए एक सीधा पास लगभग 50 सेकंड लेता है। हालांकि, यह याद रखना चाहिए कि सुविधा निष्कर्षण इकाई का वजन निश्चित है, और एक सीधा पास हमेशा एक ही छवि के लिए एक ही परिणाम देता है। हम इस तथ्य का उपयोग केवल एक बार सुविधा निष्कर्षण इकाई के माध्यम से एक प्रत्यक्ष पास करने के लिए कर सकते हैं और फिर एक मध्यवर्ती सरणी में परिणामों को कैश कर सकते हैं। इस परिदृश्य को लागू करने के लिए, हम पहले हार्ड ड्राइव से फ़ाइलों को सीधे लोड करने के लिए ImageDataGenerator वर्ग का एक उदाहरण बनाते हैं (अधिक जानकारी के लिए, छवियों में भावनाओं को पहचानने के लिए आधार लेख मूल मॉडल देखें)।



अगले चरण में, हम छवि सुविधाओं को प्राप्त करने के लिए मॉडल के हिस्से के रूप में पूर्व निर्मित फीचर निष्कर्षण ब्लॉक को भविष्यवाणी मोड में उपयोग करते हैं।



इसमें लगभग 50 सेकंड का समय लगता है। अब हम मॉडल के ऊपरी वर्गीकरण भाग के बहुत त्वरित प्रशिक्षण के लिए परिणामों का उपयोग कर सकते हैं - एक युग हमारे लिए लगभग 1 सेकंड तक रहता है। अब कल्पना करें कि प्रत्येक युग 50 सेकंड तक रहता है। इस प्रकार, इस सरल कैशिंग तकनीक ने हमें नेटवर्क प्रशिक्षण की प्रक्रिया को 50 गुना तेज करने की अनुमति दी! इस परिदृश्य में, हम रैम में सभी उदाहरणों के लिए सभी संकेत सहेजते हैं, क्योंकि इसकी मात्रा इसके लिए पर्याप्त है। बड़े डेटा सेट का उपयोग करते समय, आप गुणों की गणना कर सकते हैं, उन्हें हार्ड ड्राइव पर लिख सकते हैं, और फिर जनरेटर वर्ग से जुड़े समान दृष्टिकोण का उपयोग करके उन्हें पढ़ सकते हैं।

अंत में, मॉडल के वर्गीकरण भाग की वास्तुकला पर विचार करें:





याद रखें कि दृढ़ तंत्रिका नेटवर्क सुविधा निष्कर्षण ब्लॉक के उत्पादन में, एक चार-आयामी टेंसर (उदाहरण, ऊंचाई, चौड़ाई और चैनल) जारी किए जाते हैं, और वर्गीकरण के लिए पूरी तरह से जुड़ी परत एक दो-आयामी टेंसर (उदाहरण, सुविधाएँ) लेती है। सुविधाओं के साथ एक चार-आयामी टेंसर को बदलने का एक तरीका बस इसे पिछले तीन अक्षों के आसपास संरेखित करना है (हमने बेस मॉडल में एक समान तकनीक का इस्तेमाल किया)। इस परिदृश्य में, हम एक अलग दृष्टिकोण का उपयोग करते हैं, जिसे वैश्विक माध्य मान उप - नमूना (GAP) कहा जाता है। चार-आयामी वैक्टर को संरेखित करने के बजाय, हम दो स्थानिक आयामों के आधार पर औसत मान लेंगे। वास्तव में, हम विशेषताओं का एक नक्शा लेते हैं और बस इसमें सभी मूल्यों को औसत करते हैं। GAP पद्धति को पहली बार नेट पर मिन लिन नेटवर्क के उत्कृष्ट कार्य में पेश किया गया था (यह पुस्तक वास्तव में इसे जानने के लिए लायक है क्योंकि यह कुछ महत्वपूर्ण अवधारणाओं पर चर्चा करता है - उदाहरण के लिए, 1 × 1 दृढ़ संकल्प)। जीएपी दृष्टिकोण का एक स्पष्ट लाभ मापदंडों की संख्या में महत्वपूर्ण कमी है। जीएपी का उपयोग करते हुए, हमें प्रत्येक उदाहरण के लिए केवल 512 सुविधाएँ मिलती हैं, जबकि कच्चे डेटा को संरेखित करते हुए, सुविधाओं की संख्या 15 × 12 × 512 = 92 160 होगी। इससे गंभीर ओवरहेड हो सकता है, क्योंकि इस मामले में मॉडल का वर्गीकरण भाग 50 होगा मिलियन पैरामीटर! मॉडल के वर्गीकरण भाग के अन्य तत्व, जैसे कि पूरी तरह से जुड़े हुए परतें और परतें जो अपवर्जन विधि को लागू करते हैं, लेख में छवियों में भावनाओं को पहचानने के लिए मूल मॉडल पर विस्तार से चर्चा की गई है।

सेटिंग्स और प्रशिक्षण विकल्प

केरेस का उपयोग करके हमारे मॉडल की वास्तुकला तैयार करने के बाद, आपको संकलन पद्धति का उपयोग करके प्रशिक्षण के लिए पूरे मॉडल को कॉन्फ़िगर करने की आवश्यकता है।



इस मामले में, हम उन सेटिंग्स का उपयोग करते हैं जो बेस मॉडल की सेटिंग्स के लगभग समान हैं, जिसमें ऑप्टिमाइज़र की पसंद को छोड़कर। सीखने का अनुकूलन करने के लिए, द्विआधारी क्रॉस-एन्ट्रोपी का उपयोग एक हानि फ़ंक्शन के रूप में किया जाएगा, और एक सटीकता मीट्रिक अतिरिक्त रूप से ट्रैक की जाएगी। हम एडम पद्धति का उपयोग एक अनुकूलक के रूप में करते हैं। एडम एक पल और अनुकूली सीखने की गति के साथ स्टॉचस्टिक ग्रेडिएंट डिसेंट एल्गोरिथ्म का एक प्रकार है (अधिक जानकारी के लिए क्रमिक वंश अनुकूलन एल्गोरिदम के एस रूडर अवलोकन द्वारा ब्लॉग प्रविष्टि देखें)।

सीखने की गति एक ऑप्टिमाइज़र हाइपरपरमीटर है जिसे मॉडल को चालू करने के लिए कॉन्फ़िगर किया जाना चाहिए। याद रखें कि "वेनिला" ढाल वंश के लिए सूत्र में अतिरिक्त कार्यक्षमता नहीं है:



(मॉडल मापदंडों का सदिश है (हमारे मामले में, ये तंत्रिका नेटवर्क के भारांक गुणांक हैं), - उद्देश्य फ़ंक्शन है, ∇ ग्रेडिएंट ऑपरेटर है (गणना की त्रुटि वापस प्रसार एल्गोरिदम का उपयोग करके), α सीखने की गति है। इस प्रकार, उद्देश्य फ़ंक्शन का ढाल पैरामीटर स्पेस में अनुकूलन कदम की दिशा का प्रतिनिधित्व करता है, और सीखने की गति इसका आकार है। अनुचित रूप से उच्च सीखने की गति का उपयोग करते समय, बहुत बड़े कदम के आकार के कारण इष्टतम बिंदु के लगातार फिसलने की संभावना है। दूसरी ओर, यदि सीखने की गति बहुत कम है, तो अनुकूलन में बहुत अधिक समय लगेगा और वैश्विक चरम सीमा के बजाय केवल निम्न-गुणवत्ता वाली स्थानीय मिनीमाता में अभिसरण सुनिश्चित कर सकता है। इसलिए, प्रत्येक विशिष्ट स्थिति में, एक उचित समझौता करने के लिए आवश्यक है। एडम एल्गोरिथ्म के लिए डिफ़ॉल्ट सेटिंग्स का उपयोग शुरू करने के लिए एक अच्छा प्रारंभिक बिंदु है।

हालाँकि, इस कार्य में, डिफ़ॉल्ट एडम सेटिंग्स खराब परिणाम दिखाती हैं। हमें शुरुआती सीखने की दर को घटाकर 0.0001 करने की जरूरत है। अन्यथा, प्रशिक्षण अभिसरण सुनिश्चित करने में सक्षम नहीं होगा।

अंततः, हम 100 युगों में सीखना शुरू कर सकते हैं और फिर मॉडल को स्वयं और सीखने के इतिहास को बचा सकते हैं। % समय कमांड एक Ipython * मैजिक कमांड है जो आपको कोड निष्पादन समय को मापने की अनुमति देता है।

मूल्यांकन

आइए प्रशिक्षण के दौरान मॉडल की प्रभावशीलता का मूल्यांकन करें। हमारे मामले में, सत्यापन सटीकता 73 प्रतिशत (आधार मॉडल का उपयोग करते हुए 55 प्रतिशत की तुलना में) है। यह परिणाम आधार मॉडल के परिणाम से बहुत बेहतर है।

आइए अशुद्धि के मैट्रिक्स का उपयोग करके त्रुटि वितरण को भी देखें। गलत रूप से वर्गीकृत नकारात्मक उदाहरणों (अशुद्धि के मैट्रिक्स के ऊपरी बाएं सेल) की ओर एक मामूली पूर्वाग्रह के साथ कक्षाओं के बीच त्रुटियों को लगभग समान रूप से वितरित किया जाता है। इसे सकारात्मक वर्ग की ओर निर्धारित आंकड़ों में एक छोटे असंतुलन द्वारा समझाया जा सकता है।

एक और मीट्रिक हम ट्रैक करते हैं रिसीवर प्रदर्शन वक्र (आरओसी वक्र) और इस वक्र (एयूसी) के तहत क्षेत्र। इन मैट्रिक्स के विस्तृत विवरण के लिए, चित्रों में भावनाओं को पहचानने के लिए लेख मूल मॉडल देखें।



आरओसी वक्र के करीब ग्राफ के ऊपरी बाएं बिंदु पर है और इसके तहत बड़ा क्षेत्र (एयूसी मीट्रिक), बेहतर क्लासिफायर काम करता है। यह आंकड़ा स्पष्ट रूप से दिखाता है कि एक बेहतर और पूर्व-प्रशिक्षित मॉडल खरोंच से निर्मित बेस मॉडल की तुलना में बेहतर परिणाम दिखाता है। पूर्व प्रशिक्षित मॉडल के लिए एयूसी मूल्य 0.82 है, जो एक अच्छा परिणाम है।

निष्कर्ष

इस लेख में, हम एक शक्तिशाली तकनीक - आगमनात्मक सीखने के साथ मिले। हमने VGG आर्किटेक्चर पर आधारित एक पूर्व-प्रशिक्षित सुविधा निष्कर्षण इकाई का उपयोग करके एक दृढ़ तंत्रिका नेटवर्क क्लासिफायरियर का निर्माण किया। यह क्लासिफायरियर अपने प्रदर्शन की विशेषताओं को पार कर गया, जो मूल दृढ़ मॉडल है, जिसे खरोंच से प्रशिक्षित किया गया है। सटीकता में वृद्धि 18 प्रतिशत थी, और एयूसी मीट्रिक में वृद्धि 0.25 थी, जो प्रणाली की गुणवत्ता में बहुत महत्वपूर्ण वृद्धि को प्रदर्शित करती है।