👩🏼‍🍳 💍 🚹 दीप (लर्निंग + रैंडम) वन और लेख पार्सिंग 👂🏿 🧔🏽 👵

हम AISTATS 2019 के आंकड़ों और मशीन सीखने पर सम्मेलन के बारे में बात करना जारी रखते हैं। इस पोस्ट में हम पेड़ के नमूनों से गहरे मॉडल के बारे में लेखों का विश्लेषण करेंगे, अत्यधिक विरल डेटा के लिए नियमितीकरण का मिश्रण करेंगे, और क्रॉस-वैलिडेशन का समय-कुशल सन्निकटन करेंगे।

डीप फॉरेस्ट एलगोरिदम: नॉन-एनएन डीप मॉडल्स के लिए गैर-अलग-अलग मॉड्यूल्स पर आधारित एक एक्सप्लोरेशन

ज़ी-हुआ झोउ (नानजिंग विश्वविद्यालय)
→ प्रस्तुति
→ लेख
कार्यान्वयन - नीचे

चीन के एक प्रोफेसर ने पेड़ों के पहनावे के बारे में बात की, जिसे लेखक गैर-अलग-अलग मॉड्यूल पर पहला गहन प्रशिक्षण कहते हैं। यह एक बहुत जोर से बयान की तरह लग सकता है, लेकिन यह प्रोफेसर और उनके एच-इंडेक्स 95 वक्ताओं को आमंत्रित किया जाता है, यह तथ्य हमें बयान को अधिक गंभीरता से लेने की अनुमति देता है। दीप वन का मूल सिद्धांत लंबे समय से विकसित किया गया है, मूल लेख पहले से ही 2017 (लगभग 200 उद्धरण) है, लेकिन लेखक पुस्तकालय लिखते हैं और हर साल वे गति में एल्गोरिथ्म में सुधार करते हैं। और अब, ऐसा लगता है, वे उस बिंदु पर पहुंच गए हैं जहां इस सुंदर सिद्धांत को अंततः अभ्यास में लाया जा सकता है।

दीप वन वास्तुकला का सामान्य दृश्य

आवश्यक शर्तें

गहरे मॉडल, जिन्हें अब गहरे तंत्रिका नेटवर्क के रूप में समझा जाता है, का उपयोग जटिल डेटा निर्भरता को पकड़ने के लिए किया जाता है। इसके अलावा, यह पता चला है कि परतों की संख्या बढ़ाना प्रत्येक परत पर इकाइयों की संख्या बढ़ाने की तुलना में अधिक कुशल है। लेकिन तंत्रिका नेटवर्क में अपनी कमियां हैं:

यह बहुत सारे डेटा लेता है, पीछे हटने के लिए नहीं
यह उचित समय में सीखने के लिए बहुत सारे कंप्यूटिंग संसाधन लेता है,
बहुत से हाइपरपैरामीटर जो मुश्किल से कॉन्फ़िगर करने में मुश्किल होते हैं

इसके अलावा, गहरे तंत्रिका नेटवर्क के तत्व अलग-अलग मॉड्यूल हैं जो आवश्यक रूप से प्रत्येक कार्य के लिए प्रभावी नहीं हैं। तंत्रिका नेटवर्क की जटिलता के बावजूद, वैचारिक रूप से सरल एल्गोरिदम, जैसे कि एक यादृच्छिक जंगल, अक्सर बेहतर काम करते हैं या बहुत खराब नहीं होते हैं। लेकिन ऐसे एल्गोरिदम के लिए, आपको मैन्युअल रूप से डिज़ाइन सुविधाओं की आवश्यकता होती है, जो कि आशावादी रूप से करना भी मुश्किल है।

शोधकर्ताओं ने पहले ही ध्यान दिया है कि काग्ले पर पहनावा: "बहुत सही" है, और शोल और हिंटन के शब्दों से प्रेरित है कि भेदभाव डीप लर्निंग का सबसे कमजोर पक्ष है, उन्होंने डीएल गुणों वाले पेड़ों का एक समूह बनाने का फैसला किया।

स्लाइड "कैसे एक अच्छा पहनावा बनाने के लिए"

आर्किटेक्चर ensembles के गुणों से घटाया गया था: ensembles के तत्व गुणवत्ता और भिन्नता में बहुत खराब नहीं होने चाहिए।

GcForest में दो चरण होते हैं: Cascade Forest और Multi-Grained Scanning। इसके अलावा, ताकि झरना पीछे नहीं हटता है, इसमें 2 प्रकार के पेड़ होते हैं - जिनमें से एक बिल्कुल यादृच्छिक पेड़ है जो बिना डेटा के उपयोग किया जा सकता है। परतों की संख्या क्रॉस-सत्यापन एल्गोरिथ्म के अंदर निर्धारित की जाती है।

दो प्रकार के पेड़

परिणाम

मानक डेटासेट पर परिणामों के अलावा, लेखकों ने धोखाधड़ी के लिए खोज करने के लिए चीनी भुगतान प्रणाली के लेनदेन पर gcForest का उपयोग करने का प्रयास किया और F1 और AUC को LR और DNN की तुलना में बहुत अधिक मिला। ये परिणाम केवल प्रस्तुति में हैं, लेकिन कुछ मानक डेटासेट पर चलने वाला कोड गिट पर है।

एल्गोरिदम प्रतिस्थापन परिणाम। mdDF इष्टतम मार्जिन वितरण डीप फ़ॉरेस्ट, gcForest का एक प्रकार है

पेशेवरों:

कुछ हाइपरपरमेटर्स, एल्गोरिदम के अंदर परतों की संख्या स्वचालित रूप से समायोजित की जाती है
कई कार्यों पर अच्छी तरह से काम करने के लिए डिफ़ॉल्ट सेटिंग्स को चुना जाता है।
मॉडल की अनुकूली जटिलता, छोटे डेटा पर - एक छोटा मॉडल
सुविधाएँ सेट करने की आवश्यकता नहीं है
यह गुणवत्ता में गहरे तंत्रिका नेटवर्क के लिए तुलनीय काम करता है, और कभी-कभी बेहतर होता है

विपक्ष:

GPU पर त्वरित नहीं
चित्रों में DNNs खो देता है

तंत्रिका नेटवर्क में एक क्षीणन क्षीणन समस्या है, जबकि गहरे जंगल में "विविधता गायब" समस्या है। चूंकि यह एक पहनावा है, इसलिए अधिक "अलग" और "अच्छे" तत्वों का उपयोग करने के लिए, उच्च गुणवत्ता। समस्या यह है कि लेखकों ने लगभग सभी शास्त्रीय दृष्टिकोणों (नमूनाकरण, यादृच्छिककरण) की कोशिश की है। जब तक कोई नया बुनियादी शोध "मतभेद" के विषय पर प्रकट नहीं होता है, तब तक गहरे जंगलों की गुणवत्ता में सुधार करना मुश्किल होगा। लेकिन अब कंप्यूटिंग की गति में सुधार करना संभव है।

परिणामों की पुनरावृत्ति

मैं सारणीबद्ध डेटा पर XGBoost द्वारा साज़िश कर रहा था, और मैं परिणाम को पुन: उत्पन्न करना चाहता था। मैंने वयस्कों के डेटासेट ले लिए और GcForestCS (GcForest का थोड़ा त्वरित संस्करण) को लेख के लेखकों के मापदंडों और डिफ़ॉल्ट मापदंडों के साथ XGBoost के साथ लागू किया। इस उदाहरण में कि लेखकों के पास, श्रेणीबद्ध विशेषताएँ पहले से ही किसी तरह पूर्व-संसाधित थीं, लेकिन यह संकेत नहीं दिया गया कि कैसे। नतीजतन, मैंने कैटबोस्ट एंकोडर और एक अन्य मीट्रिक - आरओसी एयूसी का उपयोग किया। परिणाम सांख्यिकीय रूप से अलग थे - XGBoost जीता। XGBoost का संचालन समय नगण्य है, जबकि gcForestCS में 5 गुना पर प्रत्येक क्रॉस-मान्यता का 20 मिनट है। दूसरी ओर, लेखकों ने अलग-अलग डेटासेट पर एल्गोरिदम का परीक्षण किया, और इस डेटासेट के मापदंडों को उनकी सुविधा के अनुसार समायोजित किया।

यहां कोड पाया जा सकता है ।

कार्यान्वयन

→ लेख के लेखकों से आधिकारिक कोड
→ आधिकारिक तौर पर सुधार, तेजी से, लेकिन कोई प्रलेखन नहीं
→ कार्यान्वयन सरल है

PcLasso: लासो प्रमुख घटक प्रतिगमन से मिलता है

जे। केनेथ तय, जेरोम फ्रीडमैन, रॉबर्ट टिब्शिरानी (स्टैनफोर्ड यूनिवर्सिटी)

→ लेख
→ प्रस्तुति
→ उपयोग का उदाहरण

2019 की शुरुआत में, जे। केनेथ तय, जेरोम फ्रीडमैन, और स्टैनफोर्ड यूनिवर्सिटी के रॉबर्ट टिब्शिरानी ने एक शिक्षक के साथ एक नई शिक्षण पद्धति का प्रस्ताव रखा, विशेष रूप से विरल डेटा के लिए उपयुक्त।

लेख के लेखकों ने जीन अभिव्यक्ति के अध्ययन पर डेटा के विश्लेषण की समस्या को हल किया, जो ज़ेंग एंड ब्रीसी (2016) में वर्णित हैं। लक्ष्य p53 जीन की पारस्परिक स्थिति है, जो सेलुलर तनाव के विभिन्न संकेतों के जवाब में जीन अभिव्यक्ति को नियंत्रित करता है। अध्ययन का उद्देश्य उन भविष्यवक्ताओं की पहचान करना है जो पी 53 की पारस्परिक स्थिति के साथ संबंध रखते हैं। डेटा में 50 पंक्तियाँ होती हैं, जिनमें से 17 को सामान्य के रूप में वर्गीकृत किया जाता है और शेष 33 को p53 जीन में परिवर्तन किया जाता है। सुब्रमण्यन एट अल में विश्लेषण के अनुसार। (2005) जीन के 308 सेट जो कि 15 से 500 के बीच हैं, इस विश्लेषण में शामिल हैं। इन जीन किटों में कुल 4,301 जीन होते हैं और ये gpregOverlap R पैकेज में उपलब्ध हैं। अतिव्यापी समूहों को संसाधित करने के लिए डेटा का विस्तार करते समय, 13,237 कॉलम आउटपुट होते हैं। लेख के लेखकों ने PCLasso पद्धति का उपयोग किया, जिसने मॉडल परिणामों को बेहतर बनाने में मदद की।

चित्र में हम "pcLasso" का उपयोग करते समय AUC में वृद्धि देखते हैं

विधि का सार

विधि जोड़ती है $l_1$ के साथ अनियमितता $l_2$ , जो गुणांक के वेक्टर को फीचर मैट्रिक्स के मुख्य घटकों में बताता है। उन्होंने प्रस्तावित विधि को "कोर लैस्सो घटक" ("पीसी लैस्सो" आर पर उपलब्ध) कहा। विधि विशेष रूप से शक्तिशाली हो सकती है यदि चर पहले से समूहीकृत हैं (उपयोगकर्ता चुनता है कि समूह को क्या और कैसे करना है)। इस स्थिति में, PCLasso प्रत्येक समूह को संपीड़ित करता है और इस समूह के मुख्य घटकों की दिशा में समाधान प्राप्त करता है। हल करने की प्रक्रिया में, उपलब्ध लोगों के बीच महत्वपूर्ण समूहों का चयन भी किया जाता है।

हम सुविधाओं के एक केंद्रित मैट्रिक्स के एकवचन अपघटन के विकर्ण मैट्रिक्स को प्रस्तुत करते हैं $एक्स$ निम्नानुसार है:

हम केंद्रित मैट्रिक्स एक्स (एसवीडी) के रूप में हमारे विलक्षण अपघटन का प्रतिनिधित्व करते हैं $एक्स = यूडीवी ^ टी$ जहाँ $डी$ एक विकर्ण मैट्रिक्स है जिसमें एकवचन मान शामिल हैं। इस रूप में $l_2$ - नियमितीकरण का प्रतिनिधित्व किया जा सकता है:
$\ Beta ^ T VZV ^ T \ Beta$ जहाँ $जेड$ - विकर्ण मैट्रिक्स, जो एकवचन मानों के वर्गों का कार्य करते हैं: $Z_ {11} = f_1 (d_1 ^ 2, d_2 ^ 2, ..., d_m ^ 2), ..., Z_ {22} = f_2 (d_1 ^ 2, d_2 ^ 2, ..., d_m ^ 2)$ ।

सामान्य तौर पर, में $l_2$ -regulyarizatsii $Z_ {jj} = 1$ सभी के लिए $j$ यह मेल खाता है $\ बीटा ^ टी \ बीटा$ । वे निम्नलिखित कार्यक्षमता को कम करने का सुझाव देते हैं:

यहां $डी$ - विकर्ण तत्वों के अंतर का मैट्रिक्स $d_1 ^ 2-d_1 ^ 2, d_1 ^ 2-d_2 ^ 2, ..., d_1 ^ 2-d_m ^ 2$ । दूसरे शब्दों में, हम वेक्टर को नियंत्रित करते हैं $\ बीटा$ हाइपरपैरमीटर का उपयोग करना $\ The थीटा$ ।
इस अभिव्यक्ति को बदलते हुए, हमें इसका समाधान मिलता है:

लेकिन विधि का मुख्य "फीचर", निश्चित रूप से, समूह डेटा की क्षमता है, और इन समूहों के आधार पर समूह के मुख्य घटकों को उजागर करना है। फिर हम फॉर्म में हमारे समाधान को फिर से लिखते हैं:

यहां $\ बीटा_के$ - वेक्टर सबवेक्टर $\ बीटा$ समूह k के अनुरूप, $d_k = (d_ {k1}, ..., d_ {kmk})$ - एकवचन मान $X_k$ अवरोही क्रम में व्यवस्थित, और $D_ {d_ {k1} ^ 2-d_ {kj} ^ 2}$ - विकर्ण मैट्रिक्स $d_ {k1} ^ 2-d_ {kj} ^ 2, j = 1,2, ..., m_k$

लक्ष्य कार्यात्मक के समाधान पर कुछ नोट्स:

उद्देश्य फ़ंक्शन उत्तल है, और गैर-चिकनी घटक वियोज्य है। इसलिए, यह ढाल वंश का उपयोग करके प्रभावी ढंग से अनुकूलित किया जा सकता है।
दृष्टिकोण कई मूल्यों के लिए है $\ The थीटा$ (शून्य सहित, क्रमशः मानक प्राप्त करना $l_1$ -परिवर्तन), और फिर अनुकूलित करें: उठा रहा है $\ lambda$ । तदनुसार, पैरामीटर $\ The थीटा$ और $\ lambda$ क्रॉस-सत्यापन के लिए चुने गए हैं।
पैरामीटर $\ The थीटा$ व्याख्या करना कठिन है। सॉफ़्टवेयर (PCLasso पैकेज) में, उपयोगकर्ता स्वयं इस पैरामीटर का मान सेट करता है, जो कि अंतराल [0,1] से संबंधित है, जहाँ 1 से मेल खाती है $\ The थीटा$ = 0 (लासो)।

व्यवहार में, मूल्यों में भिन्नता है $\ The थीटा$ = 0.25, 0.5, 0.75, 0.9, 0.95 और 1, आप मॉडल की एक विस्तृत श्रृंखला को कवर कर सकते हैं।

एल्गोरिथ्म स्वयं इस प्रकार है

यह एल्गोरिदम पहले से ही आर में लिखा है, यदि आप चाहें, तो आप पहले से ही इसका उपयोग कर सकते हैं। पुस्तकालय को 'PCLasso' कहा जाता है।

एक स्विस सेना Infinitesimal Jackknife

रयान गिओरडानो (यूसी बर्कले); विलियम स्टीफेंसन (MIT); रनजिंग लियू (यूसी बर्कले);
माइकल जॉर्डन (यूसी बर्कले); तमारा ब्रोडरिक (MIT)

→ लेख
→ कोड

मशीन लर्निंग एल्गोरिदम की गुणवत्ता को अक्सर कई क्रॉस-वैलिडेशन (क्रॉस-वैलिडेशन या बूटस्ट्रैप) द्वारा मापा जाता है। ये विधियाँ शक्तिशाली हैं, लेकिन बड़े डेटा सेटों पर धीमी हैं।

इस काम में, सहकर्मी वजन के रैखिक सन्निकटन का उपयोग करते हैं, जिससे परिणाम तेजी से काम करते हैं। इस रैखिक सन्निकटन को सांख्यिकीय साहित्य में "इनफिनिटिसिमल जैकनाइफ" के रूप में जाना जाता है। यह मुख्य रूप से स्पर्शोन्मुख परिणामों को साबित करने के लिए एक सैद्धांतिक उपकरण के रूप में उपयोग किया जाता है। लेख के परिणाम इस बात पर ध्यान दिए बिना लागू होते हैं कि क्या वजन और डेटा स्टोचस्टिक या नियतात्मक हैं। परिणामस्वरूप, यह अनुमान क्रमिक रूप से किसी भी निश्चित k के लिए सही क्रॉस-सत्यापन का अनुमान लगाता है।

लेख के लेखक को पेपर पुरस्कार की प्रस्तुति

विधि का सार

एक अज्ञात पैरामीटर का अनुमान लगाने की समस्या पर विचार करें $\ theta \ _ in \ Omega _ {\ theta} \ subset R ^ {D}$ जहाँ $\ _ ओमेगा _ {\ थीटा}$ कॉम्पैक्ट है, और हमारे डेटासेट का आकार है $एन$ । हमारा विश्लेषण एक निश्चित डेटा सेट पर किया जाएगा। हमारी रेटिंग को परिभाषित करें $\ theta \ _ in \ Omega _ {\ theta}$ निम्नानुसार है:

प्रत्येक के लिए $n = 1,2 ..., एन$ , पूछना $g_n$ ( $\ The थीटा$ ) का एक कार्य है $\ ओमेगा _ {\ थीटा} \ सब्सेट आर ^ {डी}$
$\ omega_n$ एक वास्तविक संख्या है, और $\ _ ओमेगा$ एक वेक्टर से मिलकर बनता है $\ omega_n$

तो $\ _ \ _ थीटा$ के रूप में प्रतिनिधित्व किया जा सकता है:

ढाल पद्धति द्वारा इस अनुकूलन समस्या का समाधान करते हुए, हम मानते हैं कि कार्य भिन्न हैं और हम हेसियन की गणना कर सकते हैं। मुख्य समस्या जो हम हल करते हैं वह है मूल्यांकन के साथ जुड़े कम्प्यूटेशनल लागत $\ टोपी {\ थीटा} ̂ (\ omega)$ सभी के लिए $\ omega∈W$ । लेख के लेखकों के मुख्य योगदान में अनुमान की गणना करना शामिल है $\ हेट {\ _ थीटा} _1 = \ हैट {\ थीटा} _1 (1 _ {\ _ ओमेगा})$ जहाँ $1_ \ _ ओमेगा = (1,1, ..., 1)$ । दूसरे शब्दों में, हमारा अनुकूलन केवल डेरिवेटिव पर निर्भर करेगा $g_n (\ theta)$ हम मानते हैं कि मौजूद हैं और हेसियन हैं:

अगला, हम एक निश्चित बिंदु और उसके व्युत्पन्न के साथ एक समीकरण को परिभाषित करते हैं:

यहां यह ध्यान देने योग्य है कि $जी (\ थीटा ̂ (\ omega), डब्ल्यू) = ०$ जैसा $\ hat {\ theta} (\ omega)$ - के लिए समाधान $\ frac {1} {N} \ sum_ {n = 1} ^ {N} \ omega_n g_n (\ theta) = 0$ । हम भी परिभाषित करते हैं: $H_1 = H (\ hat {\ theta} _1,1_ \ ome)$ , और भार के मैट्रिक्स के रूप में: $R ^ {n} में \ Delta \ omega = \ omega-1_ \ omega \$ । मामले में जब $H_1$ उलटा मैट्रिक्स है, हम निहित फ़ंक्शन प्रमेय और 'श्रृंखला नियम' का उपयोग कर सकते हैं:

यह व्युत्पन्न हमें एक रैखिक सन्निकटन बनाने की अनुमति देता है $\ टोपी {\ थीटा} ̂ (\ omega)$ के माध्यम से $\ टोपी {\ थीटा} _1$ जो इस तरह दिखता है:

क्योंकि $\ _ \ _ {थीटा} _ {IJ}$ पर ही निर्भर करता है $\ टोपी {\ थीटा} _1$ और $\ Delta \ omega$ , और किसी अन्य मूल्यों के समाधान से नहीं $\ _ ओमेगा$ , तदनुसार, cul के नए मूल्यों को पुनर्गणना और खोजने की आवश्यकता नहीं है। इसके बजाय, एक को SLE (रैखिक समीकरणों की प्रणाली) को हल करने की आवश्यकता है।

परिणाम

व्यवहार में, यह क्रॉस-सत्यापन की तुलना में समय को काफी कम कर देता है:

दीप (लर्निंग + रैंडम) वन और लेख पार्सिंग

डीप फॉरेस्ट एलगोरिदम: नॉन-एनएन डीप मॉडल्स के लिए गैर-अलग-अलग मॉड्यूल्स पर आधारित एक एक्सप्लोरेशन

PcLasso: लासो प्रमुख घटक प्रतिगमन से मिलता है

एक स्विस सेना Infinitesimal Jackknife

More articles: