मशीन सीखने के मॉडल के बीच निर्भरता और विरासत का दृश्य

कुछ महीने पहले, मैं एक समस्या में भाग गया, मशीन लर्निंग एल्गोरिदम पर बनाया गया मेरा मॉडल बस काम नहीं करता था। मैंने लंबे समय तक सोचा कि इस समस्या को कैसे हल किया जाए और कुछ बिंदु पर मैंने महसूस किया कि मेरा ज्ञान बहुत सीमित है और मेरे विचार दुर्लभ हैं। मैं कुछ दर्जन मॉडलों को जानता हूं, और यह उन कार्यों का एक बहुत छोटा हिस्सा है जो बहुत उपयोगी हो सकते हैं।

पहला विचार जो मन में आया वह यह है कि अगर मैं अधिक मॉडलों को जानता और समझता हूं, तो एक शोधकर्ता और इंजीनियर के रूप में मेरे गुणों में वृद्धि होगी। इस विचार ने मुझे हाल के मशीन लर्निंग सम्मेलनों के लेखों का अध्ययन करने के लिए प्रेरित किया। इस तरह की जानकारी को संरचित करना काफी कठिन है, और तरीकों के बीच निर्भरता और संबंधों को रिकॉर्ड करना आवश्यक है। मैं एक तालिका या सूची के रूप में निर्भरताएं पेश नहीं करना चाहता था, लेकिन मैं कुछ और स्वाभाविक चाहता था। नतीजतन, मुझे एहसास हुआ कि मॉडल और उनके घटकों के बीच किनारों के साथ एक त्रि-आयामी ग्राफ होने से, बहुत दिलचस्प लगता है।

उदाहरण के लिए, आर्किटेक्चरली GAN [1] में एक जेनरेटर (GEN) और डिस्क्रिमिनेटर (DIS) शामिल हैं, एडवांसरियल ऑटो-एनकोडर (AAE) [2] में ऑटो-एनकोडर (AE) [3] और DIS शामिल हैं। इस ग्राफ में प्रत्येक घटक एक अलग शीर्ष है, इसलिए एएई के लिए हमारे पास एई और डीआईएस के साथ एक बढ़त होगी।

कदम से कदम, मैंने लेखों का विश्लेषण किया, उन्होंने लिखा कि वे किन तरीकों से युक्त हैं, वे किस विषय क्षेत्र में लागू होते हैं, किस डेटा पर उनका परीक्षण किया गया था, और इसी तरह। इस प्रक्रिया में, मैंने महसूस किया कि कितने बहुत दिलचस्प समाधान अज्ञात बने हुए हैं, और उनका आवेदन नहीं मिलता है।

मशीन लर्निंग को विषय क्षेत्रों में विभाजित किया गया है, जहां प्रत्येक क्षेत्र विशिष्ट तरीकों का उपयोग करके एक विशेष समस्या को हल करने की कोशिश करता है। हाल के वर्षों में, सीमाओं को लगभग मिटा दिया गया है, और केवल एक निश्चित क्षेत्र में उपयोग किए जाने वाले घटकों की पहचान करना व्यावहारिक रूप से कठिन है। यह प्रवृत्ति आम तौर पर बेहतर परिणामों की ओर ले जाती है, लेकिन समस्या यह है कि लेखों की संख्या में वृद्धि के साथ, कई दिलचस्प तरीके किसी का ध्यान नहीं जाते हैं। इसके कई कारण हैं, और केवल कुछ क्षेत्रों की बड़ी कंपनियों द्वारा लोकप्रियकरण इसमें महत्वपूर्ण भूमिका निभाता है। यह महसूस करते हुए, ग्राफ, जिसे पहले कड़ाई से व्यक्तिगत रूप से विकसित किया गया था, सार्वजनिक और खुला हो गया।

स्वाभाविक रूप से, मैंने शोध किया और जो कुछ मैं कर रहा था, उसके एनालॉग को खोजने की कोशिश की। पर्याप्त सेवाएँ हैं जो आपको इस क्षेत्र में नए लेखों के उद्भव की निगरानी करने की अनुमति देती हैं। लेकिन इन सभी तरीकों का उद्देश्य मुख्य रूप से ज्ञान के अधिग्रहण को सरल बनाना है, न कि नए विचारों को बनाने में मदद करना। अनुभव की तुलना में रचनात्मकता अधिक महत्वपूर्ण है, और ऐसे उपकरण जो आपको विभिन्न दिशाओं में सोचने में मदद कर सकते हैं और अधिक संपूर्ण चित्र देख सकते हैं, यह मुझे लगता है कि अनुसंधान प्रक्रिया का एक अभिन्न अंग बनना चाहिए।

हमारे पास ऐसे उपकरण हैं जो मॉडल को प्रयोग, लॉन्च और मूल्यांकन करना आसान बनाते हैं, लेकिन हमारे पास ऐसे तरीके नहीं हैं जो हमें विचारों को जल्दी से उत्पन्न और मूल्यांकन करने की अनुमति दें।

कुछ ही महीनों में, मैंने पिछले NeurIPS सम्मेलन के लगभग 250 लेखों और लगभग 250 अन्य लेखों को छाँटा, जिन पर वे आधारित हैं। अधिकांश क्षेत्र मेरे लिए पूरी तरह से अपरिचित थे, उन्हें समझने में कई दिन लग गए। कभी-कभी मैं सिर्फ मॉडलों के लिए सही वर्णन नहीं पा सका, और वे किन घटकों से मिलकर बने। इससे आगे बढ़ते हुए, दूसरा तार्किक कदम यह था कि लेखकों के लिए ग्राफ में तरीकों को जोड़ने और बदलने की संभावना पैदा की जाए, क्योंकि लेख के लेखकों को छोड़कर कोई भी नहीं जानता कि उनके तरीके का सबसे अच्छा तरीका कैसे बताया जाए।

परिणाम के रूप में क्या हुआ इसका एक उदाहरण यहां प्रस्तुत है।

मुझे उम्मीद है कि यह परियोजना किसी के लिए उपयोगी होगी, यदि केवल इसलिए कि यह, शायद, किसी को ऐसे संघों को प्राप्त करने की अनुमति देगा जो एक नया दिलचस्प विचार पैदा कर सकते हैं। मुझे आश्चर्य हुआ जब मैंने सुना कि कैसे जनरेटिव प्रतिस्पर्धी नेटवर्क का विचार आधारित है। एमआईटी मशीन इंटेलिजेंस पॉडकास्ट [4] में, यान गुडफेलो ने कहा कि प्रतिकूल नेटवर्क का विचार बोल्ट्जमैन मशीन सीखने के "सकारात्मक" और "नकारात्मक" चरणों से जुड़ा है [5]।

यह परियोजना समुदाय संचालित है। मैं इसे विकसित करना चाहूंगा और अधिक से अधिक लोगों को अपने तरीकों के बारे में जानकारी जोड़ने के लिए प्रेरित करूंगा या जो पहले से बना हुआ है उसे संपादित कर सकता हूं। मेरा मानना ​​है कि अधिक सटीक विधि जानकारी और बेहतर विज़ुअलाइज़ेशन तकनीकें वास्तव में इसे एक उपयोगी उपकरण बनाने में मदद करेंगी।

परियोजना के विकास के लिए बहुत सारे स्थान हैं, जो विज़ुअलाइज़ेशन में सुधार करने से शुरू होता है, सुधार के तरीकों के लिए सिफारिशें प्राप्त करने की संभावना के साथ एक व्यक्तिगत ग्राफ बनाने की क्षमता के साथ समाप्त होता है।

कुछ तकनीकी विवरण यहां देखे जा सकते हैं ।

[१] इयान जे गुडफेलो, जीन पौगेट-अबडी, मेहदी मिर्ज़ा, बिंग जू, डेविड वार्डे-फ़ार्ले, शेरजिल ओज़ेयर, आरोन कोर्टविल, योशुआ बेंगियो। जनरेटिव एडवरसैरियल नेट्स।

[२] अलिर्ज़ा मखज़ानी, जोनाथन श्लेंस, नवदीप जेटली, इयान गुडफेलो, ब्रेंडन फ्रे। एडवांसरियल ऑटेंकोडर।

[३] डाना एच। बलार्ड। Autoencoder।

[४] इयान जे गुडफेलो: एमआईटी में आर्टिफिशियल इंटेलिजेंस पॉडकास्ट।

[५] रुस्लान सलाखुद्दीनोव, जेफ्री हिंटन। डीप बोल्ट्ज़मन मशीनें