मशीन लर्निंग में रैखिक बीजगणित कैसे लागू किया जाता है

जब आप रैखिक बीजगणित जैसे एक सार विषय का अध्ययन करते हैं, तो आप आश्चर्यचकित हो सकते हैं: आपको इन सभी वैक्टर और मैट्रिस की आवश्यकता क्यों है? आप व्यावहारिक उद्देश्यों के लिए यह सभी व्युत्क्रम, परिवर्तन, eigenvector और eigenvalues ​​कैसे लागू करने जा रहे हैं?

ठीक है, यदि आप मशीन लर्निंग करने के उद्देश्य से रैखिक बीजगणित का अध्ययन करते हैं, तो यह आपके लिए उत्तर है।

संक्षेप में, आप 3 अलग-अलग स्तरों पर मशीन सीखने के लिए रैखिक बीजगणित का उपयोग कर सकते हैं:

• डेटा के लिए एक मॉडल का अनुप्रयोग;
• मॉडल का प्रशिक्षण;
• यह समझने के लिए कि यह कैसे काम करता है या क्यों काम नहीं करता है।

मुझे लगता है कि आप, पाठक, कम से कम रैखिक बीजगणितीय अवधारणाओं (जैसे वैक्टर, मैट्रीस, उनके उत्पाद, उलटा मैट्रिसेस, आइगेनवेक्टर्स और ईजेनवेल्यूज), और मशीन सीखने की समस्याओं (जैसे प्रतिगमन, वर्गीकरण और आयामीता में कमी) का अस्पष्ट विचार रखते हैं। । यदि नहीं, तो शायद अब यह विकिपीडिया में उनके बारे में पढ़ने या इन विषयों पर एमओओसी के लिए साइनअप करने का एक अच्छा समय है।

आवेदन

आमतौर पर जो मशीन लर्निंग करती है, वह कुछ फंक्शन को फील करती है $$$f_W (X) = H$, कहाँ $$$X$इनपुट डेटा है, $$$ज$इस डेटा का कुछ उपयोगी प्रतिनिधित्व है, और $$$डब्ल्यू$अतिरिक्त पैरामीटर हैं, जिस पर हमारा कार्य निर्भर करता है और जिसे सीखना है। जब हमारे पास यह प्रतिनिधित्व है $$$ज$, हम इसका उपयोग कर सकते हैं जैसे कि मूल डेटा को फिर से संगठित करना $$$X$(अनुपयोगी शिक्षा के रूप में), या ब्याज के कुछ मूल्य की भविष्यवाणी करने के लिए, $$$य$(जैसा कि पर्यवेक्षित शिक्षण में है)।

सब के सब $$$X$। $$$ज$। $$$डब्ल्यू$और $$$य$आमतौर पर संख्यात्मक सरणियाँ होती हैं, और कम से कम वैक्टर और मैट्रीस के रूप में संग्रहीत की जा सकती हैं। लेकिन अकेले भंडारण महत्वपूर्ण नहीं है। महत्वपूर्ण बात यह है कि हमारा कार्य $$$च$अक्सर रैखिक होता है, अर्थात $$$H = XW$। ऐसे रैखिक एल्गोरिदम के उदाहरण हैं:

• रैखिक प्रतिगमन, जहां $$$य = ह$। यह प्रतिगमन समस्याओं के लिए एक समझदार आधारभूत है, और "करता है" जैसे सवालों के जवाब देने के लिए एक लोकप्रिय उपकरण है $$$x$को प्रभावित $$$य$, अन्य चीजें बराबर हो रही हैं? "
• लॉजिस्टिक रिग्रेशन, जहां $$$Y = सॉफ्टमैक्स (एच)$। यह वर्गीकरण की समस्याओं के लिए एक अच्छा आधार रेखा है, और कभी-कभी इस आधार रेखा को हरा पाना मुश्किल होता है।
• प्रमुख घटक विश्लेषण, जहां $$$ज$उच्च-आयामी का केवल एक कम-आयामी प्रतिनिधित्व है $$$X$, जिससे $$$X$उच्च परिशुद्धता के साथ बहाल किया जा सकता है। आप इसे एक संपीड़न एल्गोरिथ्म के रूप में सोच सकते हैं।
• अन्य पीसीए-जैसे एल्गोरिदम (मैट्रिक्स डिकम्पोजिशन) का उपयोग व्यापक रूप से सिफारिश करने वाले सिस्टम में किया जाता है, ताकि उपयोगकर्ताओं और उत्पादों के कॉम्पैक्ट और घने प्रतिनिधित्व में "कौन से उत्पाद खरीदे गए", जो कि नए अनुमान लगाने के लिए इस्तेमाल किया जा सके। लेन-देन।

अन्य एल्गोरिदम, जैसे तंत्रिका नेटवर्क, नॉनलाइनियर परिवर्तनों को सीखते हैं, लेकिन फिर भी रैखिक संचालन (यानी मैट्रिक्स-मैट्रिक्स या मैट्रिक्स-वेक्टर गुणा) पर बहुत अधिक भरोसा करते हैं। एक साधारण तंत्रिका नेटवर्क की तरह लग सकता है $$$Y = \ sigma (W_2 \ sigma (W_1X))$- यह दो मैट्रिक्स गुणन और एक अरेखीय परिवर्तन का उपयोग करता है $$$\ _ सिग्मा$उनके बीच।

ट्रेनिंग

एक एल्गोरिथ्म को प्रशिक्षित करने के लिए, आप आमतौर पर एक नुकसान फ़ंक्शन को परिभाषित करते हैं और इसे अनुकूलित करने का प्रयास करते हैं। नुकसान स्वयं कभी-कभी रैखिक बीजगणित के संदर्भ में लिखना सुविधाजनक होता है। उदाहरण के लिए, द्विघात हानि (कम से कम वर्ग विधि में प्रयुक्त) को डॉट उत्पाद के रूप में लिखा जा सकता है $$$(Y- \ hat {Y}) ^ T (Y- \ hat {Y})$, कहाँ $$$\ _ {Y}$आपकी भविष्यवाणी का सदिश है, और $$$य$जमीनी सच्चाई है जिसका आप अनुमान लगाने की कोशिश करते हैं। यह प्रतिनिधित्व उपयोगी है, क्योंकि यह हमें इस नुकसान को कम करने के तरीकों को प्राप्त करने में सक्षम बनाता है। उदाहरण के लिए, यदि आप इस कम से कम वर्ग विधि के साथ रैखिक प्रतिगमन का उपयोग करते हैं, तो आपका इष्टतम समाधान जैसा दिखता है $$$W = (X ^ TX) ^ {- 1} X ^ TY$। एक ही स्थान पर रैखिक संचालन के बहुत सारे!

रैखिक समाधान का एक और उदाहरण पीसीए है, जहां ब्याज के पैरामीटर $$$डब्ल्यू$पहले हैं $$$k$मैट्रिक्स के eigenvectors $$$X ^ TX$, सबसे बड़े प्रतिजन के अनुरूप।

यदि आप तंत्रिका नेटवर्क को प्रशिक्षित करते हैं, तो आमतौर पर इष्टतम मापदंडों के लिए कोई विश्लेषणात्मक समाधान नहीं है, और आपको ढाल वंश का उपयोग करना होगा। ऐसा करने के लिए, आपको पैरामीटर को नुकसान wrt को अलग करने की आवश्यकता है, और ऐसा करते समय, आपको फिर से मैट्रिसेस को गुणा करना होगा, क्योंकि यदि $$$नुकसान = एफ (जी (एच (डब्ल्यू)))$(एक संयुक्त कार्य), तब $$$\ frac {\ आंशिक नुकसान} {\ आंशिक w} = f '\ g जी' \ h h $$, और ये सभी व्युत्पन्न मेट्रिसेस या वैक्टर हैं, क्योंकि $$$जी$और $$$ज$बहुआयामी हैं।

साधारण ढाल वंश ठीक है, लेकिन यह धीमा है। न्यूटनियन अनुकूलन विधियों को लागू करके आप इसे गति दे सकते हैं। मूल विधि है $$$W_ {t + 1} = W_t - A ^ {- 1} B$, कहाँ $$$ब$और $$$ए$पहले व्युत्पन्न के वेक्टर हैं और आपके नुकसान के दूसरे डेरिवेटिव के मैट्रिक्स पैरामीटर wrt हैं $$$डब्ल्यू$। लेकिन यह अस्थिर और / या कम्प्यूटेशनल रूप से महंगा हो सकता है, और आपको इसके सन्निकटन (जैसे L-BFGS) के साथ आने की आवश्यकता हो सकती है जो त्वरित और सस्ते अनुकूलन के लिए और भी अधिक रैखिक बीजगणित का उपयोग करते हैं।

विश्लेषण

आप देखते हैं कि रैखिक बीजगणित आपको अपने मॉडल को लागू करने और प्रशिक्षित करने में मदद करता है। लेकिन असली विज्ञान (या जादू) तब शुरू होता है जब आपका मॉडल अच्छी तरह से प्रशिक्षित या भविष्यवाणी करने से इनकार कर देता है। यह सीख एक बुरे बिंदु पर अटक सकती है, या अचानक जंगली हो सकती है। गहन सीखने में, यह अक्सर गायब होने या विस्फोट के कारण होता है। यही है, मट्ठा आप ढाल की गणना करते हैं, आप बहुत सारे मैट्रिसेस को गुणा करते हैं, और फिर अजीब चीजें होती हैं, और आपको यह जानने की जरूरत है कि क्या, क्यों, और कैसे इसे दूर करना है। निरीक्षण करने के तरीकों में से एक यह है कि आप जिन उल्टियों की कोशिश कर रहे हैं, उनके प्रतिजन के स्वदेशी पर नज़र रखना है। यदि वे 0 के करीब हैं, या बस बहुत अलग हैं, तो इस मैट्रिक्स के व्युत्क्रम से अस्थिर परिणाम हो सकते हैं। यदि आप बड़े प्रतिजन के साथ कई मैट्रिक्स को गुणा करते हैं, तो उत्पाद फट जाता है। जब ये ईजेंवल छोटे होते हैं, तो परिणाम शून्य हो जाता है।

अभिसरण के साथ इन समस्याओं से लड़ने के लिए एल 1 / एल 2 नियमितीकरण, बैच सामान्यीकरण, और एलएसटीएम जैसी विभिन्न तकनीकों का आविष्कार किया गया था। यदि आप उन तकनीकों में से किसी को लागू करना चाहते हैं, तो आपको यह मापने का एक तरीका चाहिए कि क्या वे आपकी विशेष समस्या के लिए बहुत मदद करते हैं। और अगर आप खुद ऐसी तकनीक का आविष्कार करना चाहते हैं, तो आपको यह साबित करने का एक तरीका चाहिए कि यह बिल्कुल काम कर सकता है। इसमें फिर से वैक्टर, मैट्रिस, उनके डिकम्पोजिशन आदि के साथ बहुत सारे हेरफेर शामिल हैं।

निष्कर्ष

आप देख सकते हैं कि आप जितनी गहराई से मशीन लर्निंग में गोता लगाते हैं, उतने ही रैखिक बीजगणित आप वहां देखते हैं। पूर्व-प्रशिक्षित मॉडल लागू करने के लिए, आपको कम से कम अपने डेटा को एक प्रारूप में बदलना होगा, रैखिक बीजगणित (जैसे कि अजगर में numpy.array ) के साथ संगत। यदि आपको एक प्रशिक्षण एल्गोरिथ्म को लागू करने की आवश्यकता है, या यहां तक ​​कि एक नया आविष्कार करने के लिए, कई मैट्रिसेस को गुणा, उल्टा और विघटित करने के लिए तैयार रहें।

इस पाठ में, मैंने कुछ अवधारणाओं का उल्लेख किया है जिनसे आप अपरिचित हो सकते हैं। यह ठीक है। यह लेख आपको प्रोत्साहित करता है कि आप अज्ञात शब्दों की खोज करें और अपने क्षितिज को बड़ा करें।

वैसे, टिप्पणियों में आपसे कुछ कहानियाँ सुनना दिलचस्प होगा, जिनके बारे में आपको अपनी नौकरी या अध्ययन में रैखिक बीजगणित के अनुप्रयोगों का सामना करना पड़ा।

PS मेरे एक लेख में , मैंने तर्क दिया कि सफल होने के लिए आपको गणित नहीं सीखना होगा (यह अभी भी रूस में एक लोकप्रिय स्टीरियोटाइप है), भले ही आप आईटी में काम करते हों। हालांकि, मैंने कभी नहीं कहा कि गणित बेकार है (अन्यथा, मैं इसे हर समय नहीं सिखाऊंगा)। आमतौर पर यह सफलता की कुंजी नहीं है, लेकिन कई मामलों में, यह मदद करता है, और कुछ में (जैसे गहरी शिक्षण मॉडल विकसित करना), यह आवश्यक है।

PPS अंग्रेजी में क्यों! खैर, सिर्फ इसलिए कि मैं कर सकता हूं। इस भाषा में मूल प्रश्न पूछा गया था, और अंग्रेजी में मैंने इसका उत्तर दिया। और फिर उन्होंने फैसला किया कि जवाब को एक छोटे सार्वजनिक लेख के स्तर पर लाया जा सकता है।

फिर हब्र, और नहीं, उदाहरण के लिए, मध्यम क्यों? सबसे पहले, माध्यम के विपरीत, सूत्र आमतौर पर यहां समर्थित हैं। दूसरी बात, हब्र स्वयं अंतर्राष्ट्रीय बाजारों में प्रवेश करने जा रहे थे, इसलिए यहां अंग्रेजी भाषा की सामग्री को रखने का प्रयास क्यों नहीं किया गया?

देखते हैं क्या होता है।