मशीन लर्निंग एल्गोरिथम संदर्भ वेक्टर विधि (SVM) का अवलोकन

प्रस्तावना

इस लेख में, हम SVM के कई पहलुओं का पता लगाएंगे:

• एसवीएम का सैद्धांतिक घटक;
• एल्गोरिथ्म कैसे नमूनों पर काम करता है जिसे वर्गों में रैखिक रूप से विभाजित नहीं किया जा सकता है;
• पायथन उदाहरण और SciKit लर्न लाइब्रेरी में एल्गोरिथम का कार्यान्वयन।

निम्नलिखित लेखों में, मैं इस एल्गोरिथ्म के गणितीय घटक के बारे में बात करने की कोशिश करूंगा।

जैसा कि आप जानते हैं, मशीन सीखने के कार्यों को दो मुख्य श्रेणियों में विभाजित किया जाता है - वर्गीकरण और प्रतिगमन। इन कार्यों में से कौन सा हम सामना कर रहे हैं, और इस कार्य के लिए हमारे पास कौन सा डेटासेट है, इसके आधार पर हम चुनते हैं कि किस एल्गोरिदम का उपयोग करना है।

सपोर्ट वेक्टर मशीनें विधि या एसवीएम (अंग्रेजी सपोर्ट वेक्टर मशीन से) एक रेखीय एल्गोरिथ्म है जिसका उपयोग वर्गीकरण और प्रतिगमन समस्याओं में किया जाता है। यह एल्गोरिथम व्यापक रूप से अभ्यास में उपयोग किया जाता है और रैखिक और गैर-रैखिक दोनों समस्याओं को हल कर सकता है। समर्थन क्षेत्रों के "मशीनों" का सार सरल है: एल्गोरिथ्म एक लाइन या हाइपरप्लेन बनाता है जो डेटा को कक्षाओं में विभाजित करता है।

सिद्धांत

एल्गोरिथ्म का मुख्य कार्य डेटा को दो वर्गों में विभाजित करते हुए, सबसे सही रेखा या हाइपरप्लेन का पता लगाना है। एसवीएम एक एल्गोरिथ्म है जो इनपुट पर डेटा प्राप्त करता है और इस तरह की विभाजन रेखा देता है।

निम्नलिखित उदाहरण पर विचार करें। मान लें कि हमारे पास एक डेटा सेट है, और हम लाल वर्गों को नीले हलकों से वर्गीकृत करना और अलग करना चाहते हैं (चलो सकारात्मक और नकारात्मक कहते हैं)। इस कार्य में मुख्य लक्ष्य "आदर्श" रेखा को खोजना होगा जो इन दो वर्गों को अलग करेगा।



सही रेखा या हाइपरप्लेन का पता लगाएं, जो डेटा को नीले और लाल वर्गों में विभाजित करता है।

पहली नज़र में, यह इतना मुश्किल नहीं है, है ना?

लेकिन, जैसा कि आप देख सकते हैं, कोई भी, अद्वितीय, रेखा नहीं है जो इस तरह की समस्या को हल करेगी। हम कई अनंत रेखाएँ उठा सकते हैं जो इन दोनों वर्गों को अलग कर सकती हैं। एसवीएम को "आदर्श" लाइन कैसे मिलती है, और इसकी समझ में "आदर्श" क्या है?

नीचे दिए गए उदाहरण पर एक नज़र डालें और सोचें कि दोनों में से कौन सी रेखा (पीली या हरी) दो वर्गों को सबसे अलग करती है, और "आदर्श" के वर्णन को फिट करती है?



आपकी राय में कौन सी पंक्ति बेहतर डेटासेट को अलग करती है?

यदि आपने पीले रंग की रेखा को चुना है, तो मैं आपको बधाई देता हूं: यह वह रेखा है जिसे एल्गोरिथ्म चुनना होगा। इस उदाहरण में, हम सहज रूप से समझ सकते हैं कि पीली रेखा अलग हो जाती है और तदनुसार दो वर्गों को हरे रंग की तुलना में बेहतर वर्गीकृत करता है।

ग्रीन लाइन के मामले में - यह लाल वर्ग के बहुत करीब स्थित है। इस तथ्य के बावजूद कि उसने वर्तमान डेटा सेट की सभी वस्तुओं को सही ढंग से वर्गीकृत किया है, ऐसी रेखा को सामान्यीकृत नहीं किया जाएगा - यह सिर्फ एक अपरिचित डेटा सेट के साथ व्यवहार नहीं करेगा। मशीन सीखने में एक सामान्यीकृत दो वर्गों को अलग करने का कार्य मुख्य कार्यों में से एक है।

कैसे एसवीएम बेस्ट लाइन पाता है

एसवीएम एल्गोरिदम को इस तरह से डिज़ाइन किया गया है कि यह ग्राफ़ पर उन बिंदुओं की खोज करता है जो सीधे विभाजक रेखा के सबसे करीब स्थित हैं। इन बिंदुओं को संदर्भ वैक्टर कहा जाता है। फिर, एल्गोरिथ्म समर्थन वैक्टर और विभाजन विमान के बीच की दूरी की गणना करता है। यह दूरी जिसे गैप कहा जाता है। एल्गोरिथ्म का मुख्य लक्ष्य निकासी दूरी को अधिकतम करना है। सबसे अच्छा हाइपरप्लेन एक हाइपरप्लेन माना जाता है जिसके लिए यह अंतराल जितना संभव हो उतना बड़ा है।



बहुत आसान है, है ना? निम्नलिखित उदाहरण पर विचार करें, एक अधिक जटिल डेटासेट के साथ जिसे रैखिक रूप से विभाजित नहीं किया जा सकता है।



जाहिर है, इस डेटासेट को रैखिक रूप से विभाजित नहीं किया जा सकता है। हम इस डेटा को वर्गीकृत करने वाली एक सीधी रेखा नहीं खींच सकते। लेकिन, इस डेटासेट को एक अतिरिक्त आयाम जोड़कर रैखिक रूप से विभाजित किया जा सकता है, जिसे हम Z अक्ष कहेंगे। कल्पना करें कि Z अक्ष पर निर्देशांक निम्नलिखित प्रतिबंध द्वारा विनियमित हैं:

$$

$$z = x² + y²$$

इस प्रकार, ऑर्डिनेट Z को बिंदु की दूरी के वर्ग से अक्ष की शुरुआत तक दर्शाया जाता है।
नीचे Z अक्ष पर समान डेटासेट का दृश्य है।



अब डेटा को रैखिक रूप से विभाजित किया जा सकता है। मान लीजिए कि मैजेन्टा लाइन डेटा z = k को अलग करती है, जहां k एक स्थिर है। अगर

$$

$$z = x² + y²$$

, और इसलिए

$$

$$k = x² + y²$$

- वृत्त सूत्र। इस प्रकार, हम इस परिवर्तन का उपयोग करके, हमारे रैखिक विभक्त को, नमूना आयामों की मूल संख्या पर वापस ला सकते हैं।



परिणामस्वरूप, हम एक गैर-रेखीय डेटा सेट को इसमें एक अतिरिक्त आयाम जोड़कर वर्गीकृत कर सकते हैं, और फिर इसे गणितीय परिवर्तन का उपयोग करके अपने मूल रूप में वापस ला सकते हैं। हालांकि, सभी डेटा सेट के साथ ऐसा परिवर्तन को क्रैंक करना आसान नहीं है। सौभाग्य से, स्केलेर लाइब्रेरी में इस एल्गोरिथ्म का कार्यान्वयन हमारे लिए इस समस्या को हल करता है।

hyperplane

अब जब हमने एल्गोरिथ्म के तर्क से खुद को परिचित कर लिया है, तो हम हाइपरप्लेन की औपचारिक परिभाषा की ओर बढ़ते हैं

हाइपरप्लेन एक एन-डायमेंशनल यूक्लिडियन स्पेस में एक एन -1 डायमेंशनल सबप्लेन है जो स्पेस को दो अलग-अलग हिस्सों में बांटता है।

उदाहरण के लिए, कल्पना करें कि हमारी रेखा को एक आयामी यूक्लिडियन स्थान के रूप में दर्शाया गया है (यानी हमारा डेटा सेट एक सीधी रेखा पर स्थित है)। इस लाइन पर एक बिंदु चुनें। यह बिंदु डेटा सेट को, हमारे मामले में लाइन को दो भागों में विभाजित करेगा। लाइन में एक माप है, और बिंदु में 0 उपाय हैं। इसलिए, एक बिंदु एक रेखा का हाइपरप्लेन है।

पहले से मिले दो-आयामी डेटासेट के लिए, विभाजन रेखा समान हाइपरप्लेन थी। सीधे शब्दों में, एन-डायमेंशनल स्पेस के लिए इस स्पेस को दो भागों में विभाजित करने वाला एन -1 डायमेंशनल हाइपरप्लेन है।

कोड

import numpy as np X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]]) y = np.array([1, 1, 2, 2]) 

बिंदुओं को एक्स की एक सरणी के रूप में दर्शाया जाता है, और जिन कक्षाओं में वे वाई की एक सरणी के रूप में होते हैं।
अब हम इस नमूने के साथ अपने मॉडल को प्रशिक्षित करेंगे। इस उदाहरण के लिए, मैंने क्लासिफायर (कर्नेल) के "कर्नेल" के रैखिक पैरामीटर को सेट किया।

 from sklearn.svm import SVC clf = SVC(kernel='linear') clf = SVC.fit(X, y) 

किसी नई वस्तु की कक्षा की भविष्यवाणी

 prediction = clf.predict([[0,6]]) 

पैरामीटर सेटिंग

पैरामीटर वे तर्क होते हैं जिन्हें आप क्लासिफायरियर बनाते समय पास करते हैं। नीचे मैंने कुछ महत्वपूर्ण कस्टम SVM सेटिंग्स प्रदान की हैं:

'सी'

यह पैरामीटर "सुगमता" और प्रशिक्षण नमूने में वस्तुओं के वर्गीकरण की सटीकता के बीच उस महीन रेखा को समायोजित करने में मदद करता है। उच्च "सी" मूल्य, प्रशिक्षण सेट में अधिक वस्तुओं को सही ढंग से वर्गीकृत किया जाएगा।



इस उदाहरण में, कई निर्णय सीमाएं हैं जिन्हें हम इस विशेष नमूने के लिए परिभाषित कर सकते हैं। प्रत्यक्ष (चार्ट पर एक हरे रंग की रेखा के रूप में प्रस्तुत) निर्णय सीमा पर ध्यान दें। यह काफी सरल है, और इस कारण से, कई वस्तुओं को गलत तरीके से वर्गीकृत किया गया था। गलत तरीके से वर्गीकृत किए गए इन बिंदुओं को डेटा में आउटलेर कहा जाता है।

हम मापदंडों को इस तरह से भी समायोजित कर सकते हैं कि अंत में हमें एक और अधिक घुमावदार रेखा (हल्का नीला निर्णय सीमा) मिलती है, जो बिल्कुल सभी प्रशिक्षण नमूना डेटा को सही ढंग से वर्गीकृत करेगी। बेशक, इस मामले में, संभावना है कि हमारे मॉडल को सामान्य बनाने और नए डेटा पर समान रूप से अच्छे परिणाम दिखाने में सक्षम होगा, तबाही छोटे हैं। इसलिए, यदि आप मॉडल को प्रशिक्षित करते समय सटीकता प्राप्त करने की कोशिश कर रहे हैं, तो आपको कुछ और भी, प्रत्यक्ष के लिए लक्ष्य बनाना चाहिए। "C" संख्या जितनी अधिक होगी, उतना ही अधिक उलझा हुआ हाइपरप्लेन आपके मॉडल में होगा, लेकिन प्रशिक्षण सेट में सही ढंग से वर्गीकृत वस्तुओं की संख्या जितनी अधिक होगी। इसलिए, एक विशेष डेटा सेट के लिए मॉडल मापदंडों को "मोड़" करना महत्वपूर्ण है, ताकि एक ही समय में, लेकिन एक ही समय में, उच्च सटीकता प्राप्त हो।

गामा

आधिकारिक दस्तावेज में, SciKit Learn Library का कहना है कि गामा यह निर्धारित करता है कि डेटा सेट के प्रत्येक तत्व का "आदर्श रेखा" निर्धारित करने में कितना प्रभाव है। कम गामा, अधिक तत्व, यहां तक ​​कि वे जो विभाजन रेखा से काफी दूर हैं, इस लाइन को चुनने की प्रक्रिया में भाग लेते हैं। यदि गामा अधिक है, तो एल्गोरिथम केवल उन तत्वों पर "भरोसा" करेगा जो लाइन के सबसे करीब हैं।
यदि गामा स्तर बहुत अधिक सेट किया जाता है, तो लाइन के निकटतम तत्व लाइन के स्थान पर निर्णय लेने की प्रक्रिया में भाग लेंगे। यह डेटा में आउटलेयर को अनदेखा करने में मदद करेगा। एसवीएम एल्गोरिथ्म को इसलिए बनाया गया है ताकि निर्णय लेते समय एक दूसरे के सबसे करीब स्थित बिंदुओं का वजन अधिक हो। हालांकि, "सी" और "गामा" की सही सेटिंग के साथ, एक इष्टतम परिणाम प्राप्त किया जा सकता है जो एक अधिक रैखिक हाइपरप्लेन का निर्माण करेगा जो आउटलेर्स की उपेक्षा करता है और इसलिए, अधिक सामान्य है।

निष्कर्ष

मुझे पूरी उम्मीद है कि इस लेख ने आपको एसवीएम या संदर्भ वेक्टर विधि के काम का सार समझने में मदद की। मैं आपसे किसी भी टिप्पणी और सलाह की अपेक्षा करता हूं। बाद के प्रकाशनों में, मैं SVM और अनुकूलन समस्याओं के गणितीय घटक के बारे में बात करूंगा।

सूत्रों का कहना है:
SciKit में आधिकारिक SVM प्रलेखन जानें
टुडेडाटासाइंस ब्लॉग
सिराज रावल: वेक्टर मशीनों का समर्थन करें
इन्ट्रो टू मशीन लर्निंग उनेसिटी एसवीएम: गामा कोर्स वीडियो
विकिपीडिया: एसवीएम