डेटा विश्लेषण के लिए सुविधाओं का सही चयन आपको इसकी अनुमति देता है:

• शिक्षक के साथ और बिना मशीन लर्निंग मॉडल की गुणवत्ता में सुधार,
  
• प्रशिक्षण का समय कम करें और आवश्यक कंप्यूटिंग शक्ति को कम करें,
  
• और उच्च आयाम के इनपुट डेटा के मामले में "आयाम के अभिशाप" को कमजोर करने की अनुमति देता है।
  

मॉडल के परिणामों की व्याख्या करने के लिए विशेषताओं के महत्व का एक आकलन आवश्यक है।

हम शिक्षक के साथ और उसके बिना शिक्षण कार्यों के लिए लक्षणों का चयन करने के लिए मौजूदा तरीकों पर विचार करेंगे। प्रत्येक विधि को पायथन में एक ओपन सोर्स कार्यान्वयन के साथ चित्रित किया गया है ताकि आप प्रस्तावित एल्गोरिदम का त्वरित परीक्षण कर सकें। हालांकि, यह एक पूर्ण चयन नहीं है: पिछले 20 वर्षों में, कई एल्गोरिदम बनाए गए हैं, और यहां आप उनमें से सबसे बुनियादी पाएंगे। गहन अध्ययन के लिए, इस समीक्षा को देखें ।

एक शिक्षक के साथ और उसके बिना मॉडल

शिक्षक के साथ चयन एल्गोरिदम हैं, जो आपको शिक्षक के साथ शिक्षण कार्यों के सर्वोत्तम गुणवत्ता के लिए उपयुक्त विशेषताओं को निर्धारित करने की अनुमति देते हैं (उदाहरण के लिए, वर्गीकरण और प्रतिगमन समस्याओं में)। इन एल्गोरिदम को टैग किए गए डेटा तक पहुंच की आवश्यकता होती है। गैर-सूचीबद्ध डेटा के लिए, कई फ़ीचर चयन विधियां भी हैं जो विभिन्न मानदंडों के आधार पर सभी विशेषताओं का मूल्यांकन करती हैं: विचरण, एन्ट्रापी, स्थानीय समानता बनाए रखने की क्षमता आदि। एक शिक्षक के बिना मॉडल में विधर्मी तरीकों का उपयोग करके प्रासंगिक सुविधाओं का पता लगाया जा सकता है, क्योंकि वे शिक्षक के साथ सुविधाओं के सहसंबंध के अलावा अन्य पैटर्न का पता लगा सकते हैं।

विशेषता चयन विधियों को आमतौर पर 4 श्रेणियों में विभाजित किया जाता है: फिल्टर, रैपर, एम्बेडेड और हाइब्रिड।

रैपिंग

इस दृष्टिकोण के साथ, हम विशेषताओं के एक सबसेट की प्रभावशीलता का मूल्यांकन करते हैं, लागू शिक्षण एल्गोरिथ्म के अंतिम परिणाम को ध्यान में रखते हैं (उदाहरण के लिए, वर्गीकरण समस्या को हल करने में सटीकता में वृद्धि क्या है)। खोज रणनीति और मॉडलिंग के इस संयोजन में, किसी भी शिक्षण एल्गोरिथ्म का उपयोग किया जा सकता है।



मौजूदा चयन रणनीतियाँ:

• प्रत्यक्ष चयन (फॉरवर्ड चयन) : हम सुविधाओं के एक खाली सेट के साथ शुरू करते हैं, और फिर पुनरावृत्त रूप से उन सुविधाओं को जोड़ते हैं जो मॉडल की गुणवत्ता में सबसे अच्छी वृद्धि प्रदान करते हैं।
  
• पिछड़ा चयन : हम सभी विशेषताओं के एक सेट से शुरू करते हैं, फिर प्रत्येक पुनरावृत्ति पर हम "सबसे खराब" विशेषता को हटाते हैं।

कार्यान्वयन: ये एल्गोरिदम mlxtend पैकेज में लागू किए गए हैं, यहां उपयोग का एक उदाहरण है ।

• RFE (रिकर्सिव फीचर एलिमिनेशन): एक "लालची" सर्च एल्गोरिथ्म जो कभी-कभी सुविधाओं के छोटे सेट को पुन: परिभाषित करके सुविधाओं का चयन करता है। यह संकेतों को उस क्रम के अनुसार रैंक करता है जिसमें उन्हें हटा दिया जाता है।
  
  कार्यान्वयन: scikit-learn

इनलाइन तरीके

इस समूह में एल्गोरिदम शामिल हैं जो एक साथ मॉडल और चुनिंदा सुविधाओं को प्रशिक्षित करते हैं। यह आमतौर पर एल 1- रेग्युलराइज़र (स्पार्सिटी रेगुलराइज़र) या ऐसी स्थिति का उपयोग करके लागू किया जाता है जो कुछ संकेतों को सीमित करता है।

• SMLR (स्पार्स मल्टीमोनियल लॉजिस्टिक रिग्रेशन): यह एल्गोरिथ्म क्लासिक मल्टीनोमियल लॉजिस्टिक रिग्रेशन के एक भाग के रूप में एआरडी (ऑटोमैटिक रिऐलेंस डिसेंट्रिनेशन) का उपयोग करते हुए एल -1-नियमितीकरण को लागू करता है। नियमितीकरण प्रत्येक गुण के महत्व को निर्धारित करता है और उन लोगों को अशक्त करता है जो भविष्यवाणी के लिए बेकार हैं।
  
  कार्यान्वयन: SMLR
• एआरडी (स्वचालित प्रासंगिकता निर्धारण प्रतिगमन): मॉडल बायेसियन रिज रिग्रेशन का उपयोग करता है। यह गुणांक के वजन को कम से कम वर्गों के साथ, उदाहरण के लिए, तुलना में अधिक दृढ़ता से शून्य में बदलता है।
  
  
  
  एआरडी कुछ विशेषताओं के वजन को बढ़ाता है, जिससे प्रासंगिक आयामों की पहचान करने में मदद मिलती है।
  
  कार्यान्वयन: scikit-learn
  

नियमितीकरण एल्गोरिदम के अन्य उदाहरण: लास्सो ( इम्प्लीमेंट्स एल1- रेगुलराइजेशन ), रिज रिग्रेशन ( इम्प्लीमेंट्स एल २- रेगुलराइजेशन ), इलास्टिक नेट ( इम्प्लीमेंट्स एल १ - एंड एल २- रेगुलराइजेशन )। यदि आप इन तरीकों को ग्राफिक रूप से प्लॉट करते हैं, तो आप देख सकते हैं कि लास्सो रिग्रेशन गुणांक को एक वर्ग के क्षेत्र में सीमित करता है, रिज रिग्रेशन एक सर्कल को सीमांकित करता है, और इलास्टिक नेट एक मध्यवर्ती स्थिति पर कब्जा कर लेता है।


https://scikit-learn.org/stable/auto_examples/linear_model/plot_sgd_penalties.html

इन एल्गोरिदम का एक व्यापक विवरण यहां प्रदान किया गया है ।

फिल्टर

इस दृष्टिकोण के साथ, हम लर्निंग एल्गोरिदम को शामिल किए बिना केवल उनकी अंतर्निहित विशेषताओं के आधार पर विशेषताओं के महत्व का मूल्यांकन करते हैं। ये विधियां तेज़ हैं और आवरण विधियों की तुलना में कम कम्प्यूटेशनल संसाधनों की आवश्यकता होती है। यदि विशेषताओं के बीच एक सांख्यिकीय सहसंबंध बनाने के लिए पर्याप्त डेटा नहीं है, तो फ़िल्टर रैपर की तुलना में खराब परिणाम उत्पन्न कर सकते हैं। रैपर के विपरीत, इस तरह के तरीकों से रिट्रेनिंग की संभावना कम होती है। वे व्यापक रूप से उच्च-आयामी डेटा के साथ काम करने के लिए उपयोग किए जाते हैं, जब आवरण विधियों को बहुत अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है।

शिक्षक विधियाँ

• राहत : यह विधि बेतरतीब ढंग से डेटासेट से नमूने का चयन करती है और प्रत्येक विशेषता को उसी और विपरीत कक्षाओं के निकटतम निकटतम उदाहरण और दो वस्तुओं के बीच के अंतर के आधार पर अद्यतन करती है। यदि एक ही वर्ग के दो निकटतम पड़ोसियों के लिए विशेषता के मूल्यों में अंतर है, तो इसका महत्व कम हो जाता है, और यदि, इसके विपरीत, विभिन्न वर्गों की वस्तुओं के लिए विशेषता के मूल्यों के बीच अंतर होता है, तो तदनुसार महत्व बढ़ता है।
  
  

  $$

  $$W_ {i} = W_ {i} - (x_ {i} -nearHit_ {i}) ^ {2} + (x_ {i} -nearMiss_ {i}) ^ {2}$$
  
  
  विशेषता का वजन कम हो जाता है यदि इसका मूल्य अलग-अलग वर्गों से निकटतम वस्तुओं के लिए एक ही वर्ग के निकटतम वस्तुओं के लिए भिन्न होता है; अन्यथा वजन बढ़ जाता है।
  उन्नत रिलीफ़ एल्गोरिथ्म फ़ीचर वेटिंग का उपयोग करता है और अधिक निकटतम पड़ोसियों की खोज करता है।
  
  कार्यान्वयन: scikit- छूट , राहत
• फिशर स्कोर : बाइनरी वर्गीकरण समस्याओं में आमतौर पर उपयोग किया जाता है। फिशर अनुपात (FiR) को उनके विचरण द्वारा विभाजित प्रत्येक वर्ग के लिए विशेषताओं के औसत मूल्यों के बीच की दूरी के रूप में परिभाषित किया गया है:
  
  

  $$

  $$FiR_ {i} = \ frac {\ बाएँ | \ बार {X} _ {i} ^ {(0)} - \ bar {X} _ {i} ^ {(1)} \ right |} {\ sqrt {var (X_ {i}) ^ {(0)} + var (X_ {i}) ^ {(1)}}$$
  
  
  कार्यान्वयन: scikit- सुविधा , उपयोग उदाहरण ।
• ची-स्क्वॉयर स्कोर : चेक करता है कि क्या दो श्रेणीबद्ध चर की प्रेक्षित और अपेक्षित आवृत्तियों के बीच महत्वपूर्ण अंतर है। इस प्रकार, दो चर के बीच संबंध की अनुपस्थिति की अशक्त परिकल्पना का परीक्षण किया जाता है।
  
  

  $$

  $$X ^ {2} = \ frac {(textrm {अवलोकनित आवृत्ति} - \ textrm {अपेक्षित आवृत्ति}) ^ 2} {\ textrm {अपेक्षित आवृत्ति}}$$
  
  ची-वर्ग की स्वतंत्रता की कसौटी ।
  
  डाटासेट और लक्ष्य चर से विभिन्न संकेतों के बीच संबंधों की जांच करने के लिए ची-स्क्वायर मानदंड को सही ढंग से लागू करने के लिए, शर्तों का पालन करना आवश्यक है: चर स्पष्ट , स्वतंत्र होना चाहिए और 5 से अधिक की अपेक्षित आवृत्ति होनी चाहिए। अंतिम शर्त यह गारंटी देती है कि सांख्यिकीय मानदंड (परीक्षण सांख्यिकीय) के सीडीएफ (संचयी घनत्व फ़ंक्शन) को ची-स्क्वायर वितरण का उपयोग करके अनुमानित किया जा सकता है। यहाँ और जानें।
  
  कार्यान्वयन: sklearn , scipy
• सीएफएस (सहसंबंध आधारित सुविधा चयन): इस पद्धति के लिए तर्क निम्नानुसार तैयार किए जा सकते हैं:
  
  

  यदि उनके मान एक या किसी अन्य श्रेणी के आधार पर व्यवस्थित रूप से बदलते हैं तो संकेत प्रासंगिक हैं।

  
  इस प्रकार, सुविधाओं के एक अच्छे उपसमुच्चय में वे विशेषताएं होती हैं, जो लक्ष्य चर के साथ अत्यधिक सहसंबद्ध होती हैं, जबकि एक दूसरे के साथ सहसंबंध नहीं होता है। K सुविधाओं के सबसेट के स्कोर की गणना निम्न प्रकार से की जाती है :
  
  

  $$

  $$मेरिट_ {S_ {k}} = \ frac {kr_ {cf}} {\ sqrt {k + k (k-1) \ bar {r} _ {ff}}}$$
  
  
  यहां $$$r_ {cf}$एक गुण और एक वर्ग के बीच सभी सहसंबंधों का औसत है, और $$$\ bar {r} _ {ff}$- सुविधाओं के बीच सभी सहसंबंधों का औसत मूल्य। CFS मानदंड को निम्नानुसार परिभाषित किया गया है:
  
  

  $$

  $$CFS = \ underset {S_ {k}} {max} \ left [\ frac {r_ {cf_ {1}} + r_ {cf_ {2}} + \ cdots + r_ {c__ {k}}} {\ sqrt {k + 2 (r_ {f_ {1} f_ {2}} + \ cdots + r_ {f_ {i} f_ {j}} + \ cdots + r_ {f_ {k} f_ {{}}}}} \ _ सही]$$
  
  
  कार्यान्वयन: scikit- सुविधा , उपयोग उदाहरण ।
• FCBF (फास्ट सहसंबंध आधारित फिल्टर): यह विधि रिलीफ और सीएफएस की तुलना में अधिक तेजी से और अधिक कुशलता से काम करती है, और इसलिए उच्च आयामी इनपुट के लिए इसका आमतौर पर अधिक उपयोग किया जाता है। वास्तव में, यह एक विशिष्ट दृष्टिकोण है जो प्रासंगिकता और अतिरेक को ध्यान में रखता है, जिसमें पहले सममितीय अनिश्चितता की गणना सभी संकेतों (X और YI (X, Y) के बीच की आपसी जानकारी, उनकी एंट्रियों के योग से विभाजित) के लिए की जाती है, फिर इस मानदंड के आधार पर छांटे जाते हैं, और फिर अतिरिक्त हटा दिया जाता है।
  
  कार्यान्वयन: skfeature , https://github.com/shiralkarprashant/FCBF

एक शिक्षक के बिना तरीके

• भिन्नता : यह दिखाया गया है कि लक्षण भिन्नता का अनुमान लक्षणों का चयन करने का एक प्रभावी तरीका हो सकता है। एक नियम के रूप में, लगभग शून्य फैलाव वाले संकेत महत्वपूर्ण नहीं हैं और हटाया जा सकता है।
  
  कार्यान्वयन: भिन्न थ्रेसहोल्ड
• औसत निरपेक्ष अंतर : गुण और उसके औसत मूल्य ( कार्यान्वयन ) के मूल्यों के बीच औसत पूर्ण अंतर की गणना करें।
  
  

  $$

  $$MAD_ {i} = \ frac {1} {n} \ sum_ {j = 1} ^ {n} \ left | X_ {ij} - \ bar {X} _ {i} \ right |$$
  
  
  उच्च मूल्यों में उच्च पूर्वानुमानित शक्ति होती है।
• फैलाव अनुपात : अंकगणितीय माध्य ज्यामितीय माध्य से विभाजित होता है। उच्चतर प्रसरण अधिक प्रासंगिक सुविधाओं ( कार्यान्वयन ) से मेल खाता है।
  
  

  $$

  $$AM_ {i} = \ bar {X_ {i}} = \ frac {1} {n} \ sum_ {j = 1} ^ {n} X_ {ij}$$
  
  

  $$

  $$GM_ {i} = (\ prod_ {j = 1} ^ {n} X_ {ij})$$
  
  
  जैसे $$$AM_ {i} \ geqslant GM_ {i}$अगर और केवल अगर समानता का सम्मान किया जाता है $$$X_ {i1} = X_ {i2} = \ cdots = X_ {in}$तब:
  

  $$

  $$R_ {i} = \ frac {AM_ {i}} {GM_ {i}} \ in \ left [1, + \ infty \ right)$$
• लाप्लासियन स्कोर : यह इस अवलोकन पर आधारित है कि एक वर्ग के डेटा अक्सर एक दूसरे के करीब स्थित होते हैं, इसलिए आप इस निकटता को प्रतिबिंबित करने की क्षमता द्वारा किसी विशेषता के महत्व का मूल्यांकन कर सकते हैं। विधि में मनमानी दूरी को मापकर निकटतम पड़ोसियों के ग्राफ में डेटा एम्बेड करना शामिल है, इसके बाद वेट मैट्रिक्स की गणना की जाती है। फिर, प्रत्येक सुविधा के लिए, हम लाप्लास मानदंड की गणना करते हैं और एक संपत्ति प्राप्त करते हैं जैसे कि सबसे छोटे मान सबसे महत्वपूर्ण आयामों के अनुरूप होते हैं। हालांकि, व्यवहार में, सुविधाओं के सबसेट का चयन करते समय, एक अलग क्लस्टरिंग एल्गोरिथ्म (के-साधन विधि) आमतौर पर उपयोग किया जाता है, जिसके साथ सबसे प्रभावी समूह का चयन किया जाता है।
  
  कार्यान्वयन: scikit- सुविधा
• दूरी आधारित एन्ट्रोपी के साथ संयुक्त लैप्लस मानदंड : एल्गोरिथ्म लैप्लस मानदंड पर आधारित है, जहां k- साधन क्लस्टरिंग को एन्ट्रापी द्वारा प्रतिस्थापित किया जाता है। एल्गोरिथ्म उच्च-आयामी डेटासेट ( कार्यान्वयन ) पर उच्च स्थिरता प्रदर्शित करता है।
  
• MCFS (मल्टी-क्लस्टर फीचर चयन): विभिन्न विशेषताओं के बीच सहसंबंध को मापने के लिए स्पेक्ट्रल विश्लेषण किया जाता है। डेटा क्लस्टरिंग और फीचर मूल्यांकन के लिए, लाप्लासियन ऑपरेटर (ग्राफ लैपेलियन) के eigenvectors का उपयोग किया जाता है। उनकी गणना इस पत्र में वर्णित है।
  
  कार्यान्वयन: https://github.com/danilkolikov/fsfc
• एल्गोरिदम LFSBSS (स्थानीयकृत सुविधा चयन), भारित k- साधन (भारित k- साधन), कल्पना और Apriori को यहाँ माना जाता है और इस पैकेज में लागू किया जाता है ।
  

संकर विधियाँ

सुविधा चयन को लागू करने का एक और तरीका दो-चरण की प्रक्रिया में संयुक्त फिल्टर और रैपर का एक संकर है: पहले, विशेषताओं को सांख्यिकीय गुणों द्वारा फ़िल्टर किया जाता है, और फिर रैपिंग के तरीकों को लागू किया जाता है।

अन्य स्रोत

बहुत सारा साहित्य लिखा गया है जिसमें सुविधाओं के चयन की समस्या पर विचार किया जाता है, और यहाँ हम केवल वैज्ञानिक अनुसंधान के पूरे सरणी पर थोड़ा स्पर्श करते हैं।

अन्य विशेषता चयन एल्गोरिदम की एक पूरी सूची जिसका मैंने उल्लेख नहीं किया था, स्किट-फीचर पैकेज में लागू किया गया था।

प्रासंगिक विशेषताओं को पीएलएस (आंशिक रूप से कम से कम वर्ग, जैसा कि इस लेख में वर्णित है, या रैखिक आयाम में कमी के तरीकों का उपयोग करके निर्धारित किया जा सकता है, जैसा कि यहां दिखाया गया है ।

अनुवादित जेट इन्फोसिस्टम