खुला वेबिनार "Naive Bayes Classifier"

सभी को नमस्कार!

हमारे डेटा साइंटिस्ट पाठ्यक्रम के भाग के रूप में, हमने "Naive Bayes Classifier" विषय पर एक खुला पाठ किया। पाठ्यक्रम पाठ्यक्रम शिक्षक मैक्सिम क्रेटोव द्वारा सिखाया गया था, जो तंत्रिका नेटवर्क और गहरी शिक्षा (एमआईपीआर) की प्रयोगशाला में एक प्रमुख शोधकर्ता थे। हम आपको वीडियो और एक सारांश के साथ परिचित करने की पेशकश करते हैं।

अग्रिम धन्यवाद।


प्रविष्टि

कल्पना कीजिए कि आपके पास एक हजार गुण हैं। एक नियम के रूप में, उनमें से प्रत्येक को विशिष्ट सुविधाओं के सेट द्वारा विशेषता दी जा सकती है, उदाहरण के लिए:

• घर का क्षेत्र;
• अंतिम मरम्मत के बाद से बीता हुआ समय;
• निकटतम सार्वजनिक परिवहन स्टॉप से ​​दूरदर्शिता।

इस प्रकार, प्रत्येक घर को आयाम 3 के रूप में एक्स के रूप में दर्शाया जा सकता है। अर्थात, x = (150; 5; 600), जहां 150 वर्ग मीटर में घर का क्षेत्रफल है, 5 मरम्मत के बाद वर्षों की संख्या है, 600 मीटर में स्टॉप की दूरी है। जिस मूल्य के लिए यह घर बाजार में बेचा जा सकता है, उसे y द्वारा दर्शाया जाएगा।

नतीजतन, हमारे पास वैक्टर का एक सेट है, जिसमें प्रत्येक ऑब्जेक्ट के अनुरूप चर होता है। और अगर हम कीमत के बारे में बात करते हैं, तो बस मशीन मशीन सीखने के कौशल के साथ भविष्यवाणी करना सीखा जा सकता है।

मशीन सीखने के तरीकों का मूल वर्गीकरण

उपरोक्त उदाहरण काफी विशिष्ट है और एक शिक्षक के साथ मशीन सीखने से संबंधित है (एक लक्ष्य चर है)। यदि उत्तरार्द्ध अनुपस्थित है, तो हम एक शिक्षक के बिना मशीन सीखने के बारे में बात कर सकते हैं। ये मशीन सीखने के दो मुख्य और सबसे सामान्य प्रकार हैं। इस मामले में, एक शिक्षक के साथ शिक्षण का कार्य, बदले में, दो समूहों में विभाजित है:

1. वर्गीकरण। लक्ष्य चर सी-क्लास में से एक है, अर्थात, प्रत्येक ऑब्जेक्ट को एक क्लास लेबल (कॉटेज, गार्डन हाउस, आउटबिल्डिंग, आदि) दिया जाता है।
2. प्रतिगमन। लक्ष्य चर एक वास्तविक संख्या है।

मशीन सीखने से क्या कार्य हल होते हैं?

आज, मशीन सीखने के तरीकों का उपयोग करते हुए, निम्नलिखित कार्य हल किए जाते हैं:

1. सिंथेटिक:

• भाषण और रूपात्मक पात्रों के कुछ हिस्सों द्वारा मार्कअप;
• पाठ में शब्दों का विभाजन morphemes (उपसर्ग, प्रत्यय, आदि) में;
• पाठ में नाम और शीर्षक के लिए खोज ("नामित संस्थाओं की मान्यता");
• दिए गए संदर्भ में शब्दों के अर्थ का समाधान (एक विशिष्ट उदाहरण एक महल या महल है)।

2. पाठ को समझने के लिए कार्य, जिसमें एक "शिक्षक" है:

• मशीनी अनुवाद;
• इंटरैक्टिव मॉडल (चैट बॉट)।

3. अन्य कार्य (छवि विवरण, भाषण मान्यता, आदि)।

पाठ के साथ काम करने की कठिनाई

मशीन सीखने के दृष्टिकोण से पाठ के साथ काम करना हमेशा कुछ निश्चित कठिनाइयों के साथ होता है। ऐसा करने के लिए, बस दो वाक्य याद रखें:

• माँ ने फ्रेम धोया और अब यह चमकता है;
• माँ ने फ्रेम धोया और अब वह थक गई है।

यदि मशीन सीखने का कार्य करने वाला क्लासिफायर का सामान्य ज्ञान नहीं है, तो यह उसके लिए उतना ही सही है जब फ्रेम चमकदार और थका हुआ हो, क्योंकि वाक्य रचना में दूसरे वाक्य में शब्द फ्रेम सर्वनाम के करीब होता है।

व्यावहारिक कार्य

मशीन लर्निंग के कुछ पहलुओं पर सामान्य जानकारी प्रदान करने के बाद, शिक्षक आसानी से वेबिनार के व्यावहारिक कार्य पर चला गया - ईमेल का स्पैम और गुणवत्ता में वर्गीकरण।

सबसे पहले, एक उदाहरण दिखाया गया कि इनपुट टेक्स्ट को संख्याओं के वेक्टर में कैसे परिवर्तित किया जाए। ऐसा करने के लिए:

• आकार K का एक शब्दकोश तय किया गया था;
• पाठ में प्रत्येक शब्द निम्नलिखित रूप में प्रस्तुत किया गया था: (0, 0, 0, ... 0, 1, 0, ... 0)।

इस दृष्टिकोण को 1-हॉट-एन्कोडिंग कहा जाता है, और इसके संदर्भ में शब्दों को टोकन कहा जाता है।

इस डेटा प्रोसेसिंग चरण के परिणामों के आधार पर, एक शब्दकोश बनाया गया था और प्रत्येक पाठ के लिए शब्द गणना की गई थी। नतीजतन, प्रत्येक पाठ के लिए एक निश्चित लंबाई वाला वेक्टर प्राप्त किया गया था। एक सरल बूलियन मुखौटा दृष्टिकोण पर भी विचार किया गया था।

बाइसियन क्लासिफायर का परिचय

भोली बेयस क्लासिफायर बेयर्स प्रमेय के आवेदन पर आधारित है जो स्वतंत्रता के बारे में सख्त (भोली) मान्यताओं के साथ है। इसका लाभ वर्गीकरण के लिए आवश्यक मापदंडों का मूल्यांकन करने के लिए आवश्यक प्रशिक्षण डेटा की छोटी मात्रा है।
ईमेल को वर्गीकृत करने के कार्य की व्याख्या में, मुख्य विचार निम्नानुसार था:

• पाठ में सभी शब्दों को एक दूसरे से स्वतंत्र रूप से माना जाता है;
• यदि किसी शब्द को अच्छे अक्षरों की तुलना में स्पैम में अधिक बार पाया जाता है, तो ये शब्द स्पैम से संबंधित पत्र के संकेत माने जाते हैं।

बेयस के प्रमेय को ध्यान में रखते हुए, संबंधित सूत्र कई चर के लिए लिखे गए थे, और अतिरिक्त मान्यताओं की गणना करने की विशेषताओं पर भी विचार किया गया था। मापदंडों की गणना करने के लिए, एक छद्म कोड का उपयोग किया गया था, जिसके बाद एक विस्तृत मॉडल उदाहरण तैयार किया गया था, जहां एक प्राथमिकता ऑब्जेक्ट और नए ऑब्जेक्ट x के लिए वर्गों से संबंधित संभावनाओं की गणना की गई थी। व्यावहारिक कार्य का अंतिम चरण मॉडल का निर्माण और प्रशिक्षण है, साथ ही गुणवत्ता का माप भी है।

अंत

हमेशा की तरह, हम यहां प्रश्नों और टिप्पणियों की प्रतीक्षा कर रहे हैं या आप उन्हें ओपन डे पर जाकर सीधे शिक्षक से पूछ सकते हैं।