"पायथन में डेटा विश्लेषण" दो भागों में

सीएस सेंटर में डेटा विश्लेषण पर पाठ्यक्रम वादिम लियोनार्डोविच अब्बाकुमोव द्वारा पढ़ाया जाता है - पीएच.डी. विज्ञान, वह गज़प्रोमनेफ्ट-अल्टरनेटिव फ्यूल में मुख्य विशेषज्ञ विश्लेषक के रूप में काम करता है।

छात्रों की दो श्रेणियों के लिए व्याख्यान का उद्देश्य है। पहला नौसिखिया विश्लेषक है जिसे अध्ययन करके शुरू करना मुश्किल लगता है, उदाहरण के लिए, द एलिमेंट्स ऑफ़ स्टैटिस्टिकल लर्निंग। पाठ्यक्रम उन्हें आगे के काम के लिए तैयार करेगा। दूसरा अनुभवी विश्लेषक हैं जिन्होंने डेटा विश्लेषण के क्षेत्र में एक व्यवस्थित शिक्षा प्राप्त नहीं की है। वे ज्ञान अंतराल भर सकते हैं। पिछले साल से, क्लास पायथन प्रोग्रामिंग भाषा का उपयोग कर रहा है।

सामग्री को समझने के लिए, एक बार गणितीय विश्लेषण, रैखिक बीजगणित और संभाव्यता सिद्धांत और पायथन भाषा के बुनियादी ज्ञान के पर्याप्त पाठ्यक्रम पर्याप्त हैं।

अच्छा दृश्य है!

भाग 1

1. वर्णनात्मक आँकड़े। मात्राएँ, चतुर्थक। हिस्टोग्राम। परमाणु घनत्व का अनुमान।


2. वर्णनात्मक आँकड़े। मूंछों वाले बक्से। उत्सर्जन। माध्यिका और अंकगणित का अर्थ विशिष्ट टिप्पणियों के रूप में है। स्कैटर चार्ट। फैलाव आरेखों का मैट्रिक्स।
बार और पाई चार्ट।


3. पदानुक्रमित क्लस्टर विश्लेषण। क्लस्टर, वस्तुओं के बीच की दूरी, समूहों के बीच की दूरी। डेंड्रोग्राम के निर्माण के लिए एल्गोरिदम। रॉकी स्क्री / एल्बो। डेटा का मानकीकरण। डेटा तैयार करने में विशिष्ट त्रुटियां। परिणामों की व्याख्या।


4. k- साधन विधि। उदाहरण (व्याख्यान का सैद्धांतिक भाग छोड़ा गया है)।


5. सांख्यिकीय परिकल्पना (सैद्धांतिक परिचय) का परीक्षण करना।

समझौते की परिकल्पना, समरूपता, स्वतंत्रता, वितरण मापदंडों के बारे में परिकल्पना।
पहली और दूसरी तरह की त्रुटियों, पी-मूल्य और महत्व स्तर, सांख्यिकीय परिकल्पना का परीक्षण करने और परिणामों की व्याख्या के लिए एल्गोरिथ्म। वितरण की सामान्यता की परिकल्पना। शापिरो-विल्क और कोलमोगोरोव-स्मिरनोव का मानदंड। सामान्य से मामूली विचलन। नमूनों की तुलना। स्वतंत्र और युग्मित नमूने। स्टूडेंट टी-टेस्ट, मान-व्हिटनी-विलकॉक्सन की कसौटी और मूड की कसौटी के बीच चुनाव। छात्र के टी-मापदंड और भिन्नताओं की तुलना की विविधताएं। तुलनाओं में दृश्य। एकतरफा और द्विपक्षीय परीक्षण।
स्वतंत्रता। पियर्सन, केंडल और स्पीयरमैन सहसंबंध गुणांक, दो घटनाओं के बीच संबंधों के अध्ययन में विशिष्ट त्रुटियां। निष्कर्षों का दृश्य निरीक्षण।


6. सांख्यिकीय परिकल्पनाओं (पाइथन प्रक्रियाओं) का परीक्षण करना।

शापिरो-विलक कसौटी। मान-व्हिटनी-विलकॉक्सन परीक्षण। छात्र टी-टेस्ट। फ्लिग्नर-किलिन की कसौटी।

स्वतंत्र और युग्मित नमूने। ची-चौकोर परीक्षण। पियर्सन की कसौटी।


7. ए / बी परीक्षण। अनुपात के लिए परीक्षण।


8. रेखीय प्रतिगमन विश्लेषण। मॉडल, गुणांक अनुमानों की व्याख्या, निर्धारण के कई गुणांक। निर्धारण के कई गुणांक की व्याख्या, इसके आवेदन के दायरे पर प्रतिबंध। सबसे महत्वपूर्ण भविष्यवक्ताओं की पहचान करें और प्रत्येक भविष्यवक्ता के योगदान का मूल्यांकन करें। निर्मित मॉडल को समायोजित करने के लिए एल्गोरिदम। समरैखिकता।


9. मौसमी संकेतक (काल्पनिक, संरचनात्मक) चर के साथ एक प्रतिगमन मॉडल पर आधारित भविष्यवाणी। प्रवृत्ति, मौसमी घटक, श्रृंखला की प्रकृति में परिवर्तन, उत्सर्जन। लघुगणक गुणात्मक मौसम को योज्य में परिवर्तित करने के लिए एक तकनीक है।
संकेतक चर। पुनर्प्रशिक्षण।
कई मौसमी घटकों का मामला।


10. पैटर्न मान्यता / वर्गीकरण।
मॉडल पैरामीटर, आंतरिक और बाहरी।
गुणवत्ता मानदंड। प्रशिक्षण और परीक्षण के नमूने।
CART वर्गीकरण के पेड़। ज्यामितीय प्रतिनिधित्व। तार्किक नियमों के एक सेट के रूप में प्रतिनिधित्व। वृक्ष के रूप में प्रस्तुति। नोड्स, माता-पिता और वंशज, अंत नोड्स। सीमारेखा। अशुद्धता के उपाय: जिन्न, एन्ट्रॉपी, वर्गीकरण त्रुटियां। नियम सीखने की लकड़ी के अवशेष हैं। चर की सूचनात्मक सामग्री।
प्रतिगमन समस्याओं में पेड़ों का वर्गीकरण।


11. बेतरतीब जंगल। जीतना। प्रमुख मॉडल पैरामीटर। आउट-ऑफ-बैग त्रुटि। चर की सूचनात्मक सामग्री। असंतुलित नमूनों का विश्लेषण। पेड़ों की संख्या का निर्धारण।


12. बूस्टिंग। धीरे-धीरे बूस्टिंग मशीन। प्रमुख मॉडल पैरामीटर।

भाग २

1. न्यूरॉन मॉडल। सक्रियण समारोह। प्रत्यक्ष वितरण नेटवर्क (फीडफॉरवर्ड न्यूरल नेटवर्क)। तंत्रिका नेटवर्क वास्तुकला। संयोजकता (कनेक्शनवाद)।


2. तंत्रिका नेटवर्क प्रशिक्षण। रिवर्स त्रुटि प्रसार। शीघ्र वंश (ग्रेडिएंट वंश) की विधि और इसका सामान्यीकरण। युग और बैचैनी। केरस और टेन्सरफ्लो का परिचय। तंत्रिका नेटवर्क भार का प्रारंभ। डेटा मानकीकरण संतृप्ति को रोकता है। प्रत्यक्ष वितरण का तंत्रिका नेटवर्क प्रशिक्षण। केरस में अनुकूलन (ऑप्टिमाइज़र)। एक तंत्रिका नेटवर्क के प्रशिक्षण में वजन में सुधार के लिए सूत्र। एक तंत्रिका नेटवर्क के प्रशिक्षण का एक उदाहरण।


3. एक तंत्रिका नेटवर्क के प्रशिक्षण का एक उदाहरण। करास में गुणवत्ता मानदंड। केरस में तंत्रिका नेटवर्क भार का प्रारंभिककरण।


4. पूर्वानुमान के लिए तंत्रिका नेटवर्क। पूर्वानुमान समस्या को एक प्रतिगमन समस्या में कमी। एक मौसमी घटक के साथ पूर्वानुमान श्रृंखला।


5. छवि पहचान। तस्वीर में चेहरा उजागर करने के लिए Haar झरना।
कनवल्शन। संवहन परत पैडिंग। स्ट्राइड। पूलिंग।
ड्रॉपआउट और सजावट। तंत्रिका नेटवर्क का अतिरिक्त प्रशिक्षण। उदाहरण: लिखावट की मान्यता, पहला समाधान।


6. उदाहरण: हस्तलिखित अंक मान्यता, दूसरा समाधान। Augmentaiton। वीजीजी -16 तंत्रिका नेटवर्क वास्तुकला। नियमितीकरण, इसका उद्देश्य। रैखिक प्रतिगमन विश्लेषण में नियमितीकरण। रैखिक प्रतिगमन विश्लेषण के सामान्य समीकरण। सामान्य समीकरणों में एक नियमितीकरण शब्द जोड़ना। एक स्वतंत्र सदस्य की विशेष भूमिका। उदाहरण: एक बहुपद द्वारा अंकों का अनुमान। वैधता का नमूना। नियमितीकरण शब्द (रिज रिग्रेशन, लासो, इलास्टिक नेट) के वेरिएंट। लस्सो पूर्ववर्तियों को कम क्यों करता है


7. विधि का सैद्धांतिक आधार। XGboost का उपयोग करके पायथन में एक समस्या को हल करने का एक उदाहरण। असंतुलित नमूने। परिशुद्धता, रिकॉल, एफ 1। चर की महत्वपूर्ण सामग्री (महत्व)। XGboost में मापदंडों का चयन।


8. XGboost में मापदंडों का चयन। मापदंडों का चयन करने के लिए ग्रिडसर्च। कारक विश्लेषण। कारक विश्लेषण द्वारा हल किए गए कार्य।


9. मुख्य घटकों और कारक विश्लेषण के विश्लेषण के लिए गणितीय मॉडल। कारकों की व्याख्या। पायथन में कारक विश्लेषण का एक उदाहरण। कारक लोड, कारक लेबल, उनकी व्याख्या। रोटेशन के कारक।


10. पायथन में कारक विश्लेषण का एक उदाहरण।
एसवीडी अपघटन का गणितीय मॉडल। एसवीडी अपघटन और मुख्य घटकों का विश्लेषण। अव्यक्त अर्थ विश्लेषण (LSA) के आधार के रूप में SVD अपघटन। एसवीडी एक डेटा मैट्रिक्स का अपघटन जिसमें अंतराल होते हैं। साइमन की फंक विधि सिमोन की फंक विधि में नियमितीकरण। सिफारिश प्रणाली का निर्माण करते समय एसवीडी अपघटन।


11. बड़ी संख्या में अंतराल वाले डेटा के लिए एसवीडी अपघटन (एकवचन मूल्य अपघटन) के आवेदन की विशेषताएं। सहपाठियों का अंशांकन। आइसोटोनिक प्रतिगमन प्लाट का अंशांकन


12. असंतुलित नमूनों का विश्लेषण। सटीकता, सटीकता, याद, एफ 1। दहलीज मूल्य निर्धारित करने के लिए आरओसी वक्र (आरओसी वक्र)। सहपाठियों की तुलना के लिए आरओसी वक्र। वक्र (एयूसी) के तहत क्षेत्र। लॉजिस्टिक रिग्रेशन