डेटा साइंटिस्ट ने फैसला किया: ड्राइविंग अनुभव और बाहरी कारकों पर दुर्घटना की संभावना की निर्भरता बनाने के लिए

यह माना जाता है कि वैज्ञानिक तैयार पुस्तकालय समाधानों की मदद से अधिकांश प्रक्रियाएं करता है। लेकिन वास्तव में, विशिष्ट समस्याओं में आपको यह जांचने में सक्षम होने की आवश्यकता है कि चयनित विधि कितनी उपयुक्त है और यदि आवश्यक हो, तो अपनी स्थितियों को फिट करने के लिए इसे संशोधित करें। पीटर लुकेनचेंको के साथ मिलकर, ओटीयूएस में डेटा साइंस के लिए उच्च गणित के शिक्षक, और अतीत में, लमोडा में टीम लीड एनालिटिक्स, हम विश्लेषण करते हैं कि गणित वास्तविक व्यावसायिक समस्याओं में कैसे मदद करता है।

---

इस विषय के पहले तीन भाग प्रतिगमन विश्लेषण के लिए समर्पित हैं।

व्यावसायिक उद्देश्य: कार-शेयरिंग कंपनी को कारकों की एक श्रृंखला के रूप में निर्भरता की पहचान करने की आवश्यकता है - ड्राइविंग अनुभव, मौसम, कार और सड़क की सतह की स्थिति, यातायात, शहर की आबादी, आदि - एक दुर्घटना की संभावना को प्रभावित करते हैं।

डेटा साइंटिस्ट के लिए, यह कार्य इस तरह दिखता है: अन्य मापदंडों के एक सेट पर टिप्पणियों के एक सेट की निर्भरता के समीकरण की गणना करें।

विशिष्ट समाधान समस्या: मॉडल जो सामान्य वितरण त्रुटि के लिए पुस्तकालयों को डिफ़ॉल्ट प्रदान करते हैं। उसकी गणना बल्कि उबड़ खाबड़ है, और शायद ही कभी प्राप्त निर्भरता के पास जाता है। इसके अलावा, समीकरण में एक गलत त्रुटि को शामिल करने से तथ्य यह होता है कि मापदंडों के प्रत्येक नए सेट के साथ भविष्यवाणी कम और सटीक होती है।

गणित कैसे बचाता है

आइए एक कारक के लिए रिश्ते के विवरण के साथ शुरू करें - ड्राइविंग अनुभव। क्लासिक युग्मित रैखिक प्रतिगमन मॉडल दो गुणांक को रोजगार देता है। पहला गुणांक α (अल्फा) एक बिना शर्त मूल्य है जब बस संयोग से किसी भी पैरामीटर की परवाह किए बिना किसी दुर्घटना की सामान्य संभावना होगी। दूसरा गुणांक β (बीटा) एक दुर्घटना की संभावना के लिए ड्राइविंग अनुभव कारक की संवेदनशीलता को निर्धारित करता है। गुणांक co को निर्भरता के समीकरण में ढलान भी कहा जाता है। और चूँकि हमेशा ऐसे कारक होंगे जिन्हें हम भूल गए थे या खाते में लेने में असमर्थ थे, इसलिए हमें समीकरण में कुछ त्रुटि U _i जोड़नी चाहिए।

हमें समीकरण मिलता है: y _i = α + ix _i + U _i ।



दरअसल, विश्लेषक का कार्य ऐसे गुणांक की खोज करना है, जिस पर त्रुटि U _i सबसे छोटी थी।

त्रुटि गणना की कुछ किस्में हैं। इसकी सादगी के कारण, सबसे लोकप्रिय पूर्ण त्रुटि पूर्ण मूल्य से अनुमानित मूल्य का विचलन है। इस मामले में सामान्य त्रुटि मॉड्यूल का योग है। मॉड्यूल समस्या यह है कि यह फ़ंक्शन संख्याओं के पूरे स्थान पर भिन्न नहीं है। फिर गणितज्ञों ने त्रुटि को सामान्य करने के लिए निरंतर परिवर्तन करने का विचार बनाया, और ऐसे विचलन के वर्गों को संक्षेप में प्रस्तुत करना शुरू किया। चूंकि यह फ़ंक्शन निरंतर है, हम लाग्रॉग ऑप्टिमाइज़ेशन (दो चर के फ़ंक्शन का अनुकूलन) लागू कर सकते हैं। Α और we के संबंध में फ़ंक्शन के डेरिवेटिव की गणना करने के बाद, हम एक्स्ट्रेमा के बिंदुओं का पता लगाते हैं, फिर हम उन्हें हेसियन संपत्ति (हेस्से नियम के अनुसार) के माध्यम से वर्गीकृत करते हैं। दो गुणांक α ' और β' सबसे कम वर्ग विधि के अनुरूप बनाए जाते हैं । यह गॉस-मार्कोव प्रमेय को रेखांकित करता है, जो सबसे इष्टतम जोड़ी प्रतिगमन मॉडल है। उसे प्राप्त ग्रेड सबसे अच्छे हैं, और उनके परिणामों को किसी अन्य तरीकों से बाधित नहीं किया जा सकता है।

प्रक्रिया को स्केल करें

अब हम इस तथ्य पर आते हैं कि दुर्घटना में होने की संभावना कई अन्य मापदंडों से प्रभावित होती है जिन्हें मात्रात्मक मूल्यांकन में व्यक्त किया जा सकता है। यह पता चला है कि Y, चर X की संख्या पर निर्भर करता है। प्रत्येक पैरामीटर के लिए सभी गुणांक α और β की समान गणना को नहीं दोहराने के लिए, हम निर्भरता के मैट्रिक्स समीकरण की ओर मुड़ते हैं। ध्यान से विभेदित होने के बाद, हम गुणांक के एक मैट्रिक्स को प्राप्त कर सकते हैं, इसलिए हम बहुआयामी के लिए युग्मित प्रतिगमन समीकरण को सामान्य करते हैं।

त्रुटि कुंजी है

प्रतिगमन समस्याओं को हल करने में एक और महत्वपूर्ण बिंदु त्रुटि की पसंद से संबंधित है। अक्सर, विश्लेषक सामान्य रूप से वितरित त्रुटि चुनते हैं। वास्तव में, यह एक अप्रचलित विधि है। यह अभी भी सैद्धांतिक स्थितियों में अच्छी तरह से काम करता है, लेकिन हमारे एल्गोरिदम के लिए पहले से ही बहुत आदिम है जो लगातार अधिक जटिल और सच्चाई के लिए प्रयास कर रहे हैं। एक सक्षम विशेषज्ञ के लिए, त्रुटि एक शोध विषय है जो प्रतिगमन के बहुत सार को बेहतर ढंग से समझने में मदद करता है। एक प्रतिगमन का निर्माण करने के बाद, वह देखता है कि उसने किन त्रुटियों को उत्पन्न किया है और त्रुटियों के पूरे बादल की खोज करता है। उदाहरण के लिए, यदि विचलन बढ़ता है, तो यह विषमलैंगिकता का संकेत है, अर्थात तब हम एक्स के कुछ चरों को ध्यान में रखना भूल गए और उनकी गिनती नहीं की। यदि उसे पता चलता है कि त्रुटियां कुछ कानून के अनुसार स्थित हैं और उन में स्वत :संबंध नोटिस किया गया है, तो यह एक संकेत है कि हमने मॉडल के साथ गलती की है। आदर्श रूप से, आपको शून्य से त्रुटि के विचलन को कम करने का प्रयास करना चाहिए।

इसलिए, उच्चतर गणित के ज्ञान के लिए हमें कारकों के एक समूह पर दुर्घटना की संभावना की एक जटिल निर्भरता बनाने की आवश्यकता थी:

1. चटाई। प्रतिगमन समारोह का अनुकूलन करने के लिए विश्लेषण
2. रैखिक बीजगणित, अर्थात् युग्म के प्रतिगमन से बहुआयामी में परिवर्तन के लिए, मेट्रिसेस की परिभाषा, गुण और विभेदन
3. विश्लेषण और त्रुटि वितरण के प्रकार का चयन। उदाहरण के लिए, एक विशेषज्ञ एक सामान्यीकृत सामान्य वितरण, एक बीटा वितरण या एक छात्र वितरण ले सकता है। यह उन मामलों में विशेष रूप से आवश्यक है जहां कोई अच्छा नमूना नहीं है और जब इसे सुधार नहीं किया जा सकता है। और यह भी कि जब गॉस-मार्कोव प्रमेय की स्थिति का उल्लंघन किया जाता है और आवश्यकता प्रतिगमन समीकरण को अलग तरीके से निर्मित करने या संभावना को वर्गीकृत करने और आकलन करने के लिए अन्य तरीकों का उपयोग करने के लिए उत्पन्न होती है।

गणितीय उपकरण के साथ काम करने की क्षमता डेटा साइंटिस्ट का एक महत्वपूर्ण लाभ है, जो उसे परिणामों की जांच करने और असामान्य समस्याओं को हल करने की अनुमति देता है। अगले लेख में हम सलाहकार सेवाओं के लिए गणितीय समाधानों के बारे में बात करेंगे। इस बीच, हम आपको डेटा साइंस के लिए गणित के पाठ्यक्रमों में आमंत्रित करते हैं, जो इस सप्ताह शुरू होगा।

बुनियादी पाठ्यक्रम के लिए - 29 जनवरी से शुरू होना - स्कूल के पाठ्यक्रम का पर्याप्त ज्ञान , उन्नत के लिए - 31 जनवरी से शुरू होना - संस्थान के 1-2 पाठ्यक्रमों का ज्ञान आवश्यक है ।

प्रवेश परीक्षा पास करने और पास करने का समय है।