डाटा साइंस प्रोजेक्ट की संरचना हवाई दृश्य है

सुनिश्चित करने के लिए कैसे पता है कि बन के अंदर क्या है?
शायद आप इसे निगल लें, और इसके अंदर एक नदी है? © तान्या ज़ादोरोज़्नाया

आज डेटा साइंस क्या है, ऐसा लगता है, न केवल बच्चे, बल्कि पालतू जानवर भी जानते हैं। किसी भी बिल्ली से पूछें, और वह कहेगी: आंकड़े, पायथन, आर, बिगडाटा, मशीन लर्निंग, विज़ुअलाइज़ेशन और कई अन्य शब्द, योग्यता के आधार पर। लेकिन सभी बिल्लियां, साथ ही साथ जो लोग डेटा साइंस में विशेषज्ञ बनना चाहते हैं, वे ठीक से जानते हैं कि डेटा साइंस प्रोजेक्ट कैसे संरचित होता है, इसमें कौन से चरण होते हैं और उनमें से प्रत्येक अंतिम परिणाम को कैसे प्रभावित करता है, परियोजना के प्रत्येक चरण में संसाधन-गहन कैसे होता है। इन सवालों के जवाब देने के लिए आमतौर पर कार्यप्रणाली का इस्तेमाल किया जाता है। हालाँकि, डेटा साइंस के अधिकांश प्रशिक्षण पाठ्यक्रम कार्यप्रणाली के बारे में कुछ नहीं कहते हैं, लेकिन बस अधिक या कम लगातार ऊपर बताई गई तकनीकों के सार को प्रकट करते हैं, और डेटा साइंटिस्ट के हर शुरुआती को अपने स्वयं के अनुभव (और रेक) से परियोजना की संरचना का पता चलता है। लेकिन व्यक्तिगत रूप से, मैं एक नक्शे और एक कम्पास के साथ जंगल में जाना पसंद करता हूं, और मैं उस मार्ग की योजना के बारे में कल्पना करना पसंद करता हूं जो आप आगे बढ़ रहे हैं। कुछ खोजों के बाद, मैं आईबीएम से एक अच्छी कार्यप्रणाली खोजने में कामयाब रहा, जो कि कुछ भी प्रबंधित करने के लिए गाइड और तरीकों की एक प्रसिद्ध निर्माता थी।

तो, डेटा साइंस प्रोजेक्ट में, प्रत्येक में 3 चरणों के 3 ब्लॉक हैं, कुल 9 चरण। संक्षेप में, परियोजना में व्यावसायिक आवश्यकताओं, डेटा और स्वयं मॉडल के साथ काम करना शामिल है।

व्यावसायिक आवश्यकताओं के साथ काम करें

इस कदम पर, हमें कुछ भी पता नहीं है कि हमारे पास क्या डेटा है। हमें समस्या के विवरण में तल्लीन होना चाहिए, यह समझना चाहिए कि परियोजना से क्या परिणाम प्राप्त करने की आवश्यकता है, प्रतिभागियों और हितधारकों के बारे में सभी जानें। आगे, एक विशिष्ट कार्य के अनुसार, हमें यह तय करना होगा कि समस्या का समाधान किस पद्धति से किया जाएगा। इस चरण के परिणाम में डेटा आवश्यकताएं होंगी: ठीक है, कार्य स्पष्ट है, विधि को चुना गया है, अब हम इस बारे में सोचेंगे कि एक सफल समाधान के लिए हमें क्या आवश्यकता हो सकती है?

डेटा के साथ काम करें

दूसरे चरण में, हम समस्या को हल करने के लिए डेटा खोजना शुरू करते हैं: हम यह पता लगाते हैं कि कौन से स्रोत हमारे लिए उपलब्ध हैं, और एक नमूना बनाते हैं जिसके साथ हम काम करना जारी रखेंगे। डेटा एकत्र होने के बाद, नमूना कैसे व्यवस्थित किया जाता है, यह समझने के लिए अध्ययन की एक श्रृंखला आयोजित करना आवश्यक है: केंद्रीय स्थिति और परिवर्तनशीलता की जांच करना, सुविधाओं के बीच सहसंबंधों की पहचान करना और वितरण रेखांकन का निर्माण करना। इस चरण के बाद, आप डेटा तैयार करना शुरू कर सकते हैं। एक नियम के रूप में, यह चरण सबसे अधिक समय लेने वाला है और पूरे प्रोजेक्ट समय का 90% तक ले सकता है, लेकिन पूरी परियोजना की सफलता इस बात पर निर्भर करती है कि यह कितनी अच्छी तरह से पूरा हुआ है।

विकास और कार्यान्वयन

अंत में, तीसरा कदम। डेटा तैयार होने के बाद, आप वास्तविक विकास और कार्यान्वयन के साथ आगे बढ़ सकते हैं। हम मॉडल को प्रोग्राम करते हैं, इसे प्रशिक्षण नमूने पर सेट करते हैं, इसे परीक्षण एक पर जांचें, यदि परिणाम संतोषजनक है, तो इसे ग्राहक को प्रदर्शित करें, इसे लागू करें, प्रतिक्रिया को इकट्ठा करें और ... आप सभी को फिर से शुरू कर सकते हैं।

पूरी प्रक्रिया को एक दुष्चक्र के रूप में प्रस्तुत किया गया है: एक अच्छे तरीके से, एक डीएस-परियोजना को कभी भी अंतिम रूप नहीं दिया जा सकता है (लगभग, एक मरम्मत की तरह, जिसे आप जानते हैं, पूरा नहीं किया जा सकता है, लेकिन केवल रोका जा सकता है):



प्रत्येक चरण पर अधिक विस्तार से जाने।

1. व्यापार चुनौती को समझना

यह चरण बाद के सभी कार्यों की नींव है: इसके बिना आप कुछ भी नहीं बना सकते हैं। अध्ययन के उद्देश्य को स्पष्ट रूप से परिभाषित करना आवश्यक है: समस्या क्या है? समस्या क्यों हल होनी चाहिए? समस्या से कौन प्रभावित है? विकल्प क्या हैं? और सबसे महत्वपूर्ण बात: परियोजना की सफलता को किस मैट्रिक्स से मापा जाएगा?

दूसरे शब्दों में, ग्राहक के लक्ष्य को स्पष्ट रूप से पहचानना आवश्यक है। उदाहरण के लिए, एक व्यवसाय स्वामी पूछता है: क्या हम एक निश्चित गतिविधि की लागत को कम कर सकते हैं? स्पष्ट करने की आवश्यकता है: इस गतिविधि की प्रभावशीलता को बढ़ाने के लिए लक्ष्य है? या व्यापार राजस्व में वृद्धि?
एक बार लक्ष्य निर्धारित होने के बाद, आप अगले चरण पर आगे बढ़ सकते हैं।

2. विश्लेषणात्मक दृष्टिकोण

अब आपको व्यावसायिक समस्या को हल करने के लिए एक विश्लेषणात्मक दृष्टिकोण चुनने की आवश्यकता है। दृष्टिकोण का विकल्प इस बात पर निर्भर करता है कि अंत में आपको किस प्रकार का उत्तर प्राप्त करने की आवश्यकता है: यदि उत्तर हां / नहीं होना चाहिए, तो एक भोला बेयस क्लासिफायर उपयुक्त है। यदि आपको संख्यात्मक चिह्न के रूप में उत्तर की आवश्यकता है, तो प्रतिगमन मॉडल उपयुक्त हैं। निर्णय पेड़ संख्यात्मक और श्रेणीबद्ध डेटा दोनों से निपट सकते हैं। यदि प्रश्न कुछ परिणामों की संभावनाओं को निर्धारित करने के लिए है, तो एक पूर्वानुमान मॉडल का उपयोग करना आवश्यक है। यदि लिंक की पहचान करने की आवश्यकता है, तो एक वर्णनात्मक दृष्टिकोण का उपयोग किया जाता है।

3. डेटा आवश्यकताएँ

जब अध्ययन के उद्देश्य को स्पष्ट रूप से परिभाषित किया जाता है और दृष्टिकोण चुना जाता है, अर्थात, हम स्पष्ट रूप से समझते हैं कि हम जिस प्रश्न का उत्तर देख रहे हैं, यह निर्धारित करना आवश्यक है कि कौन सा डेटा हमें वांछित उत्तर देने की अनुमति देगा। हमें डेटा आवश्यकताओं को तैयार करना चाहिए: सामग्री, प्रारूप और स्रोत जो परियोजना के अगले चरण में उपयोग किए जाएंगे।

4. डेटा संग्रह

इस स्तर पर, हम उपलब्ध स्रोतों से डेटा एकत्र करते हैं: हम सुनिश्चित करते हैं कि स्रोत उपलब्ध हैं, विश्वसनीय हैं और इसका उपयोग आवश्यक गुणवत्ता में आवश्यक डेटा प्राप्त करने के लिए किया जा सकता है। प्रारंभिक डेटा संग्रह पूरा होने के बाद, यह समझना आवश्यक है कि क्या हमें वह डेटा प्राप्त हुआ जो हम चाहते थे। इस स्तर पर, आप डेटा आवश्यकताओं को संशोधित कर सकते हैं और अतिरिक्त डेटा की आवश्यकता के बारे में निर्णय ले सकते हैं (अर्थात, यह संभावना है कि आपको चरण 3 में वापस लौटना होगा)। Lacunae को डेटा में पहचाना जा सकता है और एक योजना तैयार की जा सकती है कि उन्हें कैसे बंद किया जाए या एक प्रतिस्थापन खोजें।

5. डेटा विश्लेषण

डेटा विश्लेषण में सभी नमूना डिजाइन कार्य शामिल हैं। इस स्तर पर प्रश्न का उत्तर प्राप्त करना आवश्यक है: क्या कार्य के एकत्रित डेटा प्रतिनिधि हैं?

यहां हमें वर्णनात्मक आंकड़ों की आवश्यकता है। यह उन सभी चर पर लागू होता है जो चयनित मॉडल में उपयोग किए जाएंगे: केंद्रीय स्थिति (माध्य, माध्य, मोड) की जांच की जाती है, आउटलेयर की खोज की जाती है और परिवर्तनशीलता का अनुमान लगाया जाता है (एक नियम के रूप में, यह परिमाण, भिन्नता और मानक विचलन है)। चर के वितरण के हिस्टोग्राम भी निर्मित होते हैं। हिस्टोग्राम्स यह समझने के लिए एक अच्छा उपकरण है कि डेटा मान कैसे वितरित किए जाते हैं और किस तरह की तैयारी की आवश्यकता होती है ताकि मॉडल बनाते समय चर सबसे उपयोगी हो। अन्य विज़ुअलाइज़ेशन टूल, जैसे मूंछ बक्से, भी उपयोगी हो सकते हैं।

अगला, जोड़ीदार तुलना की जाती है: चर के बीच सहसंबंधों की गणना यह निर्धारित करने के लिए की जाती है कि उनमें से कौन संबंधित हैं और कितना। यदि चर के बीच महत्वपूर्ण सहसंबंध हैं, तो उनमें से कुछ को निरर्थक के रूप में त्याग दिया जा सकता है।

6. डेटा तैयार करना

डेटा के संग्रह और विश्लेषण के साथ, डेटा तैयार करना परियोजना की सबसे अधिक संसाधन-गहन गतिविधियों में से एक है: इन चरणों में परियोजना के समय का 70 या 90% भी लग सकता है। इस स्तर पर, हम डेटा को इस तरह से संसाधित करते हैं कि इसके साथ काम करना सुविधाजनक है: डुप्लिकेट को हटाएं, लापता या गलत डेटा को संसाधित करें, यदि आवश्यक हो, तो सही स्वरूपण त्रुटियों की जांच करें और।

इसके अलावा इस स्तर पर हम उन कारकों का एक समूह बना रहे हैं जो मशीन लर्निंग अगले चरणों में काम करेंगे: हम उन विशेषताओं का चयन करते हैं जो संभावित रूप से एक व्यावसायिक समस्या को हल करने में मदद करेंगे। इस स्तर पर त्रुटियां पूरी परियोजना के लिए महत्वपूर्ण हो सकती हैं, इसलिए यह इस पर विशेष ध्यान देने योग्य है: अत्यधिक संख्या में संकेत मॉडल को फिर से प्रशिक्षित किया जा सकता है, और मॉडल के तहत प्रशिक्षित होने के लिए अपर्याप्त है।

7. एक मॉडल का निर्माण

मॉडल का विकल्प, जैसा कि आप देख सकते हैं, काम की शुरुआत में किया जाता है और व्यापार कार्य पर निर्भर करता है। इस प्रकार, जब मॉडल का प्रकार निर्धारित किया जाता है और एक प्रशिक्षण नमूना होता है, तो विश्लेषक मॉडल को विकसित करता है और जांचता है कि चरण 6 में बनाई गई सुविधाओं के सेट पर यह कैसे काम करता है।

8. मॉडल का अनुप्रयोग

मॉडल का अनुप्रयोग मॉडल के वास्तविक निर्माण के साथ निकटता से जुड़ा हुआ है: गणना मॉडल के कॉन्फ़िगरेशन के साथ वैकल्पिक है। इस स्तर पर, हमें इस प्रश्न का उत्तर देना चाहिए कि क्या निर्मित मॉडल व्यावसायिक कार्य को पूरा करता है।

मॉडल की गणना के दो चरण होते हैं: नैदानिक ​​माप किए जाते हैं जो यह समझने में मदद करते हैं कि क्या मॉडल इरादा के अनुसार काम करता है। यदि एक पूर्वानुमान मॉडल का उपयोग किया जाता है, तो यह समझने के लिए एक निर्णय ट्री का उपयोग किया जा सकता है कि मॉडल का आउटपुट मूल योजना से मेल खाता है। दूसरे चरण में, परिकल्पना के सांख्यिकीय महत्व की जाँच की जाती है। यह सुनिश्चित करना आवश्यक है कि मॉडल में डेटा का सही ढंग से उपयोग और व्याख्या की जाती है और प्राप्त परिणाम सांख्यिकीय त्रुटि से परे है।

9. कार्यान्वयन

यदि मॉडल हमें प्रश्न का संतोषजनक उत्तर देता है, तो यह उत्तर फायदेमंद होना चाहिए। जब मॉडल विकसित किया जाता है, और विश्लेषक अपने काम के परिणाम में विश्वास करते हैं, तो ग्राहक को विकसित उपकरण से परिचित कराना आवश्यक है। यह न केवल उत्पाद के मालिक, बल्कि अन्य इच्छुक पार्टियों को आकर्षित करने के लिए समझ में आता है: विपणन, डेवलपर्स, सिस्टम प्रशासक: हर कोई जो किसी तरह परियोजना के परिणामों के आगे उपयोग को प्रभावित कर सकता है। अगला, आपको कार्यान्वयन के लिए आगे बढ़ना होगा। कार्यान्वयन चरणों में हो सकता है, उदाहरण के लिए, उपयोगकर्ताओं के एक सीमित समूह के लिए या एक परीक्षण वातावरण में। यह कार्य करने के लिए सफलतापूर्वक विकसित मॉडल को ट्रैक करने के लिए एक प्रतिक्रिया प्रणाली स्थापित करना भी आवश्यक है। कुछ समय बाद, यह प्रतिक्रिया मॉडल को बेहतर बनाने के लिए उपयोगी होगी। नए डेटा स्रोत, नए हितधारक भी प्रकट हो सकते हैं, इस तथ्य का उल्लेख नहीं करने के लिए कि व्यवसाय कार्य स्वयं निर्दिष्ट किया जा सकता है। इस प्रकार, पूर्णता की कोई सीमा नहीं है: यहां तक ​​कि एक एम्बेडेड मॉडल को कभी भी आदर्श नहीं माना जा सकता है।