आपको कितने प्रकाश वैज्ञानिकों को एक प्रकाश बल्ब चालू करने की आवश्यकता है (या कौन सी टीम व्यवसाय के लिए डेटा काम करेगी)

"कितने डीआईटी वैज्ञानिकों को आपको बल्ब चालू करने की आवश्यकता है?"
- एक, अगर सफलतापूर्वक मुड़ बल्बों का ऐतिहासिक चयन पर्याप्त है।

यह, निश्चित रूप से, एक मजाक है, लेकिन जब किसी कंपनी में व्यवसाय के प्रदर्शन को बेहतर बनाने के लिए बड़े डेटा का नामकरण करने की बात आती है, तो हर कोई यह नहीं समझता है कि कौन इसे वश में करेगा। क्लासिक राय: आपको एक डेटा वैज्ञानिक की आवश्यकता है - एक डेटा विश्लेषक जो मॉडल बना सकता है, कृत्रिम बुद्धिमत्ता और मशीन सीखने को समझता है। और यह आदमी एक सिर में सब कुछ तय करता है।

इसके अलावा, एक प्रवृत्ति है कि जब किसी कंपनी में बिग डेटा डिवीजन बनता है, तो डेटा वैज्ञानिक वे होते हैं जो मुख्य रूप से काम पर रखे जाते हैं।

वास्तव में, सब कुछ अधिक जटिल है। साइंटिस्ट की तारीख के बिना, निश्चित रूप से, बड़े डेटा के साथ कोई काम नहीं है, लेकिन वह अकेले एक योद्धा नहीं है। उसके साथ कंधे से कंधा मिलाकर लड़ने वाले को उदाहरणों से बेहतर समझा जाता है।

मध्यस्थ

मान लीजिए कि फिटनेस क्लब का एक नेटवर्क है जो बड़े डेटा का उपयोग करना चाहता था। डेटा साइंटिस्ट यह अनुमान लगाने की समस्या को हल करता है कि क्लाइंट, बुनियादी प्रशिक्षण के अलावा, कुछ अन्य व्यक्तिगत का उपयोग करने के लिए इच्छुक है। विशेषज्ञ उस डेटा को लेता है जिसने पहले क्या किया था, और लत का एक मॉडल बनाता है।

सवाल उठता है - क्या प्रशिक्षण? और हम कैसे प्रस्ताव करेंगे कि वह उनके पास जाए? प्रशिक्षण को पुरुष और महिला में स्पष्ट रूप से विभाजित करना आवश्यक होगा। व्यापारिक तर्क द्वारा विभाजित - यदि कोई व्यक्ति पहले से ही एक प्रीमियम ट्रेनर के साथ जुड़ा हुआ है, तो हमें गैर-प्रीमियम की पेशकश नहीं करनी चाहिए।

या बैंकिंग क्षेत्र से एक उदाहरण। बैंकों के पास ऐसे उत्पाद हैं जो अपने दम पर बेचे जाते हैं, और ऐसे भी हैं जो अक्सर दूसरों के साथ बेचे जाते हैं। हम एक कार्ड खरीदते हैं या एक ऋण लेते हैं, और उसी समय हम बीमा बेचते हैं। बीमा कंपनियों में एक समान कहानी। हम एक कार बीमा खरीद सकते हैं, लेकिन एक ही समय में हम समानांतर में जीवन बीमा बेच सकते हैं।

इसलिए, यदि आप व्यवसाय नहीं जानते हैं, लेकिन कार्य किसी प्रकार की खरीद की भविष्यवाणी करना है, तो आप निम्नलिखित कार्य कर सकते हैं: "देखो, हमारे बहुत से ग्राहक इस प्रशिक्षण / बीमा को खरीदते हैं"। और बिक्री को प्रोत्साहित करने के लिए उस पर मॉडल बनाना शुरू करें। लेकिन व्यापार जानता है कि यह प्रशिक्षण / बीमा केवल कुछ के साथ ही चलता है। और यहां तक ​​कि मॉडल अच्छा हो सकता है, लेकिन उत्पाद अलग से काम नहीं करेगा।

एक मॉडल का निर्माण करते समय, हमेशा परिचयात्मक नोटों का एक सेट होता है कि व्यवसाय कैसे काम करता है। और अगर हमने उन्हें गलत तरीके से तैयार किया, तो कोई मतलब नहीं होगा। इसलिए, वास्तविक वैज्ञानिक डेटा के अतिरिक्त, आपको एक उत्पाद स्वामी की आवश्यकता है - एक उत्पाद प्रबंधक जो व्यवसाय के साथ गणित के दोस्त बनाएगा।

ये दोनों भूमिकाएं एक बड़ी डेटा टीम के लिए जरूरी हैं। महत्वपूर्ण: यदि हमारे पास व्यापार की कई लाइनें हैं, तो प्रत्येक दिशा के लिए हमें अपने उत्पाद की आवश्यकता है। डेटा साइंटिस्ट सार्वभौमिक हो सकता है।

आप यह भी कह सकते हैं कि उत्पाद स्वामी वह है जो इसे शुरू करता है। जो किसी कंपनी में मशीन लर्निंग के केस स्टडी के साथ आता है और फिर इन मामलों के कार्यान्वयन का संचालन करता है।

लेकिन जैसा कि वे कहते हैं, और यह सब नहीं है।

खुदाई करने वाला प्रोग्रामर

कल्पना कीजिए कि एक बैंक ने उन ग्राहकों के लिए एक विशेष कार्ड को बढ़ावा देने का फैसला किया जो अक्सर विदेश यात्रा करते हैं। वह किस ऐतिहासिक डेटा को तथाकथित संकेत बनाने के लिए खुद को उन्मुख कर सकता है? सबसे स्पष्ट है कि किसी समय ग्राहक के कार्ड पर विदेश में लेनदेन होता था। लक्षण सरल है, लेकिन इसे स्पष्ट आवश्यकताएं दी जानी चाहिए। साल में कितनी बार ऐसे लेनदेन हुए? किन बिंदुओं पर? किस अवधि के लिए? यह सब तैयार करने की आवश्यकता है, और फिर सरल डेटा से एन्कोड किया गया है ताकि विशेषता सही ढंग से चयनित हो। इसके लिए एक अलग व्यक्ति - एक डेटा इंजीनियर की आवश्यकता होती है।

भूमिकाओं के कार्य वास्तव में अलग हैं। डेटा साइंटिस्ट को एक अच्छा मॉडल बनाना होगा। मुखिया को यह चुनने के लिए पूर्वनिर्धारित किया जाता है कि कौन सी सुविधाओं, मामलों, एल्गोरिदम का उपयोग करना है, कैसे अनुकूलित करें ताकि मॉडल जल्दी से काम करे। और एक डेटा इंजीनियर प्रोग्रामर या डेटाबेस डेवलपर की तरह अधिक है। उसे 10/100/500 विभिन्न तालिकाओं और स्रोतों से डेटा एकत्र करने की आवश्यकता है, इसकी गणना करें, इसकी तुलना करें, इसे ध्यान में रखते हुए, यह और वह।

एक महत्वपूर्ण बिंदु: डेटा इंजीनियर पहले चरण में चालू नहीं होता है। जैसा कि हमने पहले ही देखा है, विकास चक्र में एक प्रायोगिक (एमवीपी - न्यूनतम व्यवहार्य उत्पाद) और उत्पादक चरण होते हैं। जब हम प्रयोग कर रहे हैं, तो हर बार इंजीनियर को डेटा को स्पष्ट रूप से वर्णन करना बहुत मुश्किल होता है कि क्या डेटा अपलोड करना है। रचनात्मकता है, परिकल्पना पर काम किया जा रहा है, डेटा अलग-अलग तरीकों से घूम रहा है। यहां, यहां तक ​​कि वैज्ञानिक और इंजीनियर के बीच थोड़ी सी भी असुविधा एमवीपी की तत्परता को हफ्तों तक बनाए रखती है।

अधिक सटीक रूप से, डेटा इंजीनियर डेटा तैयार करने का पहला पुनरावृत्ति करता है, क्योंकि यदि कोई डेटा नहीं है, तो डेटा वैज्ञानिक के पास काम करने के लिए कुछ भी नहीं है। इसके अलावा, डेटा साइंटिस्ट पुनरावृत्ति रूप से मॉडल के लिए सुविधाओं का निर्माण करता है। मॉडल सफल होने के बाद और डेटा वैज्ञानिक से विनिर्देश के अनुसार एक उत्पादक डेटा इंजीनियर में परिवर्तित होने की आवश्यकता होती है, यह विशेषता की नियमित गणना के लिए एक उत्पादक कोड लिखता है।

इसलिए, वर्तमान प्रवृत्ति: एमवीपी चरण में, वैज्ञानिक स्वतंत्र रूप से डेटा तैयार करता है। लेकिन तब, जब मॉडल बनाया जाता है और सभी ने इसे स्वीकार कर लिया है, डेटा साइंटिस्ट स्पष्ट रूप से बताता है कि उसे किस तरह की विशेषताओं की आवश्यकता है, और इसे एक अलग से प्रशिक्षित व्यक्ति को सौंपता है। वह उन्हें प्रोग्राम करता है ताकि वे उत्पाद में लगातार उपयोग किए जाएं।

इस कहानी को दूसरी ओर भी घुमाया जा सकता है - यदि व्यवसाय का लक्ष्य अभी तक निर्धारित नहीं किया गया है, लेकिन कंपनी के पास डेटा का एक विशाल सरणी है जिसे आप उपयोग करना चाहते हैं।

इस मामले में, हम सशर्त रूप से 100 मामलों की कोशिश करते हैं, 100 एमवीपी, जिसमें से एक गोली मार सकता है। यदि आप प्रत्येक व्यक्तिगत मामले में एमवीपी के निर्माण की प्रक्रिया का विस्तार करते हैं, तो 80% डेटा तैयार करने के लिए जाता है, 20% - स्वयं मॉडल के लिए। हर बार, डेटा को अलग और बहु-प्रारूप स्रोतों से प्राप्त किया जाना चाहिए। उन्हें तार्किक और समझने योग्य संकेतों में इकट्ठा करें: उदाहरण के लिए, "बिंदु एन पर एक लेनदेन" को "विदेश में यात्रा करना चाहिए" ताकि वर्ष में कई बार हो।

इस काम में बहुत समय लगता है। यदि हमने किसी प्रकार के डेटा वेक्टर का उपयोग किया है और एक मॉडल बनाया है, और यह खराब हो गया है, तो हम वापस जाते हैं और डेटा को फिर से अपलोड करते हैं। 100 में से प्रत्येक मामले के साथ। आप इन पुनरावृत्तियों को केवल एक ही तरीके से अनुकूलित कर सकते हैं - यदि हमारे पास सभी संभावित विशेषताओं के साथ अग्रिम में एक बड़ा "शोकेस" है - हजारों, हजारों। ऐसा "शोकेस" बनाना एक तारीख वैज्ञानिक के निर्देशन में डेट इंजीनियर का काम है। प्रयोगों में काफी तेजी लाई गई है - मॉडल के लिए इनपुट मापदंडों को चुना जा सकता है और जल्दी से बदला जा सकता है।

आर्केस्ट्रा बिग डेटा कंडक्टर

हमने डेटा एकत्र किया, एक मॉडल बनाया, व्यापार के साथ दोस्त बनाए। क्या वह सब है?

सभी नहीं। इस बड़ी डेटा स्टोरी में एक लीडर होना चाहिए। ऐसा लगता है कि यह पोस्ट सबसे सरल और सबसे समझने योग्य है, लेकिन यह पूरी तरह से सच नहीं है। नेता को दो गुणों को संयोजित करना चाहिए जो आमतौर पर बहुत संयुक्त नहीं होते हैं।

यदि हम किसी कंपनी में स्क्रैच से बड़ा डेटा शुरू करते हैं, तो हमें स्ट्रैटेजिस्ट और सेलर को दिशा के प्रमुख और ड्राइवर की आवश्यकता होती है। वह पूरी कंपनी को समझाएगा कि बड़े डेटा के साथ काम करना इतना महत्वपूर्ण क्यों है। यह स्पष्ट है कि कुछ अभिनव की शुरुआत में एक स्पष्ट व्यावसायिक मामले के लिए पूछना बहुत मुश्किल है, क्योंकि यह बड़ी संख्या में मान्यताओं पर आधारित है। इसलिए, रणनीतिकार समझाएगा: दोस्तों, हम "टॉप डाउन" (टॉप डाउन) के सिद्धांत पर बड़े डेटा की योजना बनाएंगे। और वैश्विकता की अलग-अलग डिग्री के लक्ष्य निर्धारित करें, जैसे:

- ताकि 5 वर्षों के बाद, परियोजनाओं से राजस्व, बड़े डेटा से संबंधित उत्पाद हमारे राजस्व का 10% हो
- डिफ़ॉल्ट जोखिम को 20% तक कम करें
- अक्षम कार्यालयों के 30% को कम करें

और इसी तरह।

दूसरी ओर, यह रणनीतिकार संगठन के भीतर विचार को बेचने में सक्षम होना चाहिए।

समस्या यह है कि अगर ऐसा व्यक्ति पहले से ही पाया जाता है, तो उसके लिए सामरिक मामलों में मुश्किल है। भौतिक स्तर पर एक रणनीतिकार के विचारों को मूर्त रूप देने के लिए, आपको एक परिचालन व्यक्ति की आवश्यकता है। वह व्यापार प्रक्रियाओं, विश्लेषकों, उत्पाद प्रबंधकों का निर्माण करेगा, सब कुछ चुस्त करेगा। यह महत्वपूर्ण है कि यह सब जल्दी से काम करता है। इसलिए, नेतृत्व को दो भागों में विभाजित किया गया है: रणनीतिकार एक उज्ज्वल भविष्य के लिए जिम्मेदार है, ऑपरेटर रणनीतिकार और कार्यान्वयन योजनाओं के अधीनस्थ है। उनमें से कोई भी अपने दम पर सामना नहीं कर सकता।

आप अभी भी इस समस्या को पूरी तरह से अलग कोण से देख सकते हैं। कल्पना कीजिए कि बिग डेटा तकनीकों के कार्यान्वयन की योजना एक बड़ी क्लासिक प्रोडक्शन कंपनी में बनाई गई है जिसके लिए ये तकनीकें नई हैं। किसे लगाया जाए प्रभारी? बाहर से एक व्यक्ति, इस क्षेत्र में विभिन्न उद्योगों और ज्ञान में बड़े डेटा को लागू करने में व्यापक अनुभव के साथ, या भीतर से एक व्यक्ति, जो लंबे समय से कंपनी में है, काफी उच्च स्थिति रखता है, ने कई परियोजनाओं को लागू किया है जिन्हें हर कोई जानता है और सम्मान करता है?

मुझे लगता है कि यह स्पष्ट है कि भीतर से एक व्यक्ति, जो जानता है कि कंपनी अंदर से कैसे काम करती है, लोगों को जानती है और वहां की प्रक्रियाएं अधिक प्राप्त करेंगी। तदनुसार, उसकी मदद करने के लिए, आपको बिग डेटा को लागू करने के अनुभव के साथ, बाहर के किसी व्यक्ति को रखने की आवश्यकता है, ताकि वह आवश्यक दिशा-निर्देश इंगित करे और बिग डेटा टीम का प्रबंधन करे।

धूप में रखें

हमने रचना पर फैसला किया। यह बड़े डेटा ऑर्केस्ट्रा को सही विभाग के अधीन करने के लिए रहता है।

यह उस व्यवसाय की दिशा में परिभाषित करना तर्कसंगत है जिसे हम अनुकूलित कर रहे हैं। कंपनी परिपक्व है तो अच्छा है। फिर आप लक्ष्य बिक्री में बड़ा डेटा रखने का प्रयास कर सकते हैं। हमें इसे काम करने के लिए एक व्यावसायिक शाखा की आवश्यकता है। उदाहरण के लिए, एक बैंक के लिए, यदि हम ग्राहकों को बनाए रखना चाहते हैं, तो हमें एक शाखा की जरूरत है जो मॉडल द्वारा चुने गए ग्राहकों के साथ संवाद कर सके और वास्तव में उन्हें पकड़ सके। यदि आप बैंक कार्यालयों के स्थान की योजना बनाने के लिए बड़े डेटा का उपयोग करना चाहते हैं, तो आपको एक शाखा की आवश्यकता है जो इन कार्यालयों के उद्घाटन से संबंधित हो। हम बैंकिंग स्कोरिंग के लिए डेटा का अनुकूलन करना चाहते हैं - हमें जोखिम के लिए जिम्मेदार शाखा की आवश्यकता है। मॉडल के परिणामों के साथ काम करने के लिए जिम्मेदार व्यवसाय की दिशा के बिना, कुछ भी नहीं आएगा।

विश्व स्तर पर, ऊपर से सीधे समर्थन के बिना, विषय बस दूर नहीं होगा - आपको उसी शीर्ष डाउन रणनीति की आवश्यकता है। खासकर जब आपको एक ऐसी दिशा के समर्थन की आवश्यकता होती है जो पहले से ही अपनी प्रक्रियाओं के साथ व्यस्त है, और सभी प्रकार के नवाचारों को पूरा करना है।

कंपनियों में बिग डेटा को लागू करने के पहलुओं के बारे में अधिक जानना चाहते हैं, हमारी वेबसाइट पर हमारे अन्य प्रकाशन पढ़ें या स्कूल डेटा के अध्ययन के लिए आएं

पोस्ट स्कूल ऑफ बिजनेस द्वारा संस्थापक के प्रकाशन के आधार पर तैयार किया गया था।