डेटा साइंस डिपार्टमेंट कैसे बनाया जाए और इसे कैसे खराब किया जाए

डेटा साइंस न केवल बड़ी कंपनियों, बल्कि छोटी और यहां तक ​​कि स्टार्टअप्स तक भी आने लगी। हालांकि, बहुत बार शीर्ष प्रबंधकों को इस बात की समझ नहीं होती है कि इसके सफल अनुप्रयोग के लिए क्या आवश्यक है। बहुत से लोग सोचते हैं कि एक महीने में एक डेटा वैज्ञानिक कंपनी की सभी समस्याओं को हल करेगा, और क्लिक पर कृत्रिम बुद्धिमत्ता सभी विभागों में पूरी तरह से काम करना शुरू कर देगा। दुर्भाग्य से, ऐसा नहीं है। मेरा नाम इवान सीरोव है और इस पोस्ट में मैं आपको बताऊंगा कि आपको एक डीएस विभाग बनाने की आवश्यकता क्यों है और इसमें क्या कठिनाइयां शामिल हैं।

उम्मीदें प्रबंधन

एक विभाग बनाने में सबसे महत्वपूर्ण है तुरंत उम्मीदों और KPI को निर्धारित करना। डीएस के साथ, किसी भी अन्य नवाचार के साथ, आपको पूरे चक्र से गुजरना होगा, जो परिचालन घाटे से शुरू होगा। सबसे अच्छे मामले में, वास्तुकला और विशेषज्ञों की लागत को छह महीने में हटा दिया जा सकता है, और अधिक बार एक वर्ष में, दो या तीन, कंपनी के आकार पर निर्भर करता है। इसके लिए तैयार रहना आवश्यक है और असफलता के बाद सब कुछ छोड़ना नहीं है। अक्सर, शीर्ष प्रबंधक एक वर्ष के बाद विभाग को बंद कर देते हैं, क्योंकि उसने लाभ तक पहुंचने का प्रबंधन नहीं किया। इस वजह से, डीएस में आत्मविश्वास खो जाता है। केवल आवश्यक अपेक्षाएँ और लक्ष्य निर्धारित करके (अधिमानतः स्मार्ट द्वारा) एक सफल विभाग बनाया जा सकता है।

छोटे से शुरू करो

अवधारणा परियोजना के एक तथाकथित प्रमाण के साथ शुरू करना सबसे अच्छा है - यह बहुत जटिल और अल्पकालिक नहीं है, लेकिन यह व्यावसायिक लाभ ला सकता है। उदाहरण के लिए, सिफारिश प्रणाली के कारण राजस्व में 2% की वृद्धि। 5 कस्टम तंत्रिका नेटवर्क का एक पहनावा बनाने की कोशिश न करें और पूरे साल उस पर काम करें। उदाहरण के लिए, यहां तक ​​कि पाठ वर्गीकरण परियोजनाओं के लिए, आप सरल एल्गोरिदम (जैसे शब्दों का बैग) के साथ शुरू कर सकते हैं और पहले से ही विकास प्राप्त कर सकते हैं। नतीजतन, यह पायलट प्रोजेक्ट आगे के विकास के लिए शुरुआती बिंदु होगा और प्रबंधन को एक समझ देगा कि पैसा उपयोगी चीजों के लिए जाता है और डीएस को विकसित करने की आवश्यकता है। यह अधिक जटिल चीजों पर काम करने का समय देगा। दक्षताओं की अनुपस्थिति में, डीएस सलाहकारों की एक बाहरी टीम को काम पर रखने के लिए एक पायलट प्रोजेक्ट के लिए समझ में आता है। वे काफी अच्छी गुणवत्ता के साथ आपकी इच्छाओं को महसूस करने में मदद कर सकते हैं, या समझ सकते हैं कि आप अपने उद्योग में क्या परियोजनाएं कर सकते हैं, कहां से शुरू करें और आपको आगे की AI रणनीति कैसे बनानी चाहिए।

डेटा इकट्ठा करें

यहां सब कुछ एक ही समय में सरल और जटिल है: आदर्श रूप से, कंपनी को अपने पास मौजूद सभी डेटा का उपयोग करना चाहिए। उदाहरण के लिए, यदि आप एक ऑनलाइन रिटेलर हैं, तो आपके पास विशिष्ट उत्पादों की बिक्री, साइट पर ग्राहक व्यवहार और विपणन मेलिंग पर कम से कम डेटा है। पहले से ही इस पर आप कई मॉडल बना सकते हैं, उदाहरण के लिए, एक व्यक्तिगत मेलिंग सिस्टम।

वास्तव में, कंपनी के सभी डेटा को एक डेटाबेस में इकट्ठा करना अक्सर स्रोतों में अंतर, विभागों के बीच स्पष्ट बातचीत की कमी या यहां तक ​​कि कंपनी में बीआई विशेषज्ञों की कमी के कारण एक बड़ी समस्या है। संगठन जो सभी डेटा एक्सेल में संग्रहीत हैं, उन्हें पहले एक डेटाबेस (एसक्यूएल) में इकट्ठा करना शुरू करना चाहिए, और उसके बाद ही डीएस के बारे में सोचना चाहिए।

सभी उपलब्ध डेटा को उस रूप में एकत्र किया जाना चाहिए जिसमें विश्लेषकों और डेटा वैज्ञानिकों के लिए इसे लेना सुविधाजनक होगा (सबसे अधिक बार यह SQL है)। बीआई विभाग के साथ उस फॉर्म के बारे में पहले से सहमत होना आवश्यक है जिसमें आप डेटा प्राप्त करना चाहते हैं, प्रक्रिया करते हैं और इसे उत्पादन में उपयोग करते हैं।
कम मात्रा में डेटा के साथ, आप इसे तृतीय-पक्ष कंपनियों से खरीद सकते हैं। उदाहरण के लिए, एक टेलीकॉम: इस डेटा को फोन नंबर द्वारा अपने साथ कनेक्ट करें और इस तरह उन्हें समृद्ध करें। लेकिन इनमें से प्रत्येक मामले में, यह गणना करना आवश्यक है कि इससे कोई लाभ है या नहीं।

विश्लेषकों का पता लगाएं

यह महत्वपूर्ण है कि डीएस विभाग के निर्माण के समय कंपनी के पास पहले से ही एक विश्लेषिकी विभाग था। ये वे लोग हैं जो वैज्ञानिकों को डेटा खोजने में मदद करेंगे, उन्हें बताएंगे कि उनका क्या मतलब है, आवश्यक चर को सही ढंग से कैसे इकट्ठा किया जाए, और बहुत कुछ। एनालिटिक्स किसी कंपनी को बहुत डेटा ड्रिवेन डिसीजन मेकिंग अप्रोच की ओर बढ़ने का पहला कदम है (यानी, जब कंपनी के सभी निर्णय प्राप्त डेटा पर आधारित होते हैं, न कि प्रबंधन की इच्छा पर)। वे मॉडल का उपयोग किए बिना डेटा को भुनाने में मदद करेंगे, और रिपोर्ट प्रबंधन को सही निर्णय लेने में मदद करेंगे। इसके अलावा, भविष्य में, यह विश्लेषक हैं जो सभी डीएस मॉडल की स्थिति की निगरानी करेंगे और परिणामों के आधार पर रिपोर्ट तैयार करेंगे।

एक टीम उठाओ

इस आइटम के बारे में पहले ही बहुत सारे लेख लिखे जा चुके हैं, मैं केवल यह बताने की कोशिश करूंगा कि पहले से ही कहा गया है। तो, एक अच्छी DS टीम अक्सर सबसे अधिक होती है:

• परियोजना प्रबंधक - परियोजना का प्रबंधन करता है, पूरे व्यापार भाग के लिए जिम्मेदार है;
• डेटा साइंटिस्ट - मॉडल बनाता है;
• डेटा इंजीनियर - डेटा एकत्र करता है और उत्पादन पाइपलाइन तैयार करता है;
• डेवलपर - एक डीएस समाधान पेश करता है।

सभी भूमिकाएँ बहुत परिवर्तनशील हैं और आपकी इच्छाओं के आधार पर भिन्न हो सकती हैं। उदाहरण के लिए, कभी-कभी एक टीम में अभी भी एक व्यापार विश्लेषक हो सकता है, कभी-कभी एक बार में कई डेटा वैज्ञानिक हो सकते हैं, कभी-कभी एक डेटा इंजीनियर और एक डेवलपर एक व्यक्ति हो सकते हैं। टीम के लिए बहुत सारे विकल्प हैं और आपको अपनी आवश्यकताओं पर निर्माण करना होगा। या कई विकल्प आज़माएं और सर्वश्रेष्ठ चुनें।

मानक टीम के अलावा, खरोंच से एक विभाग बनाने के लिए, आपको उपरोक्त सूची से न केवल अच्छे विशेषज्ञों की आवश्यकता है, बल्कि एक इंजीलवादी भी है जो सभी को समझाएगा कि डीएस क्या है और अन्य विभागों को इसके क्या लाभ हो सकते हैं - वही मुख्य AI अधिकारी / मुख्य डेटा अधिकारी मुख्य डिजिटल अधिकारी (अपना नाम चुनें) यह उल्लेख करना महत्वपूर्ण है कि यदि आप एक डेटा वैज्ञानिक को काम पर रखते हैं और उस पर और विश्लेषक, और वास्तुकार, और डेवलपर पर कार्य फेंकते हैं, तो आपको त्वरित परिणाम की उम्मीद नहीं करनी चाहिए, इसके अलावा, यह प्रेरणा के इस व्यक्ति को वंचित कर सकता है, और कंपनी के पास भविष्य में एक सफल विभाग होगा।

यदि कंपनी बड़ी है और बिग डेटा के विकास के लिए कई अवसर हैं, तो आपको डेटा आर्किटेक्ट की भी आवश्यकता है, जो आर्किटेक्चर, मल्टी-थ्रेडेड डेटा संग्रह को कॉन्फ़िगर करेगा और Hadoop या Spark (बड़े डेटा सरणियों के प्रसंस्करण के लिए सिस्टम) को तैनात करेगा, जो कंपनी के डेटा वैज्ञानिक पहले से ही काम करेंगे ।

आंतरिक संचार और प्रशिक्षण के बारे में मत भूलना

पायलट प्रोजेक्ट के बाद, टीम को सक्रिय रूप से विकसित करना आवश्यक है। एक कंपनी को कम से कम दो प्रकार के प्रशिक्षण का आयोजन करना चाहिए:
डेटा वैज्ञानिकों के लिए, यह विभिन्न विषयों, साप्ताहिक बैठकों, हैकथॉन, मास्टर कक्षाओं पर कार्यशालाएं हो सकती हैं। इसके अलावा, आपको टीम के लिए ऑनलाइन पाठ्यक्रम खरीदने पर ध्यान देना चाहिए (उदाहरण के लिए, सेरसेरा के साथ) और शायद इसे केपीआई में भी रखा जाए। यह तेजी से विकासशील क्षेत्र में टीम को अद्यतित रखने और आंतरिक बातचीत में सुधार करने में मदद करेगा।
परियोजना प्रबंधकों और शीर्ष प्रबंधकों के लिए, यह व्यावसायिक मामलों या कंपनियों की एआई रणनीतियों के विश्लेषण के रूप में भी कार्यशालाएं हो सकती हैं, या, उदाहरण के लिए, बुनियादी पाठ्यक्रम मशीन सीखने और गहरी सीखने की प्रौद्योगिकियों (क्या किया जा सकता है और नहीं किया जा सकता है, मूल बातें समझते हैं) प्रौद्योगिकियों)। यह प्रबंधन को डीएस से उम्मीदें पैदा करने में मदद करेगा।

इसके अलावा, सबसे अधिक संभावना है, डीएस विभाग के निर्माण से पहले भी, कंपनी में पहले से ही रुचि रखने वाले लोग हैं - ये ऐसे डेवलपर हो सकते हैं जिन्होंने कुछ डीएस पाठ्यक्रम, या व्यवसायिक लोग जो डीएस परियोजना प्रबंधक बनना चाहते हैं - उन्हें विभाग के प्रति आकर्षित होना चाहिए और विकास में मदद करनी चाहिए । उदाहरण के लिए, मशीन सीखने के तरीकों में एक डेवलपर को प्रशिक्षित करने से, आप एक अच्छा और प्रेरित विशेषज्ञ प्राप्त कर सकते हैं, जो कंपनी की आंतरिक संरचना को जानता है और औसत बाजार डेटा वैज्ञानिक से सस्ता है, जिसे यह पता लगाने के लिए भी समय चाहिए।

बाहरी संचार महत्वपूर्ण हैं

यह आइटम अक्सर भूल जाता है, लेकिन यह बाकी की तुलना में कम महत्वपूर्ण नहीं है। मशीन लर्निंग विशेषज्ञों के लिए बाजार कर्मियों की भारी कमी है (हाल के वर्षों में सब कुछ सुधरने लगा है, लेकिन फिर भी), हर अच्छा डेटा वैज्ञानिक अपने मूल्य को समझता है और उस कंपनी को चुनता है जिसमें वह काम करना चाहता है - इसलिए, एक बड़ा वेतन की पेशकश करना अब पर्याप्त नहीं है, परियोजनाओं के साथ जुड़ने की जरूरत है। ऐसा करने के लिए, आपको अपने बाहरी संचारों को सही ढंग से बनाना चाहिए - मीडिया, राय नेताओं, समुदाय के साथ काम करना, कार्यान्वित परियोजनाओं के बारे में बात करना, विभिन्न विषयगत प्रकाशनों में लेख लिखना, सम्मेलनों में बोलना, हैकथॉन जैसी औद्योगिक घटनाओं को प्रायोजित करना, और इसी तरह - यह केवल उस का एक छोटा सा हिस्सा है। कंपनी को प्रतिभा आकर्षित करने के लिए क्या करना चाहिए।

यह सब, निष्कर्ष में, मैं सिर्फ इतना कहूंगा कि मैंने विशेष रूप से डेटा विज्ञान विभाग की प्रक्रिया में आने वाली कठिनाइयों का उल्लेख नहीं किया है, लेकिन केवल यह बताया है कि इसे बनाने में क्या लगता है। यदि आपके पास कुछ जोड़ने के लिए है - टिप्पणियों में आपका स्वागत है।