क्यों डेटा साइंस टीमों को यूनिवर्सल चाहिए, स्पेशलिस्ट नहीं

HIROSHI वातानाबे / उपहार IMAGES

द वेल्थ ऑफ नेशंस में, एडम स्मिथ दर्शाता है कि श्रम का विभाजन उत्पादकता लाभ का एक प्रमुख स्रोत कैसे बनता है। एक उदाहरण पिंस के उत्पादन के लिए एक कारखाने की असेंबली लाइन है: "एक कार्यकर्ता तार खींचता है, दूसरा इसे सीधा करता है, तीसरा कटौती करता है, चौथा अंत को तेज करता है, दूसरा छोर को सिर फिट करने के लिए पीसता है।" कुछ कार्यों पर केंद्रित विशेषज्ञता के लिए धन्यवाद, प्रत्येक कर्मचारी अपने संकीर्ण कार्य में एक उच्च योग्य विशेषज्ञ बन जाता है, जो प्रक्रिया की दक्षता में वृद्धि की ओर जाता है। प्रति कार्यकर्ता उत्पादन कई गुना बढ़ जाता है, और पौधे पिन के उत्पादन में अधिक कुशल हो जाता है।

कार्यक्षमता द्वारा श्रम का यह विभाजन आज भी हमारे दिमाग में है, इसलिए हमने अपनी टीमों को उसी के अनुसार व्यवस्थित किया। डेटा साइंस कोई अपवाद नहीं है। जटिल एल्गोरिथमिक व्यावसायिक अवसरों के लिए कई श्रम कार्यों की आवश्यकता होती है, इसलिए कंपनियां आमतौर पर विशेषज्ञों की टीम बनाती हैं: शोधकर्ता, डेटा विश्लेषण इंजीनियर, मशीन लर्निंग इंजीनियर, कारण और प्रभाव संबंधों में शामिल वैज्ञानिक, और इसी तरह। विशेषज्ञों का काम उत्पाद प्रबंधक द्वारा इस तरह से कार्यों के हस्तांतरण के साथ समन्वित किया जाता है जो पिन फैक्ट्री जैसा दिखता है: "एक व्यक्ति डेटा प्राप्त करता है, दूसरा मॉडल इसे, तीसरा इसे प्रदर्शन करता है, चौथा उपाय" और इसी तरह,

काश, हमें प्रदर्शन को बेहतर बनाने के लिए अपनी डेटा साइंस टीमों का अनुकूलन नहीं करना चाहिए। हालांकि, आप ऐसा तब करते हैं जब आप समझते हैं कि आप क्या उत्पादन कर रहे हैं: पिन या कुछ और, और बस दक्षता बढ़ाने का प्रयास करते हैं। असेंबली लाइन्स का उद्देश्य कार्य को पूरा करना है। हम वास्तव में जानते हैं कि हम क्या चाहते हैं - ये पिन हैं (जैसा कि स्मिथ के उदाहरण में है), लेकिन आप किसी भी उत्पाद या सेवा का उल्लेख कर सकते हैं जिसमें आवश्यकताओं को उत्पाद और उसके व्यवहार के सभी पहलुओं का पूरी तरह से वर्णन किया जाता है। कर्मचारियों की भूमिका इन आवश्यकताओं को यथासंभव कुशलता से पूरा करना है।

लेकिन डेटा साइंस का लक्ष्य कार्यों को पूरा करना नहीं है। बल्कि, व्यवसाय के नए अवसरों को मजबूत करने और विकसित करने का लक्ष्य है। एल्गोरिथम उत्पादों और सेवाओं, जैसे कि सिफारिश प्रणाली, ग्राहक बातचीत, शैली प्राथमिकताएं, आकार, कपड़े डिजाइन, रसद अनुकूलन, मौसमी प्रवृत्ति का पता लगाने, और अधिक अग्रिम में विकसित नहीं किया जा सकता है। उनका अध्ययन किया जाना चाहिए। पुन: पेश करने के लिए कोई चित्र नहीं हैं, ये उनकी अंतर्निहित अनिश्चितता के साथ नई विशेषताएं हैं। गुणांक, मॉडल, मॉडल प्रकार, हाइपरपरमेटर्स, सभी आवश्यक तत्वों का प्रयोग, परीक्षण और त्रुटि का उपयोग करके अध्ययन किया जाना चाहिए, और पुनरावृत्ति भी। पिंस के साथ, प्रशिक्षण और डिजाइन अग्रिम में किया जाता है, जब तक कि वे निर्मित नहीं होते हैं। डेटा साइंस के साथ, आप प्रक्रिया में सीखते हैं, इससे पहले नहीं।

एक पिन कारखाने में, जब प्रशिक्षण पहले आता है, तो हम उम्मीद नहीं करते हैं और उत्पादन क्षमता बढ़ाने के अलावा श्रमिकों को उत्पाद की किसी भी संपत्ति पर सुधार नहीं करना चाहते हैं। कार्यों का विशेषज्ञता समझ में आता है, क्योंकि यह प्रक्रियाओं की दक्षता और उत्पादन के समन्वय की ओर जाता है (अंतिम उत्पाद में परिवर्तन किए बिना)।

लेकिन जब उत्पाद अभी भी विकसित हो रहा है और लक्ष्य प्रशिक्षण है, तो विशेषज्ञता निम्नलिखित मामलों में हमारे लक्ष्यों में हस्तक्षेप करती है:

1. इससे समन्वय लागत बढ़ती है।

वह है, उन लागतों को जो उस समय के दौरान अर्जित करने, चर्चा करने, न्यायोचित ठहराने और प्राथमिकता देने में खर्च होती हैं, जिन्हें करने की आवश्यकता होती है। इन लागतों में शामिल लोगों की संख्या के साथ सुपरलाइनियरली स्केल होता है। (जैसा कि जे। रिचर्ड हैकमैन ने हमें सिखाया, संबंधों की संख्या इस समीकरण के अनुसार सदस्यों की संख्या के कार्य के समान बढ़ती है: r = (n ^ 2-n) / 2. और प्रत्येक अनुपात लागत अनुपात की एक निश्चित राशि का खुलासा करता है)। जब डेटा विश्लेषण विशेषज्ञों को प्रत्येक चरण में, प्रत्येक परिवर्तन के साथ, सेवा के प्रत्येक हस्तांतरण आदि के द्वारा आयोजित किया जाता है, तो कई विशेषज्ञों की आवश्यकता होती है, जिससे समन्वय लागत में वृद्धि होती है। उदाहरण के लिए, सांख्यिकीविद जो नई सुविधाओं के साथ प्रयोग करना चाहते हैं, उन्हें डेटा प्रोसेसिंग इंजीनियरों के साथ समन्वय करना होगा जो हर बार अपने डेटासेट को पूरक करते हैं जब वे कुछ नया करने की कोशिश करना चाहते हैं। उसी तरह, प्रत्येक नए प्रशिक्षित मॉडल का मतलब है कि मॉडल डेवलपर को किसी ऐसे व्यक्ति की आवश्यकता होगी जिसके साथ इसे संचालन में डालने के लिए अपने कार्यों का समन्वय करना है। समन्वय लागत पुनरावृत्ति के लिए भुगतान के रूप में कार्य करती है, जो उन्हें अध्ययन को छोड़ने के लिए मजबूर करने के लिए अधिक कठिन और महंगी और अधिक संभावना बनाती है। यह सीखने में हस्तक्षेप कर सकता है।

2. यह प्रतीक्षा समय को जटिल करता है।

समन्वय की लागत से भी अधिक भयावह बदलाव शिफ्टों के बीच का समय है। जबकि समन्वय लागतों को आमतौर पर घंटों में मापा जाता है: बैठकों, चर्चाओं, परियोजना समीक्षाओं का संचालन करने में लगने वाला समय - प्रतीक्षा समय आमतौर पर दिनों, हफ्तों या महीनों में मापा जाता है! कार्यात्मक विशेषज्ञों के कार्यक्रम को संरेखित करना मुश्किल है, क्योंकि प्रत्येक विशेषज्ञ को कई परियोजनाओं में वितरित किया जाना चाहिए। परिवर्तनों पर चर्चा करने के लिए एक घंटे की बैठक वर्कफ़्लो को कारगर बनाने में कई सप्ताह लग सकते हैं। और परिवर्तनों पर सहमत होने के बाद, कई अन्य परियोजनाओं के संदर्भ में वास्तविक कार्य की योजना बनाना आवश्यक है जो विशेषज्ञों के काम के घंटे लेते हैं। एक कोड या शोध को ठीक करने में शामिल काम जो संसाधनों को उपलब्ध होने में केवल कुछ घंटों या दिनों को पूरा करने में बहुत अधिक समय लेता है। तब तक, पुनरावृत्ति और सीखने को रोक दिया जाता है।

3. यह प्रसंग का वर्णन करता है।

श्रम का विभाजन लोगों को कृत्रिम रूप से उनकी विशेषज्ञता में शेष के लिए पुरस्कृत करके सीखने को सीमित कर सकता है। उदाहरण के लिए, एक शोध वैज्ञानिक जो अपनी कार्यक्षमता के दायरे में रहना चाहिए, विभिन्न प्रकार के एल्गोरिदम के साथ प्रयोगों पर अपनी ऊर्जा केंद्रित करेगा: प्रतिगमन, तंत्रिका नेटवर्क, यादृच्छिक वन, और इसी तरह। बेशक, एल्गोरिथ्म का एक अच्छा विकल्प क्रमिक सुधार का कारण बन सकता है, लेकिन, एक नियम के रूप में, अन्य गतिविधियों से बहुत कुछ सीखा जा सकता है, जैसे कि नए डेटा स्रोतों का एकीकरण। इसी तरह, यह एक मॉडल को विकसित करने में मदद करेगा जो डेटा में निहित प्रत्येक व्याख्यात्मक शक्ति का उपयोग करता है। हालांकि, इसकी ताकत उद्देश्य समारोह को बदलने या कुछ प्रतिबंधों को शिथिल करने में निहित हो सकती है। जब उसका काम सीमित हो तो उसे देखना या करना मुश्किल होता है। चूंकि एक विशेषज्ञ वैज्ञानिक एल्गोरिदम का अनुकूलन करने में माहिर है, इसलिए वह कुछ और भी करने की संभावना कम है, भले ही यह महत्वपूर्ण लाभ लाए।

आइए उन संकेतों को नाम दें जो तब दिखाई देते हैं जब डेटा साइंस टीम पिन फैक्टरियों की तरह काम करती है (उदाहरण के लिए, सिंपल स्टेटस अपडेट्स में): "डेटा पाइपलाइन में बदलाव का इंतजार" और "एमएल एंग संसाधनों का इंतजार", जो आम ब्लॉकर्स हैं। हालाँकि, मेरा मानना ​​है कि एक अधिक खतरनाक प्रभाव वह है जो आप नोटिस नहीं करते हैं, क्योंकि आप जो अभी तक नहीं जानते हैं, उसके लिए आपको अफसोस नहीं हो सकता। आवश्यकताओं की त्रुटिहीन पूर्ति और प्रक्रिया दक्षता प्राप्त करने के परिणामस्वरूप प्राप्त शालीनता इस सच्चाई को अस्पष्ट कर सकती है कि संगठन सीखने के लाभों से परिचित नहीं हैं जो उन्हें याद करते हैं।

इस समस्या का समाधान, निश्चित रूप से, फैक्ट्री पिन विधि से छुटकारा पाने के लिए है। सीखने और पुनरावृत्ति को प्रोत्साहित करने के लिए, डेटा विज्ञान की भूमिकाएं सामान्य होनी चाहिए, लेकिन व्यापक जिम्मेदारियों के साथ जो तकनीकी कार्य से स्वतंत्र हैं, अर्थात्, डेटा विशेषज्ञों को व्यवस्थित करें ताकि वे सीखने के लिए अनुकूलित हो। इसका मतलब यह है कि "फुल-स्टैक विशेषज्ञों" को किराए पर लेना आवश्यक है - सामान्य विशेषज्ञ जो विभिन्न कार्य कर सकते हैं: अवधारणा से मॉडलिंग तक, कार्यान्वयन से माप तक। यह ध्यान रखना महत्वपूर्ण है कि मैं यह नहीं मानता कि पूर्ण-स्टैक विशेषज्ञों को काम पर रखते समय, कर्मचारियों की संख्या घटनी चाहिए। सबसे अधिक संभावना है, मैं सिर्फ यह मानूंगा कि जब वे अलग-अलग आयोजित किए जाते हैं, तो उनके प्रोत्साहन प्रशिक्षण और प्रभावशीलता के लाभों के साथ बेहतर संरेखित होते हैं। उदाहरण के लिए, आपके पास तीन व्यावसायिक गुणों वाले तीन लोगों की एक टीम है। पिंस के उत्पादन के लिए कारखाने में, प्रत्येक विशेषज्ञ प्रत्येक पेशेवर कार्य के लिए एक तिहाई समय समर्पित करेगा, क्योंकि कोई भी अन्य अपना काम नहीं कर सकता है। एक पूर्ण स्टैक में, प्रत्येक सार्वभौमिक कर्मचारी पूरी तरह से पूरी व्यवसाय प्रक्रिया, नौकरी स्केलिंग और प्रशिक्षण के लिए समर्पित है।

उत्पादन चक्र का समर्थन करने वाले कम लोगों के साथ, समन्वय कम हो जाता है। वैगन सुचारू रूप से कार्यों के बीच चलता है, डेटा पाइपलाइन का विस्तार करता है, अधिक डेटा जोड़ने के लिए, मॉडलों में नए कार्यों की कोशिश करता है, कारण माप के लिए उत्पादन में नए संस्करण तैनात करता है, और नए विचारों के रूप में जल्दी से चरणों को दोहराता है। बेशक, स्टेशन वैगन क्रमिक रूप से अलग-अलग कार्य करता है, और समानांतर में नहीं। आखिरकार, यह सिर्फ एक व्यक्ति है। हालांकि, कार्य आमतौर पर किसी अन्य विशेष संसाधन तक पहुंचने के लिए आवश्यक समय का केवल एक छोटा हिस्सा लेता है। तो, पुनरावृत्ति समय कम हो जाता है।

हमारा स्टेशन वैगन किसी विशिष्ट कार्य के विशेषज्ञ के रूप में कुशल नहीं हो सकता है, लेकिन हम कार्यात्मक उत्कृष्टता या छोटे वृद्धिशील सुधारों के लिए प्रयास नहीं करते हैं। बल्कि, हम एक क्रमिक प्रभाव के साथ नई व्यावसायिक चुनौतियों का अध्ययन और खोज करने का प्रयास करते हैं। संपूर्ण समाधान के लिए एक समग्र संदर्भ के साथ, वह उन अवसरों को देखता है जो एक संकीर्ण विशेषज्ञ को याद आएंगे। उसके पास अधिक विचार और अधिक अवसर हैं। वह असफल भी होता है। हालांकि, विफलता की लागत कम है, और सीखने के लाभ अधिक हैं। यह विषमता तेजी से चलना और पुरस्कार सीखने को बढ़ावा देती है।

यह ध्यान रखना महत्वपूर्ण है कि यह स्वायत्तता का पैमाना है और पूर्ण ढेर के साथ काम करने वाले वैज्ञानिकों को प्रदान किए जाने वाले कौशल की विविधता, काफी हद तक उस डेटा प्लेटफ़ॉर्म की विश्वसनीयता पर निर्भर करती है जिस पर आप काम कर सकते हैं। एक अच्छी तरह से डिज़ाइन किया गया डेटा प्लेटफ़ॉर्म, कंटेनरीकरण की जटिलताओं से डेटा वैज्ञानिकों को सार करता है, प्रसंस्करण वितरित करता है, एक अन्य संसाधन, और अन्य उन्नत डेटा अवधारणाओं के लिए स्वचालित स्थानांतरण। अमूर्तता के अलावा, एक विश्वसनीय डेटा प्लेटफ़ॉर्म प्रायोगिक बुनियादी ढाँचे को निर्बाध कनेक्टिविटी प्रदान कर सकता है, निगरानी और रिपोर्टिंग प्रणालियों को स्वचालित कर सकता है और स्वचालित रूप से स्केल और एल्गोरिदमिक परिणामों और डीबगिंग की कल्पना कर सकता है। इन घटकों को डेटा प्लेटफ़ॉर्म इंजीनियरों द्वारा डिज़ाइन और बनाया गया है, अर्थात, उन्हें डेटा साइंस विशेषज्ञ से डेटा प्लेटफ़ॉर्म डेवलपमेंट टीम में स्थानांतरित नहीं किया जाता है। यह डेटा साइंस स्पेशलिस्ट है जो प्लेटफॉर्म लॉन्च करने के लिए इस्तेमाल किए जाने वाले सभी कोड के लिए जिम्मेदार है।

मुझे एक बार प्रक्रिया दक्षता का उपयोग करके श्रम के कार्यात्मक विभाजन में भी रुचि थी, लेकिन परीक्षण और त्रुटि (सीखने का कोई बेहतर तरीका नहीं है), मैंने पाया कि विशिष्ट भूमिकाएं सीखने और नवाचार करने में बेहतर योगदान देती हैं और सही संकेतक प्रदान करती हैं: खोज करना और निर्माण करना बहुत अधिक व्यावसायिक अवसरों की तुलना में विशेष दृष्टिकोण। (ट्रायल और एरर मेथड के माध्यम से संगठन के लिए इस दृष्टिकोण के बारे में जानने के लिए एक अधिक प्रभावी तरीका एमी एडमंडसन की पुस्तक, टीम इंटरएक्शन: हाउ ओर्गेनाइजेशन लर्न, इनोवेशन, और नॉलेज इकोनॉमी में प्रतिस्पर्धा करना) को पढ़ना है।

कुछ महत्वपूर्ण धारणाएं हैं जो इस संगठन को कुछ कंपनियों में कम या ज्यादा विश्वसनीय बना सकती हैं। पुनरावृत्ति प्रक्रिया परीक्षण और त्रुटि की लागत को कम करती है। यदि त्रुटि की लागत अधिक है, तो आप इसे कम करना चाह सकते हैं (लेकिन, यह चिकित्सा अनुप्रयोगों या उत्पादन के लिए अनुशंसित नहीं है)। इसके अलावा, यदि आप डेटा के पेटाबाइट्स या एक्साबाइट्स के साथ काम कर रहे हैं, तो डेटा डिज़ाइन में विशेषज्ञता की आवश्यकता हो सकती है। इसी तरह, अगर ऑनलाइन व्यापार के अवसरों को बनाए रखना और उनकी पहुंच में सुधार करना उनके लिए अधिक महत्वपूर्ण है, तो कार्यात्मक उत्कृष्टता सीखने को बेहतर बना सकती है। अंत में, पूर्ण-स्टैक मॉडल उन लोगों की राय पर आधारित है जो इसे जानते हैं। वे यूनिकॉर्न नहीं हैं; वे खुद से ढूंढे या तैयार किए जा सकते हैं। हालांकि, वे उच्च मांग में हैं, और कंपनी में उन्हें आकर्षित करने और बनाए रखने के लिए प्रतिस्पर्धी वित्तीय मुआवजे, स्थायी कॉर्पोरेट मूल्यों और दिलचस्प काम की आवश्यकता होगी। सुनिश्चित करें कि आपकी कॉर्पोरेट संस्कृति इन शर्तों को प्रदान कर सकती है।

इस सब के साथ भी कहा, मेरा मानना ​​है कि पूर्ण-स्टैक मॉडल शुरू करने के लिए सबसे अच्छी स्थिति प्रदान करता है। उनके साथ शुरू करें, और फिर होशपूर्वक श्रम के कार्यात्मक विभाजन की ओर बढ़ें, जब यह बिल्कुल आवश्यक हो।

कार्यात्मक विशेषज्ञता के अन्य नुकसान भी हैं। इससे श्रमिकों की ओर से जिम्मेदारी और निष्क्रियता का नुकसान हो सकता है। स्मिथ खुद श्रम के विभाजन की आलोचना करते हैं, यह सुझाव देते हैं कि यह प्रतिभा को सुस्त करता है, अर्थात। श्रमिक कुलीन हो जाते हैं और वापस ले लिए जाते हैं, क्योंकि उनकी भूमिका कुछ दोहराए जाने वाले कार्यों तक सीमित होती है। जबकि विशेषज्ञता प्रक्रिया दक्षता सुनिश्चित कर सकती है, यह श्रमिकों को प्रेरित करने की कम संभावना है।

बदले में, सार्वभौमिक भूमिकाएं सब कुछ प्रदान करती हैं जो नौकरी की संतुष्टि को उत्तेजित करती हैं: स्वायत्तता, कौशल और दृढ़ संकल्प। स्वायत्तता यह है कि वे सफलता प्राप्त करने में किसी भी चीज पर निर्भर नहीं हैं। महारत मजबूत प्रतिस्पर्धात्मक लाभ में निहित है। और दृढ़ संकल्प उनके द्वारा बनाए गए व्यवसाय को प्रभावित करने की क्षमता है। यदि हम लोगों को अपने काम से दूर करने का प्रबंधन करते हैं और कंपनी पर बड़ा प्रभाव डालते हैं, तो बाकी सब जगह गिर जाएगी।