एक डेटा वैज्ञानिक एक डेटा इंजीनियर क्यों नहीं है?

“एक वैज्ञानिक एक नए तारे की खोज कर सकता है, लेकिन उसे पैदा नहीं कर सकता। ऐसा करने के लिए, उसे एक इंजीनियर से संपर्क करना होगा। ” गॉर्डन लिंडसे ग्लास, डिज़ाइन डिज़ाइन (1969)

कुछ महीने पहले, मैंने सिद्धांत और डेटा विश्लेषण (डेटा वैज्ञानिक) के तरीकों और डेटा प्रोसेसिंग (डेटा इंजीनियर) के विशेषज्ञों के बीच अंतर के बारे में लिखा था। मैंने उनके कौशल और सामान्य शुरुआती बिंदुओं के बारे में बात की। कुछ दिलचस्प हुआ: डेटा वैज्ञानिकों ने आगे बढ़ना शुरू किया, यह दावा करते हुए कि वे वास्तव में डेटा प्रोसेसिंग विशेषज्ञों के रूप में डेटा इंजीनियरिंग के क्षेत्र में सक्षम थे। यह दिलचस्प था क्योंकि डेटा प्रोसेसिंग विशेषज्ञों ने आपत्ति नहीं की और यह नहीं कहा कि वे डेटा विश्लेषण के सिद्धांत के विशेषज्ञ थे।

इसलिए, पिछले कुछ महीनों से मैं उनके प्राकृतिक काम के माहौल में डेटा विश्लेषण के सिद्धांत में विशेषज्ञों के व्यवहार की जानकारी एकत्र कर रहा हूं और निगरानी कर रहा हूं। इस पोस्ट में, मैं इस बारे में अधिक बात करूंगा कि डेटा वैज्ञानिक डेटा इंजीनियर क्यों नहीं है।

यह क्यों महत्वपूर्ण है?

कुछ शिकायत करते हैं कि डेटा विश्लेषण के सिद्धांत में एक विशेषज्ञ और डेटा प्रसंस्करण के विशेषज्ञ के बीच अंतर केवल नाम में निहित है। " नाम लोगों को सीखने या कुछ नया करने से नहीं रोकना चाहिए, " वे कहते हैं। मैं सहमत हूं, आपको अधिक से अधिक सीखने की जरूरत है। लेकिन ध्यान रखें कि आपका प्रशिक्षण केवल दूर से संबंधित हो सकता है जो अभ्यास में करने की आवश्यकता होगी। अन्यथा, इससे बड़े डेटा वाली परियोजनाओं की विफलता हो सकती है।

बहुत कुछ कंपनियों में प्रबंधन के स्तर पर भी निर्भर करता है। प्रबंधन डेटा विश्लेषण सिद्धांत विशेषज्ञों को काम पर रखता है, उनसे डेटा प्रोसेसिंग विशेषज्ञों की अपेक्षा की जाती है।

मैंने अलग-अलग कंपनियों में एक ही कहानी सुनी: कंपनी तय करती है कि डेटा साइंस निवेशक का पैसा पाने, मुनाफे का टन, अपने व्यवसाय समुदाय में विश्वसनीयता हासिल करने का एक तरीका है, आदि। यह निर्णय वरिष्ठ प्रबंधन स्तर पर किया जाता है। उदाहरण के लिए, एक निश्चित ऐलिस ऐसे शीर्ष प्रबंधकों से संबंधित है। एक लंबी खोज के बाद, कंपनी दुनिया में डेटा विश्लेषण के सिद्धांत में सबसे अच्छा विशेषज्ञ ढूंढती है - चलो उसे बॉब कहते हैं।

बॉब का पहला कार्य दिवस आ गया। एलिस उसके पास आती है और उत्सुकता से उसकी सभी योजनाओं के बारे में बात करती है।

"ठीक है। डेटा पाइपलाइन और आपके स्पार्क क्लस्टर कहां हैं? "बॉब पूछता है।

ऐलिस जवाब देता है: “हम आपसे यही उम्मीद कर रहे हैं। हमने आपको डेटा विश्लेषण करने के लिए काम पर रखा है। ”
"मुझे नहीं पता कि यह कैसे करना है," बॉब कहते हैं।

एलिस आश्चर्य में दिखती है: “लेकिन आप डाटा प्रोसेसिंग सिद्धांत के विशेषज्ञ हैं। है न? यही आप कर रहे हैं। ”

"नहीं, मैं पहले से ही बनाई गई पाइपलाइन और डेटा का उपयोग करता हूं।"

एलिस अपने कार्यालय में वापस आती है ताकि यह पता लगाया जा सके कि क्या हुआ था। वह चित्र 1 में दिखाए गए जैसे सरलीकृत चार्ट को देखती है, और समझ नहीं पाती कि बॉब बड़े डेटा के साथ सरल कार्य करने में असमर्थ क्यों है।


चित्रा 1. एक डेटा विश्लेषण सिद्धांत विशेषज्ञ और एक डेटा प्रोसेसिंग विशेषज्ञ के साथ एक सरलीकृत वेन आरेख।

गैस का तीव्र प्रकाश

इन इंटरैक्शन से दो मुद्दे उत्पन्न होते हैं:

• प्रबंधन यह क्यों नहीं समझता कि डेटा विश्लेषण सिद्धांत का एक विशेषज्ञ डेटा प्रोसेसिंग का विशेषज्ञ नहीं है?
  
• कुछ विश्लेषण सिद्धांतकारों को क्यों लगता है कि वे विशेषज्ञ विशेषज्ञ हैं?
  

मैं नेतृत्व की तरफ से शुरुआत करूंगा। बाद में हम स्वयं डेटा विश्लेषण सिद्धांत विशेषज्ञों के बारे में बात करेंगे।

आइए इसका सामना करते हैं: डाटा प्रोसेसिंग सुर्खियों में नहीं है। उन्हें 21 वीं सदी का सर्वश्रेष्ठ कार्य घोषित नहीं किया गया है। वह अक्सर मीडिया में नहीं लिखा जाता है। सम्मेलनों में, कंपनी के पहले व्यक्तियों को डेटा प्रोसेसिंग के लाभों के बारे में नहीं बताया जाता है। सभी संदेश डेटा विश्लेषण और सिद्धांत और डेटा विश्लेषण के तरीकों में विशेषज्ञों की खोज से संबंधित हैं।

लेकिन चीजें बदलने लगी हैं। हमारे पास डाटा प्रोसेसिंग पर सम्मेलन हैं। तकनीकी डाटा प्रोसेसिंग टूल के विकास की आवश्यकता धीरे-धीरे पहचानी जाती है। मुझे उम्मीद है कि मेरा काम संगठनों को इस तत्काल आवश्यकता को महसूस करने में मदद करेगा।

मान्यता और प्रशंसा

यहां तक ​​कि ऐसे मामलों में जहां संगठनों के पास डाटा प्रोसेसिंग विशेषज्ञों की टीमें हैं, उनके काम का अक्सर पर्याप्त मूल्यांकन नहीं किया जाता है।

सम्मेलनों के दौरान मान्यता की कमी देखी जा सकती है। डेटा विश्लेषण के सिद्धांत के एक विशेषज्ञ का कहना है कि उन्होंने बनाया। मैं एक व्यापक डेटा प्रोसेसिंग तकनीक देखता हूं जिसने उनके मॉडल का आधार बनाया, लेकिन एक बातचीत के दौरान इसका कभी उल्लेख नहीं किया गया। मैं इसकी विस्तार से जांच करने की उम्मीद नहीं करता हूं, लेकिन जो काम किया गया है उस पर ध्यान देना अच्छा होगा ताकि इसके मॉडल का निर्माण संभव हो सके। डेटा विश्लेषण के क्षेत्र में प्रबंधन और नौसिखियों का मानना ​​है कि डेटा विश्लेषण सिद्धांत के विशेषज्ञ के कौशल के साथ कुछ भी संभव है।

मान्यता कैसे प्राप्त करें

हाल ही में, डेटा प्रोसेसिंग विशेषज्ञ मुझसे पूछ रहे हैं कि उनकी कंपनियों में स्पॉटलाइट कैसे प्राप्त करें। उन्हें लगता है कि जब विश्लेषण के सिद्धांत में विशेषज्ञ अपने नवीनतम विकास दिखाते हैं, तो उन्हें नेतृत्व से सभी आभार मिलते हैं। मुख्य सवाल जो इंजीनियर मुझसे पूछते हैं, वह यह है: "मैं अपने सामान्य कार्य को मेरी योग्यता मानने से रोकने के लिए डेटा वैज्ञानिक कैसे प्राप्त करूं?"

यह एक अच्छी तरह से स्थापित सवाल है, जो उन स्थितियों पर आधारित है जो मैं कंपनियों में देखता हूं। प्रबंधन डेटा प्रोसेसिंग कार्य को नहीं पहचानता (और खुलासा नहीं करता है), जो डेटा विश्लेषण से संबंधित हर चीज से संबंधित है। यदि आप इसे पढ़ते हैं और सोचते हैं:

• मेरे डेटा विश्लेषण सिद्धांत विशेषज्ञ डेटा प्रोसेसिंग विशेषज्ञ हैं।
  
• मेरे डेटा विश्लेषण सिद्धांत विशेषज्ञ वास्तव में जटिल डेटा पाइपलाइन बनाते हैं।
  
• लेखक को यह नहीं पता होना चाहिए कि वह किस बारे में बात कर रहा है।
  

... तो आपके पास संभवतः एक डेटा प्रोसेसिंग विशेषज्ञ है जो स्पॉटलाइट में नहीं है।

जैसा कि डेटा विश्लेषण सिद्धांत विशेषज्ञों ने इंजीनियरों की अनुपस्थिति में छोड़ दिया है, इसलिए एक इंजीनियर जो अपने काम की पर्याप्त मान्यता प्राप्त नहीं करता है वह छोड़ देगा। मूर्ख मत बनो; योग्य डेटा प्रोसेसिंग विशेषज्ञों के लिए, डेटा विश्लेषण सिद्धांत के विशेषज्ञों के लिए श्रम बाजार उतना ही गर्म है।

डेटा विश्लेषण केवल हमारे दोस्तों के समर्थन से संभव है

आपने शायद अटलांटा का मिथक सुना होगा। सजा के रूप में, वह खुद पर दुनिया / आकाश / खगोलीय क्षेत्र रखने के लिए मजबूर था। पृथ्वी अपने वर्तमान रूप में ही मौजूद है क्योंकि एटलस इसे धारण करता है।

इसी तरह, डेटा वैज्ञानिक डेटा विश्लेषण की दुनिया का समर्थन करते हैं। एक व्यक्ति जो पूरी दुनिया को अपने कंधों पर रखता है, उसे इतनी सराहना नहीं मिलती, हालांकि उसे चाहिए। संगठन के सभी स्तरों पर, यह समझा जाना चाहिए कि डेटा विश्लेषण केवल डेटा प्रोसेसिंग विशेषज्ञों के समूह के काम के लिए संभव है।


अंजीर। 2. 1400 के दशक में भी इटालियंस डेटा प्रोसेसिंग विशेषज्ञों के महत्व के बारे में जानते थे।

डेटा वैज्ञानिक डेटा इंजीनियर नहीं हैं।

इससे हमें पता चलता है कि डेटा विश्लेषण सिद्धांत को क्यों लगता है कि वे डेटा प्रोसेसिंग विशेषज्ञ हैं।

इससे पहले कि हम जारी रखें, टिप्पणियों को चेतावनी देने के लिए कुछ आरक्षण:

• मुझे पता है कि डेटा विश्लेषण सिद्धांत विशेषज्ञ वास्तव में बहुत स्मार्ट हैं, और मुझे उनके साथ काम करना पसंद है।
  
• मुझे आश्चर्य है कि अगर इस तरह की बुद्धि एक मजबूत Dunning-Kruger IQ प्रभाव का कारण बनती है।
  
• सबसे अच्छा डेटा विश्लेषण सिद्धांत विशेषज्ञों में से कुछ मुझे पता था कि डेटा प्रोसेसिंग विशेषज्ञ थे, लेकिन बहुत कम थे।
  
• हम अपने स्वयं के कौशल का लगातार मूल्यांकन करते हैं।
  

अंजीर। 3. उनके वास्तविक कौशल की तुलना में विश्लेषण के सिद्धांत में विशेषज्ञों द्वारा उनके कौशल की धारणा का एक अनुभवजन्य आरेख।

डेटा विश्लेषण सिद्धांत के विशेषज्ञों के साथ उनके डेटा प्रोसेसिंग कौशल पर चर्चा करते हुए, मैंने पाया कि उनका आत्म-सम्मान बहुत भिन्न होता है। यह पूर्वाग्रह के साथ एक दिलचस्प सामाजिक प्रयोग है। अधिकांश डेटा विश्लेषण सिद्धांत विशेषज्ञों ने अपने स्वयं के डेटा प्रसंस्करण क्षमताओं को कम कर दिया है। कुछ ने सटीक मूल्यांकन दिया, लेकिन किसी ने भी उनकी वास्तविक क्षमताओं से कम रेटिंग नहीं दी।

इस चित्र में दो बातें याद आ रही हैं:

• डेटा प्रोसेसिंग पेशेवरों का कौशल स्तर क्या है?
  
• मामूली जटिल डेटा पाइपलाइन के लिए कौन से कौशल स्तर की आवश्यकता है?
  

चित्रा 4. मामूली जटिल डेटा पाइपलाइन बनाने के लिए आवश्यक विश्लेषण और डेटा प्रसंस्करण के सिद्धांत में विशेषज्ञों के कौशल का एक अनुभवजन्य आरेख।

आंकड़ा डेटा प्रसंस्करण के लिए आवश्यक क्षमताओं में अंतर को दर्शाता है। वास्तव में, मैंने थोड़े से अतिरंजित वैज्ञानिकों के साथ मिलकर एक मामूली जटिल डेटा पाइपलाइन बनाने में सक्षम किया। वास्तविकता यह हो सकती है कि विश्लेषण के सिद्धांत के विशेषज्ञ आरेख में दिखाए गए हिस्से का आधा हिस्सा बनाते हैं।

सामान्य तौर पर, यह इन दो समूहों के अनुमानित भागों को प्रस्तुत करता है, जो डेटा पाइपलाइन नहीं बना सकते हैं। हां, कुछ डेटा प्रोसेसिंग विशेषज्ञ मामूली जटिल पाइपलाइन नहीं बना सकते हैं, जैसे विश्लेषण सिद्धांत के अधिकांश विशेषज्ञ। यह हमें तत्काल समस्या में लाता है: संगठन अपनी परियोजनाओं को बड़े डेटा के साथ देते हैं जिनके पास उन्हें सही ढंग से लागू करने का अवसर नहीं है।

मध्यम जटिल डेटा पाइपलाइन क्या है?

एक मामूली जटिल डेटा पाइपलाइन डेटा पाइपलाइन बनाने के लिए आवश्यक न्यूनतम स्तर से एक कदम ऊपर है। न्यूनतम स्तर का एक उदाहरण स्पार्क का उपयोग करके एचडीएफएस / एस 3 में संग्रहीत पाठ फ़ाइलों का प्रसंस्करण है: मान लीजिए, सही ढंग से उपयोग किए गए NoSQL डेटाबेस का उपयोग करके भंडारण अनुकूलन की शुरुआत।

मुझे लगता है कि डेटा विश्लेषण के सिद्धांत के विशेषज्ञ सोचते हैं कि उनकी सरल पाइपलाइन डेटा प्रोसेसिंग है। लेकिन वास्तव में वे सबसे सरल समाधान के बारे में बात कर रहे हैं, और बहुत अधिक जटिल कन्वेयर बेल्ट की आवश्यकता है। अतीत में, एक डेटा प्रोसेसिंग विशेषज्ञ बैकस्टेज ने वास्तव में जटिल इंजीनियरिंग का प्रदर्शन किया था, और विश्लेषण सिद्धांत के विशेषज्ञों को इससे निपटना नहीं था।

आप सोच सकते हैं: “ठीक है, मेरे डेटा विश्लेषण सिद्धांत के 20% विशेषज्ञ इसे संभाल सकते हैं। अंत में, मुझे एक प्रसंस्करण विशेषज्ञ की आवश्यकता नहीं है। ” सबसे पहले, याद रखें कि यह चार्ट डेटा विश्लेषण सिद्धांत विशेषज्ञों की क्षमताओं को बढ़ाता है। एक मध्यम कठिन स्तर अभी भी एक कम स्तर है। मुझे यह दिखाने के लिए एक और आरेख बनाने की आवश्यकता है कि कितने डेटा विश्लेषण सिद्धांतवादी अगला कदम उठा सकते हैं। यह इस स्तर पर है कि डेटा विश्लेषण के सिद्धांत में शामिल विशेषज्ञों के बीच उनकी हिस्सेदारी 1% या उससे कम हो जाती है।

डेटा वैज्ञानिक डेटा इंजीनियर क्यों नहीं हैं?

कभी-कभी मैं समस्याओं की प्रतिबिंबित अभिव्यक्तियों पर विचार करना पसंद करता हूं। यहाँ इन समस्याओं में से कुछ हैं जो डेटा विश्लेषण सिद्धांत बनाती हैं विशेषज्ञों के पास प्रसंस्करण कौशल की कमी है।

विश्वविद्यालय और पाठ्यक्रम

डेटा विश्लेषण विश्वविद्यालयों और ऑनलाइन पाठ्यक्रमों के लिए एक नया लोकप्रिय कार्यक्रम है। सभी प्रकार के सुझाव हैं, लेकिन एक ही समस्या लगभग हर जगह पाई जाती है: पाठ्यक्रम में या तो कोई डेटा प्रोसेसिंग कक्षाएं नहीं होती हैं, या केवल एक जोड़ी बाहर खड़ी होती है।

जब मैं एक नया डेटा विश्लेषण प्रशिक्षण कार्यक्रम देखता हूं, तो मैं इसके माध्यम से देखता हूं। कभी-कभी मुझे विश्वविद्यालयों द्वारा प्रस्तावित पाठ्यक्रमों पर टिप्पणी करने के लिए कहा जाता है। मैं सभी को एक ही बात बताता हूं: “क्या आपको अनुभवी प्रोग्रामर की आवश्यकता है? क्योंकि आपका पाठ्यक्रम निर्मित डेटा पाइपलाइन का उपयोग करने के लिए आवश्यक प्रोग्रामिंग या सिस्टम की बिल्कुल भी चिंता नहीं करता है। "

पाठ्यक्रम, सामान्य शब्दों में, आवश्यक सांख्यिकीय उपकरण और गणित पर केंद्रित है। यह दर्शाता है कि कंपनियों और वैज्ञानिकों के अनुसार, डेटा विश्लेषण कैसा दिखना चाहिए। लेकिन असली दुनिया बहुत अलग दिखती है। गरीब छात्र केवल इन गैर-तुच्छ वर्गों के अंत तक बोलबाला कर सकते हैं।

वितरित प्रणालियों के क्षेत्र में मास्टर डिग्री के लिए आवश्यकताओं पर विचार करते हुए, हम एक कदम पीछे ले जा सकते हैं और अकादमिक दृष्टिकोण से सब कुछ देख सकते हैं। जाहिर है, डेटा विश्लेषण सिद्धांत के एक विशेषज्ञ को इस तरह के गहरे स्तर की आवश्यकता नहीं है, लेकिन यह दिखाने में मदद करता है कि डेटा विश्लेषण सिद्धांत के विशेषज्ञ के कौशल में क्या अंतराल मौजूद हैं। कई गंभीर अंतराल हैं।

डाटा प्रोसेसिंग! = स्पार्क

डेटा विश्लेषण और प्रबंधन के सिद्धांत में विशेषज्ञों के बीच एक आम गलतफहमी यह है कि उन्हें लगता है कि डेटा प्रसंस्करण केवल फ़ाइल को संसाधित करने के लिए किसी प्रकार का स्पार्क कोड लिख रहा है। स्पार्क एक अच्छा बैच समाधान है, लेकिन यह एकमात्र ऐसी तकनीक नहीं है जिसकी आपको आवश्यकता है। एक बड़े डेटा समाधान के लिए 10-30 विभिन्न तकनीकों की आवश्यकता होगी जो एक साथ काम करेंगे।

यह गिरावट बड़ी डेटा विफलताओं के दिल में है। प्रबंधन का मानना ​​है कि बड़े डेटा के साथ समस्याओं को हल करने के लिए कंपनी के पास एक नया सार्वभौमिक समाधान है। वास्तविकता बहुत अधिक जटिल है।

जब मैं संगठन को बड़े डेटा मुद्दों पर सलाह देता हूं, तो मैं कंपनी के सभी स्तरों पर इस त्रुटि की उपस्थिति की जांच करता हूं। यदि यह है, तो मुझे यकीन है कि मैं उन सभी तकनीकों को सूचीबद्ध करूंगा जिनकी उन्हें आवश्यकता होगी। यह गलत धारणा को समाप्त करता है कि बड़े डेटा क्षेत्र में सभी समस्याओं को हल करने के लिए एक सरल बटन और एक एकल तकनीक है।

कोड कहां से आया?

कभी-कभी डेटा विश्लेषण सिद्धांत विशेषज्ञ मुझे बताते हैं कि डेटा प्रोसेसिंग तकनीक कितनी सरल है। मैं उनसे पूछता हूं कि वे ऐसा क्यों सोचते हैं? “मुझे StackOverflow या Reddit से अपनी आवश्यकता के अनुसार कोड मिल सकता है। अगर मुझे स्क्रैच से कुछ बनाने की आवश्यकता है, तो मैं किसी सम्मेलन में या तकनीकी दस्तावेज में किसी के प्रोजेक्ट को कॉपी कर सकता हूं। "

एक अजनबी के लिए, यह सामान्य लग सकता है। डेटा प्रोसेसिंग विशेषज्ञ के लिए, यह एक अलार्म है। कानूनी मुद्दों को छोड़कर, यह डेटा प्रोसेसिंग नहीं है। बड़े डेटा के क्षेत्र में बहुत कम टेम्पलेट समस्याएं हैं। "हैलो, वर्ल्ड" के बाद होने वाली हर चीज में एक अधिक जटिल संरचना होती है, जिसके लिए एक डेटा प्रोसेसिंग विशेषज्ञ की आवश्यकता होती है, क्योंकि इसके लिए काम करने के लिए कोई टेम्पलेट दृष्टिकोण नहीं है। तकनीकी प्रलेखन से एक परियोजना की नकल करने से खराब प्रदर्शन या कुछ बदतर हो सकता है ।

मुझे डेटा विश्लेषण के सिद्धांत पर कई समूहों से निपटना था जिसने "बंदर देखता है - बंदर करता है" दृष्टिकोण की कोशिश की। यह बहुत अच्छी तरह से काम नहीं करता है। यह बड़े डेटा की जटिलता में तेज वृद्धि और मामलों का उपयोग करने के लिए करीबी ध्यान के कारण है। डेटा विश्लेषण सिद्धांत के विशेषज्ञों की एक टीम अक्सर एक परियोजना को खारिज कर देती है क्योंकि यह डेटा प्रोसेसिंग में उनकी क्षमताओं से परे है। सीधे शब्दों में कहें, "मैं StackOverflow से कोड कॉपी कर सकता हूं" या "मैं पहले से ही लिखी गई चीज़ को बदल सकता हूं" और "मैं इस सिस्टम को स्क्रैच से बना सकता हूं" के बीच एक बड़ा अंतर है।

निजी तौर पर, मुझे चिंता है कि डेटा विश्लेषण सिद्धांत के विशेषज्ञों का समूह भारी तकनीकी ऋण का स्रोत बन सकता है जो संगठनों में बड़े डेटा की प्रभावशीलता को कम करता है। जब तक यह स्पष्ट नहीं हो जाता, तब तक तकनीकी ऋण इतना महान होगा कि इसे ठीक करना असंभव होगा।

औद्योगिक उपयोग के लिए सबसे लंबा कोड क्या पेश किया गया था?

डेटा विश्लेषण के सिद्धांत में विशेषज्ञों के बीच मुख्य अंतर उनकी गहराई है। इस गहराई को दो तरह से दिखाया जा सकता है। व्यवहार में उनके कोड के आवेदन की सबसे लंबी अवधि क्या है - और क्या इसे ऑपरेशन में भी डाला गया था? उन्होंने अब तक का सबसे लंबा, सबसे बड़ा या सबसे जटिल कार्यक्रम क्या लिखा है?

यह प्रतियोगिता के बारे में नहीं है, लेकिन क्या वे जानते हैं कि क्या होता है जब आप किसी चीज को ऑपरेशन में डालते हैं, और कोड को कैसे बनाए रखते हैं। कोड की 20 लाइनों का एक प्रोग्राम लिखना अपेक्षाकृत सरल है। कोड की 1000 पंक्तियों को लिखना एक और बात है जो सुसंगत और बनाए रखने में आसान है। जिन लोगों ने कभी 20 से अधिक लाइनें नहीं लिखी हैं, वे रखरखाव में आसानी के अंतर को नहीं समझते हैं। जावा की क्रियाशीलता और प्रोग्रामिंग में सर्वोत्तम प्रथाओं का उपयोग करने की आवश्यकता के बारे में उनकी सभी शिकायतें बड़ी सॉफ्टवेयर परियोजनाओं से संबंधित हैं।

डेटा का मूल्यांकन और खोज करते समय, आपको जल्दी से काम करना होगा और कोड को फिर से करना होगा। और उत्पादन उपयोग के लिए कोड के साथ काम करना एक अलग, गहरे स्तर पर आवश्यक है। इसीलिए डेटा एनालिसिस थ्योरी के अधिकांश विशेषज्ञों को ऑपरेशन में डालने से पहले फिर से लिखना पड़ता है।

वितरित सिस्टम डिज़ाइन

डेटा विश्लेषण सिद्धांत विशेषज्ञों और डेटा प्रोसेसिंग विशेषज्ञों के बीच अंतर जानने के लिए एक तरीका यह है कि जब वे अपने स्वयं के वितरित सिस्टम लिखते हैं तो क्या होता है। डेटा विश्लेषण सिद्धांत का एक विशेषज्ञ गणित पर बहुत ध्यान केंद्रित करके कुछ लिखेगा, लेकिन अच्छी तरह से काम नहीं करेगा। एक डेटा प्रोसेसिंग विशेषज्ञ जो वितरित सिस्टम लिखता है, एक वितरित समाधान बनाएगा जो अच्छी तरह से काम करेगा ( लेकिन अपने स्वयं के सिस्टम को बेहतर ढंग से न लिखें )। मैं संगठनों के साथ मेरी बातचीत के बारे में कई कहानियां बताऊंगा जिसमें डेटा विश्लेषण के सिद्धांत में विशेषज्ञों ने एक वितरित प्रणाली बनाई।

तो, मेरे ग्राहक की कंपनी में, डेटा विश्लेषण के सिद्धांत में विशेषज्ञों से मिलकर एक विभाग ने ऐसी प्रणाली बनाई। मुझे उनके साथ बात करने और यह समझने के लिए भेजा गया कि उन्होंने अपना निर्णय क्यों लिखा और यह क्या कर सकता है। वे (वितरित) छवि प्रसंस्करण में लगे हुए थे।

मैंने उनसे पूछना शुरू किया कि उन्होंने अपनी खुद की वितरित प्रणाली क्यों बनाई? उन्होंने उत्तर दिया कि एल्गोरिथम वितरित करना असंभव था। अपने निष्कर्षों की पुष्टि करने के लिए, उन्होंने छवि विश्लेषण में विशेषज्ञता वाले डेटा विश्लेषण के सिद्धांत में एक अन्य विशेषज्ञ के साथ एक अनुबंध पर हस्ताक्षर किए। ठेकेदार ने एल्गोरिथम को वितरित करने की असंभवता की पुष्टि की।

टीम के साथ बिताए दो घंटों में, यह स्पष्ट हो गया कि एल्गोरिथ्म को स्पार्क की तरह एक सार्वभौमिक कंप्यूटिंग इंजन पर वितरित किया जा सकता है। , . data scientist'e data engineer', -.

, , . , . . , . . RPC- , .

:

• , . , .
  
• , .
  
• : « ?» : « ?»
  
• , , , .
  

?

, , : — . , ? ?

— , big data.

, , . , . यहाँ उनमें से कुछ हैं:

• 
  
• 
  
• , Agile Scrum
  
• IDE
  
• 
  
• 
  
• 
  

, , , , . , . , , : « » « . . ». , . .

? , - , production ? «». , .

data scientist'? , ( ), . , . «» .

?

, , data scientist' data engineer'. , . : , , .

, , , .

, , data scientist' data engineer' , , . 2-5 . , , .

, . , , , . , , . , , , , , .

, . . , . , , , , .

, . , , , , . :

• . , , , .
  
• , — . , .
  
• ? , -?
  
• , data scientist'. .
  
• , . , . — , .
  

क्या करें?

, , ? , . . .

, . , . .

, . .

big data

, big data — . , . big data-, . .

big data- , . , , . ( ) , .

इसी तरह की विफलताएं एक दोहराव पैटर्न बनाती हैं। आप नवीनतम तकनीक में अपग्रेड कर सकते हैं, लेकिन सिस्टम की समस्याओं को ठीक करना भूल सकते हैं। केवल जड़ समस्या को ठीक करके ही आप अपनी सफलता की यात्रा शुरू कर सकते हैं।