डेटा विश्लेषक वास्तव में क्या करते हैं? 35 साक्षात्कार से निष्कर्ष

सामग्री के लेखक ने डेटा विश्लेषण और प्रसंस्करण के क्षेत्र में विशेषज्ञों के साथ बातचीत की एक श्रृंखला आयोजित की और डेटा वैज्ञानिकों के विकास की संभावनाओं और दिशाओं के बारे में निष्कर्ष निकाला।


डेटा प्रोसेसिंग के सिद्धांत और विधियों ने प्रौद्योगिकी के क्षेत्र में विभिन्न समस्याओं के समाधान को सरल बनाया है। इसमें Google खोज परिणामों का अनुकूलन, लिंक्डइन पर सिफारिशें, बज़फीड पर शीर्षकों का गठन शामिल है। हालांकि, डेटा के साथ काम करना अर्थव्यवस्था के कई क्षेत्रों को महत्वपूर्ण रूप से प्रभावित कर सकता है: खुदरा, दूरसंचार, कृषि से लेकर स्वास्थ्य सेवा, माल ढुलाई और दंड व्यवस्था।

फिर भी, शब्द "डेटा विज्ञान", "सिद्धांत और डेटा विश्लेषण के तरीके" और "डेटा वैज्ञानिक" पूरी तरह से समझ में नहीं आते हैं। व्यवहार में, उन्हें जानकारी के साथ काम करने के तरीकों की एक विस्तृत श्रृंखला का वर्णन करने के लिए उपयोग किया जाता है।

डेटा विज्ञान विशेषज्ञ वास्तव में क्या करते हैं? DataFramed पॉडकास्ट के मेजबान के रूप में , मुझे उद्योगों और शैक्षणिक विषयों की एक विस्तृत श्रृंखला से 30 से अधिक डेटा विश्लेषण विशेषज्ञों का साक्षात्कार करने का शानदार अवसर मिला। अन्य बातों के अलावा, मैंने हमेशा पूछा कि वास्तव में उनके काम में क्या शामिल है।

डेटा विज्ञान वास्तव में एक विशाल क्षेत्र है। मेरे मेहमानों ने विभिन्न पदों और दृष्टिकोणों से हमारी बातचीत की। उन्होंने Book.com और Etsy पर बड़े पैमाने पर ऑनलाइन उत्पाद विकास रूपरेखा सहित कई गतिविधियों का वर्णन किया, सामग्री शीर्षकों को अनुकूलित करने में बहु-सशस्त्र दस्यु समस्या को हल करने के लिए बज़फीड द्वारा उपयोग किए जाने वाले तरीके और मशीन लर्निंग का एयरबीएनबी पर व्यापार निर्णय लेने पर प्रभाव पड़ता है। नवीनतम उदाहरण Airbnb के डेटा विश्लेषण विशेषज्ञ रॉबर्ट चेंग द्वारा आवाज दी गई थी। जब उन्होंने ट्विटर पर काम किया, तो कंपनी विकास पर केंद्रित थी। अब Airbnb में, चेंग बड़े पैमाने पर मशीन लर्निंग मॉडल विकसित कर रहा है।

विश्लेषण और डेटा प्रसंस्करण के सिद्धांत के आवेदन के दृष्टिकोण बहुत अलग हो सकते हैं, और समाधान की पसंद न केवल उद्योग पर निर्भर करती है, बल्कि व्यवसाय के प्रकार और इसके कार्यों पर भी निर्भर करती है।

हालांकि, विविधता के बावजूद, सभी साक्षात्कारों में कई सामान्य विषय स्पष्ट रूप से दिखाई देते हैं।

डेटा विज्ञान विशेषज्ञ क्या करते हैं?

हम जानते हैं कि डेटा विज्ञान कैसे काम करता है, कम से कम प्रौद्योगिकी उद्योग में। शोधकर्ताओं ने पहले पूरी तरह से विश्लेषणात्मक कार्य करने के लिए एकत्रित जानकारी के रूप में एक ठोस नींव रखी। अगले चरण में, वे, अन्य बातों के अलावा, समस्या को हल करने में सतत प्रगति के लिए ऑनलाइन प्रयोगों का उपयोग करते हैं। नतीजतन, मशीन सीखने के तरीके और विशेष उत्पाद बनाए जाते हैं जो आपके व्यवसाय को बेहतर ढंग से समझने और बेहतर निर्णय लेने के लिए आवश्यक डेटा को संसाधित करते हैं। यही है, प्रौद्योगिकी के क्षेत्र में डेटा प्रसंस्करण विधियों का सार निर्णय लेने और सूचना उत्पाद बनाने के लिए बुनियादी ढांचे के निर्माण, परीक्षण और मशीन सीखने का संचालन करने के लिए नीचे आता है।

अन्य गैर-प्रौद्योगिकी क्षेत्रों में बड़े कदम उठाए जा रहे हैं।

एक बैठक में, बेन स्केरिंका, कॉनवॉय में एक डाटा प्रोसेसिंग विशेषज्ञ, और मैंने उत्तर अमेरिकी माल परिवहन उद्योग में नवाचार करने के लिए सूचना प्रसंस्करण विधियों के प्रभावी उपयोग की जांच की। और फ्लैटिरोन हेल्थ के सैंडी ग्रिफ़िथ ने कैंसर के अध्ययन में डेटा विश्लेषण की महत्वपूर्ण भूमिका के बारे में बात की। ड्रू कॉनवे के साथ, हमने उनकी कंपनी एलुवियम पर चर्चा की, जो "औद्योगिक प्रणालियों के संचालन के दौरान उत्पन्न बड़े पैमाने पर डेटा धाराओं के आधार पर उपयोगी पैटर्न की पहचान करने के लिए कृत्रिम बुद्धिमत्ता और मशीन सीखने का उपयोग करती है।" Uber के स्वायत्त ड्राइविंग विभाग के वर्तमान प्रमुख माइक तामिर ने Takt पर काम करने के बारे में बात की, जहाँ Tamir ने फॉर्च्यून 500 कंपनियों को डेटा प्रोसेसिंग और विश्लेषण के तरीके पेश करने में मदद की। अन्य बातों के अलावा, उन्होंने स्टारबक्स के लिए एक सिफारिश प्रणाली विकसित करने में अपना अनुभव साझा किया।

डेटा विश्लेषण न केवल स्वायत्त कारों और कृत्रिम बुद्धिमत्ता की संभावना है

मेरे पॉडकास्ट के कई मेहमान लोकप्रिय मीडिया की ओर से एआई बुत के सामान्यीकरण पर संदेह कर रहे थे (उदाहरण: वेंचरबीट का लेख "एक एआई भगवान 2042 तक बनाया जाएगा, जो अपनी बाइबिल लिखेंगे। क्या आप उसकी पूजा करेंगे?" और मशीन और गहरी आसपास की प्रचार? प्रशिक्षण। बेशक, ये दोनों क्षेत्र व्यावहारिक अनुप्रयोगों के महत्वपूर्ण उदाहरणों के साथ शक्तिशाली दृष्टिकोण हैं। लेकिन इस तरह के उत्साह को हमेशा स्वस्थ संदेह के एक हिस्से के साथ इलाज किया जाना चाहिए। मेरे लगभग सभी मेहमानों ने नोट किया कि इन क्षेत्रों में वास्तविक शोधकर्ता डेटा एकत्र करके और फ़िल्टर करके, डैशबोर्ड और रिपोर्ट बनाकर, डेटा विज़ुअलाइज़ेशन और सांख्यिकीय विश्लेषण करके अपना जीवनयापन करते हैं। इसके अलावा, उन्हें प्रमुख खिलाड़ियों को परिणाम का सार बताने और निर्णय लेने वालों को समझाने में सक्षम होने की आवश्यकता है।

डेटा वैज्ञानिक पेशे द्वारा मांगे गए कौशल का सेट लगातार बदल रहा है और फिर से भरना (और गहन प्रशिक्षण के साथ काम करने का अनुभव होना मुख्य आवश्यकता नहीं है)

जोनाथन नोलिस के साथ एक साक्षात्कार में, सिएटल के प्रमुख डेटा विश्लेषकों में से एक, जो फॉर्च्यून 500 कंपनियों के साथ काम करता है, हमने निम्नलिखित प्रश्न पर चर्चा की: “डेटा पेशेवर के लिए दो कौशलों में से कौन सा कौशल अधिक महत्वपूर्ण है जो गहरे के जटिल मॉडल का उपयोग करने की क्षमता है प्रशिक्षण या PowerPoint में अच्छी स्लाइड खींचने की क्षमता? " Nolis ने उत्तरार्द्ध के पक्ष में तर्क दिया, यह मानते हुए कि विश्लेषण के परिणामों की एक सुलभ व्याख्या जानकारी के साथ काम करने का एक प्रमुख तत्व बनी हुई है।

एक अन्य लोकप्रिय विषय कोर कौशल के एक सेट की परिवर्तनशीलता है। उनमें से कुछ की प्रासंगिकता भविष्य के भविष्य में बदल सकती है। वाणिज्यिक और खुले डेटा विश्लेषण उपकरणों के तेजी से विकास ने इस तथ्य को जन्म दिया है कि अब हम कई नियमित कार्यों के स्वचालन के लिए बड़े पैमाने पर संक्रमण देख रहे हैं, जैसे कि डेटा सफाई और उनकी प्रारंभिक तैयारी। अब तक, यह आम बात थी जब शोधकर्ता के मूल्यवान समय का 80% डेटा की सरल खोज, फ़िल्टरिंग और संरचना पर खर्च किया गया था, और उनके विश्लेषण पर केवल 20% था। लेकिन इस स्थिति के बने रहने की संभावना नहीं है। आज, स्वचालन भी मशीन और गहरी सीखने की प्रक्रियाओं तक पहुंच गया है। विशेष रूप से, एक अलग पॉडकास्ट में जो इस तरह के मुद्दों के लिए पूरी तरह से समर्पित है, रैंडल ओल्सन, जो जीवन एपिजेनेटिक्स के एक प्रमुख डेटा विश्लेषण और प्रसंस्करण विशेषज्ञ हैं, ने इस बारे में बात की।

साक्षात्कार के परिणामों के अनुसार, मेरे मेहमानों के भारी बहुमत का मानना ​​है कि गहन सीखने के बुनियादी ढांचे को बनाने और उपयोग करने की क्षमता बिल्कुल भी महत्वपूर्ण नहीं है। इसके बजाय, वे तकनीकी मुद्दों से दूर, इस प्रक्रिया में प्रमुख प्रतिभागियों को जटिल विश्लेषणात्मक गणना को सही ढंग से समझाने के लिए मक्खी और सीखने की क्षमता का संकेत देते हैं। इसलिए, डेटा प्रोसेसिंग और विश्लेषण के क्षेत्र में उद्देश्यपूर्ण विशेषज्ञों को प्रोसेसिंग जानकारी के तरीकों की तुलना में सामग्री की सही प्रस्तुति पर थोड़ा अधिक ध्यान देना चाहिए। नए तरीके आते हैं और चले जाते हैं, लेकिन महत्वपूर्ण सोच और संख्यात्मक रूप से औसत दर्जे का पेशेवर कौशल हमेशा प्रासंगिक रहेगा।

विशेषज्ञता अधिक महत्वपूर्ण होती जा रही है

नौसिखिए पेशेवरों के लिए एक स्पष्ट कैरियर मार्ग और अपर्याप्त समर्थन की कमी के बावजूद, हम पहले से ही विशेषज्ञता के कुछ क्षेत्रों के उद्भव का निरीक्षण कर रहे हैं। एमिली रॉबिन्सन ने टाइप ए और बी के वैज्ञानिकों के बीच अंतर का वर्णन किया। उनके अनुसार, टाइप ए में ऐसे विश्लेषक शामिल हैं जिनकी गतिविधियाँ पारंपरिक आँकड़ों के करीब हैं, लेकिन टाइप बी के प्रतिनिधि मुख्य रूप से मशीन लर्निंग मॉडल के निर्माण में लगे हुए हैं।

जोनाथन नोलिस ने डेटा विज्ञान को तीन घटकों में विभाजित किया है। पहला घटक बिजनेस एनालिटिक्स है, जो डैशबोर्ड, रिपोर्ट, ईमेल के रूप में "कंपनी के डेटा लेने और सही लोगों को प्रदान करने" के लिए उबलता है। दूसरा निर्णय सिद्धांत है, जिसका उद्देश्य "डेटा लेना और कंपनी को उनकी मदद से सबसे अच्छा निर्णय लेने में मदद करना है।" तीसरा घटक मशीन लर्निंग है, जहां विशेषज्ञ इस सवाल का जवाब देने की कोशिश करते हैं कि "हम वास्तविक परियोजना में जानबूझकर सूचना-विश्लेषणात्मक मॉडल कैसे लागू कर सकते हैं?" इस तथ्य के बावजूद कि उनकी गतिविधियों में कई उन्नत विशेषज्ञ सभी तीन क्षेत्रों को कवर करते हैं, कंक्रीट कैरियर पथ पहले से ही आकार लेना शुरू कर चुके हैं, जैसा कि मशीन लर्निंग इंजीनियरों के साथ होता है।

नैतिक और नैतिक मुद्दे - एक गंभीर चुनौती

आप शायद अनुमान लगाते हैं कि विश्लेषणात्मक पेशे के प्रतिनिधि अपने रास्ते पर अनिश्चितताओं की एक बड़ी मात्रा का सामना करते हैं। जब हमने हमारी बातचीत के पहले एपिसोड में हिलेरी मेसन से पूछा कि क्या कोई अन्य मुश्किलें हैं जो पेशेवर समुदाय का सामना कर रही हैं, तो उन्होंने जवाब दिया: “क्या आप वास्तव में सोचते हैं कि हमारे पास विकास के इस चरण में नैतिक दिशानिर्देशों, मानक प्रथाओं और सुव्यवस्थित शब्दावली का अभाव है? ? "

सभी तीन बिंदु वास्तव में महत्वपूर्ण हैं, और पहले दो समस्याएं डेटाफ़्रामेड पॉडकास्ट के लगभग सभी मेहमानों के लिए चिंता का विषय हैं। उन परिस्थितियों में नैतिकता क्या भूमिका निभाएगी जहां सूचना विश्लेषकों द्वारा विकसित एल्गोरिदम हमारे लिए निर्धारित करते हैं कि बाहरी दुनिया के साथ बातचीत कैसे करें?

GitHub में मुख्य मशीन सीखने के विशेषज्ञ, ओमजु मिलर ने एक साक्षात्कार में कहा:

बुनियादी नैतिक मूल्यों की समझ तैयार करना, प्रशिक्षण विशेषज्ञों के लिए एक योजना विकसित करना और हिप्पोक्रेटिक शपथ जैसी किसी चीज़ को तैयार करना आवश्यक है। और हमें नैतिकता से परे चले गए विशेषज्ञ के अभ्यास को दंडित करने या छीनने के लिए वास्तविक लाइसेंस की आवश्यकता होती है। यह स्पष्ट किया जाना चाहिए कि हम, एक उद्योग के रूप में, इस तरह के कृत्यों के विरोध में हैं। और, ज़ाहिर है, किसी भी तरह से गंभीर उल्लंघन करने वालों की मदद करना आवश्यक है और जो लोग अज्ञानता के नियमों से भटक गए थे, उन्हें सुधारने में मदद करने के लिए क्योंकि वे आवश्यक प्रशिक्षण पास नहीं करते थे।

वर्तमान विषय डेटा विज्ञान का उपयोग करने के गंभीर, हानिकारक और अनैतिक परिणाम हैं, जैसा कि कम्पास के पूर्वाभास जोखिम रेटिंग के मामले में था, "जिसका उपयोग भविष्य के अपराधियों की भविष्यवाणी और पहचान करने के लिए किया गया था," और, ProPublica के अनुसार, काले लोगों के खिलाफ पक्षपातपूर्ण निकला। अमेरिकियों के लिए। "

हम धीरे-धीरे इस बात पर सहमत हो रहे हैं कि पेशेवर विश्लेषकों के समुदाय के भीतर नैतिक मानकों का जन्म होना चाहिए, साथ ही सांसदों, सामाजिक आंदोलनों और अन्य इच्छुक पार्टियों से समर्थन प्राप्त करना चाहिए। भाग में, एक ब्लैक बॉक्स के सिद्धांत पर काम करने वाले आधुनिक समाधानों के विपरीत मॉडल की व्याख्या पर एक विशेष जोर दिया जाता है। यही है, ऐसे मॉडल बनाने के लिए आवश्यक है जो बता सकते हैं कि उन्होंने यह या उस पूर्वानुमान को क्यों बनाया। दीप सीखना कई कार्यों के साथ मुकाबला करता है, लेकिन इसकी अनुभवहीनता के लिए प्रसिद्ध है। समर्पित शोधकर्ता, डेवलपर्स और डेटा विश्लेषक इस दिशा में प्रगति कर रहे हैं कि लाइम जैसे प्रोजेक्ट्स के माध्यम से बताया गया है कि मशीन लर्निंग मॉडल कैसे काम करते हैं।

मानव उद्योगों और समाज में डेटा विश्लेषण में भारी क्रांति अभी शुरू हुई है। यह अभी तक स्पष्ट नहीं है कि क्या डेटा विश्लेषण विशेषज्ञ का पेशा 21 वीं सदी का सबसे आकर्षक काम बना रहेगा, क्या यह अधिक केंद्रित हो जाएगा या बस कौशल का एक सेट बन जाएगा जो शोधकर्ताओं के पास होना चाहिए। जैसा हिलेरी मेसन ने कहा: "क्या 10 वर्षों में डेटा विज्ञान मौजूद होगा? "मुझे एक ऐसी दुनिया याद है जिसमें वह नहीं थी, और मुझे आश्चर्य नहीं हुआ कि क्या यह पेशा एक वेबमास्टर के पेशे के समान भाग्य का सामना करेगा।"