बड़ा डेटा - बड़ी जिम्मेदारी, बड़ा तनाव और बड़ा पैसा

बिग डेटा शब्द नई चीजों की आधुनिक शानदार अतिशयोक्ति से खराब हो गया है। जैसा कि एआई लोगों को गुलाम बनाता है और ब्लॉकचेन एक आदर्श अर्थव्यवस्था बनाता है - इतना बड़ा डेटा आपको सभी के बारे में पूरी तरह से सबकुछ बताएगा और भविष्य को देखेगा।

लेकिन वास्तविकता, हमेशा की तरह, अधिक उबाऊ और व्यावहारिक है। बड़े डेटा में कोई जादू नहीं है - जैसा कि कहीं नहीं है - बस अलग-अलग डेटा के बीच इतनी जानकारी और कनेक्शन है कि पुराने तरीकों से सब कुछ संसाधित करने और विश्लेषण करने में बहुत लंबा समय लगता है।

नए तरीके उभर रहे हैं। नए पेशे उनके साथ हैं। GeekBrains सर्गेई शिरकिन पर बिग डेटा एनालिटिक्स विभाग के डीन ने कहा कि वे किस तरह के पेशे हैं, जहां उन्हें जरूरत है, उन्हें क्या करने की जरूरत है और क्या करने की जरूरत है। कौन से उपकरण का उपयोग किया जाता है और वे आमतौर पर विशेषज्ञों को कितना भुगतान करते हैं।

बिग डेटा क्या है?

सवाल "क्या बड़े डेटा कॉल करने के लिए" बल्कि भ्रामक है। वैज्ञानिक पत्रिकाओं में भी, वर्णन अलग-अलग हैं। कहीं-कहीं, लाखों टिप्पणियों को "साधारण" डेटा माना जाता है, और कहीं और सैकड़ों को हजारों कहा जाता है, क्योंकि प्रत्येक अवलोकन में एक हजार संकेत होते हैं। इसलिए, उन्होंने आंकड़ों को सशर्त रूप से तीन भागों में विभाजित करने का फैसला किया - छोटे, मध्यम और बड़े - सबसे सरल सिद्धांत के अनुसार: वे जिस मात्रा पर कब्जा करते हैं।

छोटा डेटा कुछ गीगाबाइट है। मध्यम - एक टेराबाइट के बारे में सब कुछ। बिग डेटा एक पेटाबाइट के बारे में है। लेकिन इससे भ्रम दूर नहीं हुआ। इसलिए, मानदंड और भी सरल है: जो कुछ भी एक ही सर्वर पर फिट नहीं होता है वह बड़ा डेटा है।

छोटे, मध्यम और बड़े डेटा के अलग-अलग ऑपरेटिंग सिद्धांत हैं। बिग डेटा आमतौर पर एक साथ कई सर्वरों पर एक क्लस्टर में संग्रहीत किया जाता है। इस वजह से, यहां तक ​​कि सरल क्रियाएं अधिक जटिल हैं।

उदाहरण के लिए, एक साधारण कार्य एक मात्रा का औसत मान ज्ञात करना है। यदि यह छोटा डेटा है, तो हम केवल मात्रा द्वारा जोड़ते हैं और विभाजित करते हैं। और बड़े डेटा में हम सभी सर्वरों से एक बार में सभी जानकारी एकत्र नहीं कर सकते हैं। यह जटिल है। अक्सर, आपको डेटा को अपने पास खींचने की आवश्यकता नहीं है, लेकिन प्रत्येक सर्वर पर एक अलग कार्यक्रम भेजें। इन कार्यक्रमों के काम के बाद, मध्यवर्ती परिणाम बनते हैं, और औसत मूल्य उनके द्वारा निर्धारित किया जाता है।


सर्गेई शिरकिन

क्या बड़ी डेटा कंपनियां

बड़े डेटा वाले पहले ने मोबाइल ऑपरेटरों और खोज इंजनों को काम करना शुरू किया। खोज इंजन अधिक से अधिक पूछताछ बन गए, और पाठ संख्याओं से भारी है। पाठ के पैराग्राफ के साथ काम करना वित्तीय लेनदेन के मुकाबले अधिक समय लेता है। उपयोगकर्ता को उम्मीद है कि खोज इंजन एक दूसरे विभाजन में अनुरोध को पूरा कर सकता है - यह आधे मिनट के लिए भी काम करने के लिए अस्वीकार्य है। इसलिए, खोज इंजन ने पहले डेटा के साथ काम करते समय समानांतरकरण के साथ काम करना शुरू किया।

थोड़ी देर बाद, विभिन्न वित्तीय संगठन और खुदरा शामिल हुए। लेन-देन स्वयं बहुत अधिक मात्रा में नहीं होते हैं, लेकिन बड़ा डेटा इस तथ्य के कारण दिखाई देता है कि बहुत सारे लेनदेन हैं।

डेटा की मात्रा बिल्कुल बढ़ रही है। उदाहरण के लिए, बैंकों के पास पहले बहुत अधिक डेटा था, लेकिन उन्हें हमेशा काम के सिद्धांतों की आवश्यकता नहीं थी, जैसे कि बड़े लोगों के साथ। फिर बैंकों ने ग्राहक डेटा के साथ अधिक काम करना शुरू किया। वे अधिक लचीली जमा, ऋण, विभिन्न टैरिफ के साथ आने लगे, और वे लेनदेन का अधिक बारीकी से विश्लेषण करने लगे। यह पहले से ही काम करने के लिए त्वरित तरीके की आवश्यकता है।

अब बैंक न केवल आंतरिक जानकारी, बल्कि बाहरी जानकारी का भी विश्लेषण करना चाहते हैं। वे एक ही खुदरा से डेटा प्राप्त करना चाहते हैं, वे जानना चाहते हैं कि कोई व्यक्ति किस पर पैसा खर्च करता है। इस जानकारी के आधार पर, वे वाणिज्यिक प्रस्ताव बनाने की कोशिश कर रहे हैं।

अब सभी सूचनाएं एक-दूसरे से जुड़ी हुई हैं। खुदरा, बैंक, दूरसंचार ऑपरेटर और यहां तक ​​कि खोज इंजन - हर कोई अब एक-दूसरे के डेटा में रुचि रखता है।

क्या एक बड़ा डेटा विशेषज्ञ होना चाहिए

चूंकि डेटा सर्वर के एक समूह पर स्थित है, इसलिए उनके साथ काम करने के लिए अधिक जटिल बुनियादी ढांचे का उपयोग किया जाता है। यह उस व्यक्ति पर एक बड़ा बोझ डालता है जो उसके साथ काम करता है - सिस्टम को बहुत विश्वसनीय होना चाहिए।

एक सर्वर को विश्वसनीय बनाना आसान है। लेकिन जब उनमें से कई होते हैं, तो संख्या के अनुपात में गिरने की संभावना बढ़ जाती है, और इस डेटा के साथ काम करने वाले डेटा इंजीनियर की जिम्मेदारी भी बढ़ती है।

विश्लेषक को यह समझना चाहिए कि वह हमेशा अधूरा या गलत डेटा प्राप्त कर सकता है। उन्होंने कार्यक्रम लिखा, इसके परिणामों पर भरोसा किया, और फिर पता चला कि एक हजार में से एक सर्वर के गिरने के कारण, डेटा का हिस्सा काट दिया गया था, और सभी निष्कर्ष गलत थे।

उदाहरण के लिए, एक पाठ खोज लें। मान लें कि सभी शब्द कई सर्वरों पर वर्णानुक्रम में व्यवस्थित हैं (यदि हम बहुत सरल और सशर्त रूप से बोलते हैं)। और उनमें से एक डिस्कनेक्ट हो गई, "K" अक्षर के सभी शब्द गायब हो गए। खोज ने "सिनेमा" शब्द देना बंद कर दिया। समाचार के सभी समाचार गायब हो जाते हैं, और विश्लेषक एक गलत निष्कर्ष निकालते हैं कि लोगों को अब फिल्म थिएटर में कोई दिलचस्पी नहीं है।

इसलिए, बड़े डेटा के एक विशेषज्ञ को सबसे निचले स्तर से काम के सिद्धांतों को जानना चाहिए - सर्वर, पारिस्थितिकी तंत्र, कार्य नियोजक - उच्चतम स्तर के कार्यक्रमों के लिए - मशीन लर्निंग लाइब्रेरी, सांख्यिकीय विश्लेषण, और बहुत कुछ। उसे लोहे, कंप्यूटर उपकरण और उसके ऊपर कॉन्फ़िगर किए गए सभी चीजों को समझना चाहिए।

बाकी के लिए, आपको छोटे डेटा के साथ काम करते समय सब कुछ जानने की जरूरत है। हमें गणित की आवश्यकता है, हमें प्रोग्राम करने में सक्षम होने की आवश्यकता है, और हम विशेष रूप से वितरित कंप्यूटिंग के एल्गोरिदम को अच्छी तरह से जानते हैं, ताकि उन्हें डेटा और मशीन सीखने के साथ काम करने के सामान्य सिद्धांतों पर लागू करने में सक्षम हो सकें।

कौन से उपकरण उपयोग किए जाते हैं

चूंकि डेटा क्लस्टर पर संग्रहीत है, इसलिए इसके साथ काम करने के लिए एक विशेष बुनियादी ढांचे की आवश्यकता होती है। सबसे लोकप्रिय पारिस्थितिकी तंत्र Hadoop है। बहुत सारे अलग-अलग सिस्टम इसमें काम कर सकते हैं: विशेष पुस्तकालय, योजनाकार, मशीन सीखने के लिए उपकरण, और बहुत कुछ। लेकिन सबसे पहले, इस प्रणाली को वितरित कंप्यूटिंग के कारण बड़ी मात्रा में डेटा का सामना करने की आवश्यकता है।

उदाहरण के लिए, हम एक हज़ार सर्वर पर टूटे डेटा के बीच सबसे लोकप्रिय ट्वीट की तलाश कर रहे हैं। एक सर्वर पर, हम सिर्फ एक टेबल बनाते हैं और वह यह है। यहां हम सभी डेटा को अपने पास खींच सकते हैं और पुन: लिख सकते हैं। लेकिन यह सही नहीं है, क्योंकि बहुत लंबे समय के लिए।

इसलिए, मैप रिड्यूस प्रतिमान और स्पार्क फ्रेमवर्क के साथ एक हाडोप है। डेटा को स्वयं खींचने के बजाय, वे इस डेटा को प्रोग्राम सेक्शन भेजते हैं। काम समानांतर चलता है, एक हजार सूत्र में। फिर हमें हजारों सर्वरों का चयन मिलता है, जिसके आधार पर आप सबसे लोकप्रिय ट्वीट चुन सकते हैं।

मैप रिड्यूस एक पुराना प्रतिमान है, स्पार्क नया है। इसकी मदद से, डेटा को क्लस्टर से निकाला जाता है, और इसमें मशीन लर्निंग मॉडल बनाए जाते हैं।

बड़े डेटा के क्षेत्र में कौन से पेशे हैं

दो मुख्य पेशे विश्लेषकों और डेटा इंजीनियर हैं।

विश्लेषक मुख्य रूप से जानकारी के साथ काम करता है। वह सारणीबद्ध डेटा में रुचि रखते हैं, वे मॉडल में लगे हुए हैं। उनकी जिम्मेदारियों में डेटा का एकत्रीकरण, शुद्धिकरण, जोड़ और दृश्य शामिल हैं। यही है, विश्लेषक कच्ची जानकारी और व्यवसाय के बीच की कड़ी है।

विश्लेषक के पास काम के दो मुख्य क्षेत्र हैं। सबसे पहले, वह प्राप्त सूचनाओं को रूपांतरित कर सकता है, निष्कर्ष निकाल सकता है और इसे समझने योग्य तरीके से प्रस्तुत कर सकता है।

दूसरा यह है कि विश्लेषक उन अनुप्रयोगों को विकसित करते हैं जो काम करेंगे और परिणाम को स्वचालित रूप से उत्पन्न करेंगे। उदाहरण के लिए, प्रतिदिन प्रतिभूति बाजार पर पूर्वानुमान लगाएं।

डेटा इंजीनियर एक निचले स्तर की विशेषता है। यह एक ऐसा व्यक्ति है जिसे विश्लेषक को सूचना के भंडारण, प्रसंस्करण और वितरण को सुनिश्चित करना चाहिए। लेकिन जहां आपूर्ति और सफाई है - उनकी जिम्मेदारियां ओवरलैप हो सकती हैं।

डेटा इंजीनियर को पूरी मेहनत मिलती है। यदि सिस्टम विफल हो गया है, या सर्वर में से एक क्लस्टर से गायब हो गया है, तो यह कनेक्ट होता है। यह एक बहुत ही जिम्मेदार और तनावपूर्ण काम है। सिस्टम सप्ताहांत और घंटों के बाद दोनों को बंद कर सकता है, और इंजीनियर को त्वरित कार्रवाई करनी चाहिए।

ये दो मुख्य पेशे हैं, लेकिन अन्य हैं। वे तब दिखाई देते हैं जब कृत्रिम बुद्धिमत्ता से संबंधित कार्यों में समानांतर कंप्यूटिंग एल्गोरिदम को जोड़ा जाता है। उदाहरण के लिए, एक एनएलपी इंजीनियर। यह एक प्रोग्रामर है जो प्राकृतिक भाषा प्रसंस्करण में संलग्न है, विशेष रूप से ऐसे मामलों में जहां आपको केवल शब्दों को खोजने की आवश्यकता नहीं है, लेकिन पाठ के अर्थ को समझने के लिए। ऐसे इंजीनियर चैटबॉट और संवादी प्रणाली, वॉयस असिस्टेंट और स्वचालित कॉल सेंटर के लिए प्रोग्राम लिखते हैं।

ऐसी परिस्थितियां हैं जब अरबों चित्रों को वर्गीकृत करना, संयम बनाना, अतिरिक्त फ़िल्टर करना और एक समान खोज करना आवश्यक है। ये पेशे कंप्यूटर की दृष्टि से अधिक ओवरलैप करते हैं।

आप बड़े डेटा से संबंधित नवीनतम रिक्तियों को देख सकते हैं और नई रिक्तियों की सदस्यता ले सकते हैं।

प्रशिक्षण में कितना समय लगता है

हम डेढ़ साल से पढ़ रहे हैं। वे छह तिमाहियों में विभाजित हैं। कुछ में, प्रोग्रामिंग पर जोर दिया जाता है, दूसरों में - डेटाबेस के साथ काम करने पर, और तीसरे में - गणित पर।

इसके विपरीत, उदाहरण के लिए, एआई के संकाय से, कम गणित है। गणितीय विश्लेषण और रैखिक बीजगणित पर इतना मजबूत जोर नहीं है। वितरित कंप्यूटिंग एल्गोरिदम के ज्ञान को मेटानालिसिस के सिद्धांतों से अधिक की आवश्यकता है।

लेकिन डेढ़ साल बड़े डेटा के साथ वास्तविक काम के लिए पर्याप्त है, अगर व्यक्ति को सामान्य डेटा और सामान्य रूप से आईटी में अनुभव हो। स्नातक के बाद शेष छात्रों को छोटे और मध्यम डेटा के साथ काम करने की सिफारिश की जाती है। इसके बाद ही विशेषज्ञों को बड़े लोगों के साथ काम करने की अनुमति दी जा सकती है। प्रशिक्षण के बाद, आपको डेटा वैज्ञानिक के रूप में काम करना चाहिए - अलग-अलग मात्रा में डेटा पर मशीन सीखने को लागू करें।

जब किसी व्यक्ति को एक बड़ी कंपनी में नौकरी मिलती है - भले ही उसके पास अनुभव हो - तो अक्सर उसे बड़े डेटा पर तुरंत जाने की अनुमति नहीं होगी, क्योंकि एक त्रुटि की कीमत बहुत अधिक है। एल्गोरिदम में त्रुटियों का तुरंत पता नहीं लगाया जा सकता है, और इससे बड़े नुकसान होंगे।

बड़े डेटा पर विशेषज्ञों के लिए क्या वेतन पर्याप्त माना जाता है

अब डेटा इंजीनियरों के बीच एक बहुत बड़े कर्मियों की कमी है। काम मुश्किल है, बहुत सारी जिम्मेदारी एक व्यक्ति पर पड़ती है, बहुत तनाव। इसलिए, औसत अनुभव वाले एक विशेषज्ञ को लगभग दो सौ हजार मिलते हैं। जूनियर - एक सौ से दो सौ तक।

एक डेटा विश्लेषक का वेतन थोड़ा कम हो सकता है। लेकिन काम के समय से अधिक कोई काम नहीं है, और आपातकालीन मामलों के कारण काम के घंटों के दौरान उसे नहीं बुलाया जाएगा।

"माय सर्कल" वेतन संवर्धनकर्ता के अनुसार, विशेषज्ञों का औसत वेतन, जिनके पेशे बड़े डेटा से जुड़े हैं, 139,400 रूबल है । एक चौथाई विशेषज्ञ 176,000 से अधिक रूबल कमाते हैं। एक दसवां - 200,000 से अधिक रूबल।

इंटरव्यू की तैयारी कैसे करें

सिर्फ एक विषय में तल्लीन करने की आवश्यकता नहीं है। साक्षात्कार में वे सांख्यिकी, मशीन सीखने, प्रोग्रामिंग के बारे में सवाल पूछते हैं। वे वास्तविक जीवन से डेटा संरचनाओं, एल्गोरिदम और मामलों के बारे में पूछ सकते हैं: सर्वर दुर्घटनाग्रस्त हो गया, एक दुर्घटना हुई - इसे कैसे ठीक किया जाए? विषय क्षेत्र पर प्रश्न हो सकते हैं - कुछ ऐसा जो व्यवसाय के करीब है।

और अगर कोई व्यक्ति एक गणित में बहुत गहरा है, और साक्षात्कार के दौरान एक सरल प्रोग्रामिंग कार्य नहीं किया है, तो नौकरी खोजने की संभावना कम हो जाती है। अपने आप को एक में अच्छी तरह दिखाने के लिए प्रत्येक दिशा में एक औसत स्तर रखना बेहतर है, और दूसरे में पूरी तरह से विफल।

80 प्रतिशत इंटरव्यू में पूछे जाने वाले प्रश्नों की एक सूची है। यदि यह मशीन लर्निंग है, तो वे निश्चित रूप से ढाल वंश के बारे में पूछेंगे। यदि आंकड़े - आपको सहसंबंध और परिकल्पना परीक्षण के बारे में बात करने की आवश्यकता होगी। प्रोग्रामिंग को मध्यम जटिलता का एक छोटा सा कार्य देने की संभावना है। और आप आसानी से अपने हाथों को कार्यों पर प्राप्त कर सकते हैं - बस उन्हें और अधिक हल करें।

जहां अपने आप अनुभव प्राप्त करने के लिए

पायथनट्यू पर पाइथन को खींचा जा सकता है, डेटाबेस के साथ काम करना - SQL-EX पर । ऐसे कार्य दिए गए हैं जिनके लिए वे अनुरोध करना सीखते हैं।

उच्च गणित - गणितविद्या । वहां आप गणितीय विश्लेषण, सांख्यिकी और रैखिक बीजगणित पर स्पष्ट जानकारी प्राप्त कर सकते हैं। और अगर यह स्कूल के पाठ्यक्रम के साथ खराब है, तो आप है, youclever.org ।

वितरित कंप्यूटिंग केवल अभ्यास में काम करेगी। सबसे पहले, यह बुनियादी ढांचे की आवश्यकता है, और दूसरी बात, एल्गोरिदम जल्दी से अप्रचलित हो सकते हैं। अब कुछ नया लगातार दिखाई दे रहा है।

समुदाय किन रुझानों पर चर्चा करता है

एक अन्य क्षेत्र धीरे-धीरे ताकत हासिल कर रहा है, जिससे डेटा की मात्रा में तेजी से वृद्धि हो सकती है - इंटरनेट ऑफ थिंग्स (IoT)। इस तरह का डेटा एक नेटवर्क में जुड़े उपकरणों के सेंसर से आता है, और अगले दशक की शुरुआत में सेंसर की संख्या दसियों अरबों तक पहुंचनी चाहिए।

उपकरण बहुत अलग हैं - घरेलू उपकरणों से लेकर वाहनों और औद्योगिक मशीनों तक, सूचना का एक सतत प्रवाह जिसमें से अतिरिक्त बुनियादी ढांचे और बड़ी संख्या में उच्च योग्य विशेषज्ञों की आवश्यकता होगी। इसका मतलब है कि निकट भविष्य में डेटा इंजीनियरों और बड़े डेटा विश्लेषकों की भारी कमी होगी।