सूचना के विशाल शाफ्ट का विश्लेषण करने के लिए किस हार्डवेयर पर?

हम एमटीएस में बिग डेटा हैं और यह हमारी पहली पोस्ट है। आज हम इस बारे में बात करेंगे कि कौन सी प्रौद्योगिकियां हमें बड़े डेटा को संग्रहीत करने और संसाधित करने की अनुमति देती हैं ताकि विश्लेषिकी के लिए हमेशा पर्याप्त संसाधन हों, और लोहे की खरीद की लागत आकाश-उच्च दूरी पर न जाए।

उन्होंने 2014 में एमटीएस में बिग डेटा सेंटर बनाने के बारे में सोचा: शास्त्रीय विश्लेषणात्मक भंडारण और बीआई रिपोर्टिंग के पैमाने पर करने की आवश्यकता थी। उस समय, डाटा प्रोसेसिंग और बीआई इंजन एसएएस था - यह ऐतिहासिक रूप से हुआ। और यद्यपि भंडारण के लिए व्यवसाय की आवश्यकताएं बंद हो गई थीं, समय के साथ, विश्लेषणात्मक भंडारण के शीर्ष पर बीआई और एड-हॉक एनालिटिक्स की कार्यक्षमता इतनी बढ़ गई कि बढ़ती उत्पादकता के मुद्दे को हल करना आवश्यक था, यह देखते हुए कि वर्षों में उपयोगकर्ताओं की संख्या में कई गुना वृद्धि हुई और लगातार बढ़ती रही।

प्रतियोगिता के परिणामस्वरूप, उस समय टेलीकॉम की जरूरतों को कवर करते हुए, Teradata MPP सिस्टम MTS में दिखाई दिया। यह कुछ अधिक लोकप्रिय और खुले स्रोत की कोशिश करने के लिए प्रेरणा था।



फोटो में - मास्को में नए डेसकार्टेस कार्यालय में बिग डेटा एमटीएस टीम

पहला क्लस्टर 7 नोड्स का था। यह कई व्यावसायिक परिकल्पनाओं का परीक्षण करने और पहले धक्कों को भरने के लिए पर्याप्त था। प्रयास व्यर्थ नहीं थे: बिग डेटा एमटीएस में तीन वर्षों से मौजूद है और अब डेटा विश्लेषण लगभग सभी कार्यात्मक क्षेत्रों में शामिल है। टीम तीन से दो सौ हो गई।

हम विकास की आसान प्रक्रियाएँ चाहते थे, जल्दी से परिकल्पनाओं का परीक्षण करें। ऐसा करने के लिए, आपको तीन चीजों की आवश्यकता है: स्टार्टअप सोच, हल्के विकास प्रक्रियाओं और विकसित बुनियादी ढांचे के साथ एक टीम। बहुत सारी जगहें हैं जहां आप पहले और दूसरे के बारे में पढ़ और सुन सकते हैं, लेकिन यह अलग से विकसित बुनियादी ढाँचे के बारे में बताने लायक है, क्योंकि विरासत और दूरसंचार में मौजूद डेटा स्रोत यहाँ महत्वपूर्ण हैं। एक विकसित डेटा इन्फ्रास्ट्रक्चर न केवल एक डेटा झील, एक विस्तृत डेटा परत और एक स्टोरफ्रंट परत का निर्माण कर रहा है। इसमें उपकरण और डेटा एक्सेस इंटरफेस, उत्पादों और आदेशों के लिए कंप्यूटिंग संसाधनों का अलगाव, उपभोक्ताओं को डेटा पहुंचाने के लिए तंत्र - दोनों वास्तविक समय और बैच मोड में शामिल हैं। और बहुत, बहुत अधिक।

यह सभी कार्य एक अलग क्षेत्र में खड़े हो गए हैं, जो उपयोगिताओं और डेटा टूल के विकास में लगे हुए हैं। इस क्षेत्र को बिग डेटा आईटी प्लेटफॉर्म कहा जाता है।

एमटीएस में बिग डेटा कहां से आता है

एमटीएस में बहुत सारे डेटा स्रोत हैं। मुख्य लोगों में से एक बेस स्टेशन है, हम रूस में 78 मिलियन से अधिक ग्राहकों के ग्राहक आधार की सेवा करते हैं। हमारे पास कई सेवाएँ भी हैं जो टेलीकॉम से संबंधित नहीं हैं और आपको अधिक बहुमुखी डेटा (इलेक्ट्रॉनिक कॉमर्स, सिस्टम इंटीग्रेशन, इंटरनेट ऑफ़ थिंग्स, क्लाउड सर्विसेज इत्यादि) प्राप्त करने की अनुमति देती है - संपूर्ण "नॉन-टेलीकॉम" पहले से ही सभी राजस्व का लगभग 20% लाता है)।

संक्षेप में, हमारी वास्तुकला को इस तरह के ग्राफ के रूप में दर्शाया जा सकता है:



जैसा कि आप चार्ट पर देख सकते हैं, डेटा स्रोत वास्तविक समय में जानकारी दे सकते हैं। हम स्ट्रीम लेयर का उपयोग करते हैं - हम वास्तविक समय की जानकारी को संसाधित कर सकते हैं, इसमें से कुछ ऐसे इवेंट निकाल सकते हैं जो हमारे लिए रुचि रखते हैं, और इस पर एनालिटिक्स का निर्माण करते हैं। ऐसी घटना प्रसंस्करण प्रदान करने के लिए, हमने अपाचे काफ्का, अपाचे स्पार्क और स्काला भाषा में कोड का उपयोग करके एक काफी मानक कार्यान्वयन (वास्तुकला की दृष्टि से) विकसित किया है। इस तरह के विश्लेषण के परिणामस्वरूप प्राप्त जानकारी को एमटीएस के अंदर और बाहर भविष्य में दोनों का सेवन किया जा सकता है: व्यापार अक्सर ग्राहकों की कुछ क्रियाओं के बहुत तथ्य में रुचि रखता है।

बैचों में डेटा लोड करने का एक तरीका भी है - बैच लेयर। आमतौर पर, शेड्यूल पर एक घंटे में एक बार डाउनलोड होता है, हम शेड्यूलर के रूप में अपाचे एयरफ्लो का उपयोग करते हैं, और बैच डाउनलोड प्रक्रियाएं अजगर में खुद को लागू करती हैं। इस मामले में, डेटा की एक बड़ी मात्रा को डेटा लेक में लोड किया जाता है, जो बिग डेटा को ऐतिहासिक डेटा से भरने के लिए आवश्यक है, जिस पर हमारे डेटा साइंस मॉडल को प्रशिक्षित किया जाना चाहिए। परिणामस्वरूप, उसकी नेटवर्क गतिविधि पर डेटा के आधार पर ऐतिहासिक संदर्भ में एक ग्राहक प्रोफ़ाइल बनाई जाती है। यह हमें पूर्वानुमान संबंधी आंकड़े प्राप्त करने और मानव व्यवहार के मॉडल बनाने की अनुमति देता है, यहां तक ​​कि उसका एक मनोवैज्ञानिक चित्र भी बनाता है - हमारे पास इस तरह का एक अलग उत्पाद है। यह जानकारी बहुत उपयोगी है, उदाहरण के लिए, विपणन कंपनियों के लिए।

हमारे पास बड़ी मात्रा में डेटा है जो क्लासिक रिपॉजिटरी को बनाते हैं। यही है, हम विभिन्न घटनाओं पर जानकारी एकत्र करते हैं - उपयोगकर्ता और नेटवर्क दोनों। यह सभी अज्ञात डेटा उपयोगकर्ता के हितों और घटनाओं के बारे में अधिक सटीक भविष्यवाणी करने में मदद करता है जो कंपनी के लिए महत्वपूर्ण हैं - उदाहरण के लिए, समय पर संभावित उपकरण विफलताओं और समस्या निवारण की भविष्यवाणी करना।

Hadoop

यदि आप अतीत को देखते हैं और याद करते हैं कि सामान्य रूप से कितना बड़ा डेटा दिखाई दिया, तो यह ध्यान दिया जाना चाहिए कि मूल रूप से विपणन उद्देश्यों के लिए डेटा का संचय किया गया था। बड़ा डेटा क्या है, इसकी कोई स्पष्ट परिभाषा नहीं है - यह गीगाबाइट्स, टेराबाइट्स, पेटाबाइट्स है। एक रेखा खींचने के लिए असंभव। कुछ के लिए, बड़ा डेटा गीगाबाइट का दसियों हिस्सा है, दूसरों के लिए, पेटाबाइट्स।

ऐसा हुआ कि समय के साथ दुनिया भर में बहुत सारा डेटा जमा हो गया। और इस डेटा के कुछ प्रकार के कम या ज्यादा महत्वपूर्ण विश्लेषण करने के लिए, पिछली सदी के 70 के दशक से विकसित होने वाले सामान्य रिपॉजिटरी अब पर्याप्त नहीं थे। जब 2000, 10 के दशक में सूचना का शाफ़्ट शुरू हुआ और जब बहुत सारे उपकरण थे, जिनमें इंटरनेट एक्सेस था, जब इंटरनेट ऑफ़ थिंग्स प्रकट हुए, तो ये रिपॉजिटरी बस वैचारिक रूप से सामना नहीं कर सके। इन रिपॉजिटरी का आधार संबंधपरक सिद्धांत था। यही है, विभिन्न रूपों के संबंध थे जो एक दूसरे के साथ बातचीत करते थे। रिपॉजिटरी बनाने और डिजाइन करने का तरीका बताने के लिए एक सिस्टम था।

जब पुरानी प्रौद्योगिकियां विफल हो जाती हैं, तो नए दिखाई देते हैं। आधुनिक दुनिया में, बड़े डेटा एनालिटिक्स की समस्या को दो तरीकों से हल किया जाता है:

अपनी खुद की रूपरेखा बनाना जो आपको बड़ी मात्रा में जानकारी संसाधित करने की अनुमति देता है। आमतौर पर यह कई हज़ारों सर्वरों का एक वितरित अनुप्रयोग है - जैसे कि Google, Yandex, जिसने अपने स्वयं के वितरित डेटाबेस बनाए हैं जो आपको इस तरह की जानकारी के साथ काम करने की अनुमति देते हैं।

Hadoop तकनीक का विकास एक वितरित कंप्यूटिंग ढाँचा है, एक वितरित फ़ाइल प्रणाली है जो बहुत बड़ी मात्रा में जानकारी संग्रहीत और संसाधित कर सकती है। डेटा विज्ञान उपकरण मुख्य रूप से Hadoop के साथ संगत हैं और यह संगतता उन्नत डेटा विश्लेषण के लिए कई संभावनाएं खोलती है। हमारे सहित कई कंपनियां, खुले स्रोत Hadoop पारिस्थितिकी तंत्र की ओर बढ़ रही हैं।

केंद्रीय Hadoop क्लस्टर निज़नी नोवगोरोड में स्थित है। यह देश के लगभग सभी क्षेत्रों से जानकारी एकत्र करता है। वॉल्यूम के संदर्भ में, अब लगभग 8.5 पेटाबाइट डेटा डाउनलोड किया जा सकता है। मॉस्को में भी, हमारे पास अलग-अलग आरएनडी क्लस्टर हैं जहां हम प्रयोग करते हैं।

चूंकि हमारे पास विभिन्न क्षेत्रों में लगभग एक हजार सर्वर हैं, जहां हम एनालिटिक्स का संचालन करते हैं, साथ ही विस्तार की योजना बनाई जाती है, सवाल वितरित विश्लेषणात्मक प्रणालियों के लिए उपकरण के सही विकल्प का उठता है। आप डेटा स्टोरेज के लिए पर्याप्त उपकरण खरीद सकते हैं, लेकिन जो एनालिटिक्स के लिए अनुपयुक्त है - बस इसलिए कि पर्याप्त संसाधन नहीं होंगे, नोड्स पर सीपीयू कोर और मुफ्त रैम की संख्या। अच्छे एनालिटिक्स के अवसरों को प्राप्त करने के लिए एक संतुलन खोजना महत्वपूर्ण है और बहुत अधिक उपकरण लागत नहीं।

इंटेल ने हमें विभिन्न विकल्पों की पेशकश की कि कैसे वितरित प्रणाली के साथ काम का अनुकूलन किया जाए ताकि हमारे डेटा वॉल्यूम में एनालिटिक्स उचित पैसे के लिए प्राप्त किया जा सके। इंटेल एडवांस्ड नंद एसएसडी सॉलिड स्टेट ड्राइव टेक्नोलॉजी यह एक नियमित एचडीडी की तुलना में सैकड़ों गुना तेज है। यह हमारे लिए अच्छा है: एसएसडी, विशेष रूप से एनवीएमई इंटरफेस के साथ, डेटा को तेजी से पर्याप्त पहुंच प्रदान करता है।

इसके अलावा, इंटेल ने नए प्रकार के गैर-वाष्पशील मेमोरी इंटेल 3 डी XPoint के आधार पर इंटेल ऑप्टेन एसएसडी सर्वर एसएसडी जारी किया है। वे भंडारण प्रणाली पर गहन मिश्रित भार का सामना करते हैं, और उनके पास नियमित नंद एसएसडी की तुलना में अधिक लंबा संसाधन होता है। यह हमारे लिए अच्छा क्यों है: इंटेल ऑप्टेन एसएसडी आपको कम विलंबता के साथ भारी भार के तहत काम करने की अनुमति देता है। हमने शुरुआत में NAND SSD को पारंपरिक हार्ड ड्राइव के प्रतिस्थापन के रूप में देखा, क्योंकि हमारे पास हार्ड ड्राइव और RAM के बीच बहुत अधिक मात्रा में डेटा है - और हमें इन प्रक्रियाओं को अनुकूलित करने की आवश्यकता है।

पहले परीक्षण

पहला परीक्षण हमने 2016 में आयोजित किया था। हमने अभी-अभी HDD को तेजी से NAND SSD से बदलने की कोशिश की। ऐसा करने के लिए, हमने नए इंटेल ड्राइव के नमूने का आदेश दिया - उस समय यह डीसी पी 3700 था। और उन्होंने Hadoop के मानक परीक्षण को चलाया - एक पारिस्थितिकी तंत्र जो आपको यह मूल्यांकन करने की अनुमति देता है कि विभिन्न परिस्थितियों में प्रदर्शन कैसे बदलता है। ये मानकीकृत परीक्षण TeraGen, TeraSort, TeraValidate हैं।



TeraGen आपको एक निश्चित मात्रा के कृत्रिम डेटा को "उत्पन्न" करने की अनुमति देता है। उदाहरण के लिए, हमने 1 जीबी और 1 टीबी लिया। TeraSort के साथ, हमने Hadoop में डेटा की इस मात्रा को सॉर्ट किया। यह एक काफी संसाधन-गहन ऑपरेशन है। और अंतिम परीक्षण - तेरावलीगेट - आपको यह सुनिश्चित करने की अनुमति देता है कि डेटा सही क्रम में सॉर्ट किया गया है। यही है, हम उनके माध्यम से दूसरी बार जाते हैं।



एक प्रयोग के रूप में, हमने केवल SSDs के साथ कारें लीं - अर्थात्, हार्ड ड्राइव का उपयोग किए बिना Hadoop को केवल SSDs पर स्थापित किया। दूसरे संस्करण में, हमने अस्थायी डेटा को स्टोर करने के लिए SSD का उपयोग किया, HDD - बेसिक डेटा स्टोर करने के लिए। और तीसरे संस्करण में, दोनों के लिए हार्ड ड्राइव का उपयोग किया गया था।

इन प्रयोगों के परिणाम हमारे लिए बहुत खुश करने वाले नहीं थे, क्योंकि प्रदर्शन संकेतकों में अंतर 10-20% से अधिक नहीं था। यही है, हमने महसूस किया कि भंडारण के संदर्भ में Hadoop SSDs के साथ बहुत अनुकूल नहीं है, क्योंकि शुरू में HDD पर बड़े डेटा को स्टोर करने के लिए सिस्टम बनाया गया था, और किसी ने इसे विशेष रूप से तेज और महंगे SSD के लिए अनुकूलित नहीं किया था। और चूंकि उस समय एसएसडी की लागत काफी अधिक थी, इसलिए हमने तय किया कि अब तक इस कहानी में न जाएं और हार्ड ड्राइव द्वारा प्राप्त करें।

दूसरा परीक्षण

फिर, Intel ने 3D XPoint मेमोरी पर आधारित नया सर्वर-साइड Intel Optane SSDs पेश किया। वे 2017 के अंत में जारी किए गए थे, लेकिन नमूने पहले हमारे पास उपलब्ध थे। 3 डी XPoint मेमोरी फीचर्स सर्वर में RAM के विस्तार के रूप में Intel Optane SSD का उपयोग करना संभव बनाता है। चूँकि हमें पहले से ही पता था कि ब्लॉक स्टोरेज डिवाइस के स्तर पर IO Hadoop प्रदर्शन समस्या को हल करना आसान नहीं होगा, इसलिए हमने Intel मेमोरी ड्राइव टेक्नोलॉजी (IMDT) का उपयोग करके रैम का विस्तार करने के लिए एक नए विकल्प का प्रयास करने का निर्णय लिया। और इस साल की शुरुआत में, हम इसे परीक्षण करने वाले दुनिया के पहले में से एक थे।

यह हमारे लिए अच्छा है: यह रैम की तुलना में सस्ता है, जो आपको उन सर्वरों को इकट्ठा करने की अनुमति देता है जिनमें रैम के टेराबाइट्स हैं। और चूंकि RAM काफी तेज है, आप इसमें बड़े डेटा सेट लोड कर सकते हैं और उनका विश्लेषण कर सकते हैं। आपको याद दिला दूं कि हमारी विश्लेषणात्मक प्रक्रिया की ख़ासियत यह है कि हम कई बार डेटा एक्सेस करते हैं। किसी प्रकार का विश्लेषण करने के लिए, हमें कई बार मेमोरी में उतना डेटा लोड करना पड़ता है और कई बार इन डेटा के कुछ प्रकार के एनालिटिक्स को "स्क्रॉल" करना पड़ता है।
स्विंडन में इंटेल अंग्रेजी प्रयोगशाला ने हमें तीन सर्वरों का एक समूह आवंटित किया, जो कि परीक्षण के दौरान हमने एमटीएस में स्थित हमारे परीक्षण क्लस्टर के साथ तुलना की।



जैसा कि ग्राफ से देखा जा सकता है, परीक्षण के परिणामों के अनुसार, हमें काफी अच्छे परिणाम मिले।



उसी TeraGen ने उत्पादकता में लगभग दोगुनी वृद्धि, TeraValidate - 75% तक दिखाई। यह हमारे लिए बहुत अच्छा है, क्योंकि, जैसा कि मैंने कहा, हम कई बार अपनी मेमोरी में मौजूद डेटा तक पहुंचते हैं। तदनुसार, यदि हमें ऐसा प्रदर्शन प्राप्त होता है, तो यह विशेष रूप से वास्तविक समय में डेटा विश्लेषण में हमारी मदद करेगा।

हमने विभिन्न परिस्थितियों में तीन परीक्षण किए। 100 जीबी, 250 जीबी और 500 जीबी। और जितना हमने मेमोरी का उपयोग किया, इंटेल मेमोरी ड्राइव टेक्नोलॉजी के साथ इंटेल ऑप्टेन एसएसडी ने बेहतर प्रदर्शन किया। यही है, हम जितना अधिक डेटा का विश्लेषण करते हैं, उतना ही हमें दक्षता प्राप्त होती है। अधिक नोड्स पर हुई एनालिटिक्स उनमें से कम पर हो सकती है। और हमें अपनी मशीनों पर एक बड़ी मात्रा में मेमोरी भी मिलती है, जो डेटा साइंस कार्यों के लिए बहुत अच्छी है। परीक्षण के परिणामों के आधार पर, हमने एमटीएस में काम के लिए इन ड्राइवों को खरीदने का फैसला किया।

यदि आपको बड़ी मात्रा में डेटा को संग्रहीत करने और संसाधित करने के लिए हार्डवेयर का चयन करना और परीक्षण करना था, तो यह हमारे लिए दिलचस्प होगा कि आपको किन कठिनाइयों का सामना करना पड़ा और आपके परिणाम क्या आए: टिप्पणियों में लिखें।

लेखक:
ग्रिगोरी कोवल, एमटीएस के बिग डेटा विभाग के एप्लाइड आर्किटेक्चर के कॉम्पिटीशन सेंटर के प्रमुख , ग्रिगोरी_लाल
बिग डेटा एमटीएस विभाग दिमित्री शोस्टको ज़्लोइ_डिमन के डेटा प्रबंधन जनजाति के प्रमुख