HDFS 2 के साथ बेंचमार्किंग HDFS 3

हमारी कंपनी SberTech (Sberbank Technologies) वर्तमान में HDFS 2.8.4 का उपयोग करती है क्योंकि इसमें कई फायदे हैं, जैसे कि Hadoop पारिस्थितिकी तंत्र, बड़ी मात्रा में डेटा के साथ तेजी से काम, यह एनालिटिक्स में अच्छा है और बहुत कुछ। लेकिन दिसंबर 2017 में, Apache Software Foundation ने वितरित कार्यक्रमों को विकसित करने और चलाने के लिए ओपन-सोर्स फ्रेमवर्क का एक नया संस्करण जारी किया - Hadoop 3.0.0, जिसमें पिछली मुख्य रिलीज़ लाइन (hadoop-2.x) पर कई महत्वपूर्ण सुधार शामिल हैं। हमारे लिए सबसे महत्वपूर्ण और दिलचस्प अपडेट में से एक अतिरेक कोड (Erasure Coding) का समर्थन है। इसलिए, इन संस्करणों को एक दूसरे के साथ तुलना करने के लिए कार्य निर्धारित किया गया था।

SberTech कंपनी ने इस शोध कार्य के लिए प्रत्येक में 40 GB की 10 आभासी मशीनें आवंटित कीं। चूंकि RS (10.4) कोडिंग नीति में न्यूनतम 14 मशीनों की आवश्यकता होती है, इसलिए यह परीक्षण करने के लिए काम नहीं करेगा।

मशीनों में से एक पर NameNode DataNode के अलावा स्थित होगा। परीक्षण निम्नलिखित एन्कोडिंग नीतियों के साथ आयोजित किया जाएगा:

• XOR (2.1)
• रुपये (3.2)
• रुपये (6.3)

और भी, 3 की प्रतिकृति कारक के साथ प्रतिकृति का उपयोग कर।

डेटा ब्लॉक का आकार 32 एमबी के बराबर चुना गया था।

आयोजन अनुसंधान

डेटा दर परीक्षण

डेटा ट्रांसफर दरों के लिए टेस्ट आयोजित किए गए थे। डेटा को स्थानीय फ़ाइल सिस्टम से वितरित फ़ाइल सिस्टम में स्थानांतरित किया गया था। इस परीक्षण में प्रयुक्त फ़ाइल का आकार 292.2 MB है।

निम्नलिखित परिणाम प्राप्त हुए:



फ़ाइल स्थानांतरण समय के समूहित प्राप्त मूल्यों का एक ग्राफ भी निर्मित किया गया है:



और इसके अलावा, समूहीकृत डेटा दरों का समूह:



जैसा कि ग्राफ से देखा जा सकता है, सबसे तेज़ डेटा को XOR (2,1) के साथ इनकोड किया गया है। एनसोडिंग्स आरएस (6.3) और आरएस (3.2) समान व्यवहार दिखाते हैं, हालांकि आरएस (6.3) के लिए औसत गति मान थोड़ा अधिक है। प्रतिकृति गति में बहुत कम हो जाती है (XOR से लगभग 1.5 गुना और RS की तुलना में 1.5 गुना कम)।

भंडारण दक्षता के लिए, XOR (2.1) और RS (6.3) सबसे लाभदायक भंडारण विधियां हैं, निरर्थक डेटा केवल 50% है। प्रतिकृति, 3 के प्रतिकृति अनुपात के साथ, फिर से खो देता है, अनावश्यक डेटा का 200% संग्रहीत करता है।

प्रदर्शन परीक्षण

पिछले परीक्षण में, सर्वर की स्थिति की निगरानी ग्राफाना निगरानी उपकरण का उपयोग करके की गई थी।

नीचे डेटा ट्रांसफर परीक्षणों के दौरान सीपीयू लोड दिखाने वाला एक ग्राफ है:



जैसा कि ग्राफ से देखा जा सकता है, इस परीक्षण में भी RS (6.3) एन्कोडिंग कम से कम संसाधनों का उपभोग करती है। प्रतिकृति फिर से सबसे खराब परिणाम दिखाती है।

डेटा रिकवरी में संसाधन की खपत

इस परीक्षण का संचालन करने के लिए, डेटा की एक निश्चित मात्रा को Hadoop वितरित फ़ाइल सिस्टम में अपलोड किया गया था। तब DataNode के साथ दो मशीनों को छोड़ दिया गया था।
नीचे RS (6.3) एन्कोडिंग के साथ और पुनर्प्राप्ति का उपयोग करते समय डेटा रिकवरी के समय मशीनों की स्थिति के ग्राफ हैं:


आरएस एन्कोडिंग (6.3) का उपयोग कर डेटा रिकवरी के दौरान प्रोसेसर की स्थिति


प्रतिकृति का उपयोग करके डेटा रिकवरी के दौरान सीपीयू स्थिति

जैसा कि आप ग्राफ़ से देख सकते हैं, आरएस (6.3) एन्कोडिंग प्रोसेसर को डेटा रिकवरी के दौरान प्रतिकृति से अधिक लोड करता है, जो तर्कसंगत है, क्योंकि अनावश्यक कोड का उपयोग करके खोए हुए डेटा को पुनर्प्राप्त करने के लिए, व्युत्क्रम अतिरेक मैट्रिक्स की गणना करना आवश्यक है, जो केवल ओवरराइटिंग की तुलना में अधिक संसाधनों की खपत करता है। प्रतिकृति के मामले में अन्य DataNode से डेटा।

परीक्षा परिणाम:

• डेटा ट्रांसफर दरों के लिए, XOR (2.1) या RS (6.3) एन्कोडिंग का उपयोग करना सबसे अच्छा है
• डेटा संचारित करते समय, प्रोसेसर कम से कम एन्कोडिंग RS (6.3) और RS (3.2) को लोड करता है
• डेटा को पुनर्स्थापित करते समय, प्रोसेसर प्रतिकृति के उपयोग से कम से कम तनावग्रस्त होता है।
• डेटा को स्टोर करने का सबसे कॉम्पैक्ट तरीका RS (6.3) और XOR (2.1) एनकोडिंग हैं

सबसे विश्वसनीय भंडारण विधि RS (6.3) एन्कोडिंग है, क्योंकि यह आपको डेटा हानि के बिना तीन मशीनों तक खोने की अनुमति देता है, और 3 की प्रतिकृति गुणांक के साथ प्रतिकृति 2 मशीनों तक की विफलता का समर्थन करती है। XOR (2, 1) डेटा को स्टोर करने का सबसे अविश्वसनीय तरीका है क्योंकि यह आपको अधिकतम एक मशीन खोने की अनुमति देता है।

निष्कर्ष

SberTech में वितरित फ़ाइल सिस्टम का उपयोग करने के मुख्य लक्ष्य हैं:

• उच्च विश्वसनीयता
• डेटा भंडारण के लिए सर्वर बनाए रखने की लागत को कम करना
• डेटा विश्लेषण उपकरण प्रदान करना

विश्लेषण के परिणामों के आधार पर, निम्नलिखित निष्कर्ष किए गए हैं:

• HDFS 3 HDFS 2 के मुकाबले बेहतर प्रदर्शन करता है।
• एचडीएफएस 3 सर्वर रखरखाव लागत को कम करके जीतता है क्योंकि यह डेटा को अधिक कॉम्पैक्ट रूप से संग्रहीत करता है।
• HDFS 3 में HDFS 2 के समान डेटा विश्लेषण टूलसेट है।

इस संबंध में, यह निष्कर्ष निकाला गया कि एचडीएफएस 3 एचडीएफएस 2 के लिए एक तर्कसंगत प्रतिस्थापन है।

प्रयुक्त स्रोत:

• रीड-सोलोमन कोड। भाग 1
• रीड-सोलोमन कोड। भाग 2 - गैलोज फील्ड्स के अंकगणित
• Apache Hadoop 3.0.0