परीक्षण और डिबगिंग MapReduce

रोस्टेलकॉम में, हम जावा अनुप्रयोगों का उपयोग करके कई स्रोतों से डाउनलोड किए गए डेटा को संग्रहीत और संसाधित करने के लिए Hadoop का उपयोग करते हैं। हम अब करबेरोस ऑथेंटिकेशन के साथ हडूप के नए संस्करण में चले गए हैं। चलते समय, मुझे YARN API के उपयोग सहित कई समस्याओं का सामना करना पड़ा। करबेरोस ऑथेंटिकेशन के साथ हडोप का काम एक अलग लेख के योग्य है, लेकिन इस लेख में हम हडोप मैपराइड को डिबग करने के बारे में बात करेंगे।



क्लस्टर में कार्य निष्पादित करते समय, डिबगर को प्रारंभ करना इस तथ्य से जटिल है कि हमें नहीं पता है कि कौन सा नोड इनपुट डेटा के इस या उस हिस्से को संसाधित करेगा, और हम अपने डिबगर को अग्रिम रूप से कॉन्फ़िगर नहीं कर सकते हैं।

आप समय- System.out.println("message") उपयोग कर सकते हैं। लेकिन इन नोड्स में बिखरे हुए System.out.println("message") के आउटपुट का विश्लेषण कैसे करें?

हम संदेशों को मानक त्रुटि स्ट्रीम में आउटपुट कर सकते हैं। सब कुछ stdout या stderr में लिखा है,
उपयुक्त लॉग फ़ाइल पर भेजा जाता है, जिसे विस्तारित कार्य सूचना वेब पेज पर या लॉग फ़ाइलों में पाया जा सकता है।

हम अपने कोड में डिबगिंग टूल भी शामिल कर सकते हैं, कार्य स्थिति संदेश अपडेट कर सकते हैं, और आपदा के पैमाने को समझने में हमारी मदद करने के लिए कस्टम काउंटर का उपयोग कर सकते हैं।

Hadoop MapReduce एप्लिकेशन को उन सभी तीन तरीकों से डीबग किया जा सकता है जिसमें Hadoop काम कर सकता है:

• स्टैंडअलोन
  
• छद्म वितरित मोड
  
• पूरी तरह से वितरित
  

अधिक विस्तार से हम पहले दो पर ध्यान देंगे।

छद्म वितरित मोड

छद्म-वितरित मोड का उपयोग वास्तविक क्लस्टर का अनुकरण करने के लिए किया जाता है। और इसका उपयोग वातावरण में परीक्षण के लिए किया जा सकता है जितना संभव हो उतना उत्पादक के करीब। इस मोड में, सभी Hadoop डेमन एक नोड पर काम करेंगे!

यदि आपके पास एक देव सर्वर या अन्य सैंडबॉक्स है (उदाहरण के लिए, अनुकूलित विकास के माहौल के साथ वर्चुअल मशीन, जैसे कि एचडीपीआर के साथ हॉर्टनवर्क्स सैनबॉक्स), तो आप रिमोट डिबगिंग टूल का उपयोग करके नियंत्रण कार्यक्रम को डीबग कर सकते हैं।

डिबगिंग शुरू करने के लिए, आपको पर्यावरण चर का मान सेट करने की आवश्यकता है: YARN_OPTS । निम्नलिखित एक उदाहरण है। सुविधा के लिए, आप startWordCount.sh फ़ाइल बना सकते हैं और एप्लिकेशन को लॉन्च करने के लिए इसमें आवश्यक पैरामीटर जोड़ सकते हैं।

 #!/bin/bash source /etc/hadoop/conf/yarn-env.sh export YARN_OPTS='-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=6000 ${YARN_OPTS}' yarn jar wordcount-0.0.1.jar ru.rtc.example.WordCount /input /output 

अब, स्क्रिप्ट को चालू करना `./startWordCount.sh` , हम एक संदेश देखेंगे

 Listening for transport dt_socket at address: 6000 

यह दूरस्थ डीबगिंग के लिए IDE को कॉन्फ़िगर करने के लिए रहता है। मैं intellij IDEA का उपयोग कर रहा हूं। मेनू पर जाएं रन -> कॉन्फ़िगरेशन संपादित करें ... एक नया Remote कॉन्फ़िगरेशन जोड़ें।



ब्रेकपॉइंट को मेन और रन पर सेट करें।



यही है, अब हम हमेशा की तरह प्रोग्राम को डिबग कर सकते हैं।

चेतावनी। आपको यह सुनिश्चित करना चाहिए कि आप स्रोत कोड के नवीनतम संस्करण के साथ काम कर रहे हैं। यदि नहीं, तो आपके पास उन पंक्तियों में अंतर हो सकता है जहां डिबगर बंद हो जाता है।

Hadoop के पुराने संस्करणों में, एक विशेष वर्ग की आपूर्ति की गई थी जो आपको एक असफल कार्य को पुनः आरंभ करने की अनुमति देता था - आइसोलेशनरनर। विफलता का कारण बनने वाले डेटा को Hadoop पर्यावरण चर mapred.local.dir में निर्दिष्ट पते पर डिस्क में सहेजा गया था। दुर्भाग्य से, Hadoop के हाल के संस्करणों में, यह वर्ग अब आपूर्ति नहीं करता है।

स्टैंडअलोन (स्थानीय शुरुआत)

स्टैंडअलोन एक मानक विधा है जिसमें हडोप काम करता है। यह डीबगिंग के लिए उपयुक्त है जहां एचडीएफएस का उपयोग नहीं किया जाता है। ऐसे डिबगिंग के साथ, आप स्थानीय फ़ाइल सिस्टम के माध्यम से इनपुट और आउटपुट का उपयोग कर सकते हैं। स्टैंडअलोन मोड आमतौर पर सबसे तेज़ हैडोप मोड है क्योंकि यह सभी इनपुट और आउटपुट डेटा के लिए स्थानीय फ़ाइल सिस्टम का उपयोग करता है।

जैसा कि पहले उल्लेख किया गया है, आप डिबगिंग टूल को अपने कोड में इंजेक्ट कर सकते हैं, जैसे काउंटर। काउंटरों को जावा एनम द्वारा परिभाषित किया गया है। गणना नाम समूह के नाम को परिभाषित करता है, और गणना क्षेत्र काउंटरों के नाम निर्धारित करता है। एक समस्या का मूल्यांकन करने के लिए एक काउंटर उपयोगी हो सकता है,
और डिबग आउटपुट के अतिरिक्त के रूप में इस्तेमाल किया जा सकता है।

घोषणा और काउंटर का उपयोग:

 package ru.rt.example; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class Map extends Mapper<LongWritable, Text, Text, IntWritable> { private Text word = new Text(); enum Word {   TOTAL_WORD_COUNT, } @Override public void map(LongWritable key, Text value, Context context) {   String[] stringArr = value.toString().split("\\s+");   for (String str : stringArr) {     word.set(str);     context.getCounter(Word.TOTAL_WORD_COUNT).increment(1);   } } } } 

काउंटर को बढ़ाने के लिए वेतन increment(1) विधि का उपयोग करें।

 ... context.getCounter(Word.TOTAL_WORD_COUNT).increment(1); ... 

MapReduce सफलतापूर्वक पूर्ण होने के बाद, कार्य अंत में काउंटर प्रदर्शित करता है।

     Shuffle Errors           BAD_ID=0           CONNECTION=0           IO_ERROR=0           WRONG_LENGTH=0           WRONG_MAP=0           WRONG_REDUCE=0   ru.rt.example.Map$Word           TOTAL_WORD_COUNT=655 

त्रुटिपूर्ण डेटा को stderr या stdout में आउटपुट किया जा सकता है, या आगे के विश्लेषण के लिए MultipleOutputs वर्ग का उपयोग करके hdfs को आउटपुट लिखा जा सकता है। प्राप्त डेटा को स्टैंडअलोन मोड में एप्लिकेशन के इनपुट पर या इकाई परीक्षण लिखते समय प्रेषित किया जा सकता है।

Hadoop में MRUnit लाइब्रेरी है, जिसका उपयोग टेस्टिंग फ्रेमवर्क (जैसे JUnit) के संयोजन में किया जाता है। इकाई परीक्षण लिखते समय, हम सत्यापित करते हैं कि फ़ंक्शन आउटपुट पर अपेक्षित परिणाम देता है। हम MRDnit पैकेज से MapDriver वर्ग का उपयोग करते हैं, जिसके गुणों में हम परीक्षण किए गए वर्ग को सेट करते हैं। ऐसा करने के लिए, withMapper() विधि, इनपुट मान withInputValue() और अपेक्षित परिणाम withOutput() या withMultiOutput() का उपयोग करें यदि एकाधिक आउटपुट का उपयोग किया जाता है।

यहाँ हमारी परीक्षा है।

 package ru.rt.example; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mrunit.mapreduce.MapDriver; import org.apache.hadoop.mrunit.types.Pair; import org.junit.Before; import org.junit.Test; import java.io.IOException; public class TestWordCount {   private MapDriver<Object, Text, Text, IntWritable> mapDriver;   @Before  public void setUp() {     Map mapper = new Map();     mapDriver.setMapper(mapper)  }   @Test  public void mapperTest() throws IOException {     mapDriver.withInput(new LongWritable(0), new Text("msg1"));     mapDriver.withOutput(new Pair<Text, IntWritable>(new Text("msg1"), new IntWritable(1)));     mapDriver.runTest();  } } 

पूरी तरह से वितरित मोड

जैसा कि नाम से पता चलता है, यह एक ऐसी विधा है जिसमें हडपॉप की सभी शक्ति का उपयोग किया जाता है। लॉन्च किया गया MapReduce प्रोग्राम 1000 सर्वरों पर चल सकता है। MapReduce प्रोग्राम को डीबग करना हमेशा कठिन होता है, क्योंकि आपके पास अलग-अलग इनपुट डेटा वाले विभिन्न मशीनों पर चलने वाले मैपर होते हैं।

निष्कर्ष

जैसा कि यह पता चला, MapReduce का परीक्षण उतना आसान नहीं है जितना पहली नज़र में लगता है।
MapReduce में त्रुटियों को खोजने में समय बचाने के लिए, मैंने ऊपर सूचीबद्ध सभी विधियों का उपयोग किया है और मैं सभी को उन्हें भी लागू करने की सलाह देता हूं। यह बड़े प्रतिष्ठानों के मामले में विशेष रूप से उपयोगी है, जैसे कि रोस्टेलकॉम में काम करने वाले।