सभी को नमस्कार! हम डेटा इंजीनियर पाठ्यक्रम के नए समूह के छात्रों के लिए तैयार किए गए लेख का अनुवाद प्रकाशित कर रहे हैं। यदि आप कम से कम लागत में एक कुशल और स्केलेबल डेटा प्रोसेसिंग सिस्टम बनाने के तरीके सीखने में रुचि रखते हैं, तो येगोर मातेशुक द्वारा मास्टर क्लास की रिकॉर्डिंग देखें!

कुछ हफ़्ते पहले मैंने Hadoop के बारे में एक लेख लिखा था, जिसमें विभिन्न कवर किए गए थे
भागों और पता लगाया कि वह डेटा इंजीनियरिंग के क्षेत्र में क्या भूमिका निभाता है। इस लेख में, मैं
मैं Hadoop में विभिन्न फ़ाइल स्वरूपों का संक्षिप्त विवरण दूंगा। यह त्वरित और आसान है
विषय। यदि आप यह समझने की कोशिश कर रहे हैं कि हडोप कैसे काम करता है और यह किस स्थान पर काम करता है
डेटा इंजीनियर, यहाँ Hadoop पर मेरे लेख की जाँच करें ।

Hadoop फ़ाइल स्वरूप दो श्रेणियों में विभाजित हैं: पंक्ति-उन्मुख और स्तंभ-
उन्मुख।

पंक्ति-उन्मुख:
एक प्रकार के डेटा की पंक्तियों को एक साथ संग्रहीत किया जाता है, एक निरंतर बनाता है
भंडारण: SequenceFile, MapFile, Avro Datafile। इस प्रकार, यदि आवश्यक हो
एक पंक्ति से केवल थोड़ी मात्रा में डेटा का उपयोग करें, वैसे भी पूरी पंक्ति
स्मृति में पढ़ा जाएगा। सीरियलाइजेशन में देरी कुछ हद तक हो सकती है
समस्या को कम करें, लेकिन पूरी डेटा पंक्ति को पढ़ने के ओवरहेड से पूरी तरह से
ड्राइव से छुटकारा नहीं मिल पाएगा। पंक्ति-उन्मुख भंडारण
उन मामलों में उपयुक्त है जहां एक ही समय में पूरी लाइन को संसाधित करना आवश्यक है
डेटा।

कॉलम-ओरिएंटेड:
संपूर्ण फ़ाइल को कई डेटा कॉलम और सभी डेटा कॉलम में विभाजित किया गया है
एक साथ संग्रहीत: लकड़ी की छत, RCFile, ORCFile। स्तंभ-उन्मुख प्रारूप (कॉलम-
उन्मुख), आपको डेटा पढ़ते समय अनावश्यक कॉलम को छोड़ने की अनुमति देता है, जो इसके लिए उपयुक्त है
ऐसी स्थिति जब लाइनों की थोड़ी मात्रा की आवश्यकता होती है। लेकिन पढ़ने और लिखने का यह प्रारूप
अधिक मेमोरी स्पेस की आवश्यकता होती है क्योंकि पूरी कैश लाइन मेमोरी में होनी चाहिए
(कई पंक्तियों का एक स्तंभ पाने के लिए)। इसी समय, यह उपयुक्त नहीं है
स्ट्रीमिंग रिकॉर्डिंग, क्योंकि रिकॉर्डिंग विफलता के बाद वर्तमान फ़ाइल नहीं हो सकती
पुनर्स्थापित, और रैखिक रूप से उन्मुख डेटा का पुन: उपयोग किया जा सकता है
लेखन त्रुटि की स्थिति में अंतिम सिंक्रनाइज़ेशन बिंदु से सिंक्रनाइज़ किया जाता है, इसलिए,
उदाहरण के लिए, फ्लूम एक लाइन-उन्मुख भंडारण प्रारूप का उपयोग करता है।

चित्र 1 (बाएं)। तार्किक तालिका दिखाई गई
चित्र 2 (दाएं)। पंक्ति-उन्मुख स्थान (अनुक्रम फ़ाइल)

चित्रा 3. स्तंभ-उन्मुख लेआउट

यदि आप अभी तक पूरी तरह से समझ नहीं पाए हैं कि स्तंभ या पंक्ति उन्मुखीकरण क्या है
चिंता मत करो। दोनों के बीच अंतर को समझने के लिए आप इस लिंक का अनुसरण कर सकते हैं।
यहाँ कुछ फ़ाइल स्वरूप दिए गए हैं जो व्यापक रूप से Hadoop प्रणाली में उपयोग किए जाते हैं:

अनुक्रम फ़ाइल

भंडारण प्रारूप संकुचित है या नहीं, इस पर निर्भर करता है
क्या यह कंप्रेशन या ब्लॉक कम्प्रेशन का उपयोग करता है:

चित्रा 4. बिना संपीड़न के और रिकॉर्ड के संपीड़न के साथ अनुक्रम फ़ाइल की आंतरिक संरचना।

संपीड़न के बिना:
रिकॉर्ड लंबाई, कुंजी लंबाई, डिग्री मान के अनुरूप क्रम में भंडारण,
मुख्य मूल्य और मूल्य मूल्य। रेंज बाइट्स की संख्या है। क्रमबद्धता
निर्दिष्ट का उपयोग कर प्रदर्शन किया।

रिकॉर्ड संपीड़न:
केवल मान संपीड़ित है, और संपीड़ित कोडेक हेडर में संग्रहीत है।

ब्लॉक संपीड़न:
एकाधिक रिकॉर्ड संकुचित होते हैं ताकि आप उपयोग कर सकें
दो प्रविष्टियों के बीच समानता का लाभ उठाएं और अंतरिक्ष को बचाएं। झंडे
सिंक्रनाइज़ेशन को ब्लॉक की शुरुआत और अंत में जोड़ा जाता है। न्यूनतम ब्लॉक मान
o.seqfile.compress.blocksizeset विशेषता द्वारा सेट किया गया।

चित्रा 4. ब्लॉक संपीड़न के साथ अनुक्रम फ़ाइल की आंतरिक संरचना।

नक्शा फ़ाइल

एक मानचित्र फ़ाइल एक प्रकार की अनुक्रम फ़ाइल है। सूचकांक को जोड़ने के बाद
अनुक्रम फ़ाइल और एक मानचित्र फ़ाइल में इसके छंटनी के परिणाम। सूचकांक को एक अलग के रूप में संग्रहीत किया जाता है
फ़ाइल, जिसमें आमतौर पर 128 प्रविष्टियों में से प्रत्येक के सूचकांक शामिल हैं। संकेत हो सकते हैं
त्वरित पुनर्प्राप्ति के लिए मेमोरी में लोड किया जाता है, क्योंकि फाइलें जिसमें डेटा संग्रहीत है,
कुंजी द्वारा निर्दिष्ट क्रम में व्यवस्थित।

मानचित्र फ़ाइल प्रविष्टियाँ क्रम में होनी चाहिए। नहीं तो हम
एक IOException प्राप्त करें।

व्युत्पन्न नक्शा फ़ाइल प्रकार:

1. SetFile: प्रकार की कुंजियों के अनुक्रम को संग्रहीत करने के लिए एक विशेष मानचित्र फ़ाइल
   लिखने योग्य। कुंजी एक विशिष्ट क्रम में लिखी जाती हैं।
2. ArrayFile: कुंजी एक पूर्णांक है जो सरणी, मान में स्थिति को दर्शाता है
   टाइप करने योग्य।
3. BloomMapFile: एक मैप फ़ाइल का उपयोग करके प्राप्त () विधि के लिए अनुकूलित
   गतिशील ब्लूम फिल्टर। फ़िल्टर मेमोरी में संग्रहीत किया जाता है, और सामान्य विधि
   get () को तभी पढ़ने के लिए कहा जाता है जब कुंजी मान हो
   वहाँ।

Hadoop सिस्टम पर नीचे सूचीबद्ध फ़ाइलों में RCFile, ORCFile और Parquet शामिल हैं।
एवरो का स्तंभ-उन्मुख संस्करण ट्रेवनी है।

आरसी फ़ाइल

हाइव का रिकॉर्ड स्तंभ फ़ाइल - इस प्रकार की फ़ाइल पहले डेटा को पंक्तियों के समूहों में विभाजित करती है,
और एक पंक्ति समूह के भीतर, डेटा स्तंभों में संग्रहीत किया जाता है। इसकी संरचना इस प्रकार है
जिस तरह से:

चित्रा 5. एचडीएफ ब्लॉक में आरसी फ़ाइल डेटा का स्थान।

शुद्ध पंक्ति-उन्मुख और स्तंभ-उन्मुख के साथ तुलना करें:

चित्रा 6. एचडीएफएस ब्लॉक में पंक्ति द्वारा भंडारण पंक्ति।


चित्र 7. एचडीएफएस ब्लॉक में कॉलम द्वारा समूहन।

ORC फ़ाइल

ORCFile (अनुकूलित रिकॉर्ड स्तंभ फ़ाइल) - एक अधिक कुशल प्रारूप है
rcfile से फ़ाइल। यह आंतरिक रूप से डेटा को प्रत्येक 250M के स्ट्रिप्स में विभाजित करता है।
प्रत्येक लेन में एक सूचकांक, डेटा और पाद है। इंडेक्स न्यूनतम और स्टोर करता है
प्रत्येक स्तंभ का अधिकतम मान, साथ ही स्तंभ में प्रत्येक पंक्ति की स्थिति।

चित्रा 8. ORC फ़ाइल में डेटा का स्थान

Hive .orc फ़ाइल का उपयोग करने के लिए निम्न आदेशों का उपयोग करता है:

लकड़ी की छत

Google Dremel पर आधारित सामान्य कॉलम-उन्मुख संग्रहण प्रारूप।
घोंसले के एक उच्च डिग्री के साथ डेटा प्रसंस्करण के लिए विशेष रूप से अच्छा है।

चित्रा 9. Parquet फ़ाइल की आंतरिक संरचना।

लकड़ी की छत के फ्लैट भंडारण में नेस्टेड संरचनाओं को बदल देता है,
जिसे रिपीट लेवल और डेफिनिशन लेवल (R और D) द्वारा दर्शाया जाता है और उपयोग किया जाता है
मेटाडेटा सभी को पुनर्प्राप्त करने के लिए डेटा पढ़ते समय रिकॉर्ड को पुनर्स्थापित करने के लिए
फ़ाइल। आगे आपको R और D का उदाहरण दिखाई देगा:

AddressBook { contacts: { phoneNumber: “555 987 6543” } contacts: { } } AddressBook { } 

वह सब है। अब आप Hadoop में फ़ाइल स्वरूपों में अंतर जानते हैं। अगर
किसी भी त्रुटि या अशुद्धि को खोजने के लिए, कृपया बेझिझक संपर्क करें
मेरे लिए। आप मुझसे लिंक्डइन पर संपर्क कर सकते हैं।