हडोप युग में भंडारण रणनीति और प्रारूप के बारे में

डेटा भंडारण की रणनीति

कंप्यूटर प्रौद्योगिकी की वर्तमान स्थिति यह है कि लगभग अंतहीन डेटा संग्रहीत करना संभव है। इसके परिणामस्वरूप, नए लोगों के लिए स्थान खाली करने के लिए डेटा को हटाने की आवश्यकता लगभग समाप्त हो गई है।
यह बहुत सारे फायदे देता है, डेटा और वस्तुओं के प्राकृतिक संबंध से शुरू, जो वे वर्णन करते हैं, क्योंकि प्रकृति में संरक्षण कानून हैं, वही डेटा पर लागू होना चाहिए जो प्राकृतिक वस्तुओं को प्रतिबिंबित करता है, और डेटा अखंडता से संबंधित विशुद्ध रूप से तकनीकी समस्याओं के अपवाद के साथ समाप्त होता है। समय।

इस प्रकार, भंडारण की रणनीति "नरम" विलोपन प्रतिमान पर आधारित होनी चाहिए, जिसमें डेटा को समय में एक निश्चित बिंदु से इसकी प्रासंगिकता खोने के रूप में चिह्नित करना शामिल है।

ठीक यही बात डेटा परिवर्तन पर भी लागू होती है। अपडेट को पिछले डेटा को अधिलेखित नहीं करना चाहिए, लेकिन संकेत मिलता है कि, एक निश्चित समय से शुरू होने से, डेटा के अलग-अलग अर्थ हैं।

यदि आप वास्तव में अप्रयुक्त डेटा से स्टोरेज को खाली करके स्थान खाली करना चाहते हैं, तो आप अतीत में किसी समय में केवल प्रासंगिक डेटा को अधिलेखित करने के साथ इसकी प्रतिलिपि बनाकर स्टोरेज को संपीड़ित करने की रणनीति को लागू कर सकते हैं।

ये विचार नए नहीं हैं, क्योंकि वे पहले से ही Hadoop जैसे बड़े डेटा वेयरहाउस में लागू हैं।

डेटा भंडारण प्रारूप

डेटा, एक नियम के रूप में, कुछ संस्थाओं को दर्शाता है, विशेषताओं का एक समूह है, जिसकी संरचना इकाई की आवश्यक विशेषताओं को दर्शाती है। सादगी के लिए, हम मानते हैं कि हम एक संबंधपरक मॉडल के बारे में बात कर रहे हैं जिसमें टुपल्स शामिल हैं।

इस प्रकार, डेटा को एक निश्चित प्रकार के टुपल्स के रूप में संग्रहीत किया जाता है, जो समय के साथ बदल सकता है और प्रासंगिकता खो सकता है।

हमारा यह भी मतलब है कि आधुनिक बड़े डेटा स्टोर में प्रायः एक कुंजी-मूल्य की संरचना होती है, जिसमें प्रमुख प्राथमिक विशेषताओं के साथ अन्य विशेषताओं पर संभावित वैकल्पिक सूचकांक होते हैं।

इन विचारों को देखते हुए, निम्न डेटा संग्रहण प्रारूप प्रस्तावित है।

मैं तुरंत ध्यान देना चाहूंगा कि यह प्रारूप अद्वितीय नहीं है, लेकिन "रजिस्टर" नाम के तहत 1 सी वस्तुओं में डेटा भंडारण संरचना से प्रेरित है। लेकिन इस विकास में, प्रारूप को सार्वभौमिक बनाने और इसमें सभी डेटा संग्रहीत करने का प्रस्ताव है।

इसलिए, हम निम्नलिखित परिभाषाओं के आधार पर वर्कफ़्लो की अवधारणा के आधार पर संस्थाओं और उनकी विशेषताओं के बारे में डेटा रिकॉर्ड करने के लिए एक प्रारूप प्रस्तावित करते हैं:

• एक ऑपरेशन एक डेटा इकाई में एक परमाणु परिवर्तन है।
• एक इकाई में विशेषताएँ होती हैं।
• एक इकाई का एक प्रकार है जो इसकी विशेषताओं की संरचना को निर्धारित करता है।
• एक ही प्रकार की इकाइयाँ एक ही सूत्र में संग्रहीत हैं।
• वर्कफ़्लो - प्रकार तालिका का एक संग्रहण ऑब्जेक्ट जहां एक ही प्रकार की संस्थाओं से संबंधित संचालन और उनके राज्य को बदलना स्थित है।

तदनुसार, प्रत्येक ऑपरेशन में एक ऑपरेशन हेडर और विशेषताओं का एक सेट होता है जो इकाई के प्रकार पर निर्भर करता है:

1. ओपीआईडी ​​- ऑपरेशन का विशिष्ट पहचानकर्ता
2. OpTS - ऑपरेशन टाइमस्टैम्प
3. OpType - ऑपरेशन का प्रकार
4. OpClass - स्ट्रीम नाम
5. OpUser - उस सिस्टम का उपयोगकर्ता जो कमांड जारी करता है
6. ओपडॉक - ऑपरेशन डॉक्यूमेंट, यानी जो डॉक्यूमेंट इसे बनाया गया है वह इंस्टॉल नहीं हो सकता
7. OpComment - ऑपरेशन टिप्पणी
8. आईडी - उस इकाई की पहचानकर्ता जिससे ऑपरेशन संबंधित है
9. पैरामीटर - प्रवाह निर्भर संचालन गुण

ओपीआईडी ​​और आईडी कुछ भी हो सकते हैं, लेकिन अभी के लिए, यह यूआईडी का उपयोग करने के लिए समझ में आ सकता है।
OpTS सबसे अधिक संभावना प्रकार टाइमस्टैम्प का होना चाहिए, लेकिन एक सामान्य क्रम सुनिश्चित करने के लिए एक ही समय अवधि के भीतर कई ऑपरेशन गिर जाते हैं, तो एक ऑर्डिनल इंडेक्स द्वारा पूरक।

OpType किसी भी प्रकार का हो सकता है, उदाहरण के लिए, एक / कई वर्ण या संख्या।
OpClass, OpUser और OpComment किसी स्ट्रिंग या निर्देशिका के लिए कुछ संदर्भ हो सकते हैं।
ओपडॉक दस्तावेज़ को एक लिंक प्रदान करता है, लेकिन अनुपस्थित हो सकता है। यह ऊपरी स्तर के साथ एक संबंध है।

संचालन को मूल और सेवा में विभाजित किया गया है।

मूल संचालन

मूल ऑपरेशन 3 - जोड़ें, अपडेट करें, हटाएं:

1. ऑपरेशन "ए" ऐड - एक निश्चित प्रकार की एक नई इकाई की तात्कालिकता बताता है और विशेषताओं का एक सेट निर्धारित करता है।
2. ऑपरेशन "यू" अपडेट - एक निश्चित प्रकार की इकाई में परिवर्तन का पता लगाता है और विशिष्ट विशेषताओं के लिए नए मान सेट करता है।
3. ऑपरेशन "डी" विलोपन - एक निश्चित प्रकार की इकाई की वास्तविकता का अंत बताता है।

ऑपरेशन ए और यू सभी विशेषताओं को निर्धारित नहीं कर सकते हैं, लेकिन केवल कुछ। वे विशेषताएँ जो इस ऑपरेशन द्वारा सेट नहीं की गई हैं, उनके पास NULL का प्रकार, या कुछ अन्य विशेष मूल्य हो सकते हैं, जो फिलहाल उपलब्ध नहीं हैं, लेकिन इसे बनाना अच्छा होगा।

परिणामस्वरूप, एक विशेष बिंदु पर इकाई की विशेषताओं का वास्तविक मूल्य समय पर उनकी खोज की आवश्यकता होती है, विशेष (गैर-सेट) मान से भिन्न सभी विशेषताओं का चयन करके।

ऑपरेशन यू जारी करते समय, सिस्टम को इस इकाई के लिए ऑपरेशन ए की उपस्थिति की जांच करनी चाहिए और यदि यह अनुपस्थित है, तो ऑपरेशन के प्रकार को ए में बदल दें।

ऑपरेशन डी एक निश्चित इकाई के अस्तित्व को बंद कर देता है, और जब इस ऑपरेशन के बाद प्रासंगिकता के बिंदु के साथ इस इकाई के लिए विशेषता मूल्यों का अनुरोध करते हैं, तो इस इकाई के सभी गुणों के लिए "सेट नहीं" मान वापस आ जाना चाहिए। ऑपरेशन डी जारी करते समय, सिस्टम को इस इकाई के लिए ऑपरेशन ए की उपस्थिति की जांच करनी चाहिए और, यदि यह अनुपस्थित है, तो कमांड डी को बचाने से इनकार करें।

एक अतिरिक्त सुविधा के रूप में, संचालन की यह संरचना आपको एक ही आईडी के साथ एक इकाई के भंडारण को विभिन्न बिंदुओं पर विभिन्न विशेषताओं के साथ व्यवस्थित करने की अनुमति देती है, न केवल विशेषताओं के आधार पर, बल्कि पूरी इकाई पर भी। अर्थात्, हमारे पास कई एएन * यूडी ब्लॉक हो सकते हैं जिसमें इकाई मौजूद है, और डी और ए के बीच इसका अस्तित्व नहीं है।

सेवा संचालन

सेवा संचालन कई हो सकते हैं और उनकी रचना को फिर से बनाया जा सकता है। एक उदाहरण के रूप में, कई विचार किए जा सकते हैं:

1. ऑपरेशन "एन" एक अमान्य ऑपरेशन है - इस ऑपरेशन को सिस्टम द्वारा अनदेखा किया जाना चाहिए। आप उन्हें काम से बाहर करने के लिए अन्य प्रकार के ऑपरेशनों को एन में बदल सकते हैं।
2. ऑपरेशन "सी" कैश - यह ऑपरेशन एक विशिष्ट आवृत्ति पर एक निश्चित आवृत्ति और स्टोर विशेषता मूल्यों के साथ बनाया जा सकता है ताकि गहराई में खोज मूल्यों की लागत को कम किया जा सके। ऑपरेशन मापदंडों का विवरण संग्रहीत किया जा सकता है, उदाहरण के लिए, एक टिप्पणी में या ऑपरेशन कोड में ही। बेशक, बुनियादी संचालन को लागू करते समय, टाइप सी के संचालन को पुनर्गणना या एन के साथ बदल दिया जाना चाहिए।
3. ऑपरेशन "एस" समूह संचालन - एक निश्चित अवधि के लिए संख्यात्मक प्रकार की विशेषताओं के एक निश्चित आवृत्ति और स्टोर समूह मूल्यों (उदाहरण के लिए, रकम, औसत, और इसी तरह) के साथ यह ऑपरेशन बनाया जा सकता है। ऑपरेशन मापदंडों का विवरण संग्रहीत किया जा सकता है, उदाहरण के लिए, एक टिप्पणी में या ऑपरेशन कोड में ही। बेशक, बुनियादी संचालन को लागू करते समय, टाइप एस के संचालन को पुनर्गणना या एन के साथ बदल दिया जाना चाहिए।
4. ऑपरेशन "जी" समूह की विशेषताएं - यह ऑपरेशन यू के समान हो सकता है, लेकिन एक ही समय में, कुछ सिस्टम कमांड एक विशेषता मान (ओं) को जारी नहीं करेंगे, लेकिन कई। प्रति ऑपरेशन ए / यू के लिए एक विशेषता मूल्य, शेष मान - ऑपरेशन जी पर, जो आसन्न ए / यू के बीच स्थित हैं।

सेवा संचालन वैकल्पिक हैं, लेकिन वे भंडारण प्रणाली को अतिरिक्त सेवा प्रदान कर सकते हैं और इसके प्रदर्शन में सुधार कर सकते हैं। उनकी रचना विभिन्न प्रणालियों के लिए भिन्न हो सकती है।