एक विषय क्षेत्र का वर्णन करने के लिए मूल इकाई के रूप में पंचक

एक पंचक हमारे जीवन में उनकी भूमिका को इंगित करने वाले डेटा के परमाणु टुकड़ों को रिकॉर्ड करने का एक तरीका है। पंचक किसी भी डेटा का वर्णन कर सकते हैं, जबकि उनमें से प्रत्येक में अपने बारे में और अन्य पंचक के साथ संबंधों के बारे में संपूर्ण जानकारी होती है। यह प्रयुक्त प्लेटफ़ॉर्म की परवाह किए बिना, डोमेन की शर्तों का प्रतिनिधित्व करता है। इसका कार्य डेटा के भंडारण को आसान बनाना और इसकी प्रस्तुति की दृश्यता में सुधार करना है।



मैं भंडारण और प्रसंस्करण की जानकारी के लिए एक नए दृष्टिकोण के बारे में बात करूंगा और इस नए प्रतिमान में एक विकास मंच बनाने पर अपने विचार साझा करूंगा।

पंचक में गुण होते हैं: भाइयों के बीच प्रकार, मूल्य, माता-पिता, आदेश। पहचानकर्ता के साथ, केवल 5 घटक प्राप्त होते हैं। यह रिकॉर्डिंग जानकारी का सबसे सरल सार्वभौमिक रूप है, एक नया मानक जो संभावित रूप से सभी के लिए उपयुक्त हो सकता है। क्विंट को एक एकल संरचना की फ़ाइल प्रणाली में संग्रहीत किया जाता है, एक निरंतर नीरस अनुक्रमित सूचना क्षेत्र में।

जानकारी रिकॉर्ड करने के लिए, मानकों, दृष्टिकोण और नियमों की एक अनंत संख्या है, जिसका ज्ञान इन रिकॉर्डों के साथ काम करने के लिए आवश्यक है। मानकों को अलग से वर्णित किया गया है और डेटा से सीधे संबंधित नहीं हैं। पंचक के मामले में, उनमें से किसी को भी लेते हुए, आप इसकी प्रकृति, गुणों और इसके विषय क्षेत्र के साथ काम करने के नियमों के बारे में प्रासंगिक जानकारी प्राप्त कर सकते हैं। इसका मानक सभी क्षेत्रों के लिए एक समान और अपरिवर्तित है। पंचक को उपयोगकर्ता से छिपाया जाता है - मेटाडेटा और डेटा उसे कई परिचित रूप में उपलब्ध हैं।

एक पंचक न केवल जानकारी है, बल्कि निष्पादन योग्य कमांड भी है। लेकिन इन सबसे ऊपर, यह वह डेटा है जिसे आप स्टोर करना, रिकॉर्ड करना और पुनः प्राप्त करना चाहते हैं। चूंकि हमारे मामले में वे सीधे संबोधित, जुड़े और अनुक्रमित हैं, हम उन्हें एक तरह के डेटाबेस में संग्रहीत करेंगे। उदाहरण के लिए, एक पंचक डेटा भंडारण प्रणाली के प्रोटोटाइप का परीक्षण करने के लिए, हमने एक नियमित रिलेशनल डेटाबेस का उपयोग किया।

पंचक की संरचना

इस लेख का मुख्य विचार मशीन के प्रकारों को मानवीय शब्दों से बदलना और चर को वस्तुओं से बदलना है। उन वस्तुओं द्वारा नहीं जिन्हें एक निर्माता, विध्वंसक, इंटरफेस और कचरा कलेक्टर की आवश्यकता होती है, लेकिन एक ग्राहक द्वारा संचालित जानकारी की शुद्ध-क्रिस्टल इकाइयों द्वारा। यही है, अगर ग्राहक "एप्लिकेशन" कहता है, तो मीडिया पर इस जानकारी के सार को बचाने के लिए प्रोग्रामर की विशेषज्ञता की आवश्यकता नहीं होगी।



उपयोगकर्ता का ध्यान केवल वस्तु के मूल्य पर केंद्रित करना उपयोगी है, और इसके प्रकार, माता-पिता, आदेश (अधीनता में बराबर) और पहचानकर्ता संदर्भ से स्पष्ट होना चाहिए या बस छिपा हुआ होना चाहिए। इसका मतलब यह है कि उपयोगकर्ता को पंचक के बारे में कुछ भी नहीं पता है , वह बस अपना कार्य निर्धारित करता है, यह सुनिश्चित करता है कि इसे सही तरीके से स्वीकार किया गया है, और फिर इसका निष्पादन शुरू होता है।

मूल अवधारणाएँ

डेटा प्रकारों का एक सेट है जिसे कोई भी समझ सकता है: स्ट्रिंग, संख्या, फ़ाइल, पाठ, दिनांक, और इसी तरह। इस तरह का एक सरल सेट समस्या को तैयार करने के लिए पर्याप्त है, और "प्रोग्रामिंग" के लिए और इसके कार्यान्वयन के लिए आवश्यक प्रकार। पंचक द्वारा दर्शाए गए मूल प्रकार इस तरह दिख सकते हैं:



इस मामले में, पंचक के कुछ घटकों का उपयोग नहीं किया जाता है, और उन्हें आधार प्रकार के रूप में उपयोग किया जाता है। यह मेटाडेटा में नेविगेट करते समय सिस्टम के कोर को नेविगेट करना आसान बनाता है।

आवश्यक शर्तें

उपयोगकर्ता और प्रोग्रामर के बीच विश्लेषणात्मक अंतर के कारण, समस्या को स्थापित करने के चरण में अवधारणाओं का एक महत्वपूर्ण विरूपण होता है। उपयोगकर्ता के दृष्टिकोण से निर्णय लेने पर, समझदारी, समझदारी और अनचाही पहल अक्सर ग्राहक के लिए एक सरल और समझ में आने वाले तार्किक मिश्रण में बदल जाती है।



नुकसान या विरूपण के बिना ज्ञान हस्तांतरण होना चाहिए। इसके अलावा, भविष्य में, इस ज्ञान के भंडारण का आयोजन करते समय, चयनित डेटा प्रबंधन प्रणाली द्वारा लगाए गए प्रतिबंधों से छुटकारा पाना आवश्यक है।

डाटा को कैसे स्टोर करें

एक नियम के रूप में, सर्वर पर कई डेटाबेस हैं, उनमें से प्रत्येक में विशिष्ट विशेषताओं के एक सेट के साथ इकाई संरचना का विवरण है - परस्पर डेटा। वे एक विशिष्ट क्रम में संग्रहीत होते हैं, आदर्श रूप से नमूने के लिए इष्टतम होते हैं।
प्रस्तावित सूचना भंडारण प्रणाली विभिन्न प्रसिद्ध तरीकों के बीच एक समझौता है: कॉलम, स्ट्रिंग और NoSQL। यह आमतौर पर इनमें से एक विधि द्वारा किए गए कार्यों को हल करने के लिए डिज़ाइन किया गया है।

उदाहरण के लिए, स्तंभ आधारों का सिद्धांत सुंदर दिखता है: हम केवल वांछित कॉलम पढ़ते हैं, और समग्र रूप से रिकॉर्ड की सभी पंक्तियों को नहीं। हालांकि, व्यवहार में, यह संभावना नहीं है कि डेटा को मीडिया पर रखा जाएगा ताकि यह विश्लेषण के विभिन्न विभिन्न वर्गों पर लागू हो। ध्यान दें कि गुण और विश्लेषणात्मक मीट्रिक को जोड़ा जा सकता है और हटाया जा सकता है, कभी-कभी इससे भी तेज हम इस स्तंभ अर्थव्यवस्था का पुनर्निर्माण कर सकते हैं। इस तथ्य का उल्लेख नहीं करने के लिए कि डेटाबेस में डेटा को समायोजित किया जा सकता है, जो अपरिहार्य विखंडन के कारण नमूना योजना की सुंदरता का भी उल्लंघन करेगा।

मेटाडाटा

हमने एक अवधारणा पेश की - एक शब्द - किसी भी ऑब्जेक्ट का वर्णन करने के लिए जो हम साथ संचालित करते हैं: इकाई, संपत्ति, अनुरोध, फ़ाइल, आदि। हम अपने विषय क्षेत्र में उपयोग होने वाली सभी शर्तों को परिभाषित करेंगे। और उनकी मदद से, हम उन सभी संस्थाओं का वर्णन करेंगे जिनके पास विवरण हैं, जिसमें संस्थाओं के बीच संबंधों के रूप में शामिल हैं। उदाहरण के लिए, सहारा - एक स्थिति निर्देशिका प्रविष्टि का एक लिंक। यह शब्द एक पंचक में लिखा गया है।

शब्द विवरण का एक सेट मेटाडेटा है जो एक नियमित डेटाबेस में तालिकाओं और क्षेत्रों की संरचना को परिभाषित करता है। उदाहरण के लिए, निम्नलिखित डेटा संरचना है: एक दिनांक जिसमें सामग्री (एप्लिकेशन टेक्स्ट) और एक स्थिति है, जिसमें उत्पादन प्रक्रिया में भाग लेने वाले लोग तारीख को इंगित करते हुए टिप्पणियां जोड़ते हैं। पारंपरिक डेटाबेस निर्माता में, यह कुछ इस तरह दिखेगा:



चूंकि हमने उपयोगकर्ता से सभी गैर-आवश्यक विवरणों को छिपाने का फैसला किया था, जैसे कि बाध्यकारी आईडी, उदाहरण के लिए, योजना कुछ हद तक सरल होगी: आईडी के उल्लेख हटा दिए जाते हैं और संस्थाओं और उनके प्रमुख मूल्यों के नाम संयुक्त होते हैं।

उपयोगकर्ता कार्य को "ड्रॉ" करता है: आज की तारीख से एक अनुरोध जिसमें एक राज्य (संदर्भ मूल्य) है और जिसमें आप तारीख को इंगित करते हुए टिप्पणी जोड़ सकते हैं:



अब हम 9 के बजाय 6 अलग-अलग डेटा फ़ील्ड देखते हैं, और पूरी योजना हमें 13. के बजाय 7 शब्दों को पढ़ने और समझने की पेशकश करती है। हालांकि यह मुख्य बात से दूर है, ज़ाहिर है।

इस संरचना का वर्णन करने के लिए नियंत्रण कोर द्वारा उत्पन्न पंचक निम्नलिखित हैं:



ग्रे में हाइलाइट किए गए पंचक मानों के स्थान पर स्पष्टीकरण स्पष्टता के लिए प्रदान किए गए हैं। इन क्षेत्रों को नहीं भरा जाता है क्योंकि सभी आवश्यक जानकारी विशिष्ट रूप से शेष घटकों द्वारा निर्धारित की जाती हैं।

उपयोगकर्ता डेटा

उपरोक्त कार्य के लिए इस तरह के डेटा सेट पर विचार करें:



इस तरह के सेट के रूप में कुछ शर्तों में सदस्यता को इंगित करने वाली संरचना के अनुसार डेटा खुद को पंचक में संग्रहीत किया जाता है:



हम एक परिचित पदानुक्रमित संरचना देखते हैं जो उर्फ ​​एडजेंसी लिस्ट पद्धति का उपयोग करके संग्रहीत की जाती है।

गति

उपरोक्त उदाहरण बहुत सरल है, लेकिन क्या होगा जब संरचना हजारों गुना अधिक जटिल हो और डेटा गीगाबाइट होगा?

हमें आवश्यकता होगी:

1. ऊपर माना गया पदानुक्रमित संरचना 1 पीसी है।
2. आईडी, माता-पिता और प्रकार द्वारा खोज के लिए बी-ट्री - 3 पीसी।

इस प्रकार, हमारे डेटाबेस में सभी रिकॉर्ड अनुक्रमित किए जाएंगे, जिसमें डेटा और मेटाडेटा दोनों शामिल हैं। एक रिलेशनल डेटाबेस के गुणों को संरक्षित करने के लिए ऐसा अनुक्रमण आवश्यक है - सबसे सरल और सबसे लोकप्रिय उपकरण। मूल सूचकांक वास्तव में समग्र (पेरेंट आईडी + प्रकार) है। किसी प्रकार की वस्तुओं की त्वरित खोज के लिए एक अनुक्रमणिका प्रकार भी एक सम्मिश्र (प्रकार + मूल्य) है।

मेटाडेटा हमें पुनरावृत्ति से छुटकारा पाने की अनुमति देता है: उदाहरण के लिए, किसी दिए गए ऑब्जेक्ट के सभी विवरणों को खोजने के लिए, हम मूल आईडी के साथ सूचकांक का उपयोग करते हैं। यदि आपको एक निश्चित प्रकार की वस्तुओं की खोज करने की आवश्यकता है, तो टाइप आईडी द्वारा एक सूचकांक का उपयोग किया जाता है। एक प्रकार तालिका नाम का एक एनालॉग और एक संबंधपरक डीबीएमएस में एक क्षेत्र है।



किसी भी मामले में, हम पूरे डेटा सेट को स्कैन नहीं करते हैं, और यहां तक ​​कि किसी भी प्रकार के मूल्यों की एक बड़ी संख्या के साथ, वांछित मूल्य कम संख्या में चरणों में पाया जा सकता है।

विकास मंच के लिए आधार

अपने आप में, ऐसा डेटाबेस अनुप्रयोग प्रोग्रामिंग के लिए आत्मनिर्भर नहीं है, और पूरा नहीं है, जैसा कि वे कहते हैं, ट्यूरिंग के अनुसार। लेकिन हम यहां केवल डेटाबेस के बारे में बात नहीं कर रहे हैं, बल्कि सभी पहलुओं को कवर करने की कोशिश कर रहे हैं: ऑब्जेक्ट्स, अन्य चीजों के अलावा, मनमाने ढंग से नियंत्रण एल्गोरिदम लॉन्च किए जा सकते हैं, और वे काम करेंगे।

नतीजतन, जटिल डेटाबेस संरचनाओं और नियंत्रण एल्गोरिदम के अलग-अलग संग्रहीत स्रोत कोड के बजाय, हमें एक समान सूचना क्षेत्र मिलता है, जो माध्यम की मात्रा से सीमित है और मेटाडेटा के साथ चिह्नित है। उपयोगकर्ता को डेटा को इस तरह से प्रस्तुत किया जाता है कि वह समझता है - विषय क्षेत्र की संरचना और उसमें संबंधित प्रविष्टियां। उपयोगकर्ता मनमाने ढंग से संरचना और डेटा को बदलता है, जिसमें उनके साथ थोक संचालन करना शामिल है।

हमने कुछ भी नया आविष्कार नहीं किया है: सभी डेटा पहले से ही फ़ाइल सिस्टम में संग्रहीत हैं और उनमें खोज बी-पेड़ों का उपयोग करके, फ़ाइल सिस्टम में, डेटाबेस में की जाती है। हमने इसके साथ काम करने के लिए आसान और अधिक दृश्य बनाने के लिए डेटा की प्रस्तुति को पुनर्गठित किया।

इस डेटा प्रतिनिधित्व के साथ काम करने के लिए, आपको एक बहुत ही कॉम्पैक्ट कर्नेल की आवश्यकता होगी - हमारा डेटाबेस इंजन कंप्यूटर BIOS की तुलना में छोटा परिमाण का एक क्रम है, और, इसलिए, इसे बनाया जा सकता है यदि हार्डवेयर में नहीं है, तो कम से कम जितनी तेजी से और जितना संभव हो उतना पाला जा सकता है। सुरक्षा कारणों से, यह भी केवल पढ़ने के लिए है।

मेरे प्रिय .Net की असेंबली में एक नया वर्ग जोड़कर, हम इस वर्ग के विवरण के लिए केवल 200-300 एमबी रैम के नुकसान का निरीक्षण कर सकते हैं। ये मेगाबाइट सही स्तर के कैश में फिट नहीं होंगे, जिससे सिस्टम को आगामी परिणामों के साथ गड़बड़ हो जाएगी। जावा के साथ एक ऐसी ही स्थिति। पंचक के साथ एक ही वर्ग का वर्णन करने से दसियों या सैकड़ों बाइट्स लगेंगे, क्योंकि वर्ग डेटा के साथ काम करने के लिए केवल आदिम चाल का उपयोग करता है जो पहले से ही कर्नेल से परिचित हैं।

प्रोग्रामिंग प्रतिमान

वर्णित दृष्टिकोण का उपयोग केवल पंचक तक ही सीमित नहीं है, लेकिन प्रोग्रामर के लिए उपयोग किए जाने वाले की तुलना में एक अलग प्रतिमान को बढ़ावा देता है। एक अनिवार्य, घोषणात्मक या वस्तु भाषा के बजाय, क्वेरी भाषा को मनुष्यों के लिए अधिक परिचित के रूप में प्रस्तावित किया गया है और हमें प्रोग्रामर और मौजूदा विकास के वातावरण की अभेद्य परत को दरकिनार करते हुए सीधे कंप्यूटर पर कार्य निर्धारित करने की अनुमति देता है।

बेशक, एक मुक्त उपयोगकर्ता भाषा से स्पष्ट आवश्यकताओं की भाषा में अनुवादक अभी भी ज्यादातर मामलों में आवश्यक होगा।

इस विषय को उदाहरण और मौजूदा घटनाक्रम के साथ अलग-अलग लेखों में अधिक विस्तार से वर्णित किया जाएगा।

तो, संक्षेप में, यह निम्नानुसार काम करता है:

1. हमने एक बार पंचक आदिम डेटा प्रकारों के साथ वर्णन किया: स्ट्रिंग, संख्या, फ़ाइल, पाठ और अन्य, और उनके साथ काम करने के लिए कर्नेल को भी प्रशिक्षित किया। प्रशिक्षण डेटा की सही प्रस्तुति और उनके साथ सरल संचालन के कार्यान्वयन के लिए कम है।
2. अब हम पंचक उपयोगकर्ता शब्द (डेटा प्रकार) - मेटाडेटा के रूप में वर्णन करते हैं। विवरण प्रत्येक उपयोगकर्ता प्रकार के लिए एक आदिम डेटा प्रकार निर्दिष्ट करने और अधीनता निर्धारित करने के लिए नीचे आता है।
3. मेटाडेटा द्वारा निर्दिष्ट संरचना के अनुसार डेटा के पंचक दर्ज करें। डेटा के प्रत्येक पंचक में इसके प्रकार और माता-पिता के लिए एक लिंक होता है, जो आपको इसे डेटा वेयरहाउस में जल्दी से ढूंढने की अनुमति देता है।
4. उपयोगकर्ता द्वारा वर्णित मनमाने ढंग से जटिल एल्गोरिदम को लागू करने के लिए डेटा लाने और उनके साथ सरल ऑपरेशन करने के लिए मुख्य कार्य नीचे आते हैं।
5. उपयोगकर्ता दृश्य इंटरफ़ेस का उपयोग करके डेटा और एल्गोरिदम का प्रबंधन करता है जो नेत्रहीन पहले और दूसरे दोनों को प्रस्तुत करता है।

बुनियादी आवश्यकताओं के मूर्त रूप से संपूर्ण प्रणाली की पूर्णता सुनिश्चित की जाती है: कर्नेल अनुक्रमिक संचालन, सशर्त रूप से शाखा, डेटा सेट प्रक्रिया कर सकता है और एक निश्चित परिणाम प्राप्त होने पर काम रोक सकता है।

एक व्यक्ति के लिए, लाभ धारणा की सादगी है, उदाहरण के लिए, चर को शामिल करने की घोषणा करने के बजाय

for (i=0; i<length(A); i++) if A[i] meets a condition do something with A[i] 

एक अधिक मानव-अनुकूल निर्माण का उपयोग किया जाता है, जैसे

 with every A, that match a condition, do something 

हम सूचना प्रणाली को लागू करने के निम्न-स्तरीय सूक्ष्मताओं से अमूर्त होने का सपना देखते हैं: छोरों, निर्माणकर्ताओं, कार्यों, मेनिफेस्टों, पुस्तकालयों - यह सब प्रोग्रामर के मस्तिष्क में बहुत अधिक जगह लेता है, रचनात्मक कार्य और विकास के लिए बहुत कम जगह छोड़ता है।

स्केलिंग

स्केलिंग के साधनों के बिना एक आधुनिक अनुप्रयोग समझ से बाहर है: एक सूचना प्रणाली की भार क्षमता का विस्तार करने के लिए असीमित क्षमता की आवश्यकता होती है। वर्णित दृष्टिकोण में, डेटा संगठन की अत्यधिक सादगी को देखते हुए, मौजूदा आर्किटेक्चर की तुलना में स्केलिंग का आयोजन अधिक जटिल नहीं है।

अनुप्रयोगों के साथ उपरोक्त उदाहरण में, आप उन्हें अलग कर सकते हैं, उदाहरण के लिए, उनकी आईडी से, विभिन्न सर्वरों के लिए निश्चित उच्च बाइट्स के साथ आईडी की पीढ़ी बना सकते हैं। यही है, जब आईडी भंडारण के लिए 32 बिट्स का उपयोग करते हैं, तो सबसे महत्वपूर्ण दो-तीन-चार या अधिक बिट्स, आवश्यकतानुसार, उस सर्वर को इंगित करेगा जिस पर ये एप्लिकेशन संग्रहीत हैं। इस प्रकार, प्रत्येक सर्वर के पास आईडी का अपना पूल होगा।

एक ही सर्वर का कोर उनके बारे में कुछ भी जाने बिना, अन्य सर्वर के स्वतंत्र रूप से कार्य कर सकता है। एप्लिकेशन बनाते समय, इसे सर्वर की उच्च प्राथमिकता दी जाएगी, जिसमें न्यूनतम आईडी का उपयोग किया जाता है, जिससे एक समान लोड वितरण सुनिश्चित होता है।

एक एकल डेटा संगठन के साथ अनुरोधों और प्रतिक्रियाओं के संभावित विविधताओं के एक सीमित सेट को देखते हुए, आपको एक काफी कॉम्पैक्ट डिस्पैचर की आवश्यकता होगी जो सर्वरों पर अनुरोध वितरित करता है और उनके परिणामों को एकत्र करता है।