एक व्यावसायिक परियोजना में डेटाबेस: क्या करना है?

छुट्टियों के अंत के साथ सभी! ... कुछ कहेंगे कि यह बधाई इतनी है। लेकिन, निश्चित रूप से, बहुत जल्द ही एक छुट्टी होगी, इसलिए थोड़ा अधिक लें। खैर, हम गति नहीं खो रहे हैं और इस गर्म दिन में हम अपने भागीदारों के अनुभव को साझा करते हैं। यह डेटाबेस के साथ काम के अनुकूलन के बारे में होगा। कटौती के तहत अधिक जानकारी!



मैं लेखक को मंजिल देता हूं।

हम आपका स्वागत करते हैं, हेबर के पाठकों! हम WaveAccess टीम हैं, इस लेख में हम आपके साथ एक व्यावसायिक परियोजना में Azure Cosmos DB डेटाबेस सेवा (DB) का उपयोग करने का अनुभव साझा करेंगे। हम आपको बताएंगे कि डेटाबेस का उद्देश्य क्यों है, और उन बारीकियों को जिन्हें हमें विकास के दौरान सामना करना पड़ा था।

Azure Cosmos DB क्या है

Azure Cosmos DB एक कमर्शियल, ग्लोबली वितरित डेटाबेस सर्विस है, जिसमें मल्टी-मॉडल प्रतिमान है, जो PaaS सॉल्यूशन के रूप में उपलब्ध है। वह Azure DocumentDB की अगली पीढ़ी है।

डेटाबेस को 2017 में माइक्रोसॉफ्ट द्वारा लेसली लामपोर्ट, कंप्यूटर साइंस में पीएचडी (2013 ट्यूरिंग प्राइज़ विजेता, वितरित प्रणालियों के सिद्धांत में मौलिक योगदान के लिए, एलएटीएक्स डेवलपर, टीएलए + विनिर्देशन के निर्माता) की भागीदारी के साथ विकसित किया गया था।

Azure Cosmos DB की मुख्य विशेषताएं हैं:

• गैर-संबंधपरक डेटाबेस;
• इसमें दस्तावेज़ JSON के रूप में संग्रहीत हैं;
• भौगोलिक क्षेत्रों की पसंद के साथ क्षैतिज स्केलिंग;
  
  
  
  
• मल्टी-मॉडल डेटा प्रतिमान: कुंजी-मूल्य, दस्तावेज़, ग्राफ़, स्तंभ परिवार;
• 99% अनुरोधों के लिए कम विलंबता: पढ़ने के संचालन के लिए 10 एमएस से कम और (अनुक्रमित) लिखने के संचालन के लिए कम से कम 15 एमएस;
• उच्च थ्रूपुट के लिए डिज़ाइन किया गया;
• यह 99.999% के SLA स्तर पर उपलब्धता, डेटा संगतता, विलंबता की गारंटी देता है;
• विन्यास करने योग्य बैंडविड्थ
• स्वचालित प्रतिकृति (मास्टर-दास);
• डेटा का स्वचालित अनुक्रमण;
• डेटा स्थिरता का अनुकूलन स्तर। 5 अलग-अलग स्तर (मजबूत, बंधे हुए गतिहीनता, सत्र, लगातार उपसर्ग, अंततः);

ग्राफ पर, आप डेटा की उपलब्धता, प्रदर्शन और स्थिरता पर स्थिरता के विभिन्न स्तरों की निर्भरता देख सकते हैं।

• अपने डेटाबेस से कॉस्मॉस डीबी के लिए सुविधाजनक संक्रमण के लिए, डेटा तक पहुंचने के लिए कई एपीआई हैं: एसक्यूएल, जावास्क्रिप्ट, ग्रेमलिन, मोंगोडीबी, कैसेंड्रा, एज़्योर ब्लॉब;
• अनुकूलन फ़ायरवॉल;
• कस्टम डेटाबेस का आकार।

जो काम हमने हल किया

दुनिया भर में स्थित हजारों सेंसर हर कुछ एन-सेकंड में जानकारी (इसके बाद की सूचनाएं) प्रसारित करते हैं। इन सूचनाओं को डेटाबेस में संग्रहित किया जाना चाहिए, और फिर उन्हें खोजकर सिस्टम ऑपरेटर के UI में प्रदर्शित करना चाहिए।

ग्राहक की आवश्यकताएं:

• Azure क्लाउड सहित Microsoft तकनीकों के ढेर का उपयोग करना;
• प्रति सेकंड 100 अनुरोधों के थ्रूपुट;
• अधिसूचना में एक स्पष्ट संरचना नहीं है और आगे विस्तार कर सकती है;
• महत्वपूर्ण सूचनाओं के लिए, प्रसंस्करण गति महत्वपूर्ण है;
• उच्च प्रणाली का समाधान।

ग्राहकों की आवश्यकताओं के आधार पर, हमें आदर्श रूप से एक गैर-संबंधपरक, वैश्विक रूप से वितरित, विश्वसनीय वाणिज्यिक डेटाबेस द्वारा संपर्क किया गया था।



यदि हम कॉसमॉस डीबी के समान डेटाबेस को देखते हैं, तो हम अमेज़ॅन डायनमोबीडी, Google क्लाउड स्पैनर को याद कर सकते हैं। लेकिन Amazon DynamoDB विश्व स्तर पर वितरित नहीं है, और Google क्लाउड स्पैनर में डेटा मॉडल (केवल सारणीबद्ध, संबंधपरक) की निरंतरता और प्रकार के कम स्तर हैं।

इन कारणों से, हम Azure Cosmos DB पर बस गए। डेटाबेस के साथ बातचीत करने के लिए, हमने .NET के लिए Azure Cosmos DB SDK का उपयोग किया , क्योंकि बैकएंड .NET में लिखा गया था।

हमने जिन बारीकियों का सामना किया

1. डेटाबेस

डेटाबेस का उपयोग शुरू करने के लिए, सबसे पहले, आपको इसे प्रबंधित करने के लिए एक उपकरण चुनने की आवश्यकता है। हमने Azure पोर्टल और DocumentDbExplorer में Azure Cosmos DB Data Explorer का उपयोग किया है। एज़्योर स्टोरेज एक्सप्लोरर उपयोगिता भी है।



2. डेटाबेस संग्रह की स्थापना

कॉस्मॉस डीबी में, प्रत्येक डेटाबेस में संग्रह और दस्तावेज होते हैं।

अनुकूलन योग्य संग्रह सुविधाएँ देखने के लिए:

• संग्रह का आकार: निश्चित या असीमित;
• प्रति सेकंड RU / s (400 RU / s से) अनुरोधों की इकाइयों में बैंडविड्थ;
  
  
  
  
• सूचकांक नीति (सूचकांक से दस्तावेजों और रास्तों को शामिल करना या बाहर करना, सूचकांक के विभिन्न प्रकारों को स्थापित करना, सूचकांक अपडेट मोड सेट करना)।

विशिष्ट सूचकांक उदाहरण

{ "id": "datas", "indexingPolicy": { "indexingMode": "consistent", "automatic": true, "includedPaths": [ { "path": "/*", "indexes": [ { "kind": "Range", "dataType": "Number", "precision": -1 }, { "kind": "Hash", "dataType": "String" }, { "kind": "Spatial", "dataType": "Point" } ] } ], "excludedPaths": [] } } 

खोज को काम पर ले जाने के लिए, स्ट्रिंग फ़ील्ड के लिए आपको हैश इंडेक्स ("दयालु": "हैश") का उपयोग करने की आवश्यकता है।

3. डेटाबेस लेनदेन

संग्रहीत कार्यविधियों के स्तर पर डेटाबेस में लेन-देन को कार्यान्वित किया जाता है (संग्रहीत कार्यविधि को निष्पादित करना एक परमाणु संचालन है)। जावास्क्रिप्ट संग्रहीत कार्यविधियाँ

 var helloWorldStoredProc = { id: "helloWorld", body: function () { var context = getContext(); var response = context.getResponse(); response.setBody("Hello, World"); } } 

4. डेटाबेस परिवर्तन चैनल

परिवर्तन फ़ीड संग्रह में परिवर्तन को सुनता है। जब संग्रह दस्तावेज़ों में परिवर्तन होता है, तो डेटाबेस इस चैनल के सभी ग्राहकों के लिए परिवर्तनों के बारे में एक घटना फेंकता है।

हमने संग्रह परिवर्तनों को ट्रैक करने के लिए चेंज फ़ीड का उपयोग किया। चैनल बनाते समय, आपको पहले एक सहायक AUX संग्रह बनाना होगा जो कई कार्य भूमिकाओं के लिए परिवर्तन चैनल के प्रसंस्करण का समन्वय करता है।

5. डेटाबेस प्रतिबंध:

• थोक संचालन का अभाव ( बड़े पैमाने पर विलोपन के लिए संग्रहीत प्रक्रियाओं का उपयोग, दस्तावेजों को अद्यतन करना);
• दस्तावेज़ के आंशिक अद्यतन का अभाव;
• कोई SKIP ऑपरेशन (पेजिनेशन कार्यान्वयन की जटिलता)। सूचनाओं के अनुरोधों में पृष्ठांकन को लागू करने के लिए, हमने RequestContinuation (जारी करने के परिणामस्वरूप अंतिम तत्व के लिए लिंक) और MaxItemCount (डेटाबेस से वापस लौटे तत्वों की संख्या) का उपयोग किया। डिफ़ॉल्ट रूप से, परिणाम बैचों में लौटाए जाते हैं (100 से अधिक आइटम नहीं और प्रत्येक पैकेज में 1 एमबी से अधिक नहीं)। MaxItemCount पैरामीटर का उपयोग करके लौटाए गए आइटम की संख्या 1000 तक बढ़ाई जा सकती है।

6. 429 वाँ डेटाबेस त्रुटि प्रसंस्करण

जब संग्रह बैंडविड्थ अपनी अधिकतम तक पहुँच जाता है, तो डेटाबेस "429 बहुत अधिक अनुरोध" त्रुटि उत्पन्न करना शुरू कर देता है। इसे संसाधित करने के लिए, आप एसडीके में रिट्रीओयूशन सेटिंग का उपयोग कर सकते हैं, जहां MaxRetryAttemptsOnThrottledRequests अनुरोध को पूरा करने के प्रयासों की संख्या है, और MaxRetryWaitTimeIneconds कनेक्शन प्रयासों का कुल समय है।

7. डेटाबेस का उपयोग करने की लागत का पूर्वानुमान

डेटाबेस का उपयोग करने की लागत का अनुमान लगाने के लिए, हमने ऑनलाइन कैलकुलेटर आरयू / एस का उपयोग किया। मूल योजना में, 1 केबी के तत्व के लिए एक अनुरोध इकाई स्वयं के लिए या इस तत्व के पहचानकर्ता द्वारा एक साधारण GET कमांड से मेल खाती है।

निष्कर्ष

Azure Cosmos DB, Azure पोर्टल के माध्यम से कॉन्फ़िगर करने के लिए आसान, आसान और लचीला है। कई डेटा एक्सेस एपीआई कॉसमॉस डीबी को स्थानांतरित करना आसान बनाते हैं। डेटाबेस को बनाए रखने के लिए डेटाबेस व्यवस्थापक को संलग्न करने की आवश्यकता नहीं है। एसएलए वित्तीय गारंटी, वैश्विक क्षैतिज स्केलिंग इस डेटाबेस को बाजार में बहुत आकर्षक बनाती है। यह उद्यम और वैश्विक अनुप्रयोगों में उपयोग के लिए उपयुक्त है जो दोष सहिष्णुता और बैंडविड्थ पर उच्च मांग रखता है। हम WaveAccess में अपनी परियोजनाओं में कॉस्मॉस DB का उपयोग करना जारी रखते हैं।

लेखक के बारे में

WaveAccess टीम दुनिया भर की कंपनियों के लिए तकनीकी रूप से परिष्कृत, अत्यधिक भरी हुई, दोष-सहिष्णु सॉफ़्टवेयर बनाती है। अलेक्जेंडर अजरोव, वेवसाउट में सॉफ्टवेयर विकास के वरिष्ठ उपाध्यक्ष, टिप्पणियाँ:

पहली नज़र में, मुश्किल कार्यों को अपेक्षाकृत सरल तरीकों से हल किया जा सकता है। न केवल नए उपकरण सीखना महत्वपूर्ण है, बल्कि परिचित प्रौद्योगिकियों के ज्ञान को परिपूर्ण करना भी महत्वपूर्ण है।

कंपनी ब्लॉग