अमेज़न रेडशिफ्ट पैरेलल स्केलिंग गाइड और टेस्ट परिणाम

स्काईेंग में, हम अमेजन रेडशिफ्ट का उपयोग करते हैं, जिसमें समानांतर स्केलिंग भी शामिल है, इसलिए इंटरफिक्स .io के लिए डॉटगो डॉट कॉम के संस्थापक स्टीफन ग्रोमल का लेख हमें दिलचस्प लगा। स्थानांतरण के बाद - दानीयार बेल्खोद्झादेव के अनुसार इंजीनियर से हमारा थोड़ा सा अनुभव।

अमेज़न Redshift आर्किटेक्चर क्लस्टर में नए नोड जोड़कर स्केलिंग की अनुमति देता है। अनुरोधों की चरम संख्या के साथ सामना करने के लिए नोड्स के अधिक प्रावधान हो सकते हैं। कॉनएरेबिल स्केलिंग, नए नोड्स को जोड़ने के विपरीत, कंप्यूटिंग शक्ति को आवश्यकतानुसार बढ़ाता है।

Amazon Redshift समानांतर स्केलिंग, Redshift क्लस्टर को शिखर अनुरोधों को संभालने के लिए अतिरिक्त शक्ति देता है। यह पृष्ठभूमि में नए "समानांतर" समूहों में अनुरोधों को स्थानांतरित करके काम करता है। अनुरोध WLM कॉन्फ़िगरेशन और नियमों के आधार पर रूट किए जाते हैं।

समानांतर स्केलिंग के लिए मूल्य निर्धारण एक मुक्त-उपयोग क्रेडिट मॉडल पर आधारित है। मुक्त ऋण के आदर्श से ऊपर, भुगतान उस समय पर आधारित होता है जब समानांतर स्केलिंग क्लस्टर प्रक्रियाएं अनुरोध करती हैं।

लेखक ने आंतरिक समूहों में से एक पर समानांतर स्केलिंग का परीक्षण किया। इस पोस्ट में, वह परीक्षा परिणामों के बारे में बात करेंगे और आरंभ करने के तरीके के बारे में सुझाव देंगे।

क्लस्टर आवश्यकताओं

समानांतर स्केलिंग का उपयोग करने के लिए, अमेज़ॅन Redshift क्लस्टर को निम्न आवश्यकताओं को पूरा करना चाहिए:

• मंच: EC2-VPC;
• नोड प्रकार: dc2.8xlarge, ds2.8xlarge, dc2.large या ds2.larlarge;
• नोड्स की संख्या: 2 से 32 तक (एक नोड के साथ क्लस्टर समर्थित नहीं हैं)।

मान्य अनुरोध प्रकार

समानांतर स्केलिंग सभी प्रकार के प्रश्नों के लिए उपयुक्त नहीं है। पहले संस्करण में, यह केवल तीन अनुरोधों को पूरा करने वाले अनुरोधों को पढ़ता है:

• केवल-पढ़ने योग्य प्रश्न (हालांकि अधिक प्रकार की योजना बनाई गई है);
• क्वेरी इंटरलेव्ड कॉलेशन के साथ एक तालिका का संदर्भ नहीं देती है;
• बाहरी तालिकाओं को संदर्भित करने के लिए क्वेरी Amazon Redshift स्पेक्ट्रम का उपयोग नहीं करती है।

समानांतर स्केलिंग क्लस्टर पर जाने के लिए, अनुरोध को कतारबद्ध होना चाहिए। इसके अलावा, SQA (लघु क्वेरी त्वरण) कतार के लिए उपयुक्त क्वेरी समानांतर स्केल क्लस्टर में निष्पादित नहीं की जाएगी।

कतार और SQAs को Redshift Workload Management (WLM) के सही कॉन्फ़िगरेशन की आवश्यकता है। हम अनुशंसा करते हैं कि आप पहले अपने WLM का अनुकूलन करें - यह समानांतर स्केलिंग की आवश्यकता को कम करेगा। और यह महत्वपूर्ण है क्योंकि समानांतर स्केलिंग केवल कुछ घंटों की संख्या के लिए स्वतंत्र है। AWS का दावा है कि 97% ग्राहकों के लिए समानांतर स्केलिंग मुफ्त होगी, जो हमें मूल्य निर्धारण के मुद्दे पर लाती है।

समानांतर स्केलिंग लागत

समानांतर स्केलिंग के लिए, AWS एक क्रेडिट मॉडल प्रदान करता है। प्रत्येक सक्रिय Amazon Redshift क्लस्टर प्रति घंटे मुफ्त समानांतर स्केलिंग ऋण के एक घंटे तक, प्रति घंटे ऋण जमा करता है।

आप केवल तभी भुगतान करते हैं जब समानांतर स्केलिंग क्लस्टर्स का उपयोग आपके द्वारा प्राप्त ऋण की मात्रा से अधिक होता है।

लागत की गणना समानांतर क्लस्टर के लिए प्रति सेकंड मांग दर पर की जाती है जिसका उपयोग मुक्त दर से अधिक में किया जाता है। भुगतान केवल एक मिनट के न्यूनतम भुगतान के साथ, आपके अनुरोधों के निष्पादन के दौरान किया जाता है, हर बार जब आप एक समानांतर स्केलिंग क्लस्टर सक्रिय करते हैं। ऑन-डिमांड प्रति सेकंड दर की गणना अमेज़ॅन रेडशिफ्ट मूल्य निर्धारण के सामान्य सिद्धांतों के आधार पर की जाती है, अर्थात यह नोड के प्रकार और आपके क्लस्टर में नोड्स की संख्या पर निर्भर करता है।

समानांतर स्केलिंग चल रहा है

प्रत्येक WLM कतार के लिए समानांतर स्केलिंग शुरू होती है। AWS रेडशिफ्ट कंसोल पर जाएं और बाएं नेविगेशन मेनू में "वर्कलोड प्रबंधन" चुनें। अगले ड्रॉप-डाउन मेनू में अपने क्लस्टर के WLM समूह का चयन करें।

आपको प्रत्येक कतार के बगल में "कॉन्सिलिटी स्केलिंग मोड" नामक एक नया कॉलम दिखाई देगा। डिफ़ॉल्ट मान "बंद" है। "बदलें" पर क्लिक करें, और आप प्रत्येक कतार के लिए सेटिंग्स बदल सकते हैं।

विन्यास

समानांतर स्केलिंग नए समर्पित समूहों के लिए प्रासंगिक प्रश्नों को अग्रेषित करके काम करती है। नए समूहों में मुख्य क्लस्टर के समान आकार (प्रकार और नोड्स की संख्या) है।

समानांतर स्केलिंग के लिए उपयोग किए जाने वाले क्लस्टर की डिफ़ॉल्ट संख्या एक (1) है, जिसमें कुल दस (10) क्लस्टर को कॉन्फ़िगर करने की क्षमता है।
समानांतर स्केलिंग के लिए क्लस्टर की कुल संख्या को max_concurrency_scaling_clusters पैरामीटर द्वारा सेट किया जा सकता है। इस सेटिंग को बढ़ाने से अतिरिक्त निरर्थक क्लस्टर मिलते हैं।

निगरानी

AWS Redshift कंसोल में कई अतिरिक्त रेखांकन हैं। अधिकतम कॉन्फ़िगर की गई संगणना स्कैलिंग क्लस्टर चार्ट समय के साथ max_concurrency_scaling_clusters का मान प्रदर्शित करता है।



सक्रिय स्केलिंग क्लस्टर की संख्या उपयोगकर्ता इंटरफ़ेस में "कंसीडेंसी स्केलिंग गतिविधि" अनुभाग में प्रदर्शित की गई है:



"अनुरोध" टैब में, मुख्य स्तंभ में या समानांतर स्केलिंग क्लस्टर में अनुरोध निष्पादित किया गया था या नहीं यह दिखाने वाला एक कॉलम है:



चाहे कोई विशेष अनुरोध मुख्य क्लस्टर में निष्पादित किया गया हो या समानांतर स्केलिंग क्लस्टर के माध्यम से, यह stl_query.concurrency_scaling_status में संग्रहीत किया जाता है।



1 का मान इंगित करता है कि अनुरोध समानांतर स्केलिंग क्लस्टर में चल रहा था, जबकि अन्य मान इंगित करते हैं कि यह मुख्य क्लस्टर में चल रहा था।

एक उदाहरण:



समानांतर स्केलिंग के बारे में जानकारी कुछ अन्य तालिकाओं और विचारों में भी संग्रहीत है, उदाहरण के लिए, SVCS_CONCURRENCY_SCALING_USAGE। इसके अलावा, कई कैटलॉग टेबल हैं जो समानांतर स्केलिंग के बारे में जानकारी संग्रहीत करते हैं।

परिणाम

लेखकों ने 03/29/2019 को लगभग 6:30 बजे जीएमटी पर आंतरिक कलस्टर में एक कतार के लिए समानांतर स्केलिंग शुरू की। उन्होंने 29 मार्च, 2019 को लगभग 8:30 बजे पैरामीटर max_concurrency_scaling_clusters को 3 में बदल दिया।

अनुरोध कतार का अनुकरण करने के लिए, और इस कतार के स्लॉट की संख्या को 15 से घटाकर 5 कर दिया।

निम्नलिखित एक intermix.io डैशबोर्ड आरेख है जो चल रहे स्लॉट की संख्या को कम करने के बाद चल रहे और कतारबद्ध अनुरोधों की संख्या को दर्शाता है।



हम देखते हैं कि कतार में अनुरोधों के लिए प्रतीक्षा समय बढ़ गया है, जबकि अधिकतम समय 5 मिनट से अधिक है।



इस समय के दौरान AWS कंसोल से प्रासंगिक जानकारी यहां दी गई है:



रेडशिफ्ट ने कॉन्फ़िगर के रूप में तीन (3) समानांतर स्केलिंग क्लस्टर लॉन्च किए। ऐसा लगता है कि इन समूहों का पूरी तरह से उपयोग नहीं किया गया था, भले ही हमारे क्लस्टर में कई अनुरोध कतारबद्ध थे।

उपयोग ग्राफ स्केलिंग गतिविधि ग्राफ के साथ संबंधित है:



कुछ घंटों के बाद, लेखकों ने कतार की जाँच की, और ऐसा लगता है कि 6 अनुरोधों को समानांतर स्केलिंग के साथ निष्पादित किया गया। हमने उपयोगकर्ता इंटरफ़ेस के माध्यम से चुनिंदा दो अनुरोधों की भी जाँच की। जब एक साथ कई समानांतर क्लस्टर सक्रिय होते हैं, तो उन्होंने इन मूल्यों का उपयोग करने की जांच नहीं की।

निष्कर्ष

समानांतर स्केलिंग चरम भार के दौरान अनुरोधों की कतार समय को कम कर सकती है।

मूल परीक्षण के परिणामों के अनुसार, यह पता चला है कि लोडिंग अनुरोधों के साथ स्थिति में आंशिक रूप से सुधार हुआ है। हालांकि, अकेले समानांतर स्केलिंग ने समसामयिक समस्याओं को हल नहीं किया।

यह उन प्रकारों पर प्रतिबंध के कारण है जो समानांतर स्केलिंग का उपयोग कर सकते हैं। उदाहरण के लिए, लेखकों के पास इंटरलीव्ड सॉर्ट कीज़ के साथ कई टेबल हैं, और हमारे अधिकांश कार्यभार एक रिकॉर्ड है।

यद्यपि दोहरी स्केलिंग WLM कॉन्फ़िगरेशन में एक सार्वभौमिक समाधान नहीं है, लेकिन किसी भी मामले में, इस फ़ंक्शन का उपयोग करना सरल और समझ में आता है।

इसलिए, लेखक आपके WLM कतारों के लिए इसका उपयोग करने की सलाह देता है। एक एकल समानांतर क्लस्टर के साथ शुरू करें और यह निर्धारित करने के लिए कंसोल के माध्यम से पीक लोड की निगरानी करें कि क्या नया क्लस्टर पूरी तरह से उपयोग किया जाता है।

जैसा कि एडब्ल्यूएस अतिरिक्त प्रकार के प्रश्नों और तालिकाओं के लिए समर्थन जोड़ता है, समानांतर स्केलिंग धीरे-धीरे अधिक से अधिक कुशल हो जाना चाहिए।

स्काईेंग के अनुसार एक इंजीनियर बेल्खोझावे दानियार द्वारा टिप्पणी

स्काईेंग में हमने तुरंत समानांतर स्केलिंग की उभरती संभावना पर ध्यान आकर्षित किया।
कार्यक्षमता बहुत आकर्षक है, विशेष रूप से इस तथ्य पर विचार करते हुए कि एडब्ल्यूएस के अनुसार, अधिकांश उपयोगकर्ताओं को इसके लिए अतिरिक्त भुगतान करने की आवश्यकता नहीं है।

ऐसा हुआ कि अप्रैल के मध्य में हमारे पास Redshift क्लस्टर के अनुरोधों की असामान्य हड़बड़ाहट थी। इस अवधि के दौरान, हम अक्सर कंसीडर स्कैलिंग की मदद का सहारा लेते हैं, कभी-कभी अतिरिक्त क्लस्टर बिना रुके 24 घंटे काम करते हैं।

यह अनुमति दी, अगर पूरी तरह से कतार की समस्या को हल नहीं कर रहा है, तो कम से कम स्थिति को स्वीकार्य बनाने के लिए।

हमारी टिप्पणियां काफी हद तक लोगों की धारणा से मेल खाती हैं।

हमने यह भी देखा कि कतार में लंबित अनुरोधों की उपस्थिति के बावजूद, सभी अनुरोधों को तुरंत एक समानांतर क्लस्टर में पुनर्निर्देशित नहीं किया गया था। जाहिरा तौर पर यह इस तथ्य के कारण है कि समानांतर क्लस्टर अभी भी शुरू होने में समय लेता है। परिणामस्वरूप, अल्पकालिक शिखर भार के दौरान, हमारे पास अभी भी छोटी कतारें हैं, और इसी अलार्म के पास काम करने का समय है।

अप्रैल में असामान्य भार से छुटकारा पाकर, हम, एडब्ल्यूएस की उम्मीद के अनुसार, मुफ्त मानक के हिस्से के रूप में एपिसोडिक उपयोग मोड में चले गए।
आप AWS कॉस्ट एक्सप्लोरर में समवर्ती स्केलिंग लागत को ट्रैक कर सकते हैं। आपको सेवा का चयन करने की आवश्यकता है - Redshift, उपयोग प्रकार - CS, उदाहरण के लिए, USW2-CS: dc2.large।

रूसी में कीमतों का विवरण यहां पाया जा सकता है।