एक JVM प्रक्रिया में अमेज़न वेब सेवाओं का अनुकरण। Roskomnadzor से बचना और विकास और परीक्षण को गति देना

आपको अमेज़ॅन वेब सेवाओं के बुनियादी ढांचे का अनुकरण करने की आवश्यकता क्यों हो सकती है?

सबसे पहले, यह बचत कर रहा है - विकास और डिबगिंग के लिए समय की बचत, और जो समान रूप से महत्वपूर्ण है - परियोजना के बजट से पैसा बचाना। यह स्पष्ट है कि एमुलेटर मूल वातावरण के समान 100% नहीं होगा जिसे हम अनुकरण करने की कोशिश कर रहे हैं। लेकिन प्रक्रिया के विकास और स्वचालन में तेजी लाने के उद्देश्य से, मौजूदा समानताएं पर्याप्त होनी चाहिए। AWS के साथ 2018 में हुई सबसे सामयिक बात रूसी संघ में AWS सबनेट के आईपी पते के आईपी प्रदाताओं द्वारा अवरुद्ध किया गया था। और इन तालों ने अमेज़ॅन क्लाउड में स्थित हमारे बुनियादी ढांचे को प्रभावित किया। यदि आप AWS प्रौद्योगिकी का उपयोग करने और इस क्लाउड में प्रोजेक्ट को रखने की योजना बनाते हैं, तो भुगतान बंद करने से अधिक विकास और परीक्षण अनुकरण के लिए।



प्रकाशन में मैं आपको बताता हूँ कि कैसे हमने S3, SQS, RDS PostgreSQL और Redshift सेवाओं के साथ इस तरह के एक ट्रिक को पूरा करने में कामयाबी हासिल की जब मौजूदा डेटा वेयरहाउस को कई वर्षों के लिए AWS में स्थानांतरित किया।

यह मानचित्र पर मेरी पिछले वर्ष की बैठक का केवल एक हिस्सा है, जो AWS और जावा हब के विषयों से मेल खाता है। दूसरा भाग PostgreSQL, Redshift और कॉलम डेटाबेस से संबंधित है, और इसका पाठ संस्करण संबंधित हब में प्रकाशित किया जा सकता है, वीडियो और स्लाइड कॉन्फ़्रेंस वेबसाइट पर हैं ।

AWS सबनेट को ब्लॉक करने के दौरान AWS के लिए एक एप्लिकेशन विकसित करते समय, टीम ने व्यावहारिक रूप से उन्हें नई कार्यक्षमता विकसित करने की दैनिक प्रक्रिया में नोटिस नहीं किया। टेस्ट में भी काम हुआ और आप एप्लिकेशन को डीबग कर सकते हैं। और केवल जब लॉग लॉग में एप्लिकेशन लॉग को देखने की कोशिश कर रहा है, सिग्नलएक्सएफएक्स में मेट्रिक्स या रेडशिफ्ट / पोस्टग्रेसीक्यूएस आरडीएस में डेटा विश्लेषण निराश थे - रूसी प्रदाता के नेटवर्क के माध्यम से सेवाएं उपलब्ध नहीं थीं। AWS एमुलेशन ने हमें इस पर ध्यान नहीं दिया और वीपीएन नेटवर्क के माध्यम से अमेज़ॅन क्लाउड के साथ काम करने में बहुत अधिक देरी से बचने में मदद की।

प्रत्येक क्लाउड प्रदाता "हुड के नीचे" में बहुत सारे ड्रेगन हैं और आपको विज्ञापन नहीं देना चाहिए। आपको यह समझने की आवश्यकता है कि सेवा प्रदाता के लिए यह सब क्यों आवश्यक है। बेशक, अमेज़ॅन, माइक्रोसॉफ्ट और Google के मौजूदा बुनियादी ढांचे के फायदे हैं। और जब वे आपको बताते हैं कि सब कुछ केवल आपके लिए विकसित करने के लिए सुविधाजनक बनाने के लिए किया जाता है, तो वे सबसे अधिक संभावना है कि आपको अपनी सुई पर रखने और मुफ्त में पहली खुराक देने की कोशिश करें। ताकि बाद में वे बुनियादी ढांचे और विशिष्ट तकनीक से दूर न हों। इसलिए, हम विक्रेता लॉक-इन से बचने की कोशिश करेंगे। यह स्पष्ट है कि विशिष्ट निर्णयों से पूरी तरह से अमूर्त करना हमेशा संभव नहीं होता है और मुझे लगता है कि अक्सर एक परियोजना में लगभग 90% का सार संभव है। लेकिन परियोजना का शेष 10%, प्रौद्योगिकियों के एक प्रदाता से जुड़ा हुआ है जो बहुत महत्वपूर्ण हैं, या तो अनुप्रयोग प्रदर्शन का अनुकूलन कर रहे हैं या जिनमें से अद्वितीय विशेषताएं कहीं और नहीं हैं। उन्हें हमेशा प्रौद्योगिकियों के फायदे और नुकसान को याद रखना चाहिए और जितना संभव हो उतना अपनी रक्षा करना चाहिए, न कि क्लाउड इन्फ्रास्ट्रक्चर प्रदाता के विशिष्ट एपीआई पर "बैठ जाओ"।

अमेज़न अपनी वेबसाइट पर संदेश प्रसंस्करण के बारे में लिखता है। संदेश विनिमय प्रौद्योगिकियों का सार और अमूर्तता हर जगह समान है, हालांकि बारीकियां हैं - संदेश कतारों से या विषयों के माध्यम से गुजर रहे हैं। इसलिए, AWS प्रदान और प्रबंधित Apache ActiveMQ का उपयोग करने की सिफारिश करता है ताकि एक मौजूदा मैसेजिंग ब्रोकर से अनुप्रयोगों को स्थानांतरित किया जा सके, और नए अमेज़ॅन SQS / SNS अनुप्रयोगों के लिए। यह मानकीकृत JMS API और प्रोटोकॉल AMQP, MMQT, STOMP के बजाय अपने स्वयं के एपीआई के लिए बाध्य करने का एक उदाहरण है। यह स्पष्ट है कि इसके समाधान के साथ इस प्रदाता के पास उच्च प्रदर्शन हो सकता है, यह स्केलेबिलिटी का समर्थन करता है, आदि। मेरे दृष्टिकोण से, यदि आप उनके पुस्तकालयों का उपयोग करते हैं, न कि मानकीकृत एपीआई का, तो बहुत अधिक समस्याएं होंगी।

AWS का एक Redshift डेटाबेस है। यह एक बड़े पैमाने पर समानांतर वास्तुकला के साथ एक वितरित डेटाबेस है। आप अपने डेटा की एक बड़ी मात्रा को अमेज़ॅन के कई Redshft साइटों पर टेबल पर अपलोड कर सकते हैं और बड़े डेटा सेट पर विश्लेषणात्मक क्वेरी कर सकते हैं। यह एक ओएलटीपी प्रणाली नहीं है, जहां आपके लिए एसीआईडी ​​गारंटी के साथ अक्सर रिकॉर्ड की एक छोटी संख्या पर छोटे अनुरोध करना महत्वपूर्ण है। Redshift के साथ काम करते समय, यह मान लिया जाता है कि आपके पास प्रति यूनिट बड़ी संख्या में क्वेरीज़ नहीं हैं, लेकिन वे बहुत बड़ी मात्रा में डेटा पर समुच्चय पढ़ सकते हैं। यह सिस्टम विक्रेता द्वारा आपके डेटा वेयरहाउस (वेयरहाउस) को एडब्ल्यूएस पर अपग्रेड करने और एक साधारण डेटा लोडिंग का वादा करता है। जो बिल्कुल सच नहीं है।

प्रलेखन से एक अंश जिसके बारे में अमेज़न Redshift समर्थन करता है । यह एक बहुत छोटा सेट है, और यदि आपको डेटा को स्टोर करने और संसाधित करने के लिए कुछ चाहिए, जो यहां सूचीबद्ध नहीं है, तो आपके लिए काम करना मुश्किल होगा। उदाहरण के लिए एक GUID।

हॉल से सवाल, "और JSON?"

- JSON को केवल VARCHAR के रूप में लिखा जा सकता है और JSON के साथ काम करने के लिए कई कार्य हैं।
दर्शकों से टिप्पणी करें: "पोस्टग्रैज को सामान्य JSON समर्थन है।"

- हां, इस प्रकार के डेटा और कार्यों के लिए इसका समर्थन है। लेकिन Redshift PostgreSQL 8.0.2 पर आधारित है । एक ParAccel परियोजना थी, अगर मैं गलत नहीं हूं, तो यह 2005 की तकनीक पोस्टग्रेज का एक कांटा है जिसमें बड़े पैमाने पर समानांतर वास्तुकला के आधार पर वितरित अनुरोधों के लिए एक अनुसूचक है। 5-6 साल बीत गए और इस परियोजना को अमेज़ॅन वेब सर्विंग्स प्लेटफॉर्म के लिए लाइसेंस दिया गया और इसका नाम रेडशिफ्ट रखा गया। मूल पोस्टग्रेज से कुछ हटा दिया गया है, बहुत कुछ जोड़ा गया है। उन्होंने कहा कि AWS में प्रमाणीकरण / प्राधिकरण से संबंधित, भूमिकाओं के साथ, अमेज़न में सुरक्षा ठीक काम करती है। लेकिन अगर आपको जरूरत है, उदाहरण के लिए, Redshift से विदेशी डेटा स्रोत का उपयोग करके किसी अन्य डेटाबेस से कनेक्ट करने के लिए, तो आपको यह नहीं मिलेगा। XML के साथ काम करने के लिए कोई फ़ंक्शन नहीं हैं, JSON के साथ दो बार काम करने और मिसकॉल किए जाने के लिए फ़ंक्शन।

एप्लिकेशन विकसित करते समय, विशिष्ट कार्यान्वयन पर निर्भर न होने का प्रयास करें , और एप्लिकेशन कोड केवल अमूर्त पर निर्भर करता है। आप इन facades और अमूर्त खुद बना सकते हैं, लेकिन इस मामले में कई तैयार पुस्तकालयों - facades हैं। जो विशिष्ट फ्रेमवर्क से विशिष्ट कार्यान्वयन से कोड को अमूर्त करते हैं। यह स्पष्ट है कि वे सभी कार्यक्षमता का समर्थन नहीं कर सकते हैं, प्रौद्योगिकियों के लिए "आम भाजक" के रूप में। परीक्षण को आसान बनाने के लिए अमूर्तता पर निर्भर सॉफ्टवेयर को विकसित करना बेहतर है।

AWS का अनुकरण करने के लिए, मैं दो विकल्पों का उल्लेख करूँगा। पहला अधिक ईमानदार और सही है, लेकिन यह अधिक धीरे-धीरे काम करता है। दूसरा गंदा और तेज है। मैं आपको हैक विकल्प के बारे में बताऊंगा - हम पूरी प्रक्रिया को एक प्रक्रिया में बनाने की कोशिश कर रहे हैं - परीक्षण और क्रॉस-प्लेटफ़ॉर्म विकल्प विंडोज में काम के साथ तेजी से काम करेंगे (जहां docker हमेशा आप से पैसा बनाने में सक्षम नहीं है)।

पहली विधि एकदम सही है यदि आप लिनक्स / मैकोस पर विकसित कर रहे हैं और आपके पास डॉकटर है, तो एटलसियन लोकलैक का उपयोग करना बेहतर होगा। जेवीएम में स्थानीयस्टैक को एकीकृत करने के लिए परीक्षकों का उपयोग करना सुविधाजनक है।

प्रोजेक्ट पर डॉकटर में लॉकलस्टैक का उपयोग करने से मुझे क्या रोका गया, यह था कि विकास विंडोज के तहत था और कोई भी डॉक के अल्फा संस्करण के लिए वाउच नहीं किया गया था जब यह प्रोजेक्ट शुरू हुआ ... यह भी संभव है कि उन्हें किसी भी कंपनी में लिनक्स और डॉकटर के साथ एक वर्चुअल मशीन स्थापित करने की अनुमति नहीं होगी जो गंभीर है। सुरक्षा के लिए। मैं निवेश बैंकों में सुरक्षित वातावरण में काम करने और वहां लगभग सभी ट्रैफ़िक फ़ायरवॉल पर प्रतिबंध लगाने की बात नहीं कर रहा हूँ।

आइए सरल भंडारण S3 का अनुकरण करने के विकल्पों पर विचार करें। यह एक साधारण अमेज़ॅन फ़ाइल सिस्टम नहीं है, बल्कि एक वितरित ऑब्जेक्ट स्टोर है। जिसमें आप अपने डेटा को BLOB के रूप में रखते हैं, बिना संशोधन और डेटा के जोड़ की संभावना के। अन्य निर्माताओं से समान पूर्ण-वितरित वितरित स्टोरेज हैं। उदाहरण के लिए, सीफ़एच वितरित वस्तु भंडारण आपको S3 REST प्रोटोकॉल और न्यूनतम संशोधन के साथ मौजूदा क्लाइंट का उपयोग करके इसकी कार्यक्षमता के साथ काम करने की अनुमति देता है। लेकिन यह जावा अनुप्रयोगों के विकास और परीक्षण के लिए एक अधिक भारी समाधान है।

एक तेज और अधिक उपयुक्त परियोजना s3proxy java लाइब्रेरी है। यह S3 REST प्रोटोकॉल का अनुकरण करता है और इसे संबंधित jcloud API कॉल में अनुवादित करता है और आपको वास्तविक पढ़ने और डेटा के भंडारण के लिए कई कार्यान्वयन का उपयोग करने की अनुमति देता है। यह Google App Engine API, Microsoft Azure API पर कॉल प्रसारित कर सकता है, लेकिन परीक्षणों के लिए रैम में jcloud क्षणिक भंडारण का उपयोग करना अधिक सुविधाजनक है। प्रमाणीकरण प्रोटोकॉल एडब्ल्यूएस एस 3 के संस्करण को कॉन्फ़िगर करना और कुंजी और गुप्त मूल्यों को निर्दिष्ट करना भी आवश्यक है, एंडपॉइंट को भी कॉन्फ़िगर करें - पोर्ट और इंटरफ़ेस जिस पर यह एस 3 प्रॉक्सी सुनेंगे। तदनुसार, AWS SDK क्लाइंट का उपयोग करने वाला आपका कोड S3 AWS समापन बिंदु पर परीक्षणों में जुड़ा होना चाहिए, न कि AWS क्षेत्र में। फिर, याद रखें कि s3proxy S3 API की सभी विशेषताओं का समर्थन नहीं करता है, लेकिन हमारे सभी उपयोग परिदृश्य पूरी तरह से अनुकरण करते हैं! यहां तक ​​कि बड़ी फ़ाइलों के लिए मल्टीपार्ट अपलोड s3proxy द्वारा समर्थित है।



Amazon Simple Queue Service एक कतारबद्ध सेवा है। एक इलास्टिक क्यू कतार सेवा है जो कि स्कैला में लिखी गई है और इसे अमेज़ॅन एसक्यूएस प्रोटोकॉल का उपयोग करके आपके आवेदन के लिए प्रस्तुत किया जा सकता है। मैंने प्रोजेक्ट में इसका उपयोग नहीं किया है, इसलिए मैं इसके डेवलपर्स से जानकारी पर भरोसा करते हुए इनिशियलाइज़ेशन कोड दूंगा।



प्रोजेक्ट में, मैं दूसरे तरीके से गया और कोड स्प्रिंग-जेएमएस एब्सट्रैक्ट्स JmsTemplate और JmsListener पर निर्भर करता है और प्रोजेक्ट निर्भरता JQ ड्राइवर को SQS com.amazonaws: amazon-sqs-java-मैसेजिंग-लिब के लिए निर्दिष्ट करता है। यह वही है जो मुख्य एप्लिकेशन कोड की चिंता करता है।



परीक्षणों में, हम आर्टेमिस-जेएमएस-सर्वर को परीक्षणों के लिए एम्बेडेड जेएमएस सर्वर के रूप में जोड़ते हैं, और परीक्षण स्प्रिंग संदर्भ में, एसक्यूएस कनेक्शन कारखाने के बजाय, हम आर्टेमिस कनेक्शन कारखाने का उपयोग करते हैं। आर्टेमिस अपाचे एक्टिवएमक्यू का अगला संस्करण है, एक पूर्ण विकसित, आधुनिक संदेश ओरिएंटेड मिडलवेयर - न केवल एक परीक्षण समाधान है। शायद हम भविष्य में इसके उपयोग पर आगे बढ़ेंगे, न केवल ऑटोटेस्ट में। इस प्रकार, वसंत के साथ संयोजन में जेएमएस अमूर्त का उपयोग करते हुए, हमने आवेदन कोड और इसे आसानी से परीक्षण करने की क्षमता दोनों को सरल किया है। आपको बस आश्रितों को जोड़ना होगा। org.springframework.boot: spring-boot-starter-artemis और org.apache.activemq: artemis-jms-server।



कुछ परीक्षणों में, PostgreSQL को H2Database के साथ प्रतिस्थापित करके अनुकरण किया जा सकता है। यह तब काम करेगा जब परीक्षण स्वीकार नहीं करते हैं और विशिष्ट पीजी कार्यों का उपयोग नहीं करते हैं। उसी समय, H2 डेटा प्रकारों और कार्यों के लिए समर्थन के बिना PostgreSQL वायर प्रोटोकॉल के सबसेट का अनुकरण कर सकता है। हमारे प्रोजेक्ट में, हम फ़ोरिंग डेटा रैपर का उपयोग करते हैं, इसलिए यह विधि हमारे लिए काम नहीं करती है।

आप असली PostgreSQL चला सकते हैं। postgresql-एम्बेडेड वास्तविक वितरण को डाउनलोड करता है, या मंच के बाइनरी फ़ाइलों के साथ संग्रह, जिसके साथ हम चलाते हैं, इसे अनपैक करते हैं। RAM में tempfs पर linux में, windows में% TEMP% में, postgresql सर्वर प्रक्रिया शुरू होती है, सर्वर सेटिंग्स और डेटाबेस मापदंडों को कॉन्फ़िगर करता है। वितरण वितरण सुविधाओं के कारण, PG 11 से पुराने संस्करण लिनक्स के तहत काम नहीं करते हैं। खुद के लिए, मैंने एक रैपर लाइब्रेरी बनाई, जो आपको न केवल एक HTTP सर्वर से बल्कि मावेन रिपॉजिटरी से भी पोस्टग्रेक्यूएल बाइनरी असेंबली प्राप्त करने की अनुमति देती है। जो इंटरनेट एक्सेस के बिना सीआई सर्वर पर पृथक नेटवर्क और बिल्डिंग में काम करते समय बहुत उपयोगी हो सकता है। मेरे आवरण के साथ काम करने में एक और सुविधा CDI घटक का एनोटेशन है, जो उदाहरण के लिए स्प्रिंग संदर्भ में घटक का उपयोग करना आसान बनाता है। AutoClosable सर्वर इंटरफ़ेस का कार्यान्वयन मूल परियोजना की तुलना में पहले दिखाई दिया था। सर्वर को रोकने के लिए याद रखने की आवश्यकता नहीं है, यह तब बंद हो जाएगा जब स्प्रिंग संदर्भ स्वचालित रूप से बंद हो जाता है।

स्टार्टअप पर, आप स्क्रिप्ट के आधार पर एक डेटाबेस बना सकते हैं, उपयुक्त गुणों के साथ स्प्रिंग संदर्भ को पूरक कर सकते हैं। अब हम डेटाबेस स्कीमा को माइग्रेट करने के लिए फ्लाईवे स्क्रिप्ट का उपयोग करके एक डेटाबेस स्कीमा बना रहे हैं, जो हर बार डेटाबेस को परीक्षणों में बनाए जाने के बाद लॉन्च किया जाता है।

परीक्षण चलाने के बाद डेटा को सत्यापित करने के लिए, हम स्प्रिंग-टेस्ट-डबुनिट लाइब्रेरी का उपयोग करते हैं। परीक्षण विधियों के एनोटेशन में, हम डेटाबेस की स्थिति की तुलना करने के लिए कौन से अपलोड के साथ संकेत देते हैं। यह dbunit के साथ काम करने के लिए कोड लिखने की आवश्यकता को समाप्त करता है, आपको बस लाइब्रेरी श्रोता को परीक्षण कोड में जोड़ना होगा। आप निर्दिष्ट कर सकते हैं कि टेबल्स मेथड पूरा होने के बाद टेबलों से डेटा डिलीट किया जाता है, यदि टेबलों के बीच डेटाबेस का संदर्भ पुन: उपयोग होता है। 2019 में, डेटाबेस-राइडर में एक और आधुनिक दृष्टिकोण लागू किया गया है जो जून 5 के साथ काम करता है। आप यहाँ उदाहरण के लिए, उपयोग का एक उदाहरण देख सकते हैं।

सबसे मुश्किल काम अमेज़न रेडशिफ्ट का अनुकरण करना था। एक रेडशिफ्ट-नकली-ड्राइवर परियोजना है। यह परियोजना एडब्ल्यूएस से विश्लेषणात्मक डेटाबेस में बैच डेटा लोडिंग का अनुकरण करने पर केंद्रित है। Jdbc: postgresqlredshift प्रोटोकॉल एमुलेटर में, COPY, UNLOAD कमांड्स को लागू किया जाता है, अन्य सभी कमांड्स नियमित JDBC PostgreSQL ड्राइवर को सौंपे जाते हैं।

इसलिए, परीक्षण उसी तरह से काम नहीं करेंगे जैसे कि Redshift, अपडेट ऑपरेशन, जो अपडेट करने के लिए डेटा स्रोत के रूप में एक अन्य तालिका का उपयोग करता है (Redshift और PostgreSQL 9+ में सिंटैक्स भिन्न होता है। मैंने इन डेटाबेस के बीच SQL कमांड में लाइन को उद्धृत करने की एक अलग व्याख्या भी देखी।

एक वास्तविक Redshift डेटाबेस की वास्तुकला के कारण, डेटा डालने, अपडेट करने और हटाने का कार्य I / O के संदर्भ में धीमा और "महंगा" है। केवल बड़े "पैकेट" में स्वीकार्य प्रदर्शन के साथ डेटा डालना संभव है और COPY कमांड केवल आपको वितरित S3 फ़ाइल सिस्टम से डेटा डाउनलोड करने की अनुमति देता है। डेटाबेस में यह कमांड कई डेटा प्रारूपों AVRO, CSV, JSON, Parquet, ORC और TXT का समर्थन करता है। और एमुलेटर प्रोजेक्ट CSV, TXT, JSON पर केंद्रित है।

इसलिए, परीक्षणों में Redshift का अनुकरण करने के लिए, आपको पहले वर्णित के रूप में PostgreSQL डेटाबेस को शुरू करने और S3 रिपॉजिटरी के अनुकरण को चलाने की आवश्यकता होगी, और पोस्टग्रेट्स से संबंध बनाते समय, आपको बस classpath में rediffift-fake- ड्राइवर को जोड़ने और ड्राइवर वर्ग को निर्दिष्ट करने की आवश्यकता है jp.ne.red.redshiftft। FakePostgresqlDriver। उसके बाद, आप डेटाबेस स्कीमा को स्थानांतरित करने के लिए उसी फ्लाईवे का उपयोग कर सकते हैं, और परीक्षण चलाने के बाद डेटा की तुलना करने के लिए dbunit पहले से ही परिचित है।



मुझे आश्चर्य है कि कितने पाठक अपने काम में AWS और Redshift का उपयोग करते हैं? अपने अनुभव के बारे में टिप्पणियों में लिखें।

केवल ओपन सोर्स प्रोजेक्ट्स का उपयोग करके, टीम AWS वातावरण में विकास में तेजी लाने, प्रोजेक्ट बजट से पैसा बचाने और टीम को काम करने से रोकने में सक्षम नहीं थी जब AWS सबनेट को Roskomnadzor द्वारा अवरुद्ध किया गया था।