व्यस्त परियोजनाओं में अजवाइन: थोड़ा अभ्यास

हमारे मॉस्को पायथन कॉन्फ ++ की पूर्व संध्या पर, हमने ओलेच स्टार्टअप के एक तकनीकी विशेषज्ञ ओलेग चुरकिन के साथ संक्षेप में बात की, सेलेरी के साथ अपने व्यापक अनुभव के बारे में: आधा मिलियन पृष्ठभूमि के कार्य, बग और परीक्षण।



- मुझे उस परियोजना के बारे में कुछ विवरण बताएं जो आप वर्तमान में काम कर रहे हैं?

फिलहाल मैं एक फिनटेक स्टार्टअप स्टेटमनी में लगा हुआ हूं , जो उपयोगकर्ता के वित्तीय डेटा का विश्लेषण करता है और ग्राहकों को उनकी आय और खर्च की तुलना अन्य लोगों के समूहों के साथ करने, खर्च सीमा निर्धारित करने, यह देखने के लिए करता है कि धन कैसे बढ़ रहा है या चार्ट पर गिर रहा है। अब तक, परियोजना केवल उत्तरी अमेरिकी बाजार पर केंद्रित है।

वित्तीय जानकारी का विश्लेषण करने के लिए, हम सभी उपयोगकर्ता लेनदेन को डाउनलोड और संग्रहीत करते हैं और क्रेडिट इतिहास पर अतिरिक्त डेटा प्राप्त करने के लिए क्रेडिट ब्यूरो के साथ एकीकृत करते हैं।

अब हमारे पास अपने आपूर्तिकर्ताओं से लगभग 200 हजार उपयोगकर्ता और विभिन्न वित्तीय डेटा के 1.5 टेराबाइट हैं। लगभग एक लाख का लेनदेन

- तकनीकी ढेर क्या है?

वर्तमान परियोजना के ढेर पायथन 3.6, Django / Celery, और अमेज़न वेब सेवाएँ है। हम रिलेशनल डेटा, कैश के लिए ElasticCache और संदेश कतारों के लिए, CloudWatch, Prometheus और Grafana को अलर्ट और मॉनिटर करने के लिए RDS और अरोरा का सक्रिय रूप से उपयोग करते हैं। बेशक, फ़ाइल भंडारण के लिए एस 3।

हम विभिन्न व्यावसायिक कार्यों के लिए अजवाइन का उपयोग करने में भी बहुत सक्रिय हैं: सूचनाएं भेजना और पत्रों की सामूहिक मेलिंग, बाहरी सेवाओं से विभिन्न डेटा का बड़े पैमाने पर अद्यतन, अतुल्यकालिक एपीआई और इसी तरह।

सामने के छोर पर, हमारे पास रिएक्ट, रेडक्स और टाइपस्क्रिप्ट हैं।

- आपकी परियोजना में भार की मुख्य प्रकृति क्या है और आप उनके साथ कैसे व्यवहार करते हैं
क्या आप सामना करते हैं?

प्रोजेक्ट में मुख्य बोझ उन पृष्ठभूमि कार्यों के साथ है जो सेलेरी करता है। हर दिन हम लगभग आधे मिलियन विभिन्न कार्यों का शुभारंभ करते हैं, उदाहरण के लिए, विभिन्न बैंकों, क्रेडिट ब्यूरो और निवेश संस्थानों के उपयोगकर्ताओं के वित्तीय डेटा का अद्यतन और प्रसंस्करण (ईटीएल)। इसके अलावा, हम कई सूचनाएं भेजते हैं और प्रत्येक उपयोगकर्ता के लिए कई मापदंडों की गणना करते हैं।

हमने एक अतुल्यकालिक एपीआई भी लागू किया है, जो बाहरी स्रोतों से परिणामों को "दाल" देता है और कई कार्यों को भी उत्पन्न करता है।

फिलहाल, बुनियादी ढांचे और सेलेरी को ट्यून करने के बाद, हम समस्याओं के बिना सामना कर सकते हैं, लेकिन ऐसा होने से पहले, मैं अपनी रिपोर्ट में आपको इसके बारे में निश्चित रूप से बताऊंगा।

- आप यह सब कैसे करते हैं और गलती को सहनशीलता प्रदान करते हैं?

स्केलिंग के लिए, हम ऑटो स्केलिंग ग्रुप्स का उपयोग करते हैं, जो हमारे एडब्ल्यूएस क्लाउड प्लेटफॉर्म द्वारा प्रदान किया गया टूलबॉक्स है। Django और सेलेरी स्केल अच्छी तरह से क्षैतिज रूप से, हम केवल uWSGI / सेलेरी श्रमिकों द्वारा उपयोग की जाने वाली मेमोरी की अधिकतम सीमा पर थोड़ी सीमा निर्धारित करते हैं।

- और क्या साथ मॉनिटर?

सीपीयू / मेमोरी उपयोग और स्वयं सिस्टम की उपलब्धता की निगरानी करने के लिए, हम एडब्ल्यूएस में क्लाउड वॉच का उपयोग करते हैं, हम विभिन्न मैट्रिक्स को एप्लिकेशन से और सेलरी कार्यकर्ताओं से प्रोमेथियस का उपयोग करके एकत्र करते हैं, और ग्राफ बनाते हैं और ग्राफाना को अलर्ट भेजते हैं। ग्राफाना में कुछ डेटा के लिए हम एक स्रोत के रूप में ईएलके का उपयोग करते हैं।

- आपने एसिंक्रोनस एपीआई का उल्लेख किया है। थोड़ा और बताओ कि तुम्हारे पास यह कैसे है।
की व्यवस्था की।

हमारे उपयोगकर्ताओं के पास अपने बैंक (या किसी अन्य वित्तीय) खाते को "लिंक" करने का अवसर है और हमें उनके सभी लेनदेन तक पहुंच प्रदान करता है। हम गतिशील रूप से साइट पर "लिंकिंग" और प्रसंस्करण लेनदेन की प्रक्रिया को प्रदर्शित करते हैं, इसके लिए हम बैकएंड से वर्तमान परिणामों की सामान्य पूलिंग का उपयोग करते हैं, और बैकेंड डेटा लेता है, जो कई दोहराए कार्यों से ईटीएल पाइपलाइन शुरू करता है।

- अजवाइन एक विवादास्पद उत्पाद है। आप उसके साथ कैसे रहते हैं?

मेरी भावनाओं के अनुसार, सेलेरी के साथ हमारा संबंध अब "स्वीकृति" चरण में है - हमें पता चला कि फ्रेम कैसे अंदर काम करता है, खुद के लिए सेटिंग्स उठाई, तैनाती को हल किया, निगरानी के साथ "अतिव्यापी" और नियमित कार्यों को स्वचालित करने के लिए कई पुस्तकालयों को लिखा। हमारे लिए कुछ कार्यक्षमता "बॉक्स से बाहर" के लिए पर्याप्त नहीं थी, और हमने इसे अपने दम पर जोड़ा। दुर्भाग्य से, परियोजना के लिए प्रौद्योगिकी स्टैक चुनने के समय, सेलेरी के पास कई प्रतियोगी नहीं थे, और यदि हम सरल समाधान का उपयोग करते हैं, तो हमें बहुत अधिक जोड़ना होगा।

सेलेरी के चौथे संस्करण में हमें कभी भी बग का सामना नहीं करना पड़ा। अधिकांश समस्याएं या तो यह समझने की कमी से संबंधित थीं कि यह सब कैसे काम करता है, या तीसरे पक्ष के कारकों के लिए।

मैं अपनी प्रस्तुति में हमारी परियोजना के भीतर लिखे गए कुछ पुस्तकालयों के बारे में बात करूंगा।

- मेरा पसंदीदा सवाल। आप इस सभी संगीत का परीक्षण कैसे करते हैं?

अजवाइन के कार्यों को कार्यात्मक परीक्षणों द्वारा अच्छी तरह से जांचा जाता है। हम क्यूए-स्टैंड और स्टेजिंग पर स्वत: परीक्षण और मैनुअल परीक्षण की मदद से एकीकरण का परीक्षण करते हैं। फिलहाल, हमने समय-समय पर परीक्षण कार्यों के साथ कुछ मुद्दों पर निर्णय नहीं लिया है: कैसे परीक्षकों को उन्हें चलाने दें और कैसे सत्यापित करें कि इन कार्यों के लिए अनुसूची सही है (आवश्यकताओं को पूरा करता है)?

- और दृश्यपटल और लेआउट के लिए परीक्षण? मैनुअल का अनुपात क्या है
स्वचालित परीक्षण?

मोर्चे पर, हम जेस्ट का उपयोग करते हैं और व्यावसायिक तर्क के लिए केवल इकाई परीक्षण लिखते हैं। हमारे व्यावसायिक महत्वपूर्ण मामलों में से 55% अब सेलेनियम आत्म-परीक्षण द्वारा कवर किए गए हैं, वर्तमान में हमारे पास टेस्टरेल में लगभग 600 परीक्षण और बैकएंड पर 3,000 परीक्षण हैं।



- मॉस्को पायथन कॉन्फ ++ के बारे में आपकी रिपोर्ट क्या होगी?

रिपोर्ट में मैं आपको विस्तार से बताऊंगा कि आप किन कार्यों और कैसे अजवाइन का उपयोग कर सकते हैं, और मौजूदा प्रतियोगियों के साथ तुलना करें। बड़ी संख्या में कार्यों के साथ एक जटिल प्रणाली को डिज़ाइन करते समय मैं विभिन्न रेक से कैसे बचा जा सकता हूं, यह वर्णन करता हूं: किन सेटिंग्स को तुरंत निर्दिष्ट किया जाना चाहिए, और जिन्हें बाद में छोड़ा जा सकता है, कोड का एक नया संस्करण कैसे तैनात किया जाए ताकि ट्रैफ़िक स्विच करते समय कार्यों को न खोएं, मैं निगरानी कार्यों के लिए लिखित पुस्तकालयों को साझा करूंगा। और फट गया।

मैं अजवाइन पर ईटीएल पाइपलाइनों को लागू करने के विषय पर भी बात करूंगा और जवाब दूंगा कि कैसे उन्हें खूबसूरती से वर्णित किया जाए, किस नीति का उपयोग किया जाए, कैसे सीमित संसाधनों की शर्तों में किए गए कार्यों की संख्या को सीमित किया जाए। साथ ही, मैं वर्णन करता हूं कि बैच प्रसंस्करण कार्यों को कार्यान्वित करने के लिए हम किन उपकरणों का उपयोग करते हैं, जो आर्थिक रूप से उपलब्ध स्मृति का उपभोग करते हैं।

सामान्य तौर पर, यदि आप उपरोक्त सभी बिंदुओं के लिए विवरण चाहते हैं, तो आइए। मुझे आशा है कि आपको मेरी रिपोर्ट उपयोगी और दिलचस्प लगी होगी।