कैसे कीवी.कॉम 1000 पायथन परियोजनाओं का परीक्षण करता है

इस लेख का मूल अंग्रेजी संस्करण यहाँ है ।

यह मॉस्को पायथन कॉन्फ ++ में एलेक्स विस्क्रेनु चर्चा का शीर्षक है। प्रदर्शन से दो हफ्ते पहले, लेकिन निश्चित रूप से, मैंने पहले से ही एलेक्स से सब कुछ पूछा और बिल्ली के नीचे मैं रिपोर्ट तैयार करने के लिए स्पॉइलर और बैकस्टेज साझा करूंगा: किस तरह का ओपन-सोर्स ज़ू है जो यह हमारे पायथन कोड के साथ करता है और यह कैसे खस्ता साथियों से अलग है।

- कीवी के बारे में थोड़ा बताइए, आप कंपनी में क्या करते हैं?

Kiwi.com एक ऑनलाइन ट्रैवल एजेंसी है जिसमें गुप्त सॉस है। कंपनी की स्थापना 2012 में चेक रिपब्लिक में स्काईपिकर नाम से हुई थी, और 2016 में सेवा ने अपना नाम बदलकर कीवी डॉट कॉम कर लिया। Kiwi.com अब यूरोप के शीर्ष पांच सबसे बड़े एयरलाइन टिकट एग्रीगेटर्स में है।

उपयोगकर्ताओं के लिए Kiwi.com की एक अच्छी विशेषता यह है कि हम एयरलाइन उड़ानों के लिए कनेक्टिंग विकल्प पाते हैं जो आमतौर पर एक साथ काम नहीं करते हैं, और हम सभी प्रकार की कनेक्टिंग समस्याओं का ध्यान रखते हैं।

हमारे पैमाने को रेट करने के लिए, यहाँ कीवी.कॉम के बारे में संख्याएँ हैं: 90,000,000+ दैनिक खोजें, 25,000 दैनिक बिक्री सीटें, और 15,000,000,000 से अधिक उपलब्ध फ्लाइट संयोजन।

मेरे लिए, मैं Kivi.com पर काम करने के लिए स्पेन से चेक गणराज्य में एक पूर्ण-स्टैक डेवलपर हूं। मैंने बैकेंड, जावास्क्रिप्ट और फ्रंट पर विभिन्न प्रकार के चिड़ियाघर में पायथन के साथ काम किया: बैकबोन.जेएस, कोणीय, Vue.js.

Kiwi.com में, मैं बुनियादी ढांचे की टीम में शामिल हो गया, इसलिए मैं मुख्य रूप से डेवलपर्स के लिए आंतरिक उपकरण विकसित और रखरखाव करता हूं। इस कार्य के लिए अवसंरचना प्रबंधन और परिनियोजन साधनों के बारे में गहराई से ज्ञान की आवश्यकता है, मुझे लगता है कि हम कह सकते हैं कि मैं वास्तव में DevOps कर रहा हूं , देव भाग में थोड़ा पूर्वाग्रह के साथ ।

- कीवी में कितने पायथन डेवलपर्स हैं? आप पायथन के लिए किन परियोजनाओं का उपयोग कर रहे हैं?

हमारे पास 350 से अधिक डेवलपर्स हैं , उनमें से 200 हर दिन पायथन का उपयोग करते हैं। Kiwi.com के पास एक माइक्रो सर्विस है, और प्रत्येक टीम कई सेवाओं के लिए जिम्मेदार है। मुझे नहीं लगता है कि यह कहा जा सकता है कि उनमें से एक सबसे महत्वपूर्ण है, या यह कि सभी डेवलपर्स एक चीज पर काम कर रहे हैं। इसके अलावा, बैकएंड ने कोड बंद कर दिया है, और मैं इसके बारे में बहुत ज्यादा बात नहीं कर सकता।

लेकिन हमारे पास GitHub पर कुछ दिलचस्प ओपन सोर्स प्रोजेक्ट उपलब्ध हैं:

• फीनिक्स - घटनाओं के बारे में सुस्त में सूचनाओं के लिए एक उपकरण;
• क्रेन - गितलैब से सीधे रैंचर की तैनाती के लिए एक स्क्रिप्ट;
• चिड़ियाघर छोटी सेवाओं का एक समूह है जो फिर भी बहुत उपयोगी हो सकता है।

- सीआई / सीडी और तैनाती के बुनियादी ढांचे के बारे में क्या?

हम एक स्रोत कोड भंडार के रूप में GitLab का उपयोग करते हैं, और निश्चित रूप से, GitLab CI इसके साथ सबसे अच्छा एकीकृत करता है। यह एक बहुत अच्छा समाधान है, यह लचीला है और आपको उत्पादक पाइपलाइनों का निर्माण करने की अनुमति देता है। और गिटलैब सीआई और हमारे क्रेन टूल के एक समूह का उपयोग करके, हम एक बटन के क्लिक पर (या पूरी तरह से स्वचालित रूप से यदि आपके पास हिम्मत है) परियोजनाओं को अलग-अलग वातावरण में तैनात कर सकते हैं।

हम EC2 के सभी उदाहरणों के उदाहरण के साथ सभी CI प्रदान करते हैं। इसके कारण, आप आसानी से आवश्यकतानुसार बिजली जोड़ सकते हैं, और बंद घंटों के दौरान अप्रयुक्त सर्वर को पकड़े बिना बचा सकते हैं।

हम रंचर की मदद से बुनियादी ढांचे की परिक्रमा कर रहे हैं , जिसने हमारे कार्यभार और हमारी स्थितियों में खुद को पूरी तरह से साबित कर दिया है।

- ऐसा लगता है कि आप पायथन पसंद करते हैं। क्या आप किसी अन्य भाषा का उपयोग करते हैं, और किस लिए?

दूसरी सबसे ज्यादा इस्तेमाल की जाने वाली भाषा जावास्क्रिप्ट है , मुख्यतः फ्रंटएंड और ग्राफकॉल एपीआई के लिए। इसके अलावा, एंड्रॉइड अनुप्रयोगों के लिए कोटलिन और जावा हैं; IOS के लिए स्विफ्ट और ऑब्जेक्टिव-सी; GoLang का उपयोग कुछ स्थानों पर सेवाओं के एक समूह के लिए किया जाता है, और उड़ान खोज इंजन के लिए C / C ++।

- आपने ओपन सोर्स प्रोजेक्ट द ज़ू का उल्लेख किया। कीवी ओपन सोर्स प्रोजेक्ट क्यों हैं? आपका क्या फायदा है?

कई अन्य कंपनियों की तरह, हम खुले स्रोत का उपयोग लगभग हर चीज में करते हैं जो हम विकसित करते हैं। यह एक क्लिच की तरह लग सकता है, लेकिन जब आपको बहुत कुछ मिलता है, तो बदले में कुछ देना अच्छा होगा। यह सामूहिक ज्ञान का योगदान है जो हम सभी को आगे बढ़ने में मदद करता है।

इस तथ्य के अलावा कि हम खुले स्रोत में जो पोस्ट करते हैं उससे हमें लाभ होगा, यह हमारे लिए भी उपयोगी है। अन्य लोग उत्पाद को पूरी तरह से अलग कोण से देख सकते हैं और कुछ ऐसा पेश कर सकते हैं जो हमने सोचा या संदेह नहीं किया।

- ज़ू के बारे में थोड़ा और बताइए। आप इसके साथ कितने रिपॉजिटरी की जाँच करते हैं?

हमारे पास आंतरिक GitLab में लगभग 1,300 रिपॉजिटरी हैं और सार्वजनिक GitHub में लगभग 100 हैं। कुल 1500 के करीब।

हम अपने प्रत्येक रिपॉजिटरी को स्कैन करते हैं, भले ही सेवा चिड़ियाघर के साथ पंजीकृत न हो। विचार यह है कि, सबसे पहले, अधिक विश्लेषण, अधिक सटीक निष्कर्ष, और दूसरी बात, जब भविष्य में सेवा द ज़ू से जुड़ती है, तो हमारे पास पहले से ही पिछले व्यवहार के डेटा होंगे।

- एक प्रभावशाली संख्या! और आप आमतौर पर कितनी गलतियाँ करते हैं? क्या आपको कुछ विशेष कैच याद हैं?

अब हमारे डेटाबेस में लगभग 26,000 समस्याएं पाई जाती हैं , यानी प्रति प्रोजेक्ट लगभग 20 समस्याएं। सच है, उनमें से ज्यादातर "समस्याएं-समस्याएं" नहीं हैं, बल्कि बस सिफारिशें हैं।

जब आप स्वचालित रूप से महत्वपूर्ण त्रुटियों को पकड़ सकते हैं तो यह बहुत अच्छा है।

आमतौर पर द जू में एक समस्या का पता चलने के बाद द जू में एक नया चेक दिखाई देता है। अगर यह हमें लगता है कि यह अन्य स्थानों पर भी दिखाई दे सकता है, तो हम द ज़ू में एक नई जाँच शुरू करते हैं। बस यह निर्धारित करना आसान है कि कौन से प्रोजेक्ट प्रभावित हैं, और यह सुनिश्चित करें कि हम जल्द से जल्द हर जगह त्रुटि को ठीक कर सकते हैं।

आपको महत्वपूर्ण सुरक्षा उल्लंघनों या जटिल कोड समस्याओं को खोजने के लिए चिड़ियाघर की उम्मीद नहीं करनी चाहिए। हमारे पास उनके लिए अन्य उपकरण हैं, और यहां तक ​​कि अगर हम उन्हें मंच में लागू करते हैं, तो यह चिड़ियाघर से पहले भी महत्वपूर्ण बग का पता लगाने के लायक है। बल्कि, यह आवश्यक है ताकि सभी रिपॉजिटरी में एक एकल दिशानिर्देश का सम्मान किया जाए।

- अर्थात, चिड़ियाघर में कोई डिफ़ॉल्ट चेक नहीं है? क्या आपको इसकी आवश्यकता है ताकि डेवलपर को किसी भी चेक को लिखना सुविधाजनक हो जो वह चाहता है? आपने ज़ू बनाया है और इसके साथ हर चीज़ का परीक्षण कर रहे हैं। क्या आप कुछ उदाहरण दे सकते हैं?

सच है, द ज़ू एक ऐसा प्लेटफ़ॉर्म है जिसमें हर कोई अपना टेस्ट लिख सकता है। हमारे चेक हमारे बल्कि विशिष्ट कॉन्फ़िगरेशन के लिए उपयुक्त हैं, लेकिन हम उन्हें भी खोलना चाहते हैं।

जैसा कि मैंने कहा, चेक हमारी सेवाओं में पाई गई समस्याओं पर आधारित हैं। वे आरईएडीएमई सिफारिशों से लेकर अधिक जटिल कॉन्फ़िगरेशन चेक जैसे कि नगनेक्स तक हैं।

- किसी भी बड़ी कंपनी के लिए "होना चाहिए" जैसा लगता है! क्या आप मॉस्को पायथन कॉन्फ ++ में अपनी रिपोर्ट में इस बारे में अधिक विस्तार से बताएंगे?

मुझे लगता है कि सभी रिपॉजिटरी में परीक्षण चलाना आसान और त्वरित बनाना आसान होगा। लेकिन, निश्चित रूप से, मैं आपको इस बारे में बताऊंगा कि हम Kiwi.com पर क्या जांचते हैं। मुझे उम्मीद है कि यह सम्मेलन मेहमानों के लिए उपयोगी होगा।

मैं सभी से आग्रह करता हूं कि द ज़ू की कोशिश करें, इसके साथ खेलें, अपनी जाँच लिखें और इस तरह सामान्य ज्ञान के आधार का विस्तार करें। मुझे यकीन है कि इसमें आप कुछ उपयुक्त पा सकते हैं।

- धन्यवाद! अंत में, यदि आप 5 साल पीछे जा सकते हैं, तो पायथन की सलाह आप खुद को क्या देंगे?

यह आसान नहीं है ... मैंने पायथन 3 में डेढ़ साल पहले ही लिखना शुरू कर दिया था, लेकिन अतीत में खुद के लिए मैं बहुत जल्द से जल्द शुरू करने की सलाह दूंगा। पायथन 3 भाषा का एक प्राकृतिक विकास है , यह मूल बातें परिभाषित करता है। अब मैं पायथन 2 में कभी नहीं लौटूंगा। बिंदु केवल यह नहीं है कि इसके समर्थन का अंत निकट है, लेकिन अधिकांश भाग के लिए जो मैं पहले से ही नए संस्करण की विशेषताओं के लिए उपयोग कर रहा हूं।

समय यात्रा में वापस, मैं इस दौरान मिले कुछ अच्छे पुस्तकालयों, और कुछ अच्छी प्रथाओं के सामान को हड़प लूंगा जो मैं अभी भी सीख रहा हूं।

इस दिलचस्प ओपन सोर्स प्रोजेक्ट के साथ काम करने और शायद कुछ में कीवी अनुभव उधार लेने के विवरण का पता लगाने के लिए 5 अप्रैल को मॉस्को पायथन कॉन्फ ++ में आएं।