एक साथ अपने नगनेक्स लगाना

नमस्ते!
मेरा नाम सर्गेई है, मैं tinkoff.ru प्लेटफॉर्म एपीआई टीम में एक बुनियादी ढांचे के इंजीनियर के रूप में काम करता हूं।

इस लेख में मैं उन समस्याओं के बारे में बात करूंगा, जो हमारी टीम ने विभिन्न परियोजनाओं के लिए नग्नेक्स- आधारित बैलेकर्स को तैयार करने में सामना किया। मैं उस उपकरण के बारे में भी बात करूंगा जिसने मुझे उनमें से अधिकांश को दूर करने की अनुमति दी थी।

Nginx एक बहुक्रियाशील और सक्रिय रूप से विकासशील प्रॉक्सी सर्वर है। इसमें बड़ी संख्या में मॉड्यूल हैं, लेकिन यह पूरी सूची नहीं है । प्रत्येक परियोजना बैलेंसर और नग्नेक्स संस्करण की कार्यक्षमता (उदाहरण के लिए, http / 2 की मौजूदगी और जीआरपीसी की समीपता), और इसके मॉड्यूल की संरचना पर कुछ आवश्यकताओं को लगाती है।

हम एक विशिष्ट लिनक्स वितरण के तहत काम करते हुए, मॉड्यूल के सही सेट के साथ नवीनतम संस्करण देखना चाहते हैं। हमारे मामले में, ये डीबग और आरपीएम-आधारित सिस्टम हैं। इस लेख में कंटेनर विकल्प पर विचार नहीं किया गया है।

हम अपने बैलेंसरों की कार्यक्षमता को जल्दी से बदलना चाहते हैं। और यहां सवाल तुरंत उठता है - कैसे संभव के रूप में कुछ संसाधनों को खर्च करके इसे प्राप्त करें? और प्रक्रिया को स्थापित करना बेहतर होगा ताकि हम इनपुट मापदंडों की एक सीमित संख्या निर्धारित कर सकें, और आउटपुट पर वांछित ओएस के लिए एक डीब / आरपीएम पैकेज के रूप में एक विरूपण साक्ष्य प्राप्त कर सकें।

परिणामस्वरूप, कई समस्याओं का सूत्र तैयार किया जा सकता है:

• Nginx के नवीनतम संस्करण के साथ हमेशा पैकेज नहीं होते हैं।
• सही मॉड्यूल के साथ कोई पैकेज नहीं हैं।
• मैन्युअल रूप से एक पैकेज को संकलित करना और संयोजन करना बहुत समय लगता है और बस थकाऊ होता है।
• इस बात का कोई विवरण नहीं है कि एक विशेष नग्नेक्स उदाहरण कैसे बनाया गया है।

इन समस्याओं को हल करने के लिए, एक निश्चित उपकरण मानव-पठनीय प्रारूप में एक विनिर्देश को स्वीकार करने और इसके लिए आवश्यक कार्यक्षमता के साथ Nginx पैकेज को इकट्ठा करने की भीख माँगता है।

गिटहुब की विशालता में हमारे लिए एक उपयुक्त विकल्प नहीं मिला, हमने अपना खुद का उपकरण बनाने का फैसला किया - नग्नेक्स-बिल्डर ।

विनिर्देश

हमारे टूल में, हम कोड के रूप में एक विनिर्देश विवरण बनाना चाहते थे, जिसे बाद में गिट रिपॉजिटरी में डाला जा सकता है। ऐसा करने के लिए, हमने इस तरह की चीजों के लिए सामान्य प्रारूप को चुना - याम्ल। विशिष्टता उदाहरण:

nginx_version: 1.14.1 output_package: deb modules: - module: name: nginx-auth-ldap git_url: https://github.com/kvspb/nginx-auth-ldap.git git_branch: master dependencies: - libldap2-dev - module: name: ngx_http_substitutions_filter_module git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git - module: name: headers-more-nginx-module web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip - module: name: nginx-module-vts git_url: https://github.com/vozlt/nginx-module-vts.git git_tag: v0.1.18 - module: name: ngx_devel_kit git_url: https://github.com/simplresty/ngx_devel_kit.git git_tag: v0.3.0 - module: name: ngx_cache_purge git_url: https://github.com/FRiCKLE/ngx_cache_purge.git - module: name: ngx_http_dyups_module git_url: https://github.com/yzprofile/ngx_http_dyups_module.git - module: name: nginx-brotli git_url: https://github.com/eustas/ngx_brotli.git git_tag: v0.1.2 - module: name: nginx_upstream_check_module git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git - module: name: njs git_url: https://github.com/nginx/njs.git git_tag: 0.2.5 config_folder_path: nginx 

यहां हम इंगित करते हैं कि हम मॉड्यूल के वांछित सेट के साथ नग्नेक्स संस्करण 1.14.2 के साथ एक डिबेट पैकेज देखना चाहते हैं। मॉड्यूल के साथ अनुभाग वैकल्पिक है। उनमें से प्रत्येक के लिए आप सेट कर सकते हैं:

• नाम।
• पता जहां आप इसे प्राप्त कर सकते हैं:
  
  • गिट रिपॉजिटरी। आप एक शाखा या टैग भी निर्दिष्ट कर सकते हैं।
  • वेब संग्रह के लिए लिंक।
  • पुरालेख के लिए स्थानीय लिंक।

कुछ मॉड्यूल को अतिरिक्त निर्भरता की स्थापना की आवश्यकता होती है, उदाहरण के लिए, nginx-Cort-ldap को libldap2-dev स्थापित करने की आवश्यकता होती है। मॉड्यूल का वर्णन करते समय आवश्यक निर्भरताएं भी निर्दिष्ट की जा सकती हैं।

पर्यावरण

हमारे उपकरण में, आप संकलन, पैकेज बनाने और अन्य सहायक सॉफ़्टवेयर के लिए जल्दी से स्थापित उपयोगिताओं के साथ एक वातावरण प्राप्त कर सकते हैं। यहां, आपकी आवश्यकता की सभी चीजों के साथ डॉकटर कंटेनर सबसे उपयुक्त है (रिपॉजिटरी में उबंटू और सेंटो के लिए पहले से ही कुछ डॉक फाइल उदाहरण हैं)।

विनिर्देश संकलित और पर्यावरण द्वारा तैयार किए जाने के बाद, हम अपने कलेक्टर को चलाते हैं, इसकी निर्भरता को पूर्व-स्थापित करते हुए:

 pip3 install -r requirements.txt ./main.py build -f [_].yaml -r [_] 

यहां संशोधन संख्या वैकल्पिक है और असेंबलिंग असेंबलियों के लिए कार्य करता है। यह पैकेज की मेटा-जानकारी में दर्ज किया गया है, जो इसे सर्वर पर अपडेट करना आसान बनाता है।
लॉग से आप देख सकते हैं कि क्या हो रहा है। यहाँ एक उदाहरण पर प्रकाश डाला गया है:

 builder - INFO - Parse yaml file: example.config.yaml builder - INFO - Download scripts for build deb package builder - INFO - Downloading nginx src... builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz builder - INFO - Downloading 3d-party modules... builder - INFO - Module nginx-auth-ldap will download by branch builder - INFO - -- Done: nginx-auth-ldap builder - INFO - -- Done: ngx_http_substitutions_filter_module builder - INFO - Module headers-more-nginx-module will downloading builder - INFO - Module nginx-module-vts will download by tag builder - INFO - -- Done: nginx-module-vts builder - INFO - Module ngx_devel_kit will download by tag builder - INFO - -- Done: ngx_devel_kit builder - INFO - -- Done: ngx_cache_purge builder - INFO - -- Done: ngx_http_dyups_module builder - INFO - Downloading dependencies builder - INFO - Building .deb package builder - INFO - Running 'dh_make'... builder - INFO - Running 'dpkg-buildpackage'... dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'. 

तो बस एक दो कमांड हम पर्यावरण और वांछित नग्नेक्स असेंबली बनाते हैं, और पैकेज उस निर्देशिका में दिखाई देता है जहां से स्क्रिप्ट चल रही है।

एम्बेडिंग

हम अपने टूल को CI / CD प्रक्रियाओं में भी एम्बेड कर सकते हैं। कई मौजूदा CI सिस्टम, जैसे कि Teamcity या Gitlab CI, में से कोई भी इसकी मदद कर सकता है।

नतीजतन, हर बार जब आप गिट रिपॉजिटरी में विनिर्देश बदलते हैं, तो कलाकृतियों की असेंबली स्वचालित रूप से शुरू होती है। संशोधन संख्या बिल्ड लॉन्च काउंटर से जुड़ा हुआ है।
कुछ और समय बिताने के बाद, आप कलाकृतियों को स्थानीय पैकेज रिपॉजिटरी, नेक्सस, आर्टिफ़ैक्ट्री इत्यादि में भेज सकते हैं।

एक अतिरिक्त प्लस यह है कि कॉन्फ़िगरेशन याम्ल-फ़ाइल को अनीसेबल या स्वचालित कॉन्फ़िगरेशन के किसी अन्य सिस्टम से जोड़ा जा सकता है, और इससे संस्करण संख्या और पैकेज का प्रकार जिसे हम तैनात करना चाहते हैं।

आगे क्या है

प्रोजेक्ट अभी पूरा नहीं हुआ है। यहाँ हम अभी क्या काम कर रहे हैं:

• हम कॉन्फ़िगरेशन की संभावना का विस्तार करते हैं, लेकिन साथ ही इसे यथासंभव सरल रखते हैं। मैं एक हजार मापदंडों को परिभाषित नहीं करना चाहता, अगर केवल दो की जरूरत है, और बाकी डिफ़ॉल्ट है। इसमें संकलन झंडे शामिल हैं (अब आप उन्हें आंतरिक कॉन्फ़िगरेशन फ़ाइल src / config.py में बदल सकते हैं), इंस्टॉलेशन पथ, चलाने के लिए उपयोगकर्ता।
• पैकेज को विभिन्न कलाकृतियों के रिपॉजिटरी में स्वचालित रूप से भेजने के लिए विकल्प जोड़ें।
• मॉड्यूल लोड करते समय एक उपयोगकर्ता कमांड को निष्पादित करना (उदाहरण के लिए, github.com/nginx-modules/nginx_upstream_check_module का उपयोग करने के लिए , आपको पहले एक निश्चित संस्करण का पैच लागू करना होगा)
• परीक्षण जोड़ें:
  
  • पैकेज सही ढंग से स्थापित है।
  • Nginx का सही संस्करण है और इसे आवश्यक झंडे और मॉड्यूल के साथ संकलित किया गया है।
  • आवश्यक पथ, खाते, और इसी तरह बनाए गए हैं।

लेकिन अब आप इस टूल का उपयोग कर सकते हैं, साथ ही सुधार की पेशकश भी कर सकते हैं - github.com/TinkoffCreditSystems/Nginx-builder वेलकम!