कुबेरनेट्स में चेल्याबिंस्क और बिट्रिक्स में साउथब्रिज

चेल्याबिंस्क में Sysadminka सिस्टम एडमिनिस्ट्रेटर मिलते हैं, और उनमें से आखिरी में मैंने कुबेरनेट्स में 1C-Bitrix पर काम करने वाले अनुप्रयोगों के लिए हमारे समाधान पर एक रिपोर्ट बनाई।

बिट्रिक्स, कुबेरनेट्स, सेफ - एक महान मिश्रण?

मैं आपको बताता हूँ कि कैसे हम इस सब से एक साथ मिलकर काम कर सकते हैं।

चलो चलते हैं!

18 अप्रैल को चेल्याबिंस्क में मिटप आयोजित किया गया था। आप टाइमपैड में हमारे mitaps के बारे में पढ़ सकते हैं और YouTube पर देख सकते हैं।

यदि आप एक रिपोर्ट या श्रोता के रूप में हमारे पास आना चाहते हैं - वेलकम के लिए, vadim.isakanov@gmail.com और Telegram t.me/vadimisakanov पर लिखें।

मेरी रिपोर्ट

स्लाइड शो

Kubernetes Southbridge 1.0 समाधान में बिट्रिक्स

मैं "कुबेरनेट्स में डमीज के लिए" प्रारूप में हमारे समाधान के बारे में बात करूंगा, जैसा कि बैठक में किया गया था। लेकिन मुझे लगता है कि Bitrix, Docker, Kubernetes, Ceph शब्द आपको कम से कम विकिपीडिया लेखों के स्तर पर ज्ञात हैं।

कुबेरनेट्स में आपके पास बिट्रिक्स के बारे में क्या है?

सभी इंटरनेट पर कुबरनेट्स में बिट्रिक्स पर अनुप्रयोगों के संचालन के बारे में बहुत कम जानकारी है।
मुझे केवल ऐसी सामग्री मिली:

अलेक्जेंडर सेर्बुल, 1C-Bitrix, और एंटोन तुज़लुकोव की रिपोर्ट Qsoft से:

मैं इसे सुनने की सलाह देता हूं।

Habré पर उपयोगकर्ता serkyron से खुद के समाधान का विकास।
मुझे भी ऐसा उपाय मिला।

III ... वास्तव में।

मैं आपको चेतावनी देता हूं, हमने ऊपर दिए गए लिंक का उपयोग करके समाधान की गुणवत्ता की जांच नहीं की है :-)
वैसे, जब हमारा समाधान तैयार करते समय, मैंने अलेक्जेंडर सेर्बुल से बात की, तब उनकी रिपोर्ट अभी तक नहीं थी, इसलिए मेरी स्लाइड्स में "बिट्रिक्स कुबेरनेट्स का उपयोग नहीं करता" है।

लेकिन डॉकटर में काम करने के लिए बिट्रिक्स के लिए पहले से ही बहुत सारी तैयार डॉकर छवियां हैं: https://hub.docker.com/search?q=bitrix&type=image

क्या यह कुबेरनेट्स में एक पूर्ण बिट्रिक्स समाधान बनाने के लिए पर्याप्त है?
नहीं। बड़ी संख्या में समस्याएं हैं जिन पर ध्यान देने की आवश्यकता है।

कुबेरनेट्स में बिट्रिक्स के साथ क्या समस्याएं हैं?

पहला - डॉकेरहब तैयार चित्र कुबेरनेट के लिए उपयुक्त नहीं हैं

यदि हम एक माइक्रोस्वेस्टर आर्किटेक्चर (और कुबेरनेट्स में हम आमतौर पर चाहते हैं) का निर्माण करना चाहते हैं, तो कुबेरनेट्स में आवेदन को कंटेनरों में विभाजित करना होगा और यह सुनिश्चित करना होगा कि प्रत्येक कंटेनर एक छोटा कार्य करता है (और यह अच्छी तरह से करता है)। केवल एक ही क्यों? संक्षेप में - सरल, अधिक विश्वसनीय।
यदि यह अधिक प्रामाणिक है, तो कृपया इस लेख और वीडियो को देखें: https://habr.com/en/company/southbridge/blog/426637/

Dockerhub में डॉकटर छवियां मुख्य रूप से "ऑल इन वन" के सिद्धांत पर बनाई गई हैं, इसलिए हमें अभी भी अपनी बाइक बनाना है और यहां तक ​​कि स्क्रैच से चित्र भी बनाना है।

दूसरा - व्यवस्थापक पैनल से साइट कोड संपादित किया गया है

हमने साइट पर एक नया खंड बनाया - कोड अपडेट किया गया था (नए अनुभाग के नाम के साथ एक निर्देशिका जोड़ा गया था)।

व्यवस्थापक पैनल से घटक गुणों को बदल दिया - कोड बदल गया है।

कुबेरनेट्स "डिफ़ॉल्ट रूप से" यह नहीं जानता कि इसके साथ कैसे काम करना है, कंटेनरों को स्टेटलेस होना चाहिए।

कारण: क्लस्टर में प्रत्येक कंटेनर (उप) केवल ट्रैफ़िक का हिस्सा है। यदि आप केवल एक कंटेनर (नीचे) में कोड बदलते हैं, तो विभिन्न पॉड्स में कोड अलग होगा, साइट अलग तरीके से काम करेगी, साइट के विभिन्न संस्करणों को अलग-अलग उपयोगकर्ताओं को दिखाया जाएगा। आप ऐसे नहीं रह सकते

तीसरा - आपको तैनाती के मुद्दे को हल करने की आवश्यकता है

यदि हमारे पास एक मोनोलिथ और एक "क्लासिक" सर्वर है, तो सब कुछ बहुत सरल है: हम एक नया कोड बेस तैनात करते हैं, डेटाबेस माइग्रेट करते हैं, ट्रैफ़िक को कोड के नए संस्करण में स्विच करते हैं। स्विचिंग तुरंत होती है।
यदि हमारे पास कुबेरनेट्स में एक वेबसाइट है, तो इसे माइक्रो सर्विसेज में देखा जाता है, कोड के साथ कई कंटेनर हैं। आपको कोड के नए संस्करण के साथ कंटेनरों को इकट्ठा करने की आवश्यकता है, पुराने के बजाय उन्हें रोल आउट करें, डेटाबेस माइग्रेशन को सही ढंग से निष्पादित करें, और आदर्श रूप से आगंतुकों के लिए यह अदृश्य रूप से करें। सौभाग्य से, कुबेरनेट्स इसमें हमारी मदद करते हैं, विभिन्न प्रकार के तैनाती के पूरे बादल का समर्थन करते हैं।

चौथा - आपको स्थिर भंडारण की समस्या को हल करने की आवश्यकता है

यदि आपकी साइट का वजन "केवल" 10 गीगाबाइट है और आप इसे पूरी तरह से कंटेनर में तैनात करते हैं, तो आपको 10 गीगाबाइट वजन वाले कंटेनर मिलेंगे, जो हमेशा के लिए तैनात किए जाएंगे।
आपको कंटेनर के बाहर साइट के सबसे "भारी" भागों को संग्रहीत करने की आवश्यकता है, और सवाल यह उठता है कि इसे सही कैसे किया जाए

हमारे फैसले में क्या नहीं है

संपूर्ण बिट्रिक्स कोड को माइक्रोफ़ाइक्शंस / माइक्रोसर्विसेज के लिए काट नहीं दिया जाता है (ताकि पंजीकरण अलग हो, ऑनलाइन स्टोर का मॉड्यूल अलग हो, आदि)। हम प्रत्येक कंटेनर में संपूर्ण कोड बेस को संपूर्ण रूप में संग्रहीत करते हैं।

हम आधार को कुबेरनेट्स में संग्रहीत नहीं करते हैं (फिर भी मैं डेवलपर वातावरण के लिए कुबेरनेट्स में आधार के साथ समाधान लागू करता हूं, लेकिन उत्पादन के लिए नहीं)।

साइट प्रशासक अभी भी देखेंगे कि साइट Kubernetes में काम करती है। "सिस्टम चेक" फ़ंक्शन सही ढंग से काम नहीं करता है, व्यवस्थापक पैनल से साइट कोड को संपादित करने के लिए, आपको पहले "मैं कोड को संपादित करना चाहता हूं" बटन पर क्लिक करना होगा।

हमने समस्याओं पर फैसला किया, हमने माइक्रोसर्विस को लागू करने की आवश्यकता पर फैसला किया, लक्ष्य स्पष्ट है - कुबेरनेट्स में बिट्रिक्स अनुप्रयोगों पर काम करने के लिए एक कार्य प्रणाली प्राप्त करना, बिट्रिक्स क्षमताओं और कुबेरनेट्स के फायदे दोनों को संरक्षित करना। हम कार्यान्वयन शुरू करते हैं।

आर्किटेक्चर

एक वेब सर्वर (श्रमिकों) के साथ बहुत सारे "काम करने वाले" चूल्हा।
मुकुट मुकुट के साथ एक (आवश्यक रूप से केवल एक)।
व्यवस्थापक पैनल से संपादन साइट कोड के लिए एक उन्नयन (केवल एक भी आवश्यक है)।

हम मुद्दों को हल करते हैं:

• सत्र कहाँ संग्रहीत करें?
• कैश को कहां स्टोर करें?
• कहाँ स्टैटिक्स संग्रहीत करने के लिए, कंटेनरों के ढेर में स्टैटिक्स के गीगाबाइट्स को रखने के लिए नहीं?
• डेटाबेस कैसे काम करेगा?

डॉकटर छवि

हम एक डॉकटर छवि का निर्माण करके शुरू करते हैं।

आदर्श विकल्प यह है कि हमारे पास एक सार्वभौमिक छवि है, इसके आधार पर हम दोनों कार्यकर्ता-पॉड, और कोष्ठक के साथ फली, और उन्नयन फली प्राप्त करते हैं।

हमने सिर्फ ऐसी छवि बनाई है ।

इसमें nginx, Apache / php-fpm (असेंबली के दौरान चुना जा सकता है), मेल भेजने के लिए msmtp, और cron शामिल हैं।

छवि को इकट्ठा करते समय, साइट का पूरा कोड आधार / एप्लिकेशन निर्देशिका (उन हिस्सों के अपवाद के साथ कॉपी किया जाता है जिन्हें हम एक अलग साझा संग्रहण में रखेंगे)।

माइक्रो सर्विस, सेवाएं

कार्यकर्ता के दिल की धड़कन:

• नग्नेक्स + अपाचे / php-fpm + msmtp कंटेनर के साथ कंटेनर
• msmtp ने एक अलग microservice में काम नहीं किया, Bitrix को नाराजगी शुरू होती है कि यह सीधे मेल नहीं भेज सकता है
• प्रत्येक कंटेनर में एक पूरा कोड आधार होता है।
• कंटेनरों में कोड बदलने पर प्रतिबंध।

के तहत क्रोन:

• अपाचे, php, क्रोन के साथ कंटेनर
• पूरा कोड आधार शामिल
• कंटेनरों में कोड बदलने पर प्रतिबंध

के तहत उन्नयन:

• नगीनक्स + अपाचे / php-fpm + msmtp कंटेनर के साथ कंटेनर
• कंटेनरों में कोड बदलने पर प्रतिबंध नहीं है

सत्र भंडारण

Bitrix कैश संग्रहण

अधिक महत्वपूर्ण: हम डेटाबेस से सब कुछ से कनेक्ट करने के लिए पासवर्ड को kubernetes रहस्यों में मेल करते हैं। हमें एक बोनस मिलता है, पासवर्ड केवल उन लोगों को दिखाई देते हैं, जिन्हें हम रहस्यों तक पहुंच प्रदान करते हैं, और उन सभी को नहीं जिनके पास परियोजना के कोड आधार तक पहुंच है।

स्थैतिक भंडारण

आप कुछ भी उपयोग कर सकते हैं: ceph, nfs (लेकिन nfs उत्पादन के लिए अनुशंसित नहीं हैं), "क्लाउड" प्रदाताओं से नेटवर्क भंडारण, आदि।

भंडारण को कंटेनर में साइट के / अपलोड / निर्देशिका और स्थिर के साथ अन्य निर्देशिकाओं से जुड़ा होना चाहिए।

डेटाबेस

सादगी के लिए, हम कुबेरनेट्स के बाहर आधार को स्थानांतरित करने की सलाह देते हैं। कुबेरनेट्स में आधार एक अलग जटिल कार्य है, यह सर्किट को बहुत अधिक जटिल बना देगा।

सत्र भंडारण

हम memcached का उपयोग करते हैं :)

यह सत्रों, समूहों को संग्रहीत करने का अच्छा काम करता है, और मूल रूप से php में session.save_path के रूप में समर्थित है। शास्त्रीय अखंड वास्तुकला में इस तरह की प्रणाली कई बार काम की गई थी, जब हमने बड़ी संख्या में वेब सर्वर के साथ क्लस्टर बनाए थे। तैनाती के लिए हम पतवार का उपयोग करते हैं।

$ helm install stable/memcached --name session 

php.ini - यहाँ छवि सेटिंग्स मेमेक्ड में सत्रों के भंडारण के लिए निर्धारित हैं

हमने पर्यावरण डेटा का उपयोग होस्ट डेटा को मेम्केच्ड https://kubernetes.io/docs/tasks/inject-data-application/define-environment-variable-container/ के साथ स्थानांतरित करने के लिए किया।
यह आपको वातावरण देव, मंच, परीक्षण, उत्पादों (उन में मेमकेच्ड के होस्टनाम अलग-अलग होंगे, इसलिए समान कोड का उपयोग करने की अनुमति देता है, इसलिए हमें प्रत्येक वातावरण के सत्र के लिए एक अद्वितीय होस्टनाम स्थानांतरित करने की आवश्यकता है)।
Bitrix कैश संग्रहण

हमें एक असफल-सुरक्षित भंडारण की आवश्यकता है जिसमें सभी चूल्हे लिख सकें और जिनसे हम पढ़ सकें।

हम मेम्केड का भी उपयोग करते हैं।
इस समाधान की सिफारिश खुद बिट्रिक्स ने की है।

 $ helm install stable/memcached --name cache 

bitrix / .settings_extra.php - यहाँ Bitrix में यह सेट किया जाता है कि हम कैश कहाँ स्टोर करते हैं

हम पर्यावरण चर का भी उपयोग करते हैं।

Krontaski

कुबेरनेट्स में क्रॉस्टैब्स करने के लिए अलग-अलग दृष्टिकोण हैं।

• चूल्हा के साथ अलग तैनाती
• क्रॉन्जोब प्रदर्शन करने के लिए क्रोनजॉब (यदि यह एक वेब ऐप है - wget https के साथ : // $ host $ क्रोनजॉबनाम , या कार्यकर्ता हर्ट्स में से किसी एक के अंदर kubectl निष्पादित करें)
• आदि

आप सबसे सही के बारे में बहस कर सकते हैं, लेकिन इस मामले में हमने विकल्प चुना "क्रॉस्पैस्क के लिए फली के साथ अलग तैनाती"।

यह कैसे करें:

• विन्यास के माध्यम से या config / addcron के माध्यम से मुकुट जोड़ें
• एक उदाहरण में, कार्यकर्ता उप के समान एक कंटेनर चलाएँ + इसमें मुकुट कार्यों के निष्पादन की अनुमति दें
• एक ही कोड बेस का उपयोग किया जाता है, कंटेनर की असेंबली को सरल बनाने के लिए धन्यवाद

हमें क्या अच्छा मिलेगा:

• हमारे पास पर्यावरण के विकास के समान पर्यावरण (डॉकटर) के रूप में काम करने वाली क्रॉस्टस्की है
• Kronternes के लिए Krontaski को "पुनर्लेखन" होने की आवश्यकता नहीं है, वे उसी रूप में और उसी कोड आधार में पहले की तरह काम करते हैं
• मुकुट सदस्य उत्पादन शाखा के लिए प्रतिबद्ध अधिकारों के साथ सभी टीम के सदस्यों को जोड़ सकते हैं, और न केवल प्रवेश करते हैं

Southbridge K8SDeploy मॉड्यूल और एडिटिंग कोड एडमिन पैनल से

हम उन्नयन के बारे में बात कर रहे थे?
और वहाँ यातायात कैसे निर्देशित करें?
हुर्रे, हमने इसके लिए php में एक मॉड्यूल लिखा है :) यह बिट्रिक्स के लिए एक छोटा क्लासिक मॉड्यूल है। यह अभी तक सार्वजनिक रूप से उपलब्ध नहीं है, लेकिन हम इसे खोलने की योजना बना रहे हैं।
मॉड्यूल को Bitrix में एक नियमित मॉड्यूल के रूप में स्थापित किया गया है:

और यह इस तरह दिखता है:

यह आपको एक कुकी सेट करने की अनुमति देता है जो साइट व्यवस्थापक की पहचान करता है और कुबरनेट को नीचे अपग्रेड करने के लिए ट्रैफ़िक भेजने की अनुमति देता है।

जब परिवर्तन पूर्ण हो जाते हैं, तो आपको गिट पुश प्रेस करने की आवश्यकता होती है, कोड परिवर्तन गिट में भेजे जाएंगे, फिर सिस्टम कोड के नए संस्करण के साथ छवि एकत्र करेगा और पुराने पॉड्स की जगह क्लस्टर भर में "रोल" करेगा।

हां, यह थोड़ा बैसाखी है, लेकिन साथ ही साथ हम माइक्रो सर्विस को बनाए रखते हैं और बिट्रिक्स उपयोगकर्ताओं से एडमिन पैनल से कोड को सही करने का पसंदीदा मौका नहीं छीनते हैं। अंत में, यह एक विकल्प है, आप एक अलग तरीके से संपादन कोड की समस्या को हल कर सकते हैं।

पतवार चार्ट

कुबेरनेट्स में एप्लिकेशन बनाने के लिए, हम आमतौर पर हेल्म पैकेज मैनेजर का उपयोग करते हैं।
कुबेरनेट्स में बिट्रिक्स समाधान के लिए, हमारे लीड सिस्टम प्रशासक, सेर्गेई बॉन्डारेव ने एक विशेष हेल्म चार्ट लिखा।

यह कार्यकर्ता, कुरूप, क्रोन चूल्हों का निर्माण करता है, इनग्रेन्स, सेवाओं को कॉन्फ़िगर करता है, कुबेरनेट्स रहस्यों से चर को सुनारों में स्थानांतरित करता है।

हम Gitlab में कोड स्टोर करते हैं, और हम Gitlab से Helm असेंबली भी चलाते हैं।

संक्षेप में, यह ऐसा दिखता है

 $ helm upgrade --install project .helm --set image=registrygitlab.local/k8s/bitrix -f .helm/values.yaml --wait --timeout 300 --debug --tiller-namespace=production 

हेल्म आपको एक "सीमलेस" रोलबैक करने की भी अनुमति देता है, अगर तैनाती के दौरान कुछ गलत हुआ। यह अच्छा है जब आप घबराहट में नहीं हैं "एफटीपी के लिए कोड को ठीक करें, क्योंकि ठेस गिर गई है", और कुबेरनेट्स इसे स्वचालित रूप से करते हैं, और डाउनटाइम के बिना।

तैनाती

हां, हम Gitlab और Gitlab CI के प्रशंसक हैं, इसका उपयोग करें :)
प्रोजेक्ट रिपॉजिटरी में Gitlab के लिए प्रतिबद्ध होने पर, Gitlab एक पाइपलाइन लॉन्च करता है जो पर्यावरण के नए संस्करण को तैनात करेगा।

चरणों:

• निर्माण (एक नई डॉकर छवि बनाएँ)
• परीक्षण (परीक्षण)
• सफाई (परीक्षण वातावरण निकालें)
• धक्का (इसे डॉकर रजिस्ट्री को भेजें)
• तैनात (हम हेल्म के माध्यम से कुबेरनेट्स में आवेदन को तैनात करते हैं)।

हुर्रे, हम इसे पेश करने के लिए तैयार हैं
ठीक है, या प्रश्न पूछें, यदि कोई हो।

तो हमने क्या किया है

तकनीकी दृष्टि से:

• dockerized बिट्रिक्स;
• "कट" कंटेनरों में बिट्रिक्स, जिनमें से प्रत्येक न्यूनतम कार्य करता है;
• कंटेनरों की स्टेटलेस स्टेट हासिल की;
• कुबेरनेट्स में बिट्रिक्स को अपडेट करने के साथ समस्या को हल किया;
• सभी बिट्रिक्स फ़ंक्शंस काम करते रहे (लगभग सभी);
• संस्करणों के बीच कुबेरनेट्स और रोलबैक में तैनाती का काम किया।

व्यवसाय के दृष्टिकोण से:

• गलती सहिष्णुता;
• कुबेरनेट्स उपकरण (गिटलैब सीआई, सहज तैनाती, आदि के साथ आसान एकीकरण);
• रहस्यों में पासवर्ड (केवल उन लोगों को दिखाई देते हैं जिन्हें सीधे पासवर्ड तक पहुंच दी जाती है);
• एक बुनियादी ढांचे के अंदर अतिरिक्त वातावरण (विकास, परीक्षण आदि) के लिए सुविधाजनक है।