जीरा डेटाकेटर - यह क्या है? यह कैसे काम करता है? कैसे करें तैनाती?

परिचय

चुस्त दर्शन के प्रसार के साथ, रूसी आईटी विशेषज्ञ हर साल विकास टीमों के लिए उत्पाद अनुकूलन और प्रबंधन के क्षेत्र में अधिक से अधिक विशेषज्ञता और दक्षता हासिल करते हैं, जिनमें से सबसे लोकप्रिय अभी भी जीरा है। हालांकि, इसके सबसे पुराने, सबसे अधिक उत्पादक और अत्यधिक सुलभ संस्करण के साथ काम करना - जीरा डेटा सेंटर - अभी भी बहुत सारे सवाल उठाता है। इस पोस्ट में मैं जीरा डेटाकेनर के कुछ सिद्धांतों और तंत्रों के बारे में बात करूंगा जो हम व्यवहार में लागू करते हैं। मैं जीरा क्लस्टर की संरचना के बारे में एक कहानी से शुरू करूंगा।

क्या है एक जिरा डाटासेंटर?

Jira DataCenter मूल रूप से एक सर्वर संस्करण है, लेकिन एक सामान्य डेटाबेस और एक साझा सूचकांक का उपयोग करने की क्षमता के साथ।

यह समझना महत्वपूर्ण है कि जीरा डेटाकेटर स्वयं, एक उत्पाद के रूप में और एक अनुप्रयोग के रूप में, दोष सहिष्णुता और लोड संतुलन प्रदान नहीं करता है । मॉड्यूल और सिस्टम इसके लिए जिम्मेदार हैं, जिससे एटलसियन उत्पाद का कोई संबंध नहीं है।

दूसरे शब्दों में, एटलसियन एक क्लस्टर में काम करने के लिए समर्थन प्रदान करता है, लेकिन क्लस्टरिंग स्वयं बाहरी साधनों द्वारा कार्यान्वित की जाती है, जिसमें से चुनाव काफी समृद्ध है।

विस्तृत उत्पाद विवरण एटलसियन वेबसाइट पर उपलब्ध हैं।

कई निर्माण विकल्प हैं:

1. खुद के बुनियादी ढांचे पर
2. अमेज़ॅन क्लाउड पर (AWS)
3. एमएस (नीला) के बादल में

यह लेख आपके स्वयं के बुनियादी ढांचे के लिए एक समाधान का वर्णन करेगा।

Jira DataCenter क्या समस्याएं हल करता है?

जीरा डेटा सेंटर आपको निम्नलिखित लक्ष्य प्राप्त करने में मदद करता है:

1. दोष सहिष्णुता का कार्यान्वयन।
2. उच्च भार के तहत स्थिर संचालन सुनिश्चित करना। जीरा साइज़िंग गाइड के अनुसार उच्च भार बड़े / उद्यम पैमाने के उदाहरणों को संदर्भित करता है।
3. रखरखाव की आवश्यकता होने पर निरंतर संचालन सुनिश्चित करना। इस बिंदु पर मैं अलग से रहूंगा। एप्लिकेशन को अक्सर अद्यतन करने की आवश्यकता होती है और सभी कंपनियों को उपयोगकर्ताओं को यह जल्दी और अदृश्य रूप से करने की क्षमता नहीं होती है। यह समस्या तथाकथित शून्य डाउनटाइम अपडेट योजना को क्लस्टर करके और इसका उपयोग करके हल की गई है।

इन मुद्दों को क्लस्टरिंग और एक स्केलेबल वास्तुकला के माध्यम से संबोधित किया जाता है।

Jira DataCenter के घटक क्या हैं?

जैसा कि आप नीचे दिए गए आंकड़े में देख सकते हैं, जीरा डेटासेंटर क्लस्टर कई समर्पित मशीनों का एक संग्रह है।


चित्रा 1. जीरा डेटा सेंटर वास्तुकला

1. एप्लीकेशन नोड्स (एप्लीकेशन नोड्स या क्लस्टर नोड्स)। वे सभी कार्यभार और अनुरोधों को स्वीकार और संसाधित करते हैं। नोड्स की भूमिका साधारण सर्वर द्वारा समान सामग्री और इंस्टॉल किए गए एप्लिकेशन के साथ-साथ एक माउंटेड साझा फ़ाइल सिस्टम द्वारा निभाई जाती है।
2. फ़ाइल सिस्टम (साझा फ़ाइल सिस्टम) फ़ाइलों, प्लगइन्स, कैशिंग और इसी तरह के आयात / निर्यात के लिए मानक सुविधाओं के साथ। एक फ़ाइल सर्वर भी एक अलग सर्वर है जिस पर एक साझा फ़ोल्डर या संसाधन बनाया जाता है, जिसे नोड्स पर मुहिम की जाती है और साझा फ़ाइलों के लिए उपयोग किया जाता है।
3. साझा डेटाबेस डेटाबेस सर्वर भी है, इस मामले में, एक अलग सर्वर और MS SQL, PostgreSQL, MySQL, Oracle पर बनाया जा सकता है।
4. लोड बैलेंसर यह उपयोगकर्ता के अनुरोधों को वितरित करता है और उन्हें नोड्स में वितरित करता है, और यदि उनमें से एक विफल हो जाता है, तो बैलेंसर अपने अनुरोधों को अन्य नोड्स पर लगभग तुरंत पुनर्निर्देशित करता है। अपने काम के लिए धन्यवाद, उपयोगकर्ता एक नोड की विफलता को भी नहीं देखते हैं। हम अलग से बैलेंसर के काम के बारे में नीचे बात करेंगे।

जीरा डेटा सेंटर क्लस्टर टोपोलॉजी

मैं उन बुनियादी सिद्धांतों को दूंगा जिनके द्वारा JDC में एक क्लस्टर बनाया गया है:

• जीरा उदाहरण एक साझा डेटाबेस;
• लुसीन सूचकांक वास्तविक समय में दोहराया जाता है और प्रति उदाहरण स्थानीय रूप से संग्रहीत किया जाता है;
• संलग्नक एक सामान्य भंडार में संग्रहीत किए जाते हैं;
• जीरा इंस्टेंसेस कैशे की संगति की निगरानी करते हैं;
• किसी भी समय कई उदाहरण एक ही समय में सक्रिय हो सकते हैं;
• क्लस्टर लॉक उपलब्ध हैं;
• बैलेंसर को केवल सक्रिय नोड्स में पुनर्निर्देशित अनुरोधों के लिए कॉन्फ़िगर किया गया है, जबकि इसे निष्क्रिय नोड्स के अनुरोधों को पुनर्निर्देशित नहीं करना है, और न ही यह सभी सत्रों को एक नोड से संबोधित कर सकता है।

सभी नोड्स को सक्रिय और निष्क्रिय में विभाजित किया गया है। सक्रिय नोड्स में भिन्न होते हैं कि वे:

• प्रक्रिया अनुरोध
• पृष्ठभूमि प्रक्रियाओं और कार्यों को निष्पादित करें
• अनुसूचित कार्यों को उनमें से एक या अधिक पर कॉन्फ़िगर किया जा सकता है।
• सभी व्यावहारिक परिदृश्यों में, स्थिति मानक जीरा सर्वर का उपयोग करने जैसी दिखाई देगी। तदनुसार, निष्क्रिय नोड अनुरोधों को संसाधित नहीं करते हैं और कार्य नहीं करते हैं, लेकिन एक अल्पकालिक कार्यभार (उदाहरण के लिए, सिस्टम स्टार्टअप, लोडिंग प्लगिन और / या अनुक्रमण पर) लेने के लिए काम करते हैं।

नीचे दिया गया आंकड़ा जीरा क्लस्टर के संचालन को दर्शाता है


चित्रा 2. वास्तुकला का एक सरल आरेख

लोड बैलेंसरों के बारे में

बैलेंसर रिवर्स प्रॉक्सी स्थापित या भौतिक उपकरण के साथ कोई भी सर्वर हो सकता है। मैं balancers के सबसे प्रसिद्ध उदाहरण दूंगा।

1. हार्डवेयर बैलेंसर्स:

• सिस्को
• जुनिपर
• एफ 5

2. सॉफ्टवेयर बैलेंसर:

• mod_proxy (अपाचे) - अपाचे HTTP सर्वर के लिए एक प्रॉक्सी सर्वर जो सबसे लोकप्रिय प्रोटोकॉल और कई अलग-अलग लोड संतुलन एल्गोरिदम का समर्थन करता है।

• वार्निश एक रिवर्स HTTP प्रॉक्सी सर्वर और एक्सीलेटर है, इसे उच्च ट्रैफ़िक वाली साइटों के लिए डिज़ाइन किया गया है। दूसरों के विपरीत, यह केवल एक प्रॉक्सी सर्वर है और HTTP ट्रैफ़िक का लोड बैलेंसर है। विशेष रूप से, वार्निश विकिपीडिया, एनवाई टाइम्स, द गार्डियन और कई अन्य बड़ी परियोजनाओं का उपयोग करता है।

• नंगेक्स - उच्च ट्रैफ़िक वाली साइटों के लिए लोड बैलेन्सर और प्रॉक्सी समाधानों के बीच लोकप्रियता में नंबर 1 वेब सर्वर। यह सक्रिय रूप से विकसित हो रहा है, निर्माता एक मुफ्त और कॉर्पोरेट संस्करण प्रदान करता है। उदाहरण के लिए, दुनिया में सबसे अधिक देखी जाने वाली साइटों में से कई का उपयोग किया जाता है, उदाहरण के लिए, WordPress.com, Zynga, Airbnb, Hulu, MaxCDN।

• नेग्नेक्स प्लस - वास्तव में, नगनेक्स के उपर्युक्त सशुल्क कॉर्पोरेट संस्करण।

• HAProxy एक मुफ्त खुला स्रोत उपकरण है जो TCP / HTTP प्रोटोकॉल के लिए लोड संतुलन और प्रॉक्सी क्षमता प्रदान करता है। यह तेज है और कम सिस्टम संसाधनों का उपभोग करता है, लिनक्स, सोलारिस, फ्रीबीएसडी और विंडोज के साथ संगत है।

इस लिंक पर प्रॉक्सी सर्वर की अच्छी तुलना की जा सकती है।

आगे और पीछे के परदे के पीछे

लोड बैलेंसर्स प्रत्यक्ष के साथ-साथ रिवर्स प्रॉक्सिस के रूप में भी काम कर सकते हैं। स्टैकओवरफ़्लो पर इस टिप्पणी के लेखक द्वारा अंतर को अच्छी तरह से वर्णित किया गया था:

1. "फॉरवर्ड प्रॉक्सी" (फॉरवर्ड प्रॉक्सी)। इस मामले में प्रॉक्सी घटना यह है कि "डायरेक्ट प्रॉक्सी" किसी अन्य वेबसाइट से मूल अनुरोधकर्ता की ओर से डेटा प्राप्त करता है। एक उदाहरण के रूप में, मैं इंटरनेट से जुड़े तीन कंप्यूटरों की एक सूची दूंगा।

इंटरनेट पर एक्स = कंप्यूटर या क्लाइंट कंप्यूटर
Y = प्रॉक्सी वेबसाइट ,xy.example.org
Z = आप जिस वेबसाइट पर जाना चाहते हैं वह www.example.net है
आप आमतौर पर X -> Z से सीधे जुड़ सकते हैं। हालांकि, कुछ स्थितियों में यह X की ओर से Y -> Z से बेहतर है, जो इस तरह दिखता है एक श्रृंखला में: X -> Y -> Z।

2. "रिवर्स प्रॉक्सी" (रिवर्स प्रॉक्सी)। उसी स्थिति की कल्पना करें, केवल साइट वाई को एक रिवर्स प्रॉक्सी के साथ कॉन्फ़िगर किया गया है। आप आमतौर पर X -> Z से सीधे जुड़ सकते हैं। हालांकि, कुछ परिदृश्यों में, Z का व्यवस्थापक प्रत्यक्ष पहुंच को प्रतिबंधित या प्रतिबंधित करने के लिए आगंतुकों को पहले Y के माध्यम से जाने के लिए बेहतर है। इस प्रकार, पहले की तरह, हमें Y -> Z की ओर से प्राप्त डेटा प्राप्त होता है। एक्स, जो निम्नानुसार है: एक्स -> वाई -> जेड।
यह मामला उस उपयोगकर्ता एक्स में "प्रत्यक्ष प्रॉक्सी" से भिन्न होता है जो यह नहीं जानता है कि वह Z तक पहुंच रहा है क्योंकि उपयोगकर्ता एक्स देखता है कि वह वाई। सर्वर के साथ डेटा का आदान-प्रदान कर रहा है। क्लाइंट के लिए अदृश्य है, और केवल बाहरी प्रॉक्सी सर्वर वाई बाहरी रूप से दिखाई देता है। । रिवर्स प्रॉक्सी को क्लाइंट-साइड कॉन्फ़िगरेशन की आवश्यकता नहीं है। क्लाइंट एक्स का मानना ​​है कि वह केवल वाई (एक्स -> वाई) के साथ बातचीत कर रहा है, लेकिन वास्तविकता यह है कि वाई पूरे कनेक्शन को फिर से निर्देशित करता है (एक्स -> वाई -> जेड फिर से)।

अगला, हम एक सॉफ्टवेयर बैलेंसर के साथ काम करने पर विचार करेंगे।

कौन सा सॉफ्टवेयर बैलेंसर चुनना है?

हमारे अनुभव में, नग्नेक्स सॉफ्टवेयर बैलेन्कर्स के बीच सबसे अच्छा विकल्प है क्योंकि यह स्टिकी सेशन मोड का समर्थन करता है और यह सबसे अधिक उपयोग किए जाने वाले वेब सर्वरों में से एक है, जो आईटी विशेषज्ञों के बीच अच्छे प्रलेखन और पर्याप्त लोकप्रियता का अर्थ है।

स्टिकी सेशन एक लोड बैलेंसिंग विधि है जिसमें क्लाइंट अनुरोधों को उसी ग्रुप सर्वर पर भेजा जाता है। Nginx में एक चिपचिपा तरीका है जो कुकीज़ का उपयोग संतुलन के लिए करता है, लेकिन केवल व्यावसायिक संस्करण में। लेकिन एक स्वतंत्र तरीका है - बाहरी मॉड्यूल का उपयोग।

मॉड्यूल एक कुकी बनाता है, और इस प्रकार प्रत्येक ब्राउज़र को अद्वितीय बनाता है। इसके बाद, कुकी का उपयोग उसी सर्वर पर रिडायरेक्ट करने के लिए किया जाता है। यदि कोई कुकी नहीं है (उदाहरण के लिए, पहले अनुरोध पर), तो सर्वर बेतरतीब ढंग से चुना जाता है।
आप इस लिंक पर स्टिकी विधि के बारे में अधिक पढ़ सकते हैं, साथ ही इस हबप्रोस्ट में भी ।

और अब, व्यावहारिक भाग पर चलते हैं ...

जीरा डाटासेंटर क्लस्टर बनाने के निर्देश

क्लस्टरिंग के लिए, आप जीरा स्थापित के साथ मौजूदा उदाहरण का उपयोग कर सकते हैं, या एक नया। हमारे उदाहरण में, विभिन्न ओएस पर नए उदाहरणों की स्थापना का वर्णन किया जाएगा (सिस्टम की बहुमुखी प्रतिभा को प्रदर्शित करने के लिए)।

1. चलो डेटाबेस सर्वर से शुरू करते हैं। आप दोनों मौजूदा का उपयोग कर सकते हैं और एक नया बना सकते हैं। फिर से, चित्रण के लिए, Windows सर्वर 2016 + PostgreSQL 9.4 का चयन किया गया था। ओएस स्थापित करें, पीजी सर्वर स्थापित करें, पीजी व्यवस्थापक स्थापित करें, उपयोगकर्ता और डेटाबेस जोड़ें।

2. Ubuntu 16.04 LTS OS पर पहला नोड बनाएं। आवश्यक पैकेज, रिपॉजिटरी अपडेट स्थापित करें।

3. Jira DataCenter को डाउनलोड और इंस्टॉल करें, लॉन्च करें, डेटाबेस को कॉन्फ़िगर करें (बस मामले में, एटलसियन के पास एक विस्तृत गाइड है )।

4. जीरा बंद करें, नोड बंद करें।
सेवा जीरा बंद करो

5. आगे के हेरफेर के लिए, जीरा ऑटोरन को अस्थायी रूप से अक्षम करना बेहतर है:
update-rc.d -f jira remove

6. हम स्विच ऑफ नोड को क्लोन करते हैं।

7. पहला नोड शुरू करें, जीरा बंद करें (डिफ़ॉल्ट रूप से, स्थापना के बाद जीरा ऑटोरन पर सेट है)।

8. दूसरा नोड चलाएं, जीरा बंद करें।

9. बैलेंसर के लिए एक अलग उदाहरण बनाएं। मैंने Ubuntu 16.04 को चुना क्योंकि यह काफी तेज, सरल है और लाइसेंस के रूप में अतिरिक्त लागतों की आवश्यकता नहीं है।

10. nginx (उदाहरण का इस्तेमाल किया संस्करण 1.13.4) स्थापित करें।

11. डाउनलोड और अनपैक नेग्नेक्स-स्टिकी-मॉड्यूल-एनजी:
git clone bitbucket.org/nginx-goodies/nginx-sticky-module-ng.it

12. एक मॉड्यूल को फिर से जोड़ने और जोड़ने के लिए नग्नेक्स तैयार करें।

13. नेगनेक्स-स्टिकी-मॉड्यूल-एनजी मॉड्यूल के साथ नगीने को संकलित करें। मेरे मामले में, संकलन लाइन इस तरह से निकली:
./configure --prefix = / etc / nginx --sbin-path = / usr / sbin / nginx --modules-path = / usr / lib / nginx / मॉड्यूल --conf-path = / etc / nginx / nginx। conf --error-log-path = / var / log / nginx / error.log --http-log-path = / var / log / nginx / access.log --pid-path = / var / run / nginx। pid --lock-path = / var / run / nginx.lock --http-client-body-temp-path = / var / cache / nginx / client_temp --http -xy-temp-path = / var / cache / nginx /xy_temp --http-fastcgi-temp-path = / var / cache / nginx / fastcgi_temp --http-uwsgi-temp-path = / var / cache / nginx / uwsgi_temp --http-scgi-temp-path = / var / cache / nginx / scgi_temp --user = nginx --group = nginx --with-compat --with-file-aio --with-thread --with-http_addition_bodule --with-http_auth_request_module --with-http_dav_mavule -Hith-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with -hith-hith/hith -साथ-http_sub_module --with-ht tp_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --ith-stream_ssl_preread_module --with-cc-opt = '- gO2-g2 param = ssp-बफर-size = 4 -Wformat -Werror = format-security -Wp, -D_FORTIFY_SOURCE = 2 -fPIC '--with-ld-opt =' - Wl.Bsymbolic-functions -Wl, -z, relro -Wl, -z, अब -l, - as-need -pie '--add-मॉड्यूल = / usr / लोकल / src / nginx-sticky-मॉड्यूल-एनजी

14. फ़ाइल /etc/nginx/nginx.conf ढूंढें, इसे .bak पर कॉपी करें, nginx को प्रॉक्सी प्रॉक्सी मोड में कॉन्फ़िगर करें।

15. अगला, हमें एक फ़ाइल सर्वर की आवश्यकता है (अधिमानतः दोष-सहिष्णु भी)। उदाहरण के लिए, मैंने एक विंडोज सर्वर चुना, जहां मैंने एनएफएस बॉल बनाई ।

16. प्रत्येक नोड पर हम एनएफएस समर्थन के लिए पैकेज स्थापित करते हैं:
apt-get install nfs-common

17. / मीडिया / जीरा फ़ोल्डर बनाएँ और निष्पादित करें:
chmod -R 0777 / मीडिया / जीरा

18. एनएफएस गेंद को एक साझा के रूप में माउंट करें (इसे रूट फ़ोल्डर में नहीं माउंट करना आवश्यक है, लेकिन, उदाहरण के लिए, / मीडिया / जीरा में) - हर कोई नोड

19.1। इसके अलावा, मैनुअल माउंटिंग (सिंगल) करना संभव है:
सुडो माउंट -t nfs -O uid = 1000, iocharset = utf-8 xx.xx.xx.xx: / jira / media / jira
जहां xx.xx.xx.xx NFS बॉल के साथ सर्वर का आईपी एड्रेस है

19.2। या स्वचालित रूप से बढ़ते हुए दूर (OS स्टार्टअप पर):
mcedit / etc / fstab
अंत में आपको लाइन जोड़ने की आवश्यकता है:
192.168.7.239:/जीरा / मीडिया / जीरा nfs उपयोगकर्ता, rw 0 0
फिर सहेजें और बाहर निकलें।

20. आईडी असाइन करें: पहला नोड 1 नोड, दूसरा नोड 2 नोड पर, और इसी तरह।
# यह आईडी क्लस्टर में अद्वितीय होनी चाहिए
jira.node.id = नोड 1
# सभी जीरा नोड्स के लिए साझा घर निर्देशिका का स्थान
jira.saring.home = / मीडिया / जीरा

21. पहले नोड पर जीरा चलाएँ
सेवा जीरा प्रारंभ
जाँच:
सिस्टम पर जाएं -> सिस्टम की जानकारी -> क्लस्टर ऑन और नोड नंबर की तलाश करें।

22. नगीन संतुलन स्थापित करना

23. चूंकि पहले हमने नोड्स पर जीरा ऑटोस्टार्ट को अक्षम किया था, फिर हम इसे कमांड से सक्षम कर सकते हैं:
update-rc.d -f jira enable

24. हम क्लस्टर के संचालन की जांच करते हैं और आवश्यकतानुसार नोड जोड़ते हैं।

क्लस्टर स्टार्ट ऑर्डर

1. साझा फ़ाइल सिस्टम सर्वर को सक्षम करें
2. लोड बैलेंसर सक्षम करें
3. नोड 1 को सक्षम करें
4. नोड 2 को सक्षम करें
5. ...

क्लस्टर स्टॉप ऑर्डर

1. सेवा जीरा स्टॉप कमांड के साथ दोनों नोड्स पर जीरा बंद करो
2. नोड 2 बंद करें
3. नोड 1 बंद करें
4. लोड बैलेंसर को बंद करें
5. फाइल सिस्टम सर्वर को बंद करें

यह सब है ...

बेशक, वर्णित विधि एकमात्र सच नहीं है। यह कार्यान्वयन का सिर्फ एक तरीका है।

मैं सामग्री तैयार करने में उनकी मदद के लिए सहयोगियों का आभार व्यक्त करता हूं।
टिप्पणी करें, प्रश्न पूछें और आपका ध्यान के लिए धन्यवाद।