आर्केस्ट्रा सिस्टम के लिए बैलेंसर लोड करें

ऑर्केस्ट्रेशन सिस्टम (कुबेरनेट्स, नोमैड और अन्य) में लोड बैलेंसर्स की आवश्यकता केवल लोड संतुलन की तुलना में अधिक है। सबसे पहले, लोड बैलेंसर को सेवाओं की एक सूची के साथ एक निर्देशिका पढ़ने में सक्षम होना चाहिए, जिसमें ट्रैफ़िक को पुनर्निर्देशित किया जाना चाहिए (या, एक विकल्प के रूप में, उन्हें ट्रैफ़िक में शामिल करने के लिए सेवाओं को पंजीकृत करने के लिए सक्षम करें)। दूसरे, इसे गतिशील रूप से करें, क्योंकि ऑर्केस्ट्रेशन सिस्टम किसी भी समय सेवा प्रतिकृतियों की संख्या को बढ़ा या घटा सकते हैं, या उन्हें नेटवर्क पर अन्य पते पर ले जा सकते हैं। और तीसरा, इसे ट्रैफिक को रोके बिना करें।

आज की पोस्ट में, मैं दो लोड Balancers - Traefik और HAProxy के साथ काम करने का वर्णन करूंगा। ये लोड Balancers ऑर्केस्ट्रेशन टूल की एक प्रभावशाली सूची के साथ काम करने की क्षमता रखते हैं। उदाहरणों का वर्णन होगा कि घुमंतू आर्केस्ट्रा सिस्टम के साथ कैसे काम किया जाए।

पिछली पोस्ट में मैंने पहले से ही लोड बैलेंसर्स - फैबियो का एक उदाहरण दिया था। इसकी सीमाएँ: केवल http / https प्रोटोकॉल के साथ काम करती हैं, और केवल कंसुल के साथ काम करती हैं। फैबियो के विपरीत, लोड Balancers Traefik विभिन्न प्रणालियों की प्रभावशाली संख्या के साथ काम करता है। यहाँ डेवलपर की साइट से ली गई एक आंशिक सूची है: Docker, Swarm मोड, Kubernetes, Marathon, Consul, Etcd, Rancher, Amazon ECS, ...

मैं पिछले पोस्ट से उदाहरण जारी रखूंगा , जिसमें django सेवा के कई प्रतिकृतियां बनाई गई थीं।

ट्रिफ़िक को डेवलपर की साइट से सबसे आम ऑपरेटिंग सिस्टम के लिए निष्पादन योग्य फ़ाइल के रूप में डाउनलोड किया जा सकता है। खानाबदोश के साथ एकीकृत करने के लिए (वास्तव में कंसुल के साथ) आपको एक कॉन्फ़िगरेशन फ़ाइल बनाने की आवश्यकता है:

[entryPoints] [entryPoints.http] address = ":5001" [web] address = ":8080" [consulCatalog] endpoint = "127.0.0.1:8500" domain = "consul.localhost" exposedByDefault = false prefix = "traefik" 

और फिर दिए गए कॉन्फ़िगरेशन फ़ाइल के साथ कमांड चलाएं:

 traefik -c nomad/traefik.toml 

उसके बाद, यूआई ट्रैफिक पोर्ट 8080 पर उपलब्ध होगा, जिसने अभी तक कोई भी सेवा प्रकाशित नहीं की है। सेवाओं को प्रकाशित करने के कई तरीके हैं, जो अंततः एक ही काम करते हैं - वे कुंजी / मूल्य डेटा को ट्राफिक सिस्टम में लोड करते हैं। हम सेवा टैग के माध्यम से कुंजी / मूल्य जोड़े सेट करने का अवसर लेंगे। चलो टैग पैरामीटर के साथ django सेवा कॉन्फ़िगरेशन फ़ाइल का विस्तार करें:

 job "django-job" { datacenters = ["dc1"] type = "service" group "django-group" { count = 3 restart { attempts = 2 interval = "30m" delay = "15s" mode = "fail" } ephemeral_disk { size = 300 } task "django-job" { driver = "docker" config { image = "apapacy/tut-django:1.0.1" port_map { lb = 8000 } } resources { network { mbits = 10 port "lb" {} } } service { name = "django" tags = [ "traefik.enable=true", "traefik.frontend.entryPoints=http", "traefik.frontend.rule=Host:localhost;PathStrip:/test", "traefik.tags=exposed" ] port = "lb" check { name = "alive" type = "http" path = "/" interval = "10s" timeout = "2s" } } } } } 

इस उदाहरण में, सेवा को स्थानीय होस्ट पर प्रकाशित किया जाएगा और / परीक्षण मार्ग पर रखा जाएगा। ट्रैफिक ने नियमित अभिव्यक्ति के साथ काम करने सहित मार्गों को कॉन्फ़िगर करने के लिए नियमों का एक लचीला और पूर्ण प्रणाली विकसित की है। डेवलपर प्रलेखन में नियमों के लिए मापदंडों की सूची।

nomad job run nomad/django.conf बाद nomad job run nomad/django.conf नियम लागू होते हैं और लोड बैलेंसर से ट्रैफ़िक सेवा को निर्देशित किया जाएगा। तदनुसार, आप इन मापदंडों को बदल सकते हैं, nomad job run nomad/django.conf साथ एक नया सेवा विकल्प तैनात करते हैं, और सभी परिवर्तन बिना ट्रैफ़िक रोकें लागू किए जाएंगे।

ट्राफिक का नुकसान यह है कि यह http / https परिवार के प्रोटोकॉल के साथ काम करता है (बस मामले में, मैं ध्यान देता हूं कि इस परिवार में वेब सॉकेट भी शामिल हैं)। लेकिन फिर भी ऐसी संभावना है कि अन्य प्रोटोकॉल के साथ काम करने की आवश्यकता होगी। तो चलिए आगे बढ़ते हैं HAProxy पर आधारित अगले व्यापक समाधान पर। कुछ समय पहले, HAProxy को सॉफ्ट लोडिंग की समस्या थी, जिससे ऑर्केस्ट्रेशन सिस्टम के साथ इसका उपयोग करना मुश्किल हो गया था (पुनरारंभ के दौरान, नेटवर्क स्तर पर पैकेटों की आवाजाही को रोकना आवश्यक था)। अब यह कोई समस्या नहीं है।

सबसे पहले आपको अपने कंप्यूटर पर haproxy स्थापित करना होगा। यहां, कंटेनर के अंदर स्थापित करने का विकल्प काम नहीं करेगा। हैप्रोक्सी में, हाल ही में प्रक्रिया को "सॉफ्ट" मोड में फिर से शुरू करना संभव हो गया, लेकिन उसी समय डॉकटर कंटेनर वैसे भी बंद हो जाता है, क्योंकि हप्रोक्सी के साथ दूसरी प्रक्रिया वास्तव में शुरू होती है, बस उन्हें बदलने से स्टैंडबाय मोड में जगह मिलती है - जो डॉकटर और उसके सिद्धांत के साथ काम नहीं करता है "एक -कंटेनर एक प्रक्रिया है। ”

काम करने के लिए haproxy के लिए, आपके पास एक कॉन्फ़िगरेशन फ़ाइल होनी चाहिए जिसमें आवश्यक नियम हों। खानाबदोश (वास्तव में कंसुल में) एक टेम्पलेट प्रणाली का उपयोग करता है जो कॉन्फ़िगरेशन उत्पन्न कर सकता है:

 global debug defaults log global mode http option httplog option dontlognull timeout connect 5000 timeout client 50000 timeout server 50000 frontend http_front bind *:5001 stats uri /haproxy?stats default_backend http_back backend http_back balance roundrobin{{range service "django"}} server {{.Node}} {{.Address}}:{{.Port}} check{{end}} 

इस मामले में range कीवर्ड एक पुनरावृत्त के रूप में कार्य करता है। तीन "django" सेवाओं के लिए, निम्न कॉन्फ़िगरेशन फ़ाइल उत्पन्न की जाएगी:

 global debug defaults log global mode http option httplog option dontlognull timeout connect 5000 timeout client 50000 timeout server 50000 frontend http_front bind *:5001 stats uri /haproxy?stats default_backend http_back backend http_back balance roundrobin server 228.195.86.224 127.0.0.1:21469 check server 228.195.86.224 127.0.0.1:25872 check server 228.195.86.224 127.0.0.1:25865 check 

लाइब्रेरी https://github.com/hashicorp/consul-template का उपयोग मक्खी पर टेम्पलेट के अनुसार पीढ़ी की प्रक्रिया शुरू करने के लिए किया जाता है। डेवलपर के संसाधन से, आप सभी सामान्य ऑपरेटिंग सिस्टम के लिए निष्पादन योग्य फ़ाइल डाउनलोड कर सकते हैं, और कमांड के साथ अनधिकृत उपयोगकर्ता की ओर से प्रक्रिया शुरू कर सकते हैं:

 consul-template -template="haproxy/haproxy.cfg.tmpl:haproxy/haproxy.cfg:./haproxy/haproxy.reload.sh" 

-template पैरामीटर में बृहदान्त्र-अलग किए गए पैरामीटर 1) टेम्पलेट का नाम, 2) परिणामी कॉन्फ़िगरेशन फ़ाइल का नाम 3) फ़ाइल उत्पन्न होने के बाद निष्पादित होने वाली कमांड। यदि टेम्प्लेट में शामिल चरों को बदल दिया जाता है (उदाहरण के लिए, django सेवा की प्रतिकृतियों की संख्या बदल जाती है) तो फ़ाइल अपने आप जेनरेट हो जाएगी।

पहला कॉन्फ़िगरेशन उत्पन्न करने वाला टेम्पलेट इंजन शुरू करने के बाद, आप haproxy चला सकते हैं:

 haproxy -D -f haproxy/haproxy.cfg -p `pwd`/haproxy.pid 

हम स्पष्ट रूप से pid फ़ाइल को निर्दिष्ट करने के लिए "नरम" haproxy अधिभार को एक संकेत भेजने में सक्षम होने के लिए:

 haproxy -D -f ./haproxy/haproxy.cfg -p `pwd`/haproxy.pid -sf $(cat `pwd`/haproxy.pid) 

इस उदाहरण में, सेवा 5001 पोर्ट पर प्रकाशित की गई है। उसी पोर्ट पर, आप पते /haproxy?stats पर ही haproxy के आँकड़े देख सकते हैं /haproxy?stats ।

अद्यतन 02/24/2019 10:43 अपराह्न

@ यूगो की टिप्पणी के अनुसार, डॉकटर कंटेनर में हैप्रोक्सी के संचालन के लिए एक अतिरिक्त शोधन किया गया था, विशेष रूप से प्रलेखन github.com/neo4j/docker-library-docs/tree/master/haproxy#reloading-config के टुकड़े से

पुनः लोड हो रहा है विन्यास

यदि आपने कॉन्फ़िगरेशन के लिए बाइंड माउंट का उपयोग किया है और अपनी haproxy.cfg फाइल को एडिट किया है, तो आप कंटेनर में SITEUP भेजकर HAProxy के ग्रेसफुल रीलोड फीचर का उपयोग कर सकते हैं:

$ docker मार -s HUP मेरा-चल रहा है- hproxy

इमेज में एंट्रीपॉइंट स्क्रिप्ट कमांड हैप्रोक्स चलाने के लिए जाँच करता है और इसे हाप्रोक्सी-सिस्टमड-रैपर से हाप्रोसी अपस्ट्रीम से बदल देता है जो कि सुशोभित पुनः लोड करने के लिए सिग्नल हैंडलिंग का ध्यान रखता है। हुड के तहत यह हाइप्रोक्स के -sf विकल्प का उपयोग करता है इसलिए "प्रत्येक में कुछ मिलीसेकंड की दो छोटी खिड़कियां होती हैं, जहां यह संभव है कि उच्च भार के दौरान कुछ कनेक्शन विफलताओं पर ध्यान दिया जाएगा" (देखें स्टॉपिंग और पुनरारंभ HAProxy)।

इस दृष्टिकोण के साथ, कॉन्फ़िगरेशन वास्तव में पुनः लोड किया गया है, लेकिन वर्तमान प्रक्रिया के रुकावट के परिणामस्वरूप। और इसका मतलब है कि सेवाओं के पास बहुत ही महत्वहीन होगा, लेकिन फिर भी दुर्गमता की अवधि और कुछ ग्राहक एक त्रुटि संदेश देख सकते हैं। लेकिन कभी-कभी यह मुख्य चयन मानदंड नहीं होता है। इसलिए, मैं docker-compose.yml विन्यास को docker में haproxy लॉन्च करने के अलावा दूंगा:

 version: '3' services: haproxy_lb: image: haproxy volumes: - ./haproxy:/usr/local/etc/haproxy network_mode: host 

हैप्रोक्सी कॉन्फ़िगरेशन को अधिभारित करने वाली कमांड भी बदल जाएगी:

 consul-template -template="haproxy/haproxy.cfg.tmpl:haproxy/haproxy.cfg:docker kill -s HUP $(docker-compose ps -q haproxy_lb)" 

इस कार्यान्वयन के फायदों में हाइप्रोक्सी स्थापित किए बिना काम करने की क्षमता शामिल है।

नमूना कोड रिपॉजिटरी में उपलब्ध है।

उपयोगी लिंक:

1. www.haproxy.com/blog/haproxy-and-consul-with-dns-for-service-discovery
2. m.mattmclaugh.com/traefik-and-consul-catalog-example-2c33fc1480c0
3. www.hashicorp.com/blog/load-balancing-strategies-for-consul

apapacy@gmail.com
24 फरवरी, 2019