10 चरणों में कुबेरनेट्स के साथ एडब्ल्यूएस पर एलियस्टिक्स की खोज

Kubernetes उर्फ k8s तैनाती, स्केलिंग और कंटेनरीकृत अनुप्रयोगों के प्रबंधन को स्वचालित करने के लिए एक खुला स्रोत प्रणाली है। इस लेख में, मैं आपको दिखाऊंगा कि कुबेरनेट समूह कैसे स्थापित किया जाए और इस पर AWS को एक एलेस्टिक्स खोज क्लस्टर तैनात किया जाए। ये सेटिंग्स GCE और Azure पर भी काम करती हैं।

AWS पर कुबेरनेट्स कॉन्फ़िगर करना

आरंभ करने के लिए, निम्नलिखित AWS सेवाओं तक प्रशासनिक पहुँच प्राप्त करें: S3, EC2, मार्ग 53, IAM और VPC ।

1. स्थापना: मैं लिनक्स के लिए सीएलआई की स्थापना दिखाऊंगा। यदि आपके पास एक अलग ऑपरेटिंग सिस्टम है, तो अपने ओएस के इंस्टॉलेशन निर्देशों के लिए नीचे दिए गए लिंक का पालन करें।

सबसे पहले, CWS के माध्यम से AWS तक पहुँचने के लिए AWS CLI सेट करें। यदि आपके पास पहले से ही अजगर और पाइप हैं, तो कमांड चलाएं:

 pip install awscli --upgrade --user 

फिर हम कोप्स का उपयोग करते हैं, एक कमांड-लाइन टूल जो हमें K8S उत्पादन-स्तर क्लस्टर के सेटअप के माध्यम से ले जाता है।
गिथब से सीधे कोप्स बायनेरिज़ को स्थापित करें।

 wget -O kops https://github.com/kubernetes/kops/releases/download/$(curl -s https://api.github.com/repos/kubernetes/kops/releases/latest | grep tag_name | cut -d '"' -f 4)/kops-linux-amd64 chmod +x ./kops sudo mv ./kops /usr/local/bin/ 

अंत में, हम K8ectl - CLI का उपयोग K8S क्लस्टर का प्रबंधन करने के लिए करते हैं (यदि आपने docker का उपयोग किया है, तो यह docker CLI के समान है)। नवीनतम रिलीज़ कमांड द्वारा स्थापित है:

 wget -O kubectl https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl chmod +x ./kubectl sudo mv ./kubectl /usr/local/bin/kubectl 

नोट: आप कुबेरनेट क्लस्टर शुरू कर सकते हैं और मिनीक्यूब के साथ एक होम मशीन पर इस लेख में दिए गए निर्देशों का पालन कर सकते हैं।

2. आईएएम उपयोगकर्ताओं को बनाएँ : AWS में क्लस्टर बनाने के लिए, हम kops लिए एक अलग IAM उपयोगकर्ता kops । kops एक एपीआई खाते की आवश्यकता है। एक उपयोगकर्ता बनाएं और AWS कंसोल उपयोगकर्ता इंटरफ़ेस के माध्यम से एक खाते को कॉन्फ़िगर करें। kops उपयोगकर्ता को निम्नलिखित IAM अनुमति की आवश्यकता होगी:

• AmazonEC2FullAccess
• AmazonRoute53FullAccess
• AmazonS3FullAccess
• IAMFullAccess
• AmazonVPCFullAccess

वैकल्पिक रूप से, आप CLI से निम्न आदेशों को लागू करके ऐसा कर सकते हैं:

 aws iam create-group --group-name kops aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/AmazonEC2FullAccess --group-name kops aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/AmazonRoute53FullAccess --group-name kops aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess --group-name kops aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/IAMFullAccess --group-name kops aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/AmazonVPCFullAccess --group-name kops aws iam create-user --user-name kops aws iam add-user-to-group --user-name kops --group-name kops aws iam create-access-key --user-name kops 

SecretAccessKey में SecretAccessKey और AccessKeyID ध्यान दें।

अपने खाते का उपयोग करने के लिए AWS CLI को aws configure साथ।

सुनिश्चित करें कि आपके द्वारा बनाया गया उपयोगकर्ता aws iam list-users ।

हम निम्नलिखित पर्यावरण चर के रूप में AWS खाते को निर्यात करते हैं ताकि CLI kops उनका उपयोग कर सकें।

 export AWS_ACCESS_KEY_ID=$(aws configure get aws_access_key_id) export AWS_SECRET_ACCESS_KEY=$(aws configure get aws_secret_access_key) 

यदि आप Kops 1.6.2 या बाद के संस्करण का उपयोग कर रहे हैं, तो DNS स्थापित करना वैकल्पिक है। आप एक गपशप क्लस्टर बना सकते हैं। केवल आवश्यकता: क्लस्टर नाम .k8s.local में समाप्त होना चाहिए।

डीएनएस सेटअप

यदि आपने पहले ही अपने डोमेन को AWS के माध्यम से होस्ट कर लिया है और इसका उपयोग करने की योजना बना रहे हैं, तो कुछ भी करने की आवश्यकता नहीं है। एक अन्य विकल्प: यदि आप अपने डोमेन के एक उपडोमेन का उपयोग करना चाहते हैं, तो इस उपडोमेन के लिए दूसरा सार्वजनिक होस्टिंग क्षेत्र बनाएं। इस मैनुअल में, हम एक निजी होस्टिंग क्षेत्र के साथ काम करेंगे। किसी भी नाम के तहत ज़ोन सेट करें। कुबेरनेट समूह बनाने के लिए इस नाम का उपयोग करें। DNS को यहां स्थापित करने के बारे में और पढ़ें ।

3. S3 बाल्टी बनाना: हमारे K8S क्लस्टर की स्थिति और उपस्थिति को बचाने के लिए, आपको kops लिए एक अलग S3 बाल्टी बनाने की आवश्यकता है। यह बकेट कॉन्फ़िगरेशन क्लस्टर के लिए विश्वसनीय डेटा का स्रोत बन जाएगा।

 aws s3api create-bucket \ --bucket <your-unique-bucket-name> \ --region us-east-1 

नोट: यदि आप अपनी बकेट को us-east-1 अलावा किसी अन्य क्षेत्र में ऑपरेशन में रखते हैं, तो सेटिंग - region अलावा - region इच्छित क्षेत्र पर जाएँ और उसी क्षेत्र में LocationConstraint जोड़ें। निम्नलिखित us-west-1 में बाल्टी निर्माण कमांड दिखाता us-west-1 ।

 aws s3api create-bucket \ --bucket <your-unique-bucket-name> \ --region us-west-1 \ --create-bucket-configuration LocationConstraint=us-west-1 

पुनर्प्राप्ति के लिए S3 बाल्टी संस्करणों के लिए भंडारण को कॉन्फ़िगर करने के लिए, निम्न कमांड का उपयोग करें:

 aws s3api put-bucket-versioning \ --bucket <your-unique-bucket-name> \ --versioning-configuration Status=Enabled 

4. पहला कुबेरनेट क्लस्टर बनाना: तो, आप अपना पहला क्लस्टर बनाने के लिए तैयार हैं! सबसे पहले, प्रक्रिया को आसान बनाने के लिए पर्यावरण चर सेट करें। यदि आपने DNS कॉन्फ़िगरेशन (चरण 2 के बाद) को छोड़ दिया है, तो NAME मान में .k8s.local जोड़ें।

 export NAME=myfirstcluster.example.com export KOPS_STATE_STORE=s3://your-bucket-name 

जो क्षेत्रीय क्षेत्र आपके लिए उपलब्ध हैं, उन पर नज़र रखना न भूलें। इस उदाहरण में, हम us-East-2 क्षेत्र में एक क्लस्टर तैनात करेंगे।

 aws ec2 describe-availability-zones --region us-east-2 

यदि आप सार्वजनिक होस्टिंग क्षेत्र का उपयोग कर रहे हैं, तो निम्न कमांड का उपयोग करके एक क्लस्टर बनाएं:

 kops create cluster \ --zones us-east-2c \ --node-count 3 \ ${NAME} 

यदि आप एक निजी होस्टिंग क्षेत्र का उपयोग करते हैं, तो करें:

 kops create cluster \ --zones us-east-2c \ --node-count 3 \ --dns private ${NAME} 

यह कमांड आपको K8S क्लस्टर कॉन्फ़िगरेशन लॉग प्रदान करेगा। क्लस्टर शुरू होने में समय लगता है, क्योंकि यह मिनियन मास्टर नोड्स के लिए नई EC2 मशीनें बनाता है।

 [ec2-user@ip-172-31-35-145 test]$ kops create cluster \ > --dns private \ > --zones us-east-2c \ > --node-count 3 \ > ${NAME} --yes I0306 09:45:29.636834 20628 create_cluster.go:439] Inferred --cloud=aws from zone "us-east-2c" I0306 09:45:29.637030 20628 create_cluster.go:971] Using SSH public key: /home/ec2-user/.ssh/id_rsa.pub I0306 09:45:29.850021 20628 subnets.go:184] Assigned CIDR 172.20.32.0/19 to subnet us-east-2c I0306 09:45:31.118837 20628 dns.go:92] Private DNS: skipping DNS validation I0306 09:45:46.986963 20628 executor.go:91] Tasks: 73 done / 73 total; 0 can run I0306 09:45:46.987101 20628 dns.go:153] Pre-creating DNS records I0306 09:45:47.668392 20628 update_cluster.go:248] Exporting kubecfg for cluster kops has set your kubectl context to k8s.appbase Cluster is starting. It should be ready in a few minutes. 

देखा! K8s क्लस्टर पहले से ही काम कर रहा होना चाहिए।

5. क्लस्टर जांच: kops द्वारा बनाए गए सभी उदाहरण ASG (ऑटो स्केलिंग ग्रुप) में हैं । विफलता के मामले में, एएसजी उदाहरणों की जाँच की जाती है और स्वचालित रूप से पुनर्निर्माण किया जाता है।

क्लस्टर कॉन्फ़िगरेशन बदलने के लिए, निम्न कमांड चलाएँ:

 kops edit cluster ${NAME} 

हर बार जब आप क्लस्टर कॉन्फ़िगरेशन बदलते हैं, तो आपको निम्न कमांड चलाकर एक क्लस्टर बनाना होगा:

 kops update cluster ${NAME} --yes 

आपको कुछ इस तरह दिखाई देगा।

 [ec2-user@ip-172-31-35-145 examples]$ kops update cluster --yes Using cluster from kubectl context: k8s.appbase I0216 05:09:06.074467 2158 dns.go:92] Private DNS: skipping DNS validation I0216 05:09:07.699380 2158 executor.go:91] Tasks: 73 done / 73 total; 0 can run I0216 05:09:07.699486 2158 dns.go:153] Pre-creating DNS records I0216 05:09:07.961703 2158 update_cluster.go:248] Exporting kubecfg for cluster kops has set your kubectl context to k8s.appbase Cluster changes have been applied to the cloud. 

क्लस्टर की जाँच करें।

 kops validate cluster 

सुनिश्चित करें कि क्लस्टर ऊपर और चल रहा है।

 Using cluster from kubectl context: k8s.appbase Validating cluster k8s.appbase INSTANCE GROUPS NAME ROLE MACHINETYPE MIN MAX SUBNETS master-us-east-2c Master t2.large 1 1 us-east-2c nodes Node t2.medium 3 3 us-east-2c NODE STATUS NAME ROLE READY ip-172-20-44-33.us-east-2.compute.internal master True ip-172-20-52-48.us-east-2.compute.internal node True ip-172-20-62-30.us-east-2.compute.internal node True ip-172-20-64-53.us-east-2.compute.internal node True Your cluster k8s.appbase is ready 

अपने नए k8s देखें!

कुबेरनेट्स एपीआई के लिए एक सरल कॉल के साथ, आप देख सकते हैं कि एपीआई ऑनलाइन है और सुन रहा है। नोड्स की जांच के लिए kubectl का उपयोग करें।

 kubectl get nodes 

यह आपके नोड्स और उनकी वर्तमान स्थिति के बारे में जानकारी देगा।

 [ec2-user@ip-172-31-35-145 elasticsearch]$ kubectl get nodes NAME STATUS ROLES AGE VERSION ip-172-20-44-33.us-east-2.compute.internal Ready master 1m v1.8.6 ip-172-20-52-48.us-east-2.compute.internal Ready node 3m v1.8.6 ip-172-20-62-30.us-east-2.compute.internal Ready node 2m v1.8.6 ip-172-20-64-53.us-east-2.compute.internal Ready node 4m v1.8.6 

एक कुबेरनेट उप एक अमूर्त है जो इन कंटेनरों के लिए एक या एक से अधिक अनुप्रयोग कंटेनरों (जैसे डोकर) और कई साझा संसाधनों के समूह का प्रतिनिधित्व करता है। नोड पर खुलासा के तहत। यदि आपको एप्लिकेशन को स्केल करने की आवश्यकता है, तो तैनात K8S में नोड्स जोड़ें।

उपलब्ध फली के बारे में जानने के लिए:

 kubectl get pods 

यह कमांड क्लस्टर में उपलब्ध चूल्हों को सूचीबद्ध करेगा।

 [ec2-user@ip-172-31-35-145 ~]$ kubectl get pods NAME READY STATUS RESTARTS AGE es-5967f5d99c-5vcpb 1/1 Running 0 3h es-5967f5d99c-cqk88 1/1 Running 0 3h es-5967f5d99c-lp789 1/1 Running 0 3h 

K8S क्लस्टर में एलियस्टिक्स की तैनाती

यदि आप कुबेरनेट्स से परिचित नहीं हैं, तो मैं k8 ऑनलाइन प्रशिक्षण की सलाह देता हूं ।

फिलहाल, हमने K8S क्लस्टर में बनाया है: मुख्य नोड और दो एजेंट नोड्स। नोड एजेंटों की फली में चल रहे अनुप्रयोगों में तैनाती आदेशों को स्थानांतरित करने के लिए मुख्य नोड की भूमिका है।

K8S आवेदन तैनाती घोषणापत्र हैं और JSON / YAML फ़ाइलों के माध्यम से कॉन्फ़िगर किए गए हैं। आपके द्वारा लागू किए जा रहे एप्लिकेशन या सिस्टम के प्रकार के आधार पर एक नियंत्रक चुनें। चूंकि एलीस्टेकर्च एक स्टेटफुल एप्लिकेशन है, हम स्टेटफुलसेट कंट्रोलर का उपयोग करेंगे।

6. स्टेटफुलसेट के माध्यम से तैनाती। स्टेटफुलसेट समान कंटेनरों के विनिर्देश के आधार पर फली का प्रबंधन करता है। यह चूल्हा सेट की तैनाती और स्केलिंग का प्रबंधन करता है और इन चूल्हों का क्रम और विशिष्टता सुनिश्चित करता है। स्टेटफुलसेट कंट्रोलर एप्लिकेशन को लगातार वॉल्यूम के साथ जोड़ना आसान बनाता है, जो कि एलीटेसर्च के लिए महत्वपूर्ण है।

एक फाइल बनाएं जिसे es-stateful set. yaml कहा जाता है। इसमें एलीस्टेकर्च विनिर्देश शामिल होंगे। कॉन्फ़िगरेशन बदलने के लिए स्वतंत्र महसूस करें। पर्यावरण चर की एक सूची के लिए जिसे आपकी इलास्टिक्स खोज छवि में पारित किया जा सकता है, यहां देखें ।

7. सेवाएं: Service कुबेरनेट्स - एक अमूर्तता जो कि और उन तक पहुंच के एक तार्किक सेट को परिभाषित करता है। यह कंटेनर एप्लिकेशन को किसी अन्य कंटेनर अनुप्रयोग या किसी अलग चूल्हा में स्वयं के उदाहरण की पहचान करने में मदद करता है।

LoadBalancer एक विशेष प्रकार की सेवा है जो बाहरी नेटवर्क को पॉड्स प्रदान करती है और लोड वितरित करती है। हम इसका उपयोग एक बाहरी आईपी पता बनाने के लिए करेंगे, जिसके माध्यम से कोई भी एलीटेसर्च क्लस्टर से संपर्क कर सकता है। हम एक दूसरे की खोज के लिए ईएस नोड्स के लिए इस सेवा का उपयोग करेंगे।

es-svc.yaml नामक एक फ़ाइल बनाएँ। इसे संपादित करें और लोड बैलेंसर सेवा निर्दिष्ट करें।

 apiVersion: v1 #API Version of the resource kind: Service #Type of resource metadata: #Contains metadata of this resource. name: elasticsearch #Name of this resource labels: #Additional identifier to put on pods component: elasticsearch #puts component = elasticsearch spec: #Specifications of this resource type: LoadBalancer #type of service selector: #will distribute load on pods which component: elasticsearch #have label `component = elasticsearch` ports: #Port on which LoadBalancer will listen - name: http #Name given to port port: 9200 #Port number protocol: TCP #Protocol supported - name: transport #Name given to port port: 9300 #Port number protocol: TCP #Protocol supported 

8. एक एप्लिकेशन बनाना: जो हमें चाहिए। निम्नलिखित आदेशों का उपयोग करते हुए K8S पर हमारे एलिटिक्सखोज क्लस्टर को तैनात करें।

 kubectl create -f es-statefulset.yaml kubectl create -f es-svc.yaml 

'क्रिएट' K8S में किसी भी संसाधन को बनाने के लिए एक सार्वभौमिक कमांड है।

हमारे 3-नोड (स्टेटिकसेट कॉन्फिगर में replicas = 3 को याद रखें?) एलीटेसर्च क्लस्टर तुरंत लॉन्च किया जाएगा।

हम इस कमांड के साथ एलेस्टिक्स खोज पॉड्स की जांच कर सकते हैं:

 kubectl get pods 

 [ec2-user@ip-172-31-35-145 test]$ kubectl get pods,svc,deployment NAME READY STATUS RESTARTS AGE es-0 1/1 Running 0 23m es-1 1/1 Running 0 17m es-2 1/1 Running 0 23m 

9. इलास्टिक्सखोज क्लस्टर का परीक्षण: यह देखने के लिए जांच करें कि क्या एलीस्टेकर्च को सही तरीके से कॉन्फ़िगर किया गया है और काम कर रहा है। Elasticsearch से कनेक्ट करने के लिए बाहरी IP पता प्राप्त करें। यह हमारे द्वारा बनाई गई LoadBalancer सेवा में स्थित होगा। LoadBalancer का वर्णन करने के लिए निम्नलिखित कमांड का उपयोग करें:

 kubectl describe service elasticsearch 

 [ec2-user@ip-172-31-35-145 examples]$ kubectl describe service elasticsearch Name: elasticsearch Namespace: default Labels: component=elasticsearch Annotations: <none> Selector: component=elasticsearch Type: LoadBalancer IP: 100.70.114.146 LoadBalancer Ingress: http://a4d0c157d212811e898430af47d23da1-952261901.us-east-2.elb.amazonaws.com Port: http 9200/TCP TargetPort: 9200/TCP NodePort: http 31358/TCP Endpoints: 100.96.4.28:9200 Port: transport 9300/TCP TargetPort: 9300/TCP NodePort: transport 31767/TCP Endpoints: 100.96.4.28:9300 Session Affinity: None External Traffic Policy: Cluster Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal EnsuringLoadBalancer 1m service-controller Ensuring load balancer Normal EnsuredLoadBalancer 1m service-controller Ensured load balancer [ec2-user@ip-172-31-35-145 examples]$ 

LoadBalancer Ingress के मूल्य पर ध्यान दें। एक यूआरआई और एलिटिक्सखोज बाहरी पोर्ट के प्रत्यय संख्या के साथ एक ब्राउज़र खोलें: 9200 । आप इसे देखेंगे:

आप 9200/_cluster /health?pretty की कार्यक्षमता को जोड़कर जांच सकते हैं: 9200/_cluster /health?pretty बाहरी आईपी पते के लिए 9200/_cluster /health?pretty ।

10. कुबेरनेट्स हीलिंग परीक्षण: स्टेटफुलसेट्स में प्रतिकृतियों की निर्दिष्ट संख्या को संग्रहीत करने की क्षमता होती है । इस तरह, यदि कोई उप गिरता है, तो स्टेटफुलसेट नया उप शुरू करेगा।

हम एक असफलता का अनुकरण करके इसका परीक्षण करेंगे (उन सभी पॉड्स को हटाकर, जिन पर हमारे ES उदाहरण चल रहे हैं) यह देखने के लिए कि क्या हमारा ES क्लस्टर स्वतः अक्षुण्ण डेटा के साथ वापस आ सकता है।

चूंकि स्टेटफुलसेट एक बार में एक चूल्हा चलाता है, इसलिए सभी कंटेनरों को पुनर्स्थापित करने में समय लगता है।

हम देखते हैं कि चूल्हों की वसूली के बाद, ईएस विफलता से पहले राज्य में एक अनुक्रमित रिकॉर्ड हमारे पास उपलब्ध है।

अगले चरणों की सिफारिश की

उत्पादन में इन सेटिंग्स का उपयोग करने से पहले, कृपया ध्यान दें:

1. बैकअप कॉन्फ़िगर करें। खोए हुए डेटा को रिकवर करने में मदद करता है। यह प्रक्रिया सबसे अच्छी स्वचालित है।
2. प्राधिकरण सेटअप। हम एलीटेसर्च क्लस्टर की रक्षा करना चाहते हैं। मीडिया टोकन के आधार पर मूल प्रमाणीकरण या प्राधिकरण स्थापित करना सुरक्षा प्रदान करेगा।
3. टीएलएस प्रमाण पत्र। हमारे ES क्लस्टर के लिए व्यक्तिगत डोमेन मानचित्रण प्रमाणपत्र के LetsEncrypt / अन्य TLS कॉन्फ़िगर करें और इसे भेजे गए सभी अनुरोधों की रक्षा करें।

हालांकि लेख उस बारे में नहीं है, लेकिन जानते हैं: कुबेरनेट्स यह सब कर सकते हैं।

मूल: 10 चरणों में AWS पर कुबेरनेट्स के साथ एलेस्टिक्स की खोज करें