हम माइक्रोसर्विस के साथ काम करने के लिए एक वातावरण विकसित कर रहे हैं। भाग 1 नंगे धातु (डेबियन) पर कुबेरनेट्स हा स्थापित करना

हेबर के प्रिय पाठकों!

इस प्रकाशन के साथ, मैं कुबेरनेट्स कंटेनरों के साथ एक पूर्ण ऑर्केस्ट्रेशन वातावरण को तैनात करने के बारे में लेखों की एक श्रृंखला शुरू करना चाहता हूं, जो ऑपरेशन और लॉन्चिंग अनुप्रयोगों के लिए तैयार होंगे।
मैं न केवल कुबेरनेट क्लस्टर को तैनात करने के तरीके के बारे में बताना चाहता हूं, बल्कि स्थापना के बाद क्लस्टर को कॉन्फ़िगर करने के तरीके के बारे में भी बताना चाहता हूं कि माइक्रोसरकारी आर्किटेक्चर का उपयोग करने के लिए सुविधाजनक उपकरण और ऐड-ऑन कैसे जोड़ें।

इस चक्र में न्यूनतम चार लेख शामिल होंगे:

1. उनमें से पहले मैं आपको बताऊंगा कि नंगे लोहे पर एक असफल-सुरक्षित कुबेरनेट क्लस्टर कैसे स्थापित किया जाए, कैसे एक मानक डैशबोर्ड स्थापित किया जाए और उस तक पहुंच को कॉन्फ़िगर किया जाए, कैसे एक प्रवेश नियंत्रक स्थापित किया जाए।
2. एक दूसरे लेख में, मैं आपको दिखाऊंगा कि सीफ़ फेलओवर क्लस्टर को कैसे तैनात किया जाए और हमारे कुबेरनेट क्लस्टर में आरबीडी वॉल्यूम का उपयोग कैसे शुरू किया जाए। मैं अन्य प्रकार के स्टोरेज (बिट्स) पर भी संपर्क करूंगा और स्थानीय-भंडारण पर अधिक विस्तार से विचार करूंगा। इसके अलावा, मैं आपको बताऊंगा कि बनाए गए CEPH क्लस्टर के आधार पर S3 फॉल्ट-टॉलरेंट स्टोरेज को कैसे व्यवस्थित किया जाए
3. तीसरे लेख में, मैं वर्णन करूंगा कि हमारे कुबेरनेट्स क्लस्टर में एक विफलता क्लस्टर MySql को कैसे तैनात किया जाए, अर्थात् कुर्नेटेट पर पर्कोना एक्स्ट्राबर्ड क्लस्टर। और जब मैंने डेटाबेस को कुबेरनेट्स में स्थानांतरित करने का फैसला किया, तो मैं उन सभी समस्याओं का वर्णन करूंगा।
4. चौथे लेख में, मैं सब कुछ एक साथ रखने की कोशिश करूंगा और आपको बताऊंगा कि कैसे एक एप्लिकेशन को तैनात करना और चलाना है जो डेटाबेस और सेफ वॉल्यूम का उपयोग करेगा। मैं आपको बताता हूं कि हमारे एप्लिकेशन को बाहरी और स्वचालित प्रमाण पत्र आदेश सेवा से लेट एनक्रिप्ट करने के लिए प्रवेश करने के लिए इंन्ग्रेस कंट्रोलर को कैसे कॉन्फ़िगर करें। एक और तरीका यह है कि इन प्रमाणपत्रों को स्वचालित रूप से कैसे बनाए रखा जाए। हम नियंत्रण कक्ष तक पहुंच के संदर्भ में RBAC पर भी स्पर्श करेंगे। मैं आपको संक्षेप में हेल्म और इसकी स्थापना के बारे में बताऊंगा।
   यदि आप इन प्रकाशनों में जानकारी में रुचि रखते हैं, तो आपका स्वागत है!

प्रविष्टि:

ये लेख किसके लिए हैं? सबसे पहले, उन लोगों के लिए जो कुबेरनेट्स के अध्ययन में अपनी यात्रा शुरू कर रहे हैं। साथ ही, यह चक्र उन इंजीनियरों के लिए उपयोगी होगा, जो एक मोनोलिथ से माइक्रोसर्विस की ओर बढ़ने की सोच रहे हैं। वर्णित सब कुछ मेरा अनुभव है, जिसमें एक मोनोलिथ से कुबेरनेट्स में कई परियोजनाओं का अनुवाद करते हुए प्राप्त किया गया है। यह संभव है कि प्रकाशनों के कुछ हिस्से अनुभवी इंजीनियरों के लिए रुचि के होंगे।

मैं प्रकाशनों की इस श्रृंखला में विस्तार से विचार नहीं करूंगा:

• विस्तार से बताएं कि कुबेरनेट्स आदिम क्या हैं, जैसे: फली, तैनाती, सेवा, प्रवेश, आदि।
• मैं CNI (कंटेनर नेटवर्किंग इंटरफ़ेस) पर बहुत ही सतही रूप से विचार करूंगा, हम कॉलिको का उपयोग करते हैं इसलिए अन्य समाधान, मैं केवल सूची दूंगा।
• डॉकटर छवि निर्माण प्रक्रिया।
• CI \ CD प्रक्रियाएँ। (शायद एक अलग प्रकाशन, लेकिन पूरे चक्र के बाद)
• पतवार; उनके बारे में काफी कुछ लिखा जा चुका है, मैं केवल क्लस्टर में इसे स्थापित करने और क्लाइंट को स्थापित करने की प्रक्रिया को स्पर्श करूंगा।

मैं विस्तार से क्या विचार करना चाहता हूं:

• कुबेरनेट्स क्लस्टर तैनाती चरण-दर-चरण प्रक्रिया। मैं kubeadm का उपयोग करूंगा। लेकिन एक ही समय में, मैं नंगे धातु, विभिन्न प्रकार के ईटीसीडी स्थापना पर एक क्लस्टर स्थापित करने और क्यूब प्रशंसा के लिए फ़ाइलों को कॉन्फ़िगर करने की प्रक्रिया पर एक विस्तृत कदम-दर-चरण देखूंगा। मैं इनर कंट्रोलर के लिए सभी संतुलन विकल्पों को स्पष्ट करने की कोशिश करूंगा और सर्वर एपी को वर्कएनोड्स की विभिन्न एक्सेस योजनाओं में अंतर।
  मुझे पता है कि आज कुबेरनेट की तैनाती के लिए कई बेहतरीन उपकरण हैं, उदाहरण के लिए, क्यूब्सप्राय या एक ही रैंचर। शायद किसी के लिए उनका उपयोग करना अधिक सुविधाजनक होगा। लेकिन, मुझे लगता है, ऐसे कई इंजीनियर हैं जो इस मुद्दे पर अधिक विस्तार से विचार करना चाहते हैं।
• CEPH क्लस्टर की CEPH शब्दावली और चरण-दर-चरण स्थापना, साथ ही साथ कदम-दर-चरण निर्देश कुबेरनेट्स द्वारा बनाए गए क्लस्टर में ceph संग्रहण को जोड़ने के लिए।
• लोकल-स्टोरेज, कुबेरनेट्स क्लस्टर से कनेक्शन, साथ ही होस्टपाथ जैसे कनेक्शनों से मतभेद आदि।
• kubernetes ऑपरेटरों और ऑपरेटर की मदद से Percona XtraDB क्लस्टर की तैनाती, साथ ही उत्पादन में छह महीने के अनुभव के बाद इस तरह के समाधान के पेशेवरों और विपक्षों के बारे में बात करने की कोशिश करते हैं। और यह भी कि मैं परिचालक से ऑपरेटर को अंतिम रूप देने के लिए थोड़ी योजनाएँ साझा करूँगा।

सामग्री की तालिका:

1. मेजबानों, मेजबान संसाधनों, ओएस और सॉफ्टवेयर संस्करणों की सूची
2. कुबेरनेट्स क्लस्टर हा डायग्राम
3. आप शुरू करने से पहले या शुरू करने से पहले
4. Create-config.sh फ़ाइल भरें
5. OS कर्नेल अपडेट
6. क्यूबलेट, कुबेक्टल, कुबेदम, और डोकर स्थापित करने वाले नोड्स तैयार करना
7. ETCD स्थापित करना (विभिन्न विकल्प)
8. पहला कुबेरनेट्स विज़ार्ड लॉन्च करना
9. CNI Callico स्थापना
10. दूसरे और तीसरे kubernetes जादूगर का शुभारंभ
11. क्लस्टर में एक कार्यकर्ता नोड जोड़ें
12. HA के लिए वर्कर नोड्स पर haproxy स्थापित करें
13. इंस्टॉलर नियंत्रक स्थापित करना
14. वेब UI (डैशबोर्ड) स्थापित करें

मेजबानों की सूची और गंतव्य

मेरे क्लस्टर के सभी नोड्स कर्नेल 4.19.0-0.bpo.5-amd64 के साथ प्रीइंस्टॉल्ड डेबियन 9 स्ट्रेच सिस्टम के साथ वर्चुअल मशीनों पर स्थित होंगे। वर्चुअलाइजेशन के लिए, मैं Proxmox VE का उपयोग करता हूं।

तालिका VM और उनके प्रदर्शन की विशेषताएं:

यह आवश्यक नहीं है कि आपके पास मशीनों का ऐसा विन्यास होना चाहिए, लेकिन फिर भी मैं आपको आधिकारिक दस्तावेज की सिफारिशों का पालन करने की सलाह देता हूं, और स्वामी के लिए, रैम की मात्रा को कम से कम 4 जीबी तक बढ़ा सकता हूं। आगे देखते हुए, मैं कहता हूँ कि कम संख्या के साथ, मैंने CNI Callico के काम में गड़बड़ियाँ पकड़ीं
मेमोरी और डिस्क परफॉरमेंस के मामले में भी सिफ काफी विकराल है।
हमारे प्रोडक्शन इंस्टॉलेशन नंगे-धातु वर्चुअलाइजेशन के बिना काम करते हैं, लेकिन मैं ऐसे कई उदाहरण जानता हूं, जहां काफी मामूली संसाधनों वाली वर्चुअल मशीनें पर्याप्त थीं। यह सब आपकी आवश्यकताओं और कार्यभार पर निर्भर करता है।

सूची और सॉफ्टवेयर संस्करण

संस्करण 1.14 से शुरू, कुबेदम ने v1alp33 एपीआई संस्करण का समर्थन बंद कर दिया और पूरी तरह से v1beta1 एपीआई संस्करण पर स्विच किया, जो निकट भविष्य में इसका समर्थन करेगा, इसलिए इस लेख में मैं केवल v1beta1 के बारे में बात करूंगा।
तो, हम मानते हैं कि आपने कुबेरनेट क्लस्टर के लिए मशीनें तैयार कर ली हैं। वे सभी नेटवर्क पर एक-दूसरे के लिए सुलभ हैं, इंटरनेट के लिए "इंटरनेट कनेक्शन" है, और उन पर एक "क्लीन" ऑपरेटिंग सिस्टम स्थापित है।
प्रत्येक स्थापना चरण के लिए, मैं स्पष्ट करूंगा कि कौन सी मशीनें कमांड या कमांड के ब्लॉक को निष्पादित करती हैं। जब तक अन्यथा निर्दिष्ट न हो, तब तक सभी कमांड को रूट के रूप में निष्पादित करें।
सभी कॉन्फ़िगरेशन फ़ाइलें, साथ ही उनकी तैयारी के लिए एक स्क्रिप्ट, मेरे गितुब में डाउनलोड के लिए उपलब्ध हैं
तो चलिए शुरू करते हैं।

कुबेरनेट्स क्लस्टर हा डायग्राम

हा क्लस्टर का एक अनुमानित आरेख। मेरे कलाकार इतने ईमानदार हैं, लेकिन मैं विशेष रूप से सिद्धांत को ध्यान में रखे बिना, संक्षेप में और काफी सरलता से समझाने की कोशिश करूँगा।
तो, हमारे क्लस्टर में तीन मास्टर नोड और तीन कार्यकर्ता नोड शामिल होंगे। प्रत्येक kubernetes मास्टर नोड पर, etcd (आरेख पर हरे तीर) और kubernetes सेवा भागों हमारे लिए काम करेंगे; आइए उन्हें उदारतापूर्वक - कुबेपी कहते हैं।
एल्डर्ड मास्टर क्लस्टर के माध्यम से, नोड्स कुबेरनेट्स क्लस्टर की स्थिति का आदान-प्रदान करते हैं। मैं बाहरी ट्रैफ़िक के लिए प्रवेश नियंत्रक के प्रवेश बिंदु के समान पते को इंगित करूंगा (आरेख में लाल तीर)
वर्कर नोड्स पर, क्यूबलेट हमारे लिए काम करता है, जो प्रत्येक वर्कर नोड पर स्थानीय रूप से इंस्टॉल किए गए हाइप्रो के जरिए कुबेरनेट्स एपि सर्वर के साथ संचार करता है। क्यूबलेट के लिए सर्वर एपीआई पते के रूप में, मैं लोकलहोस्ट 127.0.0.1:6443 का उपयोग करूंगा, और राउंड्रोबिन पर हैप्रोक्सी तीन मास्टर नोड्स पर अनुरोधों को बिखेर देगा, यह मास्टर नोड्स की उपलब्धता की भी जांच करेगा। यह योजना हमें एचए बनाने की अनुमति देगी, और मास्टर नोड्स में से एक की विफलता की स्थिति में, कार्यकर्ता नोड चुपचाप दो शेष मास्टर नोड्स के लिए अनुरोध भेजेंगे।

शुरू करने से पहले

क्लस्टर के प्रत्येक नोड पर काम शुरू करने से पहले, हम उन पैकेजों की आपूर्ति करेंगे जिन्हें हमें काम करने की आवश्यकता होगी:

apt-get update && apt-get install -y curl apt-transport-https git 

मास्टर नोड्स पर, कॉन्फ़िगरेशन टेम्पलेट्स के साथ रिपॉजिटरी को कॉपी करें

 sudo -i git clone https://github.com/rjeka/kubernetes-ceph-percona.git 

जाँच करें कि जादूगरों पर मेजबानों का आईपी पता उसी से मेल खाता है जिस पर कुबेरनेट सर्वर सुनेंगे

 hostname && hostname -i master01 10.73.71.25 

और इसलिए सभी मास्टर नोड्स के लिए।

SWAP को अक्षम करना सुनिश्चित करें, अन्यथा kubeadm एक त्रुटि फेंक देगा

 [ERROR Swap]: running with swap on is not supported. Please disable swap 

आप कमांड को डिसेबल कर सकते हैं

 swapoff -a 

/ Etc / fstab में टिप्पणी करना याद रखें

Create-config.sh फ़ाइल भरें

कुबेरनेट क्लस्टर को स्थापित करने के लिए आवश्यक कॉन्फ़िगरेशन को स्वचालित रूप से भरने के लिए, मैंने एक छोटी स्क्रिप्ट create-config.sh अपलोड की। आपको इसमें सचमुच 8 लाइनें भरने की आवश्यकता है। अपने स्वामी के आईपी पते और होस्टनाम को इंगित करें। और etcd tocken भी निर्दिष्ट करें, आप इसे बदल नहीं सकते। मैं स्क्रिप्ट के उस हिस्से को नीचे दूंगा जिसमें आपको बदलाव करने की आवश्यकता है।

 #!/bin/bash ####################################### # all masters settings below must be same ####################################### # master01 ip address export K8SHA_IP1=10.73.71.25 # master02 ip address export K8SHA_IP2=10.73.71.26 # master03 ip address export K8SHA_IP3=10.73.71.27 # master01 hostname export K8SHA_HOSTNAME1=master01 # master02 hostname export K8SHA_HOSTNAME2=master02 # master03 hostname export K8SHA_HOSTNAME3=master03 #etcd tocken: export ETCD_TOKEN=9489bf67bdfe1b3ae077d6fd9e7efefd #etcd version export ETCD_VERSION="v3.3.10" 

OS कर्नेल अपडेट

यह चरण वैकल्पिक है, क्योंकि कर्नेल को पीछे के बंदरगाहों से अपडेट करने की आवश्यकता होगी, और आप इसे अपने जोखिम और जोखिम पर करते हैं। शायद आप इस समस्या का सामना कभी नहीं करेंगे, और यदि आप करते हैं, तो आप कुबेरनेट को तैनात करने के बाद भी कर्नेल को अपडेट कर सकते हैं। सामान्य तौर पर, आप तय करते हैं।
पुराने कर्ता बग को ठीक करने के लिए कर्नेल अपडेट की आवश्यकता होती है, जो केवल लिनक्स कर्नेल संस्करण 4.18 में तय किया गया था। आप यहाँ इस बग के बारे में अधिक पढ़ सकते हैं। त्रुटि के साथ कुबेरनेट्स नोड्स पर नेटवर्क इंटरफ़ेस के आवधिक हैंग में एक बग व्यक्त किया गया था:

 waiting for eth0 to become free. Usage count = 1 

ओएस स्थापित करने के बाद, मेरे पास कर्नेल संस्करण 4.9 था

 uname -a Linux master01 4.9.0-7-amd64 #1 SMP Debian 4.9.110-3+deb9u2 (2018-08-13) x86_64 GNU/Linux 

कुबेरनेट्स के लिए प्रत्येक मशीन पर हम निष्पादित करते हैं
चरण # 1
स्रोत सूची में वापस पोर्ट जोड़ें

 echo deb http://ftp.debian.org/debian stretch-backports main > /etc/apt/sources.list apt-get update apt-cache policy linux-compiler-gcc-6-x86 

चरण संख्या 2
पैकेज स्थापना

 apt install -y -t stretch-backports linux-image-amd64 linux-headers-amd64 

चरण संख्या 3
रिबूट

 reboot 

जांचें कि सब कुछ ठीक है

 uname -a Linux master01 4.19.0-0.bpo.5-amd64 #1 SMP Debian 4.19.37-4~bpo9+1 (2019-06-19) x86_64 GNU/Linux 

क्यूबलेट, कुबेक्टल, कुबेदम, और डोकर स्थापित करने वाले नोड्स तैयार करना

Kublet, Kubectl, Kubeadm स्थापित करें

हम क्लस्टर के सभी नोड्स पर डालते हैं, कुबेरनेट्स के प्रलेखन के अनुसार

 apt-get update && apt-get install -y apt-transport-https curl curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add - cat <<EOF >/etc/apt/sources.list.d/kubernetes.list deb https://apt.kubernetes.io/ kubernetes-xenial main EOF apt-get update apt-get install -y kubelet kubeadm kubectl apt-mark hold kubelet kubeadm kubectl 

डॉकर स्थापित करें

दस्तावेज़ से निर्देशों के अनुसार डॉकटर स्थापित करें

 apt-get remove docker docker-engine docker.io containerd runc apt-get install apt-transport-https ca-certificates curl gnupg2 software-properties-common 

 curl -fsSL https://download.docker.com/linux/debian/gpg | apt-key add - apt-key fingerprint 0EBFCD88 

 add-apt-repository \ "deb [arch=amd64] https://download.docker.com/linux/debian \ $(lsb_release -cs) \ stable" 

 apt-get update apt-get install docker-ce docker-ce-cli containerd.io 

 git clone https://github.com/rjeka/kubernetes-ceph-percona.git cd kubernetes-ceph-percona/playbooks vim masters.ini 

 # sudo c  ansible-playbook -i hosts.ini kubelet.yaml -K ansible-playbook -i hosts.ini docker.yaml -K # sudo  ansible-playbook -i hosts.ini kubelet.yaml ansible-playbook -i hosts.ini docker.yaml 

यदि किसी कारण से आप docker का उपयोग नहीं करना चाहते हैं, तो आप किसी CRI का उपयोग कर सकते हैं। आप इसके बारे में पढ़ सकते हैं, उदाहरण के लिए यहां , लेकिन यह विषय इस लेख के दायरे से परे है।

ETCD स्थापना

मैं गहराई से सिद्धांत में नहीं जाऊंगा, संक्षेप में: etcd एक ओपन-सोर्स वितरित की-वैल्यू स्टोरेज है। etcd को GO में लिखा गया है और इसका उपयोग वास्तव में kubernetes में किया जाता है, जो क्लस्टर स्थिति को संग्रहीत करने के डेटाबेस के रूप में होता है। अधिक विस्तृत समीक्षा के लिए, कुबेरनेट्स प्रलेखन देखें।
etcd को कई तरह से स्थापित किया जा सकता है। आप इसे स्थानीय रूप से स्थापित कर सकते हैं और डेमॉन के रूप में चला सकते हैं, आप इसे डॉकटर कंटेनरों में चला सकते हैं, आप इसे कुबेरनेट्स तल के रूप में भी स्थापित कर सकते हैं। आप इसे हाथ से स्थापित कर सकते हैं, या आप इसे कुबेदम (मैंने इस पद्धति की कोशिश नहीं की है) का उपयोग करके स्थापित कर सकते हैं। क्लस्टर मशीनों या व्यक्तिगत सर्वर पर स्थापित किया जा सकता है।
मैं मास्टर नोड्स पर स्थानीय रूप से etcd स्थापित करूँगा और systemd के माध्यम से डेमन के रूप में चलाऊंगा, और docker में स्थापित करने पर भी विचार करूँगा। मैं TLS के बिना etcd का उपयोग करता हूं, यदि आपको TLS की आवश्यकता है तो etcd या kubernetes के प्रलेखन को देखें
इसके अलावा मेरे github में systemd के माध्यम से लॉन्च के साथ etcd को स्थापित करने के लिए ansible-playbook होगी।

विकल्प संख्या 1
स्थानीय रूप से स्थापित करें, सिस्टमड के माध्यम से चलाएं

सभी स्वामी पर: (क्लस्टर के काम करने वाले नोड पर, यह कदम आवश्यक नहीं है)
चरण # 1
पुरालेख के साथ संग्रह को डाउनलोड और अनपैक करें:

 mkdir archives cd archives export etcdVersion=v3.3.10 wget https://github.com/coreos/etcd/releases/download/$etcdVersion/etcd-$etcdVersion-linux-amd64.tar.gz tar -xvf etcd-$etcdVersion-linux-amd64.tar.gz -C /usr/local/bin/ --strip-components=1 

चरण संख्या 2
ETCD के लिए एक विन्यास फाइल बनाएँ

 cd .. ./create-config.sh etcd 

स्क्रिप्ट एक इनपुट के रूप में मान etcd स्वीकार करता है, और etcd निर्देशिका में एक कॉन्फिग फ़ाइल उत्पन्न करता है। स्क्रिप्ट के चलने के बाद, तैयार की गई कॉन्फिगर फाइल वगैरह डायरेक्टरी में स्थित होगी।
अन्य सभी विन्यासों के लिए, स्क्रिप्ट एक ही सिद्धांत पर काम करती है। यह कुछ इनपुट लेता है और एक विशिष्ट निर्देशिका में एक कॉन्फ़िगरेशन बनाता है।

चरण संख्या 3
हम कॉर्ड क्लस्टर शुरू करते हैं और इसके प्रदर्शन की जांच करते हैं

 systemctl start etcd 

डेमन के प्रदर्शन की जाँच करना

 systemctl status etcd ● etcd.service - etcd Loaded: loaded (/etc/systemd/system/etcd.service; disabled; vendor preset: enabled) Active: active (running) since Sun 2019-07-07 02:34:28 MSK; 4min 46s ago Docs: https://github.com/coreos/etcd Main PID: 7471 (etcd) Tasks: 14 (limit: 4915) CGroup: /system.slice/etcd.service └─7471 /usr/local/bin/etcd --name master01 --data-dir /var/lib/etcd --listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001 --advertise-client-urls http://10.73.71.25:2379,http://10.73.71. Jul 07 02:34:28 master01 etcd[7471]: b11e73358a31b109 [logterm: 1, index: 3, vote: 0] cast MsgVote for f67dd9aaa8a44ab9 [logterm: 2, index: 5] at term 554 Jul 07 02:34:28 master01 etcd[7471]: raft.node: b11e73358a31b109 elected leader f67dd9aaa8a44ab9 at term 554 Jul 07 02:34:28 master01 etcd[7471]: published {Name:master01 ClientURLs:[http://10.73.71.25:2379 http://10.73.71.25:4001]} to cluster d0979b2e7159c1e6 Jul 07 02:34:28 master01 etcd[7471]: ready to serve client requests Jul 07 02:34:28 master01 etcd[7471]: serving insecure client requests on [::]:4001, this is strongly discouraged! Jul 07 02:34:28 master01 systemd[1]: Started etcd. Jul 07 02:34:28 master01 etcd[7471]: ready to serve client requests Jul 07 02:34:28 master01 etcd[7471]: serving insecure client requests on [::]:2379, this is strongly discouraged! Jul 07 02:34:28 master01 etcd[7471]: set the initial cluster version to 3.3 Jul 07 02:34:28 master01 etcd[7471]: enabled capabilities for version 3.3 lines 1-19 

और स्वयं क्लस्टर का स्वास्थ्य:

 etcdctl cluster-health member 61db137992290fc is healthy: got healthy result from http://10.73.71.27:2379 member b11e73358a31b109 is healthy: got healthy result from http://10.73.71.25:2379 member f67dd9aaa8a44ab9 is healthy: got healthy result from http://10.73.71.26:2379 cluster is healthy etcdctl member list 61db137992290fc: name=master03 peerURLs=http://10.73.71.27:2380 clientURLs=http://10.73.71.27:2379,http://10.73.71.27:4001 isLeader=false b11e73358a31b109: name=master01 peerURLs=http://10.73.71.25:2380 clientURLs=http://10.73.71.25:2379,http://10.73.71.25:4001 isLeader=false f67dd9aaa8a44ab9: name=master02 peerURLs=http://10.73.71.26:2380 clientURLs=http://10.73.71.26:2379,http://10.73.71.26:4001 isLeader=true 

 git clone https://github.com/rjeka/kubernetes-ceph-percona.git cd kubernetes-ceph-percona/playbooks vim masters.ini 

 # sudo c  ansible-playbook -i hosts.ini -l masters etcd.yaml -K BECOME password: <sudo > # sudo  ansible-playbook -i hosts.ini -l masters etcd.yaml 

यदि आप dod में etcd चलाना चाहते हैं, तो स्पॉइलर के नीचे एक निर्देश है।

 git clone https://github.com/rjeka/kubernetes-ceph-percona.git cd kubernetes-ceph-percona 

 apt-get install -y docker-compose 

 ./create-config.sh docker 

 docker-compose --file etcd-docker/docker-compose.yaml up -d 

 docker ps 

 root@master01:~/kubernetes-ceph-percona# docker exec -ti etcd etcdctl cluster-health member 61db137992290fc is healthy: got healthy result from http://10.73.71.27:2379 member b11e73358a31b109 is healthy: got healthy result from http://10.73.71.25:2379 member f67dd9aaa8a44ab9 is healthy: got healthy result from http://10.73.71.26:2379 cluster is healthy root@master01:~/kubernetes-ceph-percona# docker exec -ti etcd etcdctl member list 61db137992290fc: name=etcd3 peerURLs=http://10.73.71.27:2380 clientURLs=http://10.73.71.27:2379,http://10.73.71.27:4001 isLeader=false b11e73358a31b109: name=etcd1 peerURLs=http://10.73.71.25:2380 clientURLs=http://10.73.71.25:2379,http://10.73.71.25:4001 isLeader=true f67dd9aaa8a44ab9: name=etcd2 peerURLs=http://10.73.71.26:2380 clientURLs=http://10.73.71.26:2379,http://10.73.71.26:4001 isLeader=false 

 docker logs etcd 

पहला कुबेरनेट्स विज़ार्ड लॉन्च करना

सबसे पहले, हमें कुबेदमिन के लिए एक विन्यास उत्पन्न करने की आवश्यकता है

 ./create-config.sh kubeadm 

 apiVersion: kubeadm.k8s.io/v1beta1 kind: InitConfiguration localAPIEndpoint: advertiseAddress: 10.73.71.25 #    API- --- apiVersion: kubeadm.k8s.io/v1beta1 kind: ClusterConfiguration kubernetesVersion: stable #      apiServer: #    kubeadm   certSANs: - 127.0.0.1 - 10.73.71.25 - 10.73.71.26 - 10.73.71.27 controlPlaneEndpoint: 10.73.71.25 #     etcd: #  etc external: endpoints: - http://10.73.71.25:2379 - http://10.73.71.26:2379 - http://10.73.71.27:2379 networking: podSubnet: 192.168.0.0/16 #   ,   CNI  . 

हम पहले गुरु को दीक्षा देते हैं

 kubeadm init --config=kubeadmin/kubeadm-init.yaml 

यदि कुबेदम त्रुटियों के बिना काम करता है, तो आउटपुट पर हमें लगभग निम्नलिखित आउटपुट मिलते हैं:

 You can now join any number of control-plane nodes by copying certificate authorities and service account keys on each node and then running the following as root: kubeadm join 10.73.71.25:6443 --token ivwoap.259retezqf34amx8 \ --discovery-token-ca-cert-hash sha256:b5c93e32457c8e6478782ff62e8ef77acf72738dda59cd603cdf4821abe12ca3 \ --control-plane Then you can join any number of worker nodes by running the following on each as root: kubeadm join 10.73.71.25:6443 --token ivwoap.259retezqf34amx8 \ --discovery-token-ca-cert-hash sha256:b5c93e32457c8e6478782ff62e8ef77acf72738dda59cd603cdf4821abe12ca3 

CNI कैलिको इंस्टॉलेशन

एक नेटवर्क स्थापित करने का समय आ गया है जिसमें हमारी फली काम करेगी। मैं कैलिको का उपयोग करता हूं, और हम इसे डाल देंगे।
और शुरुआत के लिए, क्यूबलेट के लिए पहुंच कॉन्फ़िगर करें। हम मास्टर 01 पर सभी कमांड निष्पादित करते हैं
यदि आप जड़ के रूप में चल रहे हैं

 export KUBECONFIG=/etc/kubernetes/admin.conf 

यदि सरल उपयोगकर्ता के तहत से

 mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config 

आप अपने लैपटॉप या किसी स्थानीय मशीन से क्लस्टर का प्रबंधन भी कर सकते हैं। ऐसा करने के लिए /etc/kubernetes/admin.conf फ़ाइल को अपने लैपटॉप या किसी अन्य मशीन में $ HOME / .kube / config में कॉपी करें।

हम कुबेरनेट्स प्रलेखन के अनुसार सीएनआई डालते हैं

 kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml 

हम सभी फली उठने तक इंतजार करते हैं

 watch -n1 kubectl get pods -A NAMESPACE NAME READY STATUS RESTARTS AGE kube-system calico-kube-controllers-59f54d6bbc-psr2z 1/1 Running 0 96s kube-system calico-node-hm49z 1/1 Running 0 96s kube-system coredns-5c98db65d4-svcx9 1/1 Running 0 77m kube-system coredns-5c98db65d4-zdlb8 1/1 Running 0 77m kube-system kube-apiserver-master01 1/1 Running 0 76m kube-system kube-controller-manager-master01 1/1 Running 0 77m kube-system kube-proxy-nkdqn 1/1 Running 0 77m kube-system kube-scheduler-master01 1/1 Running 0 77m 

दूसरे और तीसरे kubernetes जादूगर का शुभारंभ

Master02 और Master03 को शुरू करने से पहले, आपको मास्टर 01 के साथ प्रमाणपत्रों की प्रतिलिपि बनाने की आवश्यकता है जो क्लस्टर बनाते समय उत्पन्न कुबेदम। मैं scp के माध्यम से कॉपी करूँगा
मास्टर 01 पर

 export master02=10.73.71.26 export master03=10.73.71.27 scp -r /etc/kubernetes/pki $master02:/etc/kubernetes/ scp -r /etc/kubernetes/pki $master03:/etc/kubernetes/ 

मास्टर ०२ और मास्टर ०३ पर
कुबेदम के लिए एक विन्यास बनाएँ

 ./create-config.sh kubeadm 

और क्लस्टर में Master02 और master03 जोड़ें

 kubeadm init --config=kubeadmin/kubeadm-init.yaml 

 root@master01:~/kubernetes-ceph-percona# kubectl get pods -A -w NAMESPACE NAME READY STATUS RESTARTS AGE kube-system calico-kube-controllers-658558ddf8-t6gfs 0/1 ContainerCreating 0 11s kube-system calico-node-7td8g 1/1 Running 0 11s kube-system calico-node-dthg5 0/1 CrashLoopBackOff 1 11s kube-system calico-node-tvhkq 0/1 CrashLoopBackOff 1 11s 

 kubectl edit -n kube-system ds calico-node 

 - name: IP_AUTODETECTION_METHOD value: ens19 

 # kubectl get nodes NAME STATUS ROLES AGE VERSION master01 Ready master 28m v1.15.1 master02 Ready master 26m v1.15.1 master03 Ready master 18m v1.15.1 

 # kubectl get pods -A -o wide | grep calico kube-system calico-kube-controllers-59f54d6bbc-5lxgn 1/1 Running 0 27m kube-system calico-node-fngpz 1/1 Running 1 24m kube-system calico-node-gk7rh 1/1 Running 0 8m55s kube-system calico-node-w4xtt 1/1 Running 0 25m 

क्लस्टर में वर्कर नोड्स जोड़ें

फिलहाल, हमारे पास एक क्लस्टर है जिसमें तीन मास्टर नोड चल रहे हैं। लेकिन मास्टर नोड्स मशीन हैं जो कुबेरनेट क्लस्टर की एपीआई, शेड्यूलर और अन्य सेवाएं चला रहे हैं। ताकि हम अपनी पॉड्स चला सकें, हमें तथाकथित श्रमिक नोड्स की आवश्यकता है।
यदि आप संसाधनों में सीमित हैं, तो आप मास्टर नोड्स पर पॉड चला सकते हैं। लेकिन मैं व्यक्तिगत रूप से ऐसा करने की सलाह नहीं देता हूं।

 kubectl taint nodes --all node-role.kubernetes.io/master- 

मास्टर नोड्स के रूप में कार्यकर्ता पर क्यूबलेट, कुबेदम, कुबेटेल और डॉक नोड स्थापित करें

 apt-get update && apt-get install -y apt-transport-https curl curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add - cat <<EOF >/etc/apt/sources.list.d/kubernetes.list deb https://apt.kubernetes.io/ kubernetes-xenial main EOF apt-get update apt-get install -y kubelet kubeadm kubectl apt-mark hold kubelet kubeadm kubectl 

 apt-get remove docker docker-engine docker.io containerd runc apt-get install apt-transport-https ca-certificates curl gnupg2 software-properties-common 

 curl -fsSL https://download.docker.com/linux/debian/gpg | apt-key add - apt-key fingerprint 0EBFCD88 

 add-apt-repository \ "deb [arch=amd64] https://download.docker.com/linux/debian \ $(lsb_release -cs) \ stable" 

 apt-get update apt-get install docker-ce docker-ce-cli containerd.io 

 git clone https://github.com/rjeka/kubernetes-ceph-percona.git cd kubernetes-ceph-percona/playbooks vim masters.ini 

 # sudo c  ansible-playbook -i hosts.ini kubelet.yaml -K ansible-playbook -i hosts.ini docker.yaml -K # sudo  ansible-playbook -i hosts.ini kubelet.yaml ansible-playbook -i hosts.ini docker.yaml 

अब उस लाइन पर लौटने का समय आ गया है जब हमने मास्टर नोड को स्थापित किया था।
वह मेरे लिए ऐसा दिखता है।

 kubeadm join 10.73.71.25:6443 --token ivwoap.259retezqf34amx8 \ --discovery-token-ca-cert-hash sha256:b5c93e32457c8e6478782ff62e8ef77acf72738dda59cd603cdf4821abe12ca3 

प्रत्येक कार्यकर्ता नोड पर इस कमांड को निष्पादित करना आवश्यक है।
यदि आपने टोकन नहीं लिखा है, तो आप एक नया जनरेट कर सकते हैं

 kubeadm token create --print-join-command --ttl=0 

कुबेदाम काम करने के बाद, आपका नया नोड क्लस्टर में दर्ज किया गया है और काम के लिए तैयार है

 This node has joined the cluster: * Certificate signing request was sent to apiserver and a response was received. * The Kubelet was informed of the new secure connection details. Run 'kubectl get nodes' on the control-plane to see this node join the cluster. 

अब हम परिणाम को देखते हैं

 root@master01:~# kubectl get nodes NAME STATUS ROLES AGE VERSION master01 Ready master 10d v1.15.1 master02 Ready master 10d v1.15.1 master03 Ready master 10d v1.15.1 worknode01 Ready <none> 5m44s v1.15.1 worknode02 Ready <none> 59s v1.15.1 worknode03 Ready <none> 51s v1.15.1 

वर्कप्रोड्स पर हाइपोक्सी स्थापित करें

अब हमारे पास तीन मास्टर नोड और तीन कार्यकर्ता नोड्स के साथ एक कार्यशील क्लस्टर है।
समस्या यह है कि अब हमारे कार्यकर्ता नोड्स में हा मोड नहीं है।
यदि आप क्यूबलेट कॉन्फिग फाइल को देखते हैं, तो हम देखेंगे कि हमारा वर्कर नोड केवल तीन मास्टर नोड में से एक का उपयोग करता है।

 root@worknode01:~# cat /etc/kubernetes/kubelet.conf | grep server: server: https://10.73.71.27:6443 

मेरे मामले में, यह मास्टर 03 है। इस कॉन्फ़िगरेशन के साथ, यदि Master03 क्रैश हो जाता है, तो वर्कर नोड क्लस्टर API सर्वर के साथ संचार खो देगा। हमारे क्लस्टर को पूरी तरह से हा बनाने के लिए, हम प्रत्येक वर्कर पर एक लोड बैलेंसर (हाप्रोसी) स्थापित करेंगे, जो कि राउंड रॉबिन के अनुसार, तीन मास्टर नोड्स के लिए अनुरोधों को तितर बितर करेगा, और वर्कर नोड्स पर क्यूबलेट कॉन्फिगरेशन में हम सर्वर एड्रेस को 127.0.0.1:6443 पर बदल देंगे।
सबसे पहले, प्रत्येक श्रमिक नोड पर HAProxy स्थापित करें।
स्थापना के लिए एक अच्छा धोखा पत्र है

 curl https://haproxy.debian.net/bernat.debian.org.gpg | \ apt-key add - echo deb http://haproxy.debian.net stretch-backports-2.0 main | \ tee /etc/apt/sources.list.d/haproxy.list apt-get update apt-get install haproxy=2.0.\* 

HAproxy स्थापित होने के बाद, हमें इसके लिए एक कॉन्फ़िगरेशन बनाने की आवश्यकता है।
यदि कार्यकर्ता नोड्स पर कॉन्फ़िगरेशन फ़ाइलों के साथ कोई निर्देशिका नहीं है, तो हम इसे क्लोन करते हैं

 git clone https://github.com/rjeka/kubernetes-ceph-percona.git cd kubernetes-ceph-percona/ 

और haproxy ध्वज के साथ कॉन्फ़िगर स्क्रिप्ट चलाएँ

 ./create-config.sh haproxy 

स्क्रिप्ट कॉन्फ़िगर और haproxy को पुनरारंभ करेगा।
जाँचें कि haproxy ने पोर्ट 6443 को सुनना शुरू किया।

 root@worknode01:~/kubernetes-ceph-percona# netstat -alpn | grep 6443 tcp 0 0 127.0.0.1:6443 0.0.0.0:* LISTEN 30675/haproxy tcp 0 0 10.73.75.241:6443 0.0.0.0:* LISTEN 30675/haproxy 

अब हमें मास्टर नोड के बजाय लोकलहोस्ट को एक्सेस करने के लिए क्यूबलेट को बताने की आवश्यकता है। ऐसा करने के लिए, सभी वर्कर नोड्स पर /etc/kubernetes/kubelet.conf और /etc/kubernetes/bootstrap-kubelet.conf फ़ाइलों में सर्वर मान संपादित करें।

 vim /etc/kubernetes/kubelet.conf vim nano /etc/kubernetes/bootstrap-kubelet.conf 

सर्वर का मान इस रूप में लेना चाहिए:

 server: https://127.0.0.1:6443 

परिवर्तन करने के बाद, क्यूबलेट और डॉकटर सेवाओं को पुनरारंभ करें

 systemctl restart kubelet && systemctl restart docker 

जांचें कि सभी नोड ठीक से काम कर रहे हैं।

 kubectl get nodes NAME STATUS ROLES AGE VERSION master01 Ready master 29m v1.15.1 master02 Ready master 27m v1.15.1 master03 Ready master 26m v1.15.1 worknode01 Ready <none> 25m v1.15.1 worknode02 Ready <none> 3m15s v1.15.1 worknode03 Ready <none> 3m16s v1.15.1 

अब तक, हमारे पास हा का परीक्षण करने के लिए क्लस्टर में कोई एप्लिकेशन नहीं है। लेकिन हम पहले मास्टर नोड पर क्यूबलेट के संचालन को रोक सकते हैं और सुनिश्चित कर सकते हैं कि हमारा क्लस्टर चालू है।

 systemctl stop kubelet && systemctl stop docker 

दूसरे मास्टर नोड से जांचें

 root@master02:~# kubectl get nodes NAME STATUS ROLES AGE VERSION master01 NotReady master 15h v1.15.1 master02 Ready master 15h v1.15.1 master03 Ready master 15h v1.15.1 worknode01 Ready <none> 15h v1.15.1 worknode02 Ready <none> 15h v1.15.1 worknode03 Ready <none> 15h v1.15.1 

सभी नोड्स सामान्य रूप से कार्य करते हैं, जिस पर हमने सेवाओं को बंद कर दिया है।
पहले मास्टर नोड पर कुबेरनेट सेवाओं को वापस करने के लिए मत भूलना

 systemctl start kubelet && systemctl start docker 

इंस्टॉलर नियंत्रक स्थापित करना

इनग्रेड कंट्रोलर कुबेरनेट्स ऐड-ऑन है, जिसके साथ हम अपने एप्लिकेशन को बाहर से एक्सेस कर सकते हैं। एक विस्तृत विवरण कुबेरनेट्स प्रलेखन में है । वहाँ काफी नियंत्रकों के प्रवेश हैं, मैं Nginx से एक नियंत्रक का उपयोग करता हूं। मैं इसकी स्थापना के बारे में बात करूंगा। Nginx से Ingress कंट्रोलर के ऑपरेशन, कॉन्फ़िगरेशन और इंस्टॉलेशन पर प्रलेखन आधिकारिक वेबसाइट पर पढ़ा जा सकता है

चलो स्थापना शुरू करते हैं, सभी कमांड मास्टर 01 के साथ निष्पादित किए जा सकते हैं।
नियंत्रक स्वयं स्थापित करें

 kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml 

और अब - एक सेवा जिसके माध्यम से प्रवेश उपलब्ध होगा
ऐसा करने के लिए, कॉन्फ़िगरेशन तैयार करें

 ./create-config.sh ingress 

और इसे हमारे क्लस्टर में भेजें

 kubectl apply -f ingress/service-nodeport.yaml 

जांचें कि हमारा इनग्रेड सही पते पर काम करता है और सही पोर्ट पर सुनता है।

 # kubectl get svc -n ingress-nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ingress-nginx NodePort 10.99.35.95 10.73.71.25,10.73.71.26,10.73.71.27 80:31669/TCP,443:31604/TCP 10m 

  kubectl describe svc -n ingress-nginx ingress-nginx Name: ingress-nginx Namespace: ingress-nginx Labels: app.kubernetes.io/name=ingress-nginx app.kubernetes.io/part-of=ingress-nginx Annotations: kubectl.kubernetes.io/last-applied-configuration: {"apiVersion":"v1","kind":"Service","metadata":{"annotations":{},"labels":{"app.kubernetes.io/name":"ingress-nginx","app.kubernetes.io/par... Selector: app.kubernetes.io/name=ingress-nginx,app.kubernetes.io/part-of=ingress-nginx Type: NodePort IP: 10.99.35.95 External IPs: 10.73.71.25,10.73.71.26,10.73.71.27 Port: http 80/TCP TargetPort: 80/TCP NodePort: http 31669/TCP Endpoints: 192.168.142.129:80 Port: https 443/TCP TargetPort: 443/TCP NodePort: https 31604/TCP Endpoints: 192.168.142.129:443 Session Affinity: None External Traffic Policy: Cluster Events: <none> 

वेब UI (डैशबोर्ड) स्थापित करें

कुबेरनेट्स के पास एक मानक वेब यूआई है जिसके माध्यम से कभी-कभी क्लस्टर या इसके अलग-अलग हिस्सों की स्थिति को जल्दी से देखना सुविधाजनक होता है। अपने काम में, मैं अक्सर तैनाती के प्रारंभिक निदान या क्लस्टर के कुछ हिस्सों की स्थिति के लिए डैशबोर्ड का उपयोग करता हूं।
प्रलेखन के लिए लिंक साइट kubernetes पर है
स्थापना। मैं स्थिर संस्करण का उपयोग कर रहा हूं, मैंने अभी तक 2.0 की कोशिश नहीं की है।

 #  kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml # 2.0 kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta1/aio/deploy/recommended.yaml 

हमने अपने क्लस्टर में पैनल स्थापित करने के बाद, पैनल उपलब्ध हो गया

 http://localhost:8001/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/. 

लेकिन इसे प्राप्त करने के लिए, हमें कुब्लेट प्रॉक्सी का उपयोग करके स्थानीय मशीन से पोर्ट को अग्रेषित करना होगा। मेरे लिए, यह योजना बहुत सुविधाजनक नहीं है। इसलिए, मैं नियंत्रण कक्ष की सेवा को बदल दूंगा ताकि डैशबोर्ड 30443 पोर्ट पर किसी भी क्लस्टर नोड के पते पर उपलब्ध हो जाए। डैशबोर्ड तक पहुंचने के अन्य तरीके अभी भी हैं, उदाहरण के लिए, प्रवेश के माध्यम से। शायद मैं निम्नलिखित प्रकाशनों में इस विधि पर विचार करूंगा।
सेवा को बदलने के लिए, परिवर्तित सेवा की तैनाती चलाएँ

 kubectl apply -f dashboard/service-nodeport.yaml 

यह डैशबोर्ड के माध्यम से क्लस्टर तक पहुंचने के लिए व्यवस्थापक उपयोगकर्ता और टोकन बनाने के लिए बना हुआ है

 kubectl apply -f dashboard/rbac.yaml kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}') 

उसके बाद, आप कंट्रोल पैनल पर https://10.73.71.25:30443 पर लॉग इन कर सकते हैं

डैशबोर्ड होम स्क्रीन

बधाई! यदि आप इस चरण पर पहुंच गए हैं, तो आपके पास काम करने वाले हाबर्स ऑफ कुबेरनेट्स हैं, जो आपके अनुप्रयोगों की तैनाती के लिए तैयार है।
Kubernetes , . .
, GitHub, , .
C , .