भाग 1 हम माइक्रोसर्विस के साथ काम करने के लिए पर्यावरण को तैनात करते हैं। भाग 1 नंगे धातु (डेबियन) पर कुबेरनेट्स हा स्थापित करना

हेलो, हेबर के प्रिय पाठकों!

पिछले पोस्ट में, मैंने बात की कि कुबेरनेट्स फेलओवर क्लस्टर कैसे तैनात किया जाए। लेकिन तथ्य यह है कि कुबेरनेट्स में स्टेटलेस एप्लिकेशन को तैनात करना सुविधाजनक है जिन्हें अपने राज्य को बनाए रखने या डेटा के साथ काम करने की आवश्यकता नहीं है। लेकिन ज्यादातर मामलों में, हमें डेटा को सहेजने की आवश्यकता होती है और चूल्हा फिर से शुरू करने पर इसे खोना नहीं पड़ता है।
कुबेरनेट्स इन उद्देश्यों के लिए संस्करणों का उपयोग करता है। जब हम कुबेरनेट्स क्लाउड समाधान के साथ काम करते हैं, तो कोई विशेष समस्याएं नहीं होती हैं। हमें Google, अमेज़ॅन या किसी अन्य क्लाउड प्रदाता से आवश्यक वॉल्यूम ऑर्डर करने की आवश्यकता है और प्रलेखन द्वारा निर्देशित, प्राप्त वॉल्यूम को फली से कनेक्ट करें।
जब हम नंगे धातु से निपटते हैं, तो चीजें थोड़ी अधिक जटिल होती हैं। आज मैं ceph के उपयोग पर आधारित एक समाधान के बारे में बात करना चाहता हूं।

इस प्रकाशन में मैं बताऊंगा:

• कैसे ceph वितरित भंडारण को तैनात करने के लिए
• कुबेरनेट्स के साथ काम करते समय सेफ का उपयोग कैसे करें

परिचय

शुरुआत करने के लिए, मैं यह बताना चाहूंगा कि यह लेख किसके लिए उपयोगी होगा। सबसे पहले, उन पाठकों के लिए जिन्होंने माइक्रोसेवा आर्किटेक्चर का निर्माण जारी रखने के लिए मेरे पहले प्रकाशन के अनुसार क्लस्टर को तैनात किया था। दूसरे, उन लोगों के लिए जो अपने दम पर एक सिफ क्लस्टर बनाने की कोशिश करना चाहते हैं और इसके प्रदर्शन का मूल्यांकन करते हैं।

इस प्रकाशन में, मैं किसी भी जरूरतों के लिए क्लस्टर योजना के विषय पर नहीं लिखूंगा, मैं केवल सामान्य सिद्धांतों और अवधारणाओं के बारे में बात करूंगा। मैं "ट्यूनिंग" और गहरी ट्यूनिंग में तल्लीन नहीं करूंगा, इस विषय पर कई प्रकाशन हैं, जिनमें हबर भी शामिल है। लेख एक अधिक परिचयात्मक प्रकृति का होगा, लेकिन साथ ही यह आपको एक कार्यशील समाधान प्राप्त करने की अनुमति देगा, जिससे आप भविष्य में अपनी आवश्यकताओं के अनुकूल हो सकें।

1. मेजबानों, मेजबान संसाधनों, ओएस और सॉफ्टवेयर संस्करणों की सूची
2. सेफह क्लस्टर संरचना
3. स्थापना से पहले क्लस्टर नोड्स कॉन्फ़िगर करें
4. सेफ़-तैनाती स्थापित करें
5. सीफ क्लस्टर बनाना
6. नेटवर्क सेटअप
7. सेफ़ पैकेज स्थापित करें
8. मॉनिटर की स्थापना और आरंभीकरण
9. OSD जोड़ना
10. सेफ़ को कुबेरनेट्स से कनेक्ट करें
11. एक डेटा पूल बनाना
12. एक ग्राहक गुप्त बनाना
13. सीएफएच आरबीडी प्रावधानक तैनात करें
14. भंडारण वर्ग बनाना
15. कुबेरनेट्स + सेफ़ लिगामेंट टेस्ट
16. लेख की तैयारी में प्रयुक्त सामग्रियों की सूची

होस्ट सूची और सिस्टम आवश्यकताएँ

एक लेख लिखते समय, मैं इस कॉन्फ़िगरेशन के साथ वर्चुअल मशीन का उपयोग करता हूं

प्रत्येक में डेबियन 9.5 ओएस स्थापित है। ये परीक्षण मशीन हैं, जिनमें से प्रत्येक में दो डिस्क हैं, पहला ओएस के लिए, दूसरा ओएसडी सीफ के लिए।

मैं क्लस्टर को सिफ-यूटिलिटी के माध्यम से तैनात करूंगा। आप मैन्युअल मोड में एक ceph क्लस्टर को तैनात कर सकते हैं, सभी चरणों को प्रलेखन में वर्णित किया गया है, लेकिन इस लेख का उद्देश्य यह बताना है कि आप कितनी जल्दी ceph को तैनात कर सकते हैं और इसे kubernetes में उपयोग करना शुरू कर सकते हैं।
सीफ़एच संसाधनों के लिए बहुत लज्जाजनक है, विशेष रूप से रैम। अच्छी गति के लिए, ssd ड्राइव का उपयोग करना उचित है।

आप आधिकारिक ceph प्रलेखन में आवश्यकताओं के बारे में अधिक पढ़ सकते हैं ।

सेफह क्लस्टर संरचना

सोम
एक मॉनिटर एक डेमन है जो समन्वयक के रूप में कार्य करता है जिसमें से क्लस्टर शुरू होता है। जैसे ही हमारे पास कम से कम एक कार्यशील मॉनिटर होता है, हमारे पास एक सिफ क्लस्टर होता है। मॉनिटर अन्य मॉनिटर के साथ विभिन्न कार्डों का आदान-प्रदान करके क्लस्टर के स्वास्थ्य और स्थिति के बारे में जानकारी संग्रहीत करता है। ग्राहक यह पता लगाने के लिए मॉनिटर की ओर मुड़ते हैं कि कौन से ओएसडी को डेटा लिखना / पढ़ना है। जब आप एक नया संग्रहण तैनात करते हैं, तो सबसे पहले आप एक मॉनिटर (या कई) बनाते हैं। क्लस्टर एक मॉनिटर पर रह सकता है, लेकिन एकल मॉनिटर के गिरने से पूरे सिस्टम के गिरने से बचने के लिए 3 या 5 मॉनिटर बनाने की सिफारिश की जाती है। मुख्य बात यह है कि विभाजित मस्तिष्क स्थितियों से बचने के लिए इनमें से संख्या विषम होनी चाहिए। मॉनिटर एक कोरम में काम करते हैं, इसलिए यदि आधे से अधिक मॉनिटर गिर जाते हैं, तो क्लस्टर डेटा असंगतता को रोकने के लिए अवरुद्ध हो जाएगा।
एमजीआर
सीएफएच प्रबंधक डेमॉन अतिरिक्त नियंत्रण प्रदान करने के लिए मॉनिटर डेमॉन के साथ काम करता है।
संस्करण 12.x के बाद से, सामान्य ऑपरेशन के लिए सेफ-मॉर्ग डेमॉन आवश्यक हो गया है।
अगर मॉर डेमॉन नहीं चल रहा है, तो आप इस बारे में एक चेतावनी देखेंगे।
ओएसडी (ऑब्जेक्ट स्टोरेज डिवाइस)
ओएसडी एक स्टोरेज यूनिट है जो डेटा को स्वयं स्टोर करता है और अन्य ओएसडी के साथ डेटा का आदान-प्रदान करके क्लाइंट अनुरोधों को संसाधित करता है। यह आमतौर पर एक डिस्क है। और आमतौर पर प्रत्येक ओएसडी के लिए एक अलग ओएसडी डेमॉन होता है जो किसी भी मशीन पर चल सकता है जिस पर यह डिस्क स्थापित है।

हमारे क्लस्टर में प्रत्येक मशीन पर तीनों डेमॉन काम करेंगे। तदनुसार, मॉनिटर और मैनेजर डेमोंस को हमारी वर्चुअल मशीन की एक ड्राइव के लिए सेवा और ओएसडी डेमॉन के रूप में।

स्थापना से पहले क्लस्टर नोड्स कॉन्फ़िगर करें

Ceph प्रलेखन निम्नलिखित वर्कफ़्लो निर्दिष्ट करता है:

मैं ceph01-परीक्षण क्लस्टर के पहले नोड से काम करूंगा, यह एडमिन नोड होगा, इसमें ceph-तैनात उपयोगिता के लिए कॉन्फ़िगरेशन फाइलें भी होंगी। सही ढंग से काम करने के लिए ceph परिनियोजित उपयोगिता के लिए, सभी नोड नोड को व्यवस्थापक नोड के साथ ssh के माध्यम से सुलभ होना चाहिए। सुविधा के लिए, मैं क्लस्टर के लिए मेजबानों के छोटे नामों में लिखूंगा

10.73.88.52 ceph01-test 10.73.88.53 ceph02-test 10.73.88.54 ceph03-tset 

और अन्य मेजबानों की चाबियाँ कॉपी करें। सभी आज्ञाओं को मैं मूल से निष्पादित करूंगा।

 ssh-copy-id ceph02-test ssh-copy-id ceph03-test 

सेटअप प्रलेखन

सेफ़-तैनाती स्थापित करें

पहला कदम ceph01-test मशीन पर ceph-तैनात स्थापित करना है

 wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add - 

इसके बाद, आपको वह रिलीज़ चुनना होगा जिसे आप रखना चाहते हैं। लेकिन यहां मुश्किलें हैं, वर्तमान में डेबियन ओएस के लिए ceph केवल चमकदार पैकेज का समर्थन करता है।
यदि आप हाल ही में रिलीज़ करना चाहते हैं, तो आपको दर्पण का उपयोग करना होगा, उदाहरण के लिए
https://mirror.croit.io/debian-mimic/dists/

सभी तीन नोड्स पर नकल के साथ एक भंडार जोड़ें

 apt install curl apt-transport-https -y curl https://mirror.croit.io/keys/release.gpg > /usr/share/keyrings/croit-signing-key.gpg echo 'deb [signed-by=/usr/share/keyrings/croit-signing-key.gpg] https://mirror.croit.io/debian-mimic/ stretch main' > /etc/apt/sources.list.d/croit-ceph.list apt update apt install ceph-deploy 

यदि चमकदार आपके लिए पर्याप्त है, तो आप आधिकारिक रिपॉजिटरी का उपयोग कर सकते हैं

 echo deb https://download.ceph.com/debian-luminous/ $(lsb_release -sc) main | tee /etc/apt/sources.list.d/ceph.list apt-transport-https apt update apt install ceph-deploy 

हम तीनों नोड्स पर NTP भी स्थापित करते हैं।

 apt install ntp 

सुनिश्चित करें कि आप NTP सेवा को सक्षम करते हैं। सुनिश्चित करें कि प्रत्येक सिफ नोड उसी NTP सर्वर का उपयोग करता है। आप यहां अधिक विवरण देख सकते हैं

सीफ क्लस्टर बनाना

कॉन्फ़िगर फ़ाइलों और फ़ाइलों के लिए एक निर्देशिका बनाएँ ceph- तैनाती

 mkdir my-cluster cd my-cluster 

आइए एक नया क्लस्टर कॉन्फ़िगर बनाते हैं, बनाते समय यह इंगित करते हैं कि हमारे क्लस्टर में तीन मॉनिटर होंगे

 ceph-deploy new ceph01-test ceph02-test ceph03-test 

नेटवर्क सेटअप

अब महत्वपूर्ण बिंदु, यह ceph के लिए नेटवर्क के बारे में बात करने का समय है। सिफ दो सार्वजनिक नेटवर्क और एक क्लस्टर नेटवर्क का उपयोग करता है

जैसा कि आप सार्वजनिक नेटवर्क आरेख से देख सकते हैं, यह उपयोगकर्ता और अनुप्रयोग स्तर है, और क्लस्टर नेटवर्क वह नेटवर्क है जिसके माध्यम से डेटा को दोहराया जाता है।
इन दोनों नेटवर्क को एक-दूसरे से अलग करना बेहद वांछनीय है। इसके अलावा, नेटवर्क स्पीड क्लस्टर नेटवर्क कम से कम 10 Gb वांछनीय है।
बेशक, आप एक ही नेटवर्क पर सब कुछ रख सकते हैं। लेकिन यह इस तथ्य से भरा है कि जैसे ही ओएसडी के बीच प्रतिकृति की मात्रा बढ़ जाती है, उदाहरण के लिए, जब नए ओएसडी (डिस्क) गिर जाते हैं या जोड़ दिए जाते हैं, तो नेटवर्क लोड बहुत बढ़ जाएगा। इसलिए आपके बुनियादी ढांचे की गति और स्थिरता ceph द्वारा उपयोग किए जाने वाले नेटवर्क पर बहुत निर्भर करेगी।
दुर्भाग्य से, मेरे वर्चुअलाइजेशन क्लस्टर में एक अलग नेटवर्क नहीं है, और मैं एक सामान्य नेटवर्क सेगमेंट का उपयोग करूंगा।
क्लस्टर के लिए नेटवर्क कॉन्फ़िगरेशन कॉन्फ़िगरेशन फ़ाइल के माध्यम से किया जाता है, जिसे हमने पिछली कमांड के साथ उत्पन्न किया था।

 /my-cluster# cat ceph.conf [global] fsid = 2e0d92b0-e803-475e-9060-0871b63b6e7f mon_initial_members = ceph01-test, ceph02-test, ceph03-test mon_host = 10.73.88.52,10.73.88.53,10.73.88.54 auth_cluster_required = cephx auth_service_required = cephx auth_client_required = cephx 

जैसा कि हम देख सकते हैं, cef तैनात ने हमारे लिए डिफ़ॉल्ट नेटवर्क सेटिंग्स नहीं बनाई हैं, इसलिए मैं सार्वजनिक नेटवर्क = {public-network / netmask} पैरामीटर को कॉन्फ़िगरेशन के वैश्विक अनुभाग में जोड़ दूंगा। मेरा नेटवर्क १०. my३.०.०/१६ है, इसलिए मेरे विन्यास को जोड़ने के बाद ऐसा दिखेगा

 [global] fsid = 2e0d92b0-e803-475e-9060-0871b63b6e7f mon_initial_members = ceph01-test, ceph02-test, ceph03-test mon_host = 10.73.88.52,10.73.88.53,10.73.88.54 public network = 10.73.0.0/16 auth_cluster_required = cephx auth_service_required = cephx auth_client_required = cephx 

यदि आप क्लस्टर नेटवर्क को सार्वजनिक से अलग करना चाहते हैं, तो पैरामीटर क्लस्टर नेटवर्क जोड़ें = {क्लस्टर-नेटवर्क / नेटमास्क}
आप प्रलेखन में नेटवर्क के बारे में अधिक पढ़ सकते हैं।

सेफ़ पैकेज स्थापित करें

Ceph- परिनियोजन का उपयोग करते हुए, हम उन सभी ceph संकुल को स्थापित करते हैं जिनकी हमें अपने तीन नोड्स पर आवश्यकता होती है।
ऐसा करने के लिए, ceph01-test पर, निष्पादित करें
यदि संस्करण की नकल की जाती है

 ceph-deploy install --release mimic ceph01-test ceph02-test ceph03-test 

यदि संस्करण चमकदार है तो

 ceph-deploy install --release luminous ceph01-test ceph02-test ceph03-test 

और सब कुछ स्थापित होने तक प्रतीक्षा करें।

मॉनिटर की स्थापना और आरंभीकरण

सभी पैकेज स्थापित होने के बाद, हम अपने क्लस्टर के मॉनिटर बनाएंगे और शुरू करेंगे।
C ceph01-test निम्नलिखित करते हैं

 ceph-deploy mon create-initial 

प्रक्रिया में मॉनिटर बनाए जाएंगे, डेमॉन लॉन्च किए जाएंगे, और सेफ-तैनाती कोरम की जाँच करेगा।
अब क्लस्टर नोड्स पर कॉन्फ़िगरेशन को तितर बितर करें।

 ceph-deploy admin ceph01-test ceph02-test ceph03-test 

और हमारे क्लस्टर की स्थिति की जांच करें, यदि आपने सब कुछ सही ढंग से किया है, तो स्थिति होनी चाहिए
HEALTH_OK

 ~/my-cluster# ceph status cluster: id: 2e0d92b0-e803-475e-9060-0871b63b6e7f health: HEALTH_OK services: mon: 3 daemons, quorum ceph01-test,ceph02-test,ceph03-test mgr: no daemons active osd: 0 osds: 0 up, 0 in data: pools: 0 pools, 0 pgs objects: 0 objects, 0 B usage: 0 B used, 0 B / 0 B avail pgs: 

Mgr बनाएँ

 ceph-deploy mgr create ceph01-test ceph02-test ceph03-test 

और स्टेटस को फिर से जांचें

 ceph -s 

एक पंक्ति दिखाई देनी चाहिए

 mgr: ceph01-test(active), standbys: ceph02-test, ceph03-test 

हम क्लस्टर में सभी मेजबानों के लिए कॉन्फ़िगरेशन लिखते हैं

 ceph-deploy admin ceph01-test ceph02-test ceph03-test 

OSD जोड़ना

फिलहाल हमारे पास एक कार्यशील क्लस्टर है, लेकिन इसमें अभी तक जानकारी संग्रहीत करने के लिए डिस्क (सेफ़ शब्दावली में ओएसडी) नहीं है।

OSD को निम्न कमांड (सामान्य दृश्य) के साथ जोड़ा जा सकता है

 ceph-deploy osd create --data {device} {ceph-node} 

मेरे परीक्षण में, osd के तहत डिस्क / dev / sdb आवंटित किया गया है, इसलिए मेरे मामले में कमांड निम्नानुसार होंगी

 ceph-deploy osd create --data /dev/sdb ceph01-test ceph-deploy osd create --data /dev/sdb ceph02-test ceph-deploy osd create --data /dev/sdb ceph03-test 

जांचें कि सभी ओएसडी काम कर रहे हैं।

 ceph -s 

निष्कर्ष

  cluster: id: 2e0d92b0-e803-475e-9060-0871b63b6e7f health: HEALTH_OK services: mon: 3 daemons, quorum ceph01-test,ceph02-test,ceph03-test mgr: ceph01-test(active) osd: 3 osds: 3 up, 3 in 

आप ओएसडी के लिए कुछ उपयोगी कमांड भी आज़मा सकते हैं।

 ceph osd df ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS 0 hdd 0.00490 1.00000 5.0 GiB 1.0 GiB 4.0 GiB 20.05 1.00 0 1 hdd 0.00490 1.00000 5.0 GiB 1.0 GiB 4.0 GiB 20.05 1.00 0 2 hdd 0.00490 1.00000 5.0 GiB 1.0 GiB 4.0 GiB 20.05 1.00 0 TOTAL 15 GiB 3.0 GiB 12 GiB 20.05 

और

 ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 0.01469 root default -3 0.00490 host ceph01-test 0 hdd 0.00490 osd.0 up 1.00000 1.00000 -5 0.00490 host ceph02-test 1 hdd 0.00490 osd.1 up 1.00000 1.00000 -7 0.00490 host ceph03-test 2 hdd 0.00490 osd.2 up 1.00000 1.00000 

यदि सब कुछ ठीक है, तो हमारे पास एक कार्यशील सीफ क्लस्टर है। अगले भाग में मैं बताऊंगा कि कुबेरनेट्स के साथ सीफ का उपयोग कैसे किया जाता है

सेफ़ को कुबेरनेट्स से कनेक्ट करें

दुर्भाग्य से, मैं इस लेख में कुबेरनेट्स संस्करणों के संचालन का विस्तार से वर्णन नहीं कर पाऊंगा, इसलिए मैं एक पैराग्राफ में फिट होने का प्रयास करूंगा।
कुबेरनेट्स डेटा के डेटा वॉल्यूम के साथ काम करने के लिए स्टोरेज क्लासेस का उपयोग करता है, प्रत्येक स्टोरेज क्लास का अपना एक प्रावधान होता है, आप इसे विभिन्न डेटा स्टोरेज वॉल्यूम के साथ काम करने के लिए "ड्राइवर" के रूप में मान सकते हैं। आधिकारिक सूची में कुबेरनेट्स का समर्थन करने वाली पूरी सूची पाई जा सकती है।
कुबेरनेट्स के पास भी आरबीडी के साथ काम करने के लिए समर्थन है, लेकिन आधिकारिक क्यूब-कंट्रोलर-मैनेजर छवि में कोई आरबीडी क्लाइंट स्थापित नहीं है, इसलिए आपको एक अलग छवि का उपयोग करने की आवश्यकता है।
यह भी ध्यान दिया जाना चाहिए कि rbd के रूप में बनाए गए वॉल्यूम (पीवीसी) केवल ReadWriteOnce (RWO) हो सकते हैं और, जिसका अर्थ है कि आप बनाए गए वॉल्यूम को केवल एक चूल्हा पर माउंट कर सकते हैं।

हमारे क्लस्टर को सेफ वॉल्यूम के साथ काम करने में सक्षम होने के लिए, हमें चाहिए:
एक सिफ क्लस्टर में:

• ceph क्लस्टर में डेटा पूल बनाएँ
• एक ग्राहक बनाएँ और डेटा पूल में पहुँच कुंजी
• Ceph व्यवस्थापक रहस्य प्राप्त करें

हमारे क्लस्टर को सेफ वॉल्यूम के साथ काम करने में सक्षम होने के लिए, हमें चाहिए:
एक सिफ क्लस्टर में:

• ceph क्लस्टर में डेटा पूल बनाएँ
• एक ग्राहक बनाएँ और डेटा पूल में पहुँच कुंजी
• Ceph व्यवस्थापक रहस्य प्राप्त करें

कुबेरनेट समूह में:

• ceph admin secret और ceph क्लाइंट कुंजी बनाएं
• ceph rbd उपयोक्ता स्थापित करें या rbd का समर्थन करने वाली छवि में kube-नियंत्रक-प्रबंधक छवि बदलें
• ceph क्लाइंट कुंजी के साथ गुप्त बनाएं
• संग्रहण वर्ग बनाएं
• कुबेरनेट्स कार्यकर्ता नोटों पर सेफ-कॉमन स्थापित करें

एक डेटा पूल बनाना

Ceph क्लस्टर में, kubernetes वॉल्यूम के लिए एक पूल बनाएं

 ceph osd pool create kube 8 8 

यहाँ मैं एक छोटी सी व्याख्या करूँगा, संख्या 8 8 अंत में pg और pgs की संख्याएँ हैं। ये मान आपके ceph क्लस्टर के आकार पर निर्भर करते हैं। विशेष कैलकुलेटर हैं जो पीजी और पीजीएस की मात्रा की गणना करते हैं, उदाहरण के लिए, सीफ से आधिकारिक
शुरू करने के लिए, मैं इसे डिफ़ॉल्ट रूप से छोड़ने की सलाह देता हूं, अगर भविष्य में यह राशि बढ़ाई जा सकती है (इसे केवल नॉटिलस संस्करण से कम किया जा सकता है)।

डेटा पूल के लिए क्लाइंट बनाना

नए पूल के लिए एक क्लाइंट बनाएं

 ceph auth add client.kube mon 'allow r' osd 'allow rwx pool=kube' 

हम ग्राहक के लिए एक कुंजी प्राप्त करेंगे, भविष्य में हमें एक गुप्त कुबेरनेट बनाने के लिए इसकी आवश्यकता होगी

 ceph auth get-key client.kube AQDd5aldka5KJRAAkpWTQYUMQi+5dfGDqSyxkg== 

व्यवस्थापक कुंजी प्राप्त करना

और व्यवस्थापक कुंजी प्राप्त करें

 ceph auth get client.admin 2>&1 |grep "key = " |awk '{print $3'} AQAv+Itdx4DwKBAAKVhWRS3+eEPqV3Xrnlg9KA== 

Ceph क्लस्टर पर, सभी काम पूरा हो गया है और अब हमें एक मशीन पर जाने की आवश्यकता है, जिसकी कुबेरनेट क्लस्टर तक पहुंच है
मैं पहले प्रकाशन में मेरे द्वारा तैनात क्लस्टर के मास्टर-टेस्ट (10.73.71.25) के साथ काम करूंगा।

एक ग्राहक गुप्त बनाना

हमारे द्वारा प्राप्त किए गए क्लाइंट टोकन के साथ एक फ़ाइल बनाएं (इसे अपने टोकन से बदलना न भूलें)

 echo AQDd5aldka5KJRAAkpWTQYUMQi+5dfGDqSyxkg== > /tmp/key.client 

और एक रहस्य बनाएं जिसे हम भविष्य में उपयोग करेंगे

 kubectl create secret generic ceph-secret --from-file=/tmp/key.client --namespace=kube-system --type=kubernetes.io/rbd 

व्यवस्थापक गुप्त बनाएँ

व्यवस्थापक टोकन के साथ एक फ़ाइल बनाएं (इसे अपने टोकन से बदलना न भूलें)

 echo AQAv+Itdx4DwKBAAKVhWRS3+eEPqV3Xrnlg9KA== > /tmp/key.admin 

इसके बाद एक एडमिन सीक्रेट बनाएं

 kubectl create secret generic ceph-admin-secret --from-file=/tmp/key.admin --namespace=kube-system --type=kubernetes.io/rbd 

जांचें कि रहस्य बनाए गए हैं

 kubectl get secret -n kube-system | grep ceph ceph-admin-secret kubernetes.io/rbd 1 8m31s ceph-secret kubernetes.io/rbd 1 7m32s 

विधि पहले ceph rbd प्रोविज़नर को तैनात करें

हम कुतुर्नेट्स-इनक्यूबेटर / एक्सथ-स्टोरेज रिपॉजिटरी को जीथब से क्लोन करते हैं, इसमें वह सबकुछ है जो आपको कुबेरनेट्स क्लस्टर दोस्तों को सीफह रिपॉजिटरी के साथ बनाने की आवश्यकता है।

 git clone https://github.com/kubernetes-incubator/external-storage.git cd external-storage/ceph/rbd/deploy/ NAMESPACE=kube-system sed -r -i "s/namespace: [^ ]+/namespace: $NAMESPACE/g" ./rbac/clusterrolebinding.yaml ./rbac/rolebinding.yaml 

 kubectl -n $NAMESPACE apply -f ./rbac 

निष्कर्ष

 clusterrole.rbac.authorization.k8s.io/rbd-provisioner created clusterrolebinding.rbac.authorization.k8s.io/rbd-provisioner created deployment.extensions/rbd-provisioner created role.rbac.authorization.k8s.io/rbd-provisioner created rolebinding.rbac.authorization.k8s.io/rbd-provisioner created serviceaccount/rbd-provisioner created 

विधि दो: क्यूब-नियंत्रक-प्रबंधक छवि को बदलें

आधिकारिक क्यूब-नियंत्रक-प्रबंधक छवि में कोई आरबीडी समर्थन नहीं है, इसलिए हमें नियंत्रक-प्रबंधक छवि को बदलने की आवश्यकता होगी।
ऐसा करने के लिए, प्रत्येक कुबेरनेट विजार्ड पर, आपको क्यूब-कंट्रोलर-मैनेजर.इमाइल फ़ाइल को संपादित करने और gcr.io/google_containers/hyperkube:v1.1.1.2 के साथ छवि को बदलने की आवश्यकता है। छवि के उस संस्करण पर ध्यान दें जो कुबेरनेट क्लस्टर के आपके संस्करण से मेल खाना चाहिए।

 vim /etc/kubernetes/manifests/kube-controller-manager.yaml 

उसके बाद, आपको क्यूब-कंट्रोलर-मैनेजर को पुनरारंभ करना होगा

 ubectl get pods -A | grep manager kube-system kube-controller-manager-master01-test 1/1 Running 0 5m54s kube-system kube-controller-manager-master02-test 1/1 Running 0 5m54s kube-system kube-controller-manager-master03-test 1/1 Running 9111 103d 

फली को स्वचालित रूप से अपडेट किया जाना चाहिए, लेकिन अगर किसी कारण से ऐसा नहीं हुआ, तो आप उन्हें मैन्युअल रूप से हटा सकते हैं, हटाने के माध्यम से।

 kubectl delete pod -n kube-system kube-controller-manager-master01-test kubectl delete pod -n kube-system kube-controller-manager-master02-test kubectl delete pod -n kube-system kube-controller-manager-master03-test 

जांचें कि सब कुछ ठीक है

 kubectl describe pod -n kube-system kube-controller-manager-master02-test | grep Image: Image: gcr.io/google_containers/hyperkube:v1.15.2 

-

भंडारण वर्ग बनाना

विधि एक - यदि आपने प्रावधान ceph.com/rbd का उपयोग किया है
हमारे संग्रहण वर्ग के विवरण के साथ एक यमल फ़ाइल बनाएं। इसके अलावा, नीचे इस्तेमाल की गई सभी फाइलें ceph डायरेक्टरी में मेरे रिपॉजिटरी में डाउनलोड की जा सकती हैं

 cat <<EOF >./storage-class.yaml kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: ceph-rbd provisioner: ceph.com/rbd parameters: monitors: 10.73.88.52:6789, 10.73.88.53:6789, 10.73.88.54:6789 pool: kube adminId: admin adminSecretNamespace: kube-system adminSecretName: ceph-admin-secret userId: kube userSecretNamespace: kube-system userSecretName: ceph-secret imageFormat: "2" imageFeatures: layering EOF 

और उसे हमारे क्लस्टर में एम्बेड करें

 kubectl apply -f storage-class.yaml 

जांचें कि सब कुछ ठीक है

 kubectl get sc NAME PROVISIONER AGE ceph-rbd ceph.com/rbd 7s 

विधि दो - यदि आपने प्रावधान kubernetes.io/rbd का उपयोग किया है
स्टोरेज-क्लास बनाएं

 cat <<EOF >./storage-class-hyperkube.yaml kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: ceph-rbd provisioner: kubernetes.io/rbd allowVolumeExpansion: true parameters: monitors: 10.73.88.52:6789, 10.73.88.53:6789, 10.73.88.54:6789 pool: kube adminId: admin adminSecretNamespace: kube-system adminSecretName: ceph-admin-secret userId: kube userSecretNamespace: kube-system userSecretName: ceph-secret imageFormat: "2" imageFeatures: layering EOF 

और उसे हमारे क्लस्टर में एम्बेड करें

 kubectl apply -f storage-class-hyperkube.yaml storageclass.storage.k8s.io/ceph-rbd created 

जांचें कि सब कुछ ठीक है

 kubectl get sc NAME PROVISIONER AGE ceph-rbd kubernetes.io/rbd 107s 

कुबेरनेट्स + सेफ़ लिगामेंट टेस्ट

Ceph + kubernetes का परीक्षण करने से पहले, आपको क्लस्टर के EVERY वर्ककोड पर ceph-common पैकेज स्थापित करना होगा।

 apt install curl apt-transport-https -y curl https://mirror.croit.io/keys/release.gpg > /usr/share/keyrings/croit-signing-key.gpg echo 'deb [signed-by=/usr/share/keyrings/croit-signing-key.gpg] https://mirror.croit.io/debian-mimic/ stretch main' > /etc/apt/sources.list.d/croit-ceph.list apt update apt install ceph-common 

एक yaml फ़ाइल PersistentVolumeClaim बनाएँ

 cat <<EOF >./claim.yaml kind: PersistentVolumeClaim apiVersion: v1 metadata: name: claim1 spec: accessModes: - ReadWriteOnce storageClassName: ceph-rbd resources: requests: storage: 1Gi EOF 

उसे मार डालो

 kubectl apply -f claim.yaml 

जांचें कि PersistentVolumeClaim बनाया गया है।

 bectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE claim1 Bound pvc-d1e47825-289c-4201-acb8-033e62a3fe81 1Gi RWO ceph-rbd 44m 

और स्वचालित रूप से PersistentVolume भी बनाया।

 kubectl get pv NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE pvc-d1e47825-289c-4201-acb8-033e62a3fe81 1Gi RWO Delete Bound default/claim1 ceph-rbd 37m 

चलो एक परीक्षण पॉड बनाते हैं जिसमें हम निर्मित पीवीसी को / mnt निर्देशिका में शामिल करते हैं। "Hello World!" पाठ के साथ इस फ़ाइल /mnt/test.txt को चलाएं।

 cat <<EOF >./create-file-pod.yaml kind: Pod apiVersion: v1 metadata: name: create-file-pod spec: containers: - name: test-pod image: gcr.io/google_containers/busybox:1.24 command: - "/bin/sh" args: - "-c" - "echo Hello world! > /mnt/test.txt && exit 0 || exit 1" volumeMounts: - name: pvc mountPath: "/mnt" restartPolicy: "Never" volumes: - name: pvc persistentVolumeClaim: claimName: claim1 EOF 

हम उसे मार देंगे और सत्यापित करेंगे कि उसने अपना कार्य पूरा कर लिया है

 kubectl apply -f create-file-pod.yaml kubectl get pods -w 

चलो स्थिति की प्रतीक्षा करें

 create-file-pod 0/1 Completed 0 16s 

चलो एक और बनाते हैं, हमारी मात्रा को उससे कनेक्ट करते हैं लेकिन पहले से ही / mnt / परीक्षण में, और उसके बाद सुनिश्चित करें कि पहली मात्रा द्वारा बनाई गई फ़ाइल जगह में है

 cat <<EOF >./test-pod.yaml kind: Pod apiVersion: v1 metadata: name: test-pod spec: containers: - name: test-pod image: gcr.io/google_containers/busybox:1.24 command: - "/bin/sh" args: - "-c" - "sleep 600" volumeMounts: - name: pvc mountPath: "/mnt/test" restartPolicy: "Never" volumes: - name: pvc persistentVolumeClaim: claimName: claim1 EOF 

रन कुबेकेल पो -w प्राप्त करें और पॉड चलने तक प्रतीक्षा करें
उसके बाद, चलो उस पर जाएं और जांचें कि वॉल्यूम जुड़ा हुआ है और हमारी फ़ाइल / mnt / परीक्षण निर्देशिका में है

 kubectl exec test-pod -ti sh cat /mnt/test/test.txt Helo world! 

अंत तक पढ़ने के लिए धन्यवाद। पोस्टिंग में देरी के लिए क्षमा करें।
मैं व्यक्तिगत संदेश या सामाजिक नेटवर्क में सभी सवालों के जवाब देने के लिए तैयार हूं जो मेरे प्रोफ़ाइल पर इंगित किए गए हैं।
अगले छोटे प्रकाशन में मैं आपको बताऊंगा कि बनाए गए सीफ क्लस्टर के आधार पर एस 3 स्टोरेज को कैसे तैनात किया जाए, और फिर पहले प्रकाशन से योजना के अनुसार।

प्रकाशन के लिए प्रयुक्त सामग्री

• आधिकारिक सिफ दस्तावेज़
• पेश है तस्वीरों में सेफ रिपॉजिटरी
• Kubernetes आधिकारिक दस्तावेज
• कुबेरनेट्स-इनक्यूबेटर / बाहरी-भंडारण
• नमूना फ़ाइलों के साथ kubernetes-ceph-percona भंडार