LINSTOR रिपॉजिटरी और OpenNebula के साथ इसका एकीकरण

बहुत पहले नहीं, LINBIT लोगों ने अपना नया SDS समाधान - Linstor प्रस्तुत किया। यह सिद्ध प्रौद्योगिकियों के आधार पर एक पूरी तरह से मुफ्त भंडारण है: DRBD, LVM, ZFS। लिनस्टॉर सादगी और एक अच्छी तरह से डिजाइन की गई वास्तुकला को जोड़ती है, जो स्थिरता और प्रभावशाली परिणामों के लिए अनुमति देता है।

आज मैं आपको इसके बारे में थोड़ा और बताना चाहता हूं और यह बताना चाहता हूं कि एक नया ड्राइवर, जो इस उद्देश्य के लिए विशेष रूप से विकसित किया गया था, मैं linstor_un का उपयोग करके OpenNebula के साथ एकीकृत किया जा सकता है।

ओपननेब्यूला के साथ संयोजन में लिनस्टोर आपको एक तेज़ और विश्वसनीय क्लाउड बनाने की अनुमति देता है जिसे आसानी से अपने स्वयं के बुनियादी ढांचे पर तैनात किया जा सकता है।

लाइनस्टर आर्किटेक्चर

Linstor न तो एक फाइल सिस्टम है और न ही प्रति ब्लॉक रिपॉजिटरी है; Linstor एक ऑर्केस्ट्रेटर है जो एक अमूर्त परत प्रदान करता है जो LVM या ZFS में वॉल्यूम क्रिएशन को स्वचालित करता है और DRBD9 का उपयोग करके उनकी प्रतिकृति बनाता है।

टूटती हुई रूढ़ियाँ

लेकिन रुको, DRBD? "यह क्यों स्वचालित है, और यह कैसे भी काम कर सकता है?"

उस समय को याद करें जब DRBD8 लोकप्रिय था। इसके मानक उपयोग ने एक बड़े ब्लॉक डिवाइस के निर्माण और एक ही LVM का उपयोग करके इसे कई छोटे टुकड़ों में काट दिया। एक प्रकार का mdadm RAID -1 लेकिन नेटवर्क पर प्रतिकृति के साथ।

यह दृष्टिकोण कमियों के बिना नहीं है, और इसलिए, DRBD9 के आगमन के साथ, भंडारण निर्माण के सिद्धांत बदल गए हैं, अब प्रत्येक वर्चुअल मशीन के लिए एक अलग DRBD डिवाइस बनाया गया है।

स्वतंत्र ब्लॉक उपकरणों के साथ दृष्टिकोण आपको क्लस्टर में स्थान का बेहतर उपयोग करने की अनुमति देता है, और कई अतिरिक्त सुविधाओं को भी जोड़ता है। उदाहरण के लिए, इस तरह के प्रत्येक उपकरण के लिए, आप प्रतिकृतियों की संख्या, उनके स्थान और व्यक्तिगत सेटिंग्स को निर्धारित कर सकते हैं। वे बनाने / हटाने, स्नैपशॉट बनाने, आकार बदलने, एन्क्रिप्शन सक्षम करने और बहुत कुछ करने में आसान हैं। यह ध्यान देने योग्य है कि DRBD9 कोरम का भी समर्थन करता है, जो विभाजित मस्तिष्क स्थितियों से बचा जाता है।

संसाधन और बैकएंड

एक नया ब्लॉक डिवाइस बनाते हुए, लाइनस्टर क्लस्टर में विभिन्न नोड्स पर प्रतिकृतियों की आवश्यक संख्या रखता है। हम प्रत्येक ऐसी प्रतिकृति को DRBD संसाधन कहेंगे।

संसाधन दो प्रकार के होते हैं:

• डेटा संसाधन - एक LVB या ZFS पूल में नोड पर स्थित DRBD डिवाइस है।
  फिलहाल कई बैकएंड के लिए समर्थन है और उनकी संख्या लगातार बढ़ रही है। LVM, ThinLVM और ZFS के लिए समर्थन है। अंतिम दो आपको स्नैपशॉट बनाने और उपयोग करने की अनुमति देते हैं।
• डिस्कलेस-रिसोर्स - एक डीआरबीडी-डिवाइस है जो बिना बैकएंड के नोड पर स्थित है, लेकिन इसे सामान्य ब्लॉक डिवाइस की तरह व्यवहार करने की अनुमति है, सभी रीड / राइट ऑपरेशन को डेटा-संसाधनों पर पुनर्निर्देशित किया जाएगा। डिस्क रहित संसाधनों के सबसे करीब आईकेएसआई लून है।

प्रत्येक DRBD संसाधन में 8 प्रतिकृतियां हो सकती हैं, और उनमें से केवल एक डिफ़ॉल्ट रूप से सक्रिय हो सकती है - प्राथमिक , बाकी सभी माध्यमिक होंगे और उनका उपयोग तब तक असंभव होगा जब तक कि कम से कम एक प्राथमिक नहीं होता है, अर्थात वे केवल दोहराएंगे आपके बीच डेटा।

DRBD डिवाइस को सिस्टम में बढ़ते समय, यह स्वचालित रूप से प्राथमिक हो जाता है, इसलिए DRBD शब्दावली में डिस्कलेस संसाधन भी प्राथमिक हो सकता है।

तो हमें Linstor की आवश्यकता क्यों है?

कर्नेल के लिए सभी संसाधन-गहन कार्यों पर भरोसा करते हुए, लिनस्टॉर अनिवार्य रूप से एक नियमित जावा एप्लिकेशन है जो DRBD संसाधनों के निर्माण को स्वचालित करना आसान बनाता है।
इसके अलावा, उसके द्वारा बनाया गया प्रत्येक संसाधन एक स्वतंत्र DRBD क्लस्टर होगा जो नियंत्रण विमान और अन्य DRBD संसाधनों की स्थिति की परवाह किए बिना स्वतंत्र रूप से काम करता है।

लाइनस्टर में केवल दो घटक होते हैं:

• Linstor-नियंत्रक - मुख्य नियंत्रक जो संसाधन बनाने और प्रबंधित करने के लिए API प्रदान करता है। वह उपग्रहों के साथ संचार करता है, उन पर मुक्त स्थान की जाँच करता है, और नए संसाधनों को बनाने और हटाने के लिए कार्य भेजता है। यह एक एकल उदाहरण में चलता है और एक डेटाबेस का उपयोग करता है, जो या तो आंतरिक (H2) या बाहरी (PostgreSQL, MySQL, MariaDB) हो सकता है
• लिनस्टोर-उपग्रह - सभी स्टोरेज नोड्स पर स्थापित किया गया है और नियंत्रक को मुफ्त स्थान के बारे में जानकारी प्रदान करता है, और उनके ऊपर नए वॉल्यूम और DRBD उपकरणों को बनाने और हटाने के लिए नियंत्रक से प्राप्त कार्यों को भी करता है।

लाइनस्टर निम्नलिखित प्रमुख अवधारणाओं के साथ काम करता है:

• नोड एक भौतिक सर्वर है जिस पर DRBD संसाधनों का निर्माण और उपयोग किया जाएगा।
• स्टोरेज पूल - LVM या ZFS पूल एक नोड पर बनाया गया है जिसमें DRBD संसाधनों को रखा जाएगा। एक डिस्क रहित पूल भी संभव है - यह एक ऐसा पूल है जिसमें केवल डिस्कलेस संसाधनों की मेजबानी की जाएगी।
• संसाधन परिभाषा - एक संसाधन परिभाषा अनिवार्य रूप से एक प्रोटोटाइप है जो नाम और उसके सभी गुणों का वर्णन करती है।
• वॉल्यूम परिभाषा - वॉल्यूम परिभाषा । प्रत्येक संसाधन में कई वॉल्यूम हो सकते हैं, प्रत्येक वॉल्यूम का एक आकार होना चाहिए।
• संसाधन - एक ब्लॉक डिवाइस का एक निर्मित उदाहरण, प्रत्येक संसाधन को एक विशिष्ट नोड पर और कुछ भंडारण पूल में स्थित होना चाहिए।

Linstor स्थापित करें

मैं उबंटू को सिस्टम के रूप में उपयोग करने की सलाह देता हूं इसके लिए तैयार पीपीए है:

add-apt-repository ppa:linbit/linbit-drbd9-stack apt-get update 

या डेबियन, जहां लिन्स्टर को प्रॉक्सॉक्स के लिए आधिकारिक भंडार से स्थापित किया जा सकता है:

 wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add - PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > \ /etc/apt/sources.list.d/linbit.list apt-get update 

नियंत्रक

यहाँ सब कुछ सरल है:

 apt-get install linstor-controller linstor-client systemctl enable linstor-controller systemctl start linstor-controller 

भंडारण नोड्स

वर्तमान में, इन-ट्री DRBD8 कर्नेल मॉड्यूल लिनक्स कर्नेल में आपूर्ति की जाती है, दुर्भाग्य से यह हमारे अनुरूप नहीं है और हमें DRBD9 स्थापित करने की आवश्यकता है :

 apt-get install drbd-dkms 

जैसा कि अभ्यास से पता चलता है, DRBD8 मॉड्यूल सिस्टम में लोड किया गया है, न कि DRBD9, क्योंकि अधिकांश कठिनाइयाँ ठीक होती हैं। सौभाग्य से, यह करना आसान है:

 modprobe drbd cat /proc/drbd 

यदि आप संस्करण देखते हैं : 9 - तो सब कुछ ठीक है, यदि संस्करण: 8 - तो कुछ गलत हो गया और आपको कारणों का पता लगाने के लिए अतिरिक्त कदम उठाने की आवश्यकता है।

अब लिन्स्टर-सैटेलाइट और ड्रब-बर्तन स्थापित करें:

 apt-get install linstor-satellite drbd-utils systemctl enable linstor-satellite systemctl start linstor-satellite 

क्लस्टर निर्माण

भंडारण पूल और नोड्स

हम ThinLVM को बैकएंड के रूप में लेंगे यह सबसे सरल है और स्नैपशॉट का समर्थन करता है।
यदि आपने पहले से ऐसा नहीं किया है तो lvm2 स्थापित करें और हमारे सभी स्टोरेज नोड्स पर एक ThinLVM पूल बनाएँ:

 sudo vgcreate drbdpool /dev/sdb sudo lvcreate -L 800G -T drbdpool/thinpool 

सभी आगे की कार्रवाई सीधे नियंत्रक पर की जा सकती है:

हमारे नोड्स जोड़ें:

 linstor node create node1 127.0.0.11 linstor node create node2 127.0.0.12 linstor node create node3 127.0.0.13 

भंडारण पूल बनाएँ:

 linstor storage-pool create lvmthin node1 data drbdpool/thinpool linstor storage-pool create lvmthin node2 data drbdpool/thinpool linstor storage-pool create lvmthin node3 data drbdpool/thinpool 

अब बनाए गए पूलों की जाँच करें:

 linstor storage-pool list 

यदि सब कुछ सही ढंग से किया जाता है, तो हमें कुछ इस तरह देखना चाहिए:

  + ------------------------------------------------- -------------------------------------------------- ---- +
 |  भंडारणपूल |  नोड |  ड्राइवर |  पूलनाम |  FreeCapacity |  सम्पूर्णता |  सपोर्ट्सनैपशॉट्स |
 | ------------------------------------------------- -------------------------------------------------- ---- |
 |  डेटा |  नोड 1 |  LVM_THIN |  drbdpool / thinpool |  64 GiB |  64 GiB |  सच |
 |  डेटा |  नोड 2 |  LVM_THIN |  drbdpool / thinpool |  64 GiB |  64 GiB |  सच |
 |  डेटा |  नोड 3 |  LVM_THIN |  drbdpool / thinpool |  64 GiB |  64 GiB |  सच |
 + ------------------------------------------------- -------------------------------------------------- ---- + 

DRBD संसाधन

अब हम अपने नए DRBD संसाधन बनाने की कोशिश करते हैं:

 linstor resource-definition create myres linstor volume-definition create myres 1G linstor resource create myres --auto-place 2 

आइए बनाए गए संसाधनों की जाँच करें:

 linstor volume list 

  + ------------------------------------------------- -------------------------------------------------- --- +
 |  नोड |  संसाधन |  भंडारणपूल |  वॉल्यूमनार |  MinorNr |  डिवाइसनेम |  आबंटित |  InUse |  राज्य |
 | ------------------------------------------------- -------------------------------------------------- ---
 |  नोड 1 |  मायरे |  डेटा |  0 |  1084 |  / देव / drbd1084 |  52 KiB |  अप्रयुक्त |  UpToDate |
 |  नोड 2 |  मायरे |  डेटा |  0 |  1084 |  / देव / drbd1084 |  52 KiB |  अप्रयुक्त |  UpToDate |
 + ------------------------------------------------- -------------------------------------------------- --- + 

बहुत बढ़िया! - हम देखते हैं कि संसाधन पहले दो नोड्स पर बनाया गया था, हम तीसरे पर एक डिस्क रहित संसाधन बनाने की कोशिश कर सकते हैं:

 linstor resource create --diskless node3 myres 

नोड्स पर आपको यह उपकरण हमेशा /dev/drbd1084 या /dev/drbd/by-res/myres/0 /dev/drbd1084 /dev/drbd/by-res/myres/0

यह कैसे Linstor काम करता है, आप आधिकारिक प्रलेखन से अधिक जानकारी प्राप्त कर सकते हैं।

अब मैं इस बारे में बात करूंगा कि इसे ओपनब्यूला के साथ कैसे एकीकृत किया जाए

OpenNebula कॉन्फ़िगर करें

मैं OpenNebula की स्थापना की प्रक्रिया में गहराई तक नहीं जाऊंगा, जैसा कि सभी चरणों को आधिकारिक प्रलेखन में विस्तार से वर्णित किया गया है, जिसे मैं आपको चालू करने की सलाह देता हूं, मैं आपको केवल लाइनस्टोर के साथ ओपननेब्यूला के एकीकरण के बारे में बताता हूं।

linstor_un

इस समस्या को हल करने के लिए, मैंने अपना खुद का ड्राइवर लिखा- linstor_un , फिलहाल यह प्लग-इन के रूप में उपलब्ध है और इसे अलग से इंस्टॉल किया जाना चाहिए।

सभी इंस्टॉलेशन को फ्रंटएंड ओपननेब्यूला-नोड्स पर किया जाता है और गणना-नोड्स पर अतिरिक्त क्रियाओं की आवश्यकता नहीं होती है।

सबसे पहले, हमें यह सुनिश्चित करने की आवश्यकता है कि हमारे पास jq और linstor-client है :

 apt-get install jq linstor-client 

linstor node list कमांड को नोड्स को सूचीबद्ध करना चाहिए। OpenNebula के सभी कंप्यूट नोड्स को Linstor क्लस्टर में जोड़ा जाना चाहिए।

प्लगइन डाउनलोड और इंस्टॉल करें:

 curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/ mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un rm -rf /tmp/addon-linstor_un-master 

अब हमें इसे OpenNebula config में जोड़ने की आवश्यकता है, इसके लिए हम यहाँ वर्णित सरल चरणों का पालन करते हैं ।

फिर OpenNebula को पुनरारंभ करें:

 systemctl restart opennebula 

और हमारे डेटास्टोर्स सिस्टम को जोड़ें:

 cat > system-ds.conf <<EOT NAME="linstor-system" TYPE="SYSTEM_DS" STORAGE_POOL="data" AUTO_PLACE="2" CLONE_MODE="snapshot" CHECKPOINT_AUTO_PLACE="1" BRIDGE_LIST="node1 node2 node3" TM_MAD="linstor_un" EOT onedatastore create system-ds.conf 

और छवि भंडारण:

 cat > images-ds.conf <<EOT NAME="linstor-images" TYPE="IMAGE_DS" STORAGE_POOL="data" AUTO_PLACE="2" BRIDGE_LIST="node1 node2 node3" DISK_TYPE="BLOCK" DS_MAD="linstor_un" TM_MAD="linstor_un" EOT onedatastore create images-ds.conf 

• AUTO_PLACE पैरामीटर उन डेटा प्रतिकृतियों की संख्या प्रदर्शित करता है जो OpenNebula में प्रत्येक नई छवि के लिए बनाई जाएंगी।
• CLONE_MODE पैरामीटर इंगित करता है कि नई वर्चुअल मशीन बनाते समय छवियों को कैसे क्लोन किया जाएगा, snapshot - छवि का एक स्नैपशॉट बनाएगा और स्नैपशॉट से एक वर्चुअल मशीन को तैनात करेगा, प्रत्येक वर्चुअल मशीन के लिए छवि की एक पूरी प्रतिलिपि बना देगा।
• BRIDGE_LIST उन सभी नोड्स को निर्दिष्ट करने की अनुशंसा करता है जिनका उपयोग छवि क्लोनिंग ऑपरेशन करने के लिए किया जाएगा।

README परियोजना में समर्थित मापदंडों की पूरी सूची दी गई है।

इस सेटअप के पूर्ण होने पर, अब आप आधिकारिक OpenNebula Marketplace से कुछ उपकरण डाउनलोड कर सकते हैं और उससे वर्चुअल मशीन बना सकते हैं।

प्रोजेक्ट का लिंक