शीपडॉग एक स्केलेबल सिस्टम है जो वर्चुअल मशीनों को वितरित ब्लॉक डिवाइस प्रदान करता है। इसका विकास 2009 में जापानी कंपनी निप्पॉन टेलीग्राफ और टेलीफोन कॉर्पोरेशन के डेवलपर्स ने शुरू किया। शीपडॉग GPL2 लाइसेंस के तहत एक ओपन सोर्स एप्लिकेशन है। नवीनतम संस्करण 0.9.3, नवंबर 2015 में जारी किया गया, व्यावसायिक उपयोग ¹ के लिए उपयुक्त संस्करण 1.0 की विरासत होगी । (पहले ही बन गया है - लगभग।)

रुचि के लिए, अगस्त 2010 में डेवलपर्स द्वारा पहला संस्करण (0.1.0) जारी किया गया था - और साथ ही, मुख्य QEMU विकास शाखा में भेड़ की खाल का समर्थन तुरंत शामिल किया गया था।
एक भेड़ के बच्चे पर पहला परीक्षण नवंबर 2011 ² में आयोजित किया गया था और परिणाम I / O संचालन के लिए अच्छे थे। हालांकि, तब भेड़दोग तंत्र को अभी भी गिरी हुई नोड की बहाली के साथ समस्या थी। यह समस्या शायद जल्द ही हल हो गई थी, क्योंकि अनुप्रयोग विकास बहुत जीवंत है, लेकिन उस समय मैंने एक अलग समाधान का उपयोग किया।

संभावनाएं

प्रकाशित प्रस्तुति में शीपडॉग के कार्य सिद्धांत का बहुत अच्छी तरह से वर्णन किया गया है, इसलिए मैं खुद को सिर्फ एक संक्षिप्त अवलोकन तक सीमित रखूंगा।

यह स्केलेबल है
क्लस्टर वॉल्यूम को नोड स्तर पर मनमाने ढंग से बढ़ाया जा सकता है, जिससे ऑपरेशन के दौरान डेटा के लिए क्षमता और स्थान बढ़ जाता है और नोड्स की संख्या बढ़ जाती है। अधिक नोड्स, VDI I / O का प्रदर्शन जितना अधिक होगा।

वह सरल है
CEPH जैसे अन्य प्रणालियों के विपरीत, भेड़ का बच्चा सीधे फ़ाइल सिस्टम के साथ काम नहीं करता है, लेकिन निश्चित आकार के ब्लॉक के साथ काम करता है, इसलिए, मेटाडेटा की सेवा के लिए अलग-अलग डेमों की आवश्यकता नहीं होती है। सभी नियंत्रण एक कुत्ते के उपकरण का उपयोग करके किया जाता है जो सीधे भेड़ के साथ संवाद करता है
(ceph भी ऑब्जेक्ट्स का उपयोग करता है - लगभग।)

गिरे हुए नोड की गणना करता है
प्रत्येक VDI में ये ब्लॉक (ऑब्जेक्ट्स) होते हैं, जिन्हें एक साथ कई नोड्स में दोहराया जाता है, इसलिए, यदि उनमें से एक गिरता है, तो डेटा उपलब्ध रहता है, और गिरी हुई नोड्स से ऑब्जेक्ट दूसरे नोड को दोहराने लगते हैं।

ब्लॉक डिवाइस स्नैपशॉट का समर्थन करता है
शीपडॉग स्नैपशॉट Btrfs के समान ही काम करते हैं। संलग्न VDI ब्लॉक सहेजे जाते हैं, और नए डेटा को नए ब्लॉक में लिखा जाता है।

निम्नलिखित कार्य कुछ परिस्थितियों में समस्याग्रस्त हो सकते हैं:

शीपडॉग SPOF का समर्थन नहीं करता है
यदि VDI को QEMU के माध्यम से एक ब्लॉक डिवाइस के रूप में उपयोग किया जाता है, तो कई स्थानों पर एक ही समय में कनेक्ट होने पर समस्या उत्पन्न हो सकती है। SPOF ³ इसे रोक सकता था। शीपडॉग नहीं है। हालांकि, मेंढक के नए संस्करण में, वीडीआई को अवरुद्ध किया जा सकता है ताकि एक से अधिक कनेक्शन की अनुमति न हो।

डेटा ऑब्जेक्ट का जीवन चक्र
VDI ऑब्जेक्ट तभी डिलीट किए जा सकते हैं जब उनके साथ जुड़े सभी क्लोन और स्नैपशॉट डिलीट हो जाएं। यह बिलकुल Btrfs की तरह ही है। इसलिए, अप्रयुक्त स्नैपशॉट को हटाने से भंडारण के लिए जगह बनाने के लिए पर्याप्त नहीं हो सकता है।

संचार डेमॉन

सेफड या ग्लस्टरएफएस की तुलना में भेड़ का बच्चा हास्यास्पद रूप से छोटा है। ऐसा इसलिए है क्योंकि वह सभी समस्याओं को स्वयं हल करने की कोशिश नहीं करता है, लेकिन पहले से ही काम कर रहे अधिकतम का उपयोग करता है।

बदले में, यह एक ब्लॉक डिवाइस प्रदान करता है जिसका उपयोग भौतिक डिस्क के रूप में किया जा सकता है, साथ ही साथ सॉफ्टवेयर छापे आदि।

यह केवल उन नोड्स के बीच डेटा ऑब्जेक्ट के वितरण के बारे में परवाह करता है जिस पर वह चल रहा है।

हालांकि, उसे उस जानकारी की आवश्यकता है जो संचार डेमोन प्रदान करता है - एक प्रमुख घटक जिसके बिना शीपडॉग काम नहीं करेगा।

संचार डेमॉन - नोड्स के बीच डेटा का आदान-प्रदान करने की क्षमता प्रदान नहीं करता है। यह भेड़ के राक्षस कर रहे हैं। इसके माध्यम से, भेड़ों का केवल पता चलता है कि वर्तमान में कौन से नोड जीवित हैं।

corosync

सबसे पहले, शीपडॉग मानता है कि नोड्स कोरोसिंक के माध्यम से एक दूसरे के साथ संवाद करेंगे। यह 64 नोड तक का समर्थन करता है, हालांकि सैद्धांतिक रूप से इसे अधिक सेवा देने में सक्षम होना चाहिए, इसका उपयोग 16 नोड्स तक के छोटे समूहों के लिए इष्टतम है।

आमतौर पर, corosync पेसमेकर का भी उपयोग करता है, इसलिए कुछ और स्थापित करने की आवश्यकता नहीं है।

डेबियन पर corosync स्थापित करें

Corosync वितरण रिपॉजिटरी में है, और इसकी स्थापना सरल है:

$ apt-get install corosync libcorosync-common4

Corosync सेटअप

चिड़ियाघर संचालक

शीपडॉग डेवलपर्स बड़े समूहों के लिए ज़ुकीपर के उपयोग की सलाह देते हैं। डेवलपर्स के अनुसार, 1000 नोड्स के साथ एक भेड़दोग परीक्षण भंडारण ⁴ बनाया और परीक्षण किया गया था ।

डेबियन पर ज़ुकीपर स्थापित करें

 $ apt-get install zookeeper zookeeperd

डेमॉन लॉन्चिंग ।।

 $ /usr/share/zookeeper/bin/zkServer.sh start

डिफ़ॉल्ट पोर्ट जिस पर ज़ुकीपर चलता है 2181 है

Zookeeper समर्थन के साथ चल रहा है:

 $ sheep -c zookeeper:IP1:PORT1,IP2:PORT2,IP3:PORT3 ...other...option...

ज़ुकीपर का बोनस यह है कि उसके मामले में, भेड़ का बच्चा नोड्स का एक स्पष्ट और आसान विन्यास है, लेकिन एक समस्या है कि डेबियन इंस्टॉलेशन पैकेज में इसका समर्थन शामिल नहीं है।

इसलिए, ज़ुकीपर समर्थन के साथ एक भेड़ का बच्चा पाने के लिए, आपको इसे स्रोत कोड से संकलित करना होगा। हालाँकि मैं इस बात से इंकार नहीं कर सकता कि वर्तमान में स्थिति अलग हो सकती है।
(ज़ुकीपर समर्थन को अभी भी स्रोत से संकलन की आवश्यकता है - लगभग।)

भेड़ डेमन की स्थापना

नोड भेड़पालक का हिस्सा बन जाता है जब ऑब्जेक्ट मैनेजर, भेड़ डेमॉन, शुरू होता है। यह हमेशा दो प्रतियों में काम करता है:

प्रक्रिया का पहला उदाहरण एक प्रवेश द्वार के रूप में शुरू होता है, जो क्लाइंट से I / O अनुरोध प्राप्त करता है (उदाहरण के लिए, QEMU ब्लॉक उपकरणों के ड्राइवरों से), लक्ष्य नोड्स की गणना करता है और उनके बीच आगे की प्रक्रिया के लिए अनुरोध भेजता है। यही है, यह कई नेटवर्क कनेक्शन स्थापित करता है।
एक अन्य स्थानीय वस्तु प्रबंधक ( ऑब्जेक्ट मैनेजर ) के रूप में काम करता है

भेड़ डेमन कॉन्फ़िगरेशन पैरामीटर रनटाइम पर कमांड लाइन तर्क के रूप में पारित किए जा सकते हैं। यदि कोई नहीं है, तो डिफ़ॉल्ट मानों का उपयोग किया जाएगा, जिसके साथ आपको सावधान रहना चाहिए:

पोर्ट नंबर
जब तक अन्यथा निर्दिष्ट नहीं किया जाता है, भेड़ का डेमॉन पोर्ट 7000 पर चलता है

तिजोरी का रास्ता
जब तक अन्यथा निर्दिष्ट नहीं किया जाता है, shep निर्देशिका / var / lib / sheepdog निर्देशिका का उपयोग करती है, और VDI ऑब्जेक्ट्स को इसके obj उपनिर्देशिका में संग्रहीत किया जाता है।

सैद्धांतिक रूप से, कुछ भी भेड़ के कई उदाहरणों को एक नोड पर काम करने से रोकता है - मुख्य शर्त यह है कि हर कोई अपने पोर्ट नंबर और अपने स्वयं के भंडारण का उपयोग करता है। नोड के आईपी पते का मुद्दा लगभग हल हो गया है। एक अलग बंदरगाह पर चलने वाले भेड़ डेमन का प्रत्येक चल उदाहरण स्वचालित रूप से एक मौजूदा क्लस्टर से जुड़ जाएगा!

महत्वपूर्ण जानकारी यह है कि पोर्ट नंबर VDI कंटेनर के कॉन्फ़िगरेशन का हिस्सा है। आपको यह जानना होगा कि क्या आप मौजूदा क्लस्टर के दूसरे पोर्ट पर चलने के लिए भेड़ डेमोन को फिर से कॉन्फ़िगर करना चाहते हैं।

इसलिए, यदि आप एक अलग पोर्ट नंबर के साथ भेड़ के डेमॉन का एक उदाहरण चलाते हैं , लेकिन ऑब्जेक्ट स्टोर के लिए समान पथ के साथ, आप मौजूदा VDI कंटेनरों में जानकारी खो सकते हैं।

एक प्रवेश द्वार के रूप में राक्षस भेड़

उन मशीनों पर जिनमें VDI ऑब्जेक्ट्स के लिए स्टोरेज स्पेस नहीं है, भेड़-बकरियों को -G फ्लैग के साथ गेटवे मोड में विशेष रूप से चलाया जा सकता है।

इस मामले में, VDI ऑब्जेक्ट्स को वितरित करते समय, स्थानीय भंडारण का उपयोग बिल्कुल नहीं किया जाएगा, और डेटा सीधे अन्य नोड्स में वितरित किया जाएगा।

एक वस्तु प्रबंधक के रूप में भेड़ दानव

दूसरा चल रहा उदाहरण, स्थानीय ऑब्जेक्ट प्रबंधक के रूप में कार्य करता है, गेटवे के रूप में शुरू होने वाले उदाहरण से I / O अनुरोध प्राप्त करता है, और स्थानीय ऑब्जेक्ट स्टोरेज ( ऑब्जेक्ट स्टोरेज ) में r / w संचालन करता है

वस्तु भंडारण

डिफ़ॉल्ट रूप से, भेड़दोग में VDI वस्तुओं के लिए भंडारण निर्देशिका /var/lib/sheepdog/obj , जिसका उपयोग भेड़ डेमॉन द्वारा अपनी आंतरिक निर्देशिका संरचना के भाग के रूप में भी किया जाता है - यह डिफ़ॉल्ट भंडारण पथ है।

यदि आप चाहते हैं कि VDI ऑब्जेक्ट्स को कहीं और संग्रहीत किया जाए, तो आप उस पथ को पास कर सकते हैं जहां स्टार्टअप पर एक अन्य ब्लॉक डिवाइस को पैरामीटर के रूप में रखा गया है।

 sheep ... /cesta_do_přípojného_bodu

संप्रेषित करने के और भी तरीके हैं। शीपडॉग का नया संस्करण तथाकथित मल्टी-डिवाइस तकनीक का समर्थन करता है, जो आपको भेड़चाल को पुनः आरंभ करने के बिना, यदि आवश्यक हो, तो मेमोरी क्षमता को गतिशील रूप से बढ़ाने की अनुमति देता है। भंडारण क्षमता बढ़ाना Btrfs के समान काम करता है।

 sheep ... /cesta_do_A,/cesta_do_B,/cesta_do_C

(निर्दिष्ट पहली निर्देशिका केवल मेटाडेटा के लिए उपयोग की जाएगी - लगभग)

डॉग नोड md के जरिए अतिरिक्त स्टोरेज को भी जोड़ा (या हटाया) जा सकता है

...

मल्टी-डिवाइस द्वारा पेश की जाने वाली कार्यक्षमता विशेष रूप से उपयोगी होती है जब स्टोरेज फाइल सिस्टम "डिजाइन द्वारा" (Btrfs या FFS के विपरीत) का समर्थन नहीं करता है। सामान्य तौर पर, वस्तुओं, उनके गुणों, मापदंडों और सेटिंग्स को संग्रहीत करने के लिए एक फ़ाइल सिस्टम का विकल्प एक आभासी मशीन के IO फ़ाइल सिस्टम के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित कर सकता है।

मल्टी-डिवाइस तकनीक के लिए फ़ाइल पक्ष पर उन्नत विशेषताओं की आवश्यकता होती है, जो कि आधुनिक फाइल सिस्टम जैसे कि btrfs ^{5 के} लिए कोई समस्या नहीं है या ext4। लेकिन कुछ पुराने फ़ाइल सिस्टम जैसे reiserfs या ext2 ⁶ उनका समर्थन मत करो।

यदि आप एक फ़ाइल सिस्टम का उपयोग करना चाहते हैं जो ऑब्जेक्ट्स को संग्रहीत करने के लिए विस्तारित विशेषताओं का समर्थन नहीं करता है, तो हमें मल्टी-डिवाइस समर्थन के बिना भेड़दोग को संकलित करने की आवश्यकता है।

भंडारण प्रकार - सादे बनाम पेड़

अन्य विकल्पों में से, क्लस्टर बनाते समय, आप भंडारण के प्रकार (बैकएंड स्टोरेज) को निर्दिष्ट कर सकते हैं। आप प्रकार को सादे या पेड़ पर सेट कर सकते हैं। एक सादे प्रकार के लिए, निर्देशिका संरचना इस तरह दिखाई देगी:

 | |- obj | |- <id > | | |-< > | | |-< > | | |-< > | | |- ... | |- <id  > | | ... |- config [] |- epoch | |- < > | |- < > | |- ... |- journal \- sheep.log []

obj निर्देशिका में सभी VDI ऑब्जेक्ट्स को एक उपनिर्देशिका में भेजा जाएगा, जिसका नाम वर्तमान युग के पहचानकर्ता पर आधारित है। यही है, प्रत्येक युग के लिए, संबंधित VDI वस्तुओं को अलग से संग्रहीत किया जाएगा। हालांकि, एक युग के दौरान, निर्देशिका में बड़ी संख्या में VDI ऑब्जेक्ट दिखाई दे सकते हैं, जो बाद में फ़ाइलों तक पहुंच को धीमा कर देते हैं। इसलिए, आप दूसरा विकल्प चुन सकते हैं, जो पेड़ है :

 |- obj | |- aa | | |-< > | | |-< > | | |-< > | | |- ... | |- ab | | ... | |- meta | | |- < > | | |- ... | |- 0a | | ... |- config [] |- epoch | |- < > | |- < > | |- ... \- sheep.log []

इस प्रकार के भंडारण में, भेड़ डेमन 0a, ..., 99 साथ उप-निर्देशिकाओं का एक सेट बनाता है 0a, ..., 99 जो obj डायरेक्टरी में 0a, ..., 99 है, और फिर VDI आईडी के अंतिम दो वर्णों के आधार पर वस्तुओं को 0a, ..., 99 , जो न केवल प्रत्येक VDI कंटेनर के लिए, बल्कि इसके स्नैपशॉट के लिए भी अद्वितीय है। क्लोन।

VDI ऑब्जेक्ट नाम

जब भेड़दोग VDI कंटेनर में डेटा बचाता है, तो फ़ाइलें obj डेटा स्टोर में दिखाई देने obj , प्रत्येक का अपना नाम कई तत्वों से युक्त होगा:

 ../obj/8f/00e8b18f00000005 ^^

पहले दो वर्ण वस्तु के प्रकार को दर्शाते हैं। डेटा ऑब्जेक्ट 00... और मेटाडेटा (जो किसी अन्य निर्देशिका में संग्रहीत किए जा सकते हैं) 80...

 ../obj/8f/00e8b18f00000005 ^^^^^^

इसके बाद VDI आता है। यह न केवल प्रत्येक कंटेनर के लिए, बल्कि इसके स्नैपशॉट या क्लोन के लिए भी अद्वितीय है।

 ../obj/8f/00e8b18f00000005 ^^ ^^

VDI पहचानकर्ता के अंतिम दो अंक इंगित करते हैं - पेड़ के भंडारण के प्रकार के मामले में - जिसमें वह उपनिर्देशिका है जिसके अंतर्गत वस्तु स्थित है।

 ../obj/8f/00e8b18f00000005 ^^^^^^^^

और हेक्साडेसिमल में VDI कंटेनर की पहचानकर्ता VDI कंटेनर में ऑब्जेक्ट के सीरियल नंबर के बाद है

युग

epoch उपनिर्देशिका में epoch से संबंधित वस्तुओं की द्विआधारी सूची शामिल है। हर बार, प्रत्येक क्लस्टर में परिवर्तन होने पर - जब एक नोड जोड़ा जाता है या हटा दिया जाता है, तो युग संख्या बढ़ जाती है। इस तरह के प्रत्येक परिवर्तन से वसूली प्रक्रिया शुरू होती है, जिसके दौरान नोड्स पर स्थानीय वस्तुओं की वर्तमान स्थिति की जांच की जाएगी, जिसके बाद युग में वृद्धि होगी।

इष्टतम VDI ऑब्जेक्ट स्टोरेज कैसे चुनें

उपलब्ध संग्रहण क्षमता की गणना नोड्स पर मुक्त स्थान के आधार पर की जाती है। भेड़ द्वारा चुना गया स्थान हमेशा इस बात पर निर्भर करता है कि ब्लॉक डिवाइस में कितनी जगह उपलब्ध है जहां VDI ऑब्जेक्ट्स संग्रहीत हैं।

VDI कंटेनर का आकार सिर्फ एक आभासी आकार है जो किसी भी तरह से संबंधित नहीं है कि VDI ऑब्जेक्ट्स कितनी जगह पर हैं। यह जानना महत्वपूर्ण है कि एक समूह में भेड़ का बच्चा डेटा कैसे संसाधित करता है:

शीपडॉग हमेशा युग की सभी मशीनों के बीच समान रूप से डेटा स्टोर करने की कोशिश करते हैं।

इसका मतलब यह है कि यदि नोड्स में से एक गिरता है, तो युग बदल जाता है और शीपडॉग तुरंत वसूली प्रक्रिया शुरू करता है, यह नुकसान की भरपाई करने के लिए शेष नोड्स पर लापता VDI वस्तुओं का निर्माण करेगा।

एक नया नोड जोड़ते समय एक समान स्थिति उत्पन्न होगी। शीपडॉग VDI ऑब्जेक्ट्स को समान रूप से नए नोड्स से उसके रिपॉजिटरी में ले जाना शुरू कर देगा, ताकि नोड्स पर डेटा स्पेस का प्रतिशत भरना यथासंभव संतुलित हो। अपने नोड्स पर वर्तमान में कितना स्थान उपयोग किया जाता है, इसका वैश्विक अवलोकन प्राप्त करने के लिए निम्नलिखित कमांड का उपयोग करें:

 nod1 ~ # collie node md info -A Id Size Used Avail Use% Path Node 0: 0 1.1 TB 391 GB 720 GB 35% /local/sheepdog-data/obj Node 1: 0 702 GB 394 GB 307 GB 56% /local/sheepdog-data/obj Node 2: 0 794 GB 430 GB 364 GB 54% /local/sheepdog-data/obj Node 3: 0 1.6 TB 376 GB 1.2 TB 22% /local/sheepdog-data/obj Node 4: 0 1.2 TB 401 GB 838 GB 32% /local/sheepdog-data/obj Node 5: 0 1.5 TB 370 GB 1.1 TB 24% /local/sheepdog-data/obj Node 6: 0 1.6 TB 388 GB 1.2 TB 23% /local/sheepdog-data/obj

I / O प्रदर्शन

यहां यह कहना महत्वपूर्ण है कि शीपड की तुलना में शीपडॉग अलग तरह से काम करते हैं, और उनकी अलग प्राथमिकताएं हैं।

सेफ के लिए, डेटा ऑब्जेक्ट्स के साथ-साथ ब्लॉक डिवाइस, होस्ट कनेक्टिविटी और रिस्पॉन्स स्पीड का प्रदर्शन करते समय ओएसडी डिवाइस का "वजन" महत्वपूर्ण है। (वास्तव में नहीं - लगभग)

क्या शीपडॉग ऐसा कुछ करता है, मुझे नहीं पता। हो सकता है कि। उसके लिए डेटा सबसे पहले आता है। I / O संचालन के संदर्भ में प्रदर्शन द्वितीयक है। बेशक, अधिक शक्तिशाली नोड्स के साथ, इसका I / O प्रदर्शन बेहतर हो सकता है, लेकिन यह हमेशा विशिष्ट संरचना पर निर्भर करता है। (हालांकि, परीक्षण सीफ की तुलना में बेहतर भेड़चाल प्रदर्शन दिखाते हैं - लगभग)

मैंने 2dB SATA II डिस्क पर संग्रहीत डेटा के साथ भेड़दोग को एक नया नोड जोड़ा। इस डिस्क के लिए अधिकतम लिखने की गति लगभग 80M / s है। वास्तव में, यह बहुत भिन्न होता है क्योंकि एसएटीए ड्राइव एक ही समय में पढ़ और लिख नहीं सकते हैं।

प्रारंभ में, इस डिस्क पर VDI पर औसत लिखने की गति लगभग 20 ~ 30M / s थी, क्योंकि VDI के डेटा के अलावा, 392G कंटेनर डेटा को पुनर्प्राप्ति प्रक्रिया के भाग के रूप में दोहराया गया था। यह 6.5 घंटे तक चला। 40 ~ 55M / s के बीच गति लिखें।

जाहिर है, इस मामले में, लिखने की गति स्थानीय ब्लॉक डिवाइस के I / O प्रदर्शन द्वारा सीमित थी।

शीपडॉग के लिए, निम्नलिखित नियम लागू होता है: "अधिक वीडीआई वस्तुएं त्वरित कनेक्शन के साथ नोड्स पर होती हैं, I / O संचालन का प्रदर्शन बेहतर होता है।"

इस तथ्य के कारण कि पृष्ठभूमि में VDI ऑब्जेक्ट्स को स्थानांतरित करने का अर्थ है कि "नोड की त्वरित मौत" उन डेटा ऑब्जेक्ट्स की प्रतिकृति को धीमा कर देगी जो सबसे अधिक स्थान लेते हैं, यह VDI कंटेनर के I / O संचालन के प्रदर्शन में कमी के रूप में प्रकट होगा।

जगह घेर ली

डेटा ऑब्जेक्ट रखते समय, भेड़ डेमॉन के लिए मुक्त स्थान की मात्रा महत्वपूर्ण है। तंत्र सरल लगता है। भेड़ डेमन, जिसके माध्यम से VDI कंटेनर के साथ डेटा का संचार किया जाता है, समय-समय पर नोड्स पर मुक्त और कब्जे वाले स्थान के उपयोग को निर्धारित करता है, जो इसे सॉर्ट करता है। फिर डेटा को सबसे कम उपयोग दर के साथ नोड्स के बीच वितरित किया जाता है।

यदि मुख्य रूप से तेज़ लिखना पथ है, तो VDI कंटेनर में लिखना भी तेज़ होगा। चूंकि VDI कंटेनर के I / O संचालन को तेज़ किया जाता है, पहले के भेड़ के बच्चे अगले ऑपरेशन के लिए आगे बढ़ सकते हैं।

महत्वपूर्ण बात यह है कि शीपडॉग के साथ कोई स्थिति नहीं होगी जब नोड्स में से एक पूरी तरह से भरा हो। यदि नोड पर उपयोग की दर बहुत अधिक खराब हो जाती है, तो भेड़ डेमन अपने डेटा ऑब्जेक्ट को किसी अन्य स्थान पर स्थानांतरित करना शुरू कर देता है।

शीपडॉग बिल्कुल Btrfs की तरह काम करता है - केवल वास्तव में कब्जे वाले स्थान का उपयोग करके। इस प्रकार, आप 1 टीबी की क्षमता के साथ एक वर्चुअल वीडीआई कंटेनर बना सकते हैं, जो वास्तव में इसमें संग्रहीत डेटा को उतनी ही जगह देगा। इस दृष्टिकोण से, VDI कंटेनरों में वर्चुअल डिस्क और फ़ाइल सिस्टम के ऐसे प्रारूपों का उपयोग करना वांछनीय है जो वे एक दूसरे के बाद साफ कर सकते हैं।

क्लस्टर लॉन्च

जबकि सभी नोड्स को एक ही समय में रोका जा सकता है, नोड्स को एक बार में शुरू नहीं किया जा सकता है !!! नोड्स को धीरे-धीरे जोड़ा जाना चाहिए। नोड के साथ शुरू जो नोड्स की सूची में पहली बार निर्दिष्ट किया गया था।
(यह एक अत्यंत विचित्र कथन है - लगभग)

वीडीआई

यह वर्चुअल डिस्क के लिए भेड़दोग में एक सामान्य संक्षिप्त नाम है, न कि इसका विशिष्ट प्रारूप। ⁷ । सामान्य तौर पर, यह निश्चित आकार के डिब्बों के साथ एक आभासी बॉक्स है, जिसमें भेड़डॉग फिर उस डेटा को रखता है जिसे क्लाइंट पहुंचाता है।

VDI बनाना

पहले VDI बनाने या आयात करने से पहले हमें क्लस्टर को प्रारूपित करना होगा। क्लस्टर बनाते समय, पैरामीटर सेट किए जाते हैं जो तब प्रत्येक VDI बनाते समय डिफ़ॉल्ट रूप से उपयोग किए जाएंगे।

डिस्क 1 और एक जीबी नाम के नए वीडीआई के निर्माण का प्रदर्शन करने वाला एक उदाहरण

 root@nod1 :~# collie vdi create disk1 1G root@nod1 :~# collie vdi list Name Id Size Used Shared Creation time VDI id Copies Tag Block Size Shift disk1 0 1.0 GB 0.0 MB 0.0 MB 2015-12-04 14:07 e8b18f 2 22

ईद
VDI पहचानकर्ता

आकार
VDI का आकार जो जरूरी नहीं कि तुरंत प्रचारित किया जाएगा।
यदि यह VDI वृद्धिशील प्रारूप में है (qcow2 और इसी तरह) qemu-img convert का उपयोग करके बनाया गया है, तो यह वर्चुअल डिस्क के आकार से मेल नहीं खाएगा, लेकिन यह लगातार बढ़ेगा।

प्रयुक्त
VDI डेटा ऑब्जेक्ट्स में कितनी जगह है पर जानकारी।
VDI, जिसे निर्माण के दौरान डेटा ऑब्जेक्ट के आवंटन की आवश्यकता नहीं होती है, वह कुछ भी नहीं लेगा, क्योंकि डेटा ऑब्जेक्ट अभी तक इसके लिए नहीं बनाए गए हैं।

साझा
डेटा ऑब्जेक्ट्स की मात्रा जो अन्य VDI द्वारा साझा की जाती है

निर्माण का समय
VDI निर्माण का समय

ब्लॉक आकार
VDI ऑब्जेक्ट का आकार। चेतावनी! यह एमबी में निर्दिष्ट नहीं है, लेकिन दो बाइट्स की शक्ति के रूप में। पुराने संस्करणों में, केवल 4 एमबी निश्चित आकार की वस्तुओं का उपयोग किया गया था। वर्तमान में, VDI में बड़ी वस्तुएं हो सकती हैं। नियमित वर्चुअल मशीन के VDI ऑब्जेक्ट के लिए इष्टतम आकार 64MB (26) जैसा दिखता है। 22 (4 एमबी) का डिफ़ॉल्ट आकार भी न्यूनतम है। कम स्थापित नहीं किया जा सकता है। ऑब्जेक्ट का आकार जितना छोटा होगा, वीडीआई के साथ काम करते समय शीपडॉग को जितनी अधिक संख्या में प्रोसेस करना होगा, और आईओ के दृष्टिकोण से फाइलों के साथ काम करना कोई सस्ती समस्या नहीं है। फ़ाइलों की एक बड़ी संख्या, विशेष रूप से धीमी SATA नियंत्रकों के साथ, पढ़ने और लिखने की गति में तेज गिरावट हो सकती है। उपयोग की जा सकने वाली वस्तुओं का अधिकतम आकार 31 (2 जीबी) है। यह फायदेमंद हो सकता है अगर VDI लगातार स्थिर डेटा की एक बड़ी राशि को संग्रहीत करता है, जैसे बैकअप।

वीडी आई.डी.
VDI पहचानकर्ता।

VDI में क्या शामिल है?

VDI सामग्री डेटा है। यह एक वितरित ब्लॉक डिवाइस है, इसलिए शीपडॉग इस डेटा या कचरे को हल नहीं करता है। इस दृष्टिकोण से, VDI एक LVM तार्किक आयतन की तरह दिखता है। एक पूर्व आबादी वाला VDI एक समर्पित श्रेणी के साथ एक क्लासिक LV विभाजन से मेल खाता है, जबकि VDI एक पूल में बनाया गया एक पतली LV विभाजन जैसा दिखता है (LVM (thin_provisioning) देखें), लेकिन इस अंतर के साथ कि डेटा extents (ऑब्जेक्ट्स स्थानीय रूप से संग्रहीत नहीं हैं) ब्लॉक डिवाइस, और नोड्स के बीच बिखरे हुए हैं।

VDI प्रारूप इस उपमा में एक फाइल सिस्टम के रूप में काम करता है। क्रमिक रूप से आरक्षित कुछ वस्तुओं (वस्तुओं) पर कब्जा कर लेते हैं, अन्य उन्हें अपने इनोड के रूप में मैप करते हैं, और फिर उन्हें सीधे डेटा भेजते हैं। नोड स्टोरेज फ़ाइल सिस्टम, VDI प्रारूप और आंतरिक फ़ाइल सिस्टम का एक गलत संयोजन महत्वपूर्ण I / O प्रदर्शन गिरावट का कारण बन सकता है।

VDI के बारे में जानकारी कैसे प्राप्त करें

VDI प्रारूप के बारे में अधिक जानने के लिए, आप qemu-img जानकारी का उपयोग कर सकते हैं:

 root@nod1 :~# qemu-img info sheepdog:localhost:8000:disk1 image: sheepdog:localhost:8000:test2 file format: qcow2 virtual size: 12G (12884901888 bytes) disk size: 4.0G cluster_size: 65536 Format specific information: compat: 1.1 lazy refcounts: false refcount bits: 16 corrupt: false

कमांड के आउटपुट से, आप यह पता लगा सकते हैं कि डिस्क 1 में 12G का नाममात्र आकार है। वर्तमान में इसमें केवल 4 जी लगता है। चूंकि यह qcow2 प्रारूप में है, इसलिए यह स्पष्ट है कि इसे वृद्धिशील के रूप में बनाया गया था।

 root@nod1 :~# collie vdi list Name Id Size Used Shared Creation time VDI id Copies Tag Block Size Shift disk2 0 4.0 GB 4.0 GB 0.0 MB 2015-12-04 16:07 825dc1 2 31 root@nod1 :~# qemu-img info sheepdog:localhost:8000:disk2 image: sheepdog:localhost:8000:disk2 file format: raw virtual size: 4.0G (4294967296 bytes) disk size: 4.0G root@nod1 :~# find /datastore/obj/ | grep 825dc1 /datastore/obj/meta/80825dc100000000 /datastore/obj/c1/00825dc100000000 /datastore/obj/c1/00825dc100000001

इस स्थिति में, Disk2 को पूर्व-आवंटित 4 GB VDI के रूप में कच्चे प्रारूप में 2 GB के ब्लॉक आकार के साथ बनाया गया था, जो वास्तव में केवल दो 2 GB लेता है

फ़ाइल करने के लिए VDI निर्यात करें

वीडीआई सामग्री को कई तरीकों से शीपडॉग से निर्यात किया जा सकता है। शायद सबसे तेज कुत्ते पढ़ने का उपयोग कर रहे हैं । कमांड थोड़ा भ्रमित है, लेकिन इसका मतलब है: "वीडीआई की सामग्री लोड करें और इसे एसटीडीयूएसटी पर भेजें ..", जिसे एक फ़ाइल पर पुनर्निर्देशित किया जा सकता है:

 root@nod1 :~# collie vdi read disk1 > /backups/soubor.raw

यदि VDI में 10G है लेकिन केवल 2G का उपयोग किया जाता है, तो यह 10 जीबी की पूरी क्षमता के साथ एक फ़ाइल बनाएगा।

इस आदेश में, VDI की सामग्री अपरिवर्तित हैं , इसलिए यदि VDI की सामग्री, उदाहरण के लिए, संकुचित qcow2 प्रारूप में एक आभासी डिस्क, सीधे उपयोग की जा सकती है

 .. -drive file=file:/disk1_exportovany_z_vdi,..,format=qcow2 ..

VDI की सामग्री को फ़ाइल में लाने का एक और तरीका है कि qemu-img Convert का उपयोग करना। यह इतना तेज़ नहीं है, लेकिन यह आपको संबंधित वर्चुअल डिस्क प्रारूप के विभिन्न विकल्पों का उपयोग करके वीडीआई को दूसरे प्रारूप में बदलने की अनुमति देता है।

 root@nod1 :~# qemu-img convert -f qcow2 -O file -o preallocation=full,nocow=on sheepdog:localhost:8000:disk1 /disk1_exportovany_z_vdi

वृद्धिशील बैकअप

वृद्धिशील बैकअप बनाएँ

पहले और दूसरे स्नैपशॉट के बीच डेल्टा ।।

 root@nod1 :~# collie vdi backup test -F snap1 -s snap2 /backups/soubor_diff

वृद्धिशील बैकअप से VDI पुनर्स्थापित करें

 root@nod1 :~# collie vdi restore test -s snap1 /tmp/backup restoring /tmp/backup... done

वृद्धिशील बैकअप आयात करते समय, VDI में निश्चित रूप से स्नैपशॉट होना चाहिए जिससे बैकअप बनाया गया था।

छवि परीक्षण की मूल सामग्री को पढ़कर सत्यापन ...

  root@nod1 :~# collie vdi read test 0 512 -s 3

फ़ाइल से VDI आयात करें

एक मौजूदा वर्चुअल डिस्क को स्थानीय FS फ़ाइल के रूप में आयात करना निर्यात के समान किया जा सकता है। लेकिन इस अंतर के साथ कि डॉग राइट का उपयोग किया जाता है ("एसटीडीआईएन से डेटा पढ़ना और वीडीआई फ़ाइल में लिखना ..")

 root@nod1 :~# collie vdi write disk1 < /backups/soubor.raw

सामग्री केवल मौजूदा VDI में आयात की जा सकती है।
आयातित VDI हमेशा मूल फ़ाइल की तुलना में अधिक स्थान लेता है, क्योंकि VDI को पुनर्स्थापित करने वाले डेटा ब्लॉक में चिह्नित क्षेत्र पर डेटा होता है।

यदि VDI अभी तक मौजूद नहीं है और हमें नहीं पता कि वर्चुअल डिस्क के लिए कितनी जगह की आवश्यकता होगी, तो हम qemu-imb का उपयोग कर सकते हैं

 root@nod1 :~# qemu-img convert -f file -O qcow2 -o redundancy=2:1 ./disk_ukladany_do_vdi sheepdog:localhost:8000:disk

हालांकि VDI प्रारूप जैसे qcow2, qed और अन्य का उपयोग VDI में किया जा सकता है। I / O दक्षता के लिए, डेटा ब्लॉक का प्रचार करना बेहतर है।
, Sheepdog VDI.

http://www.sheepdog-project.org/doc/vdi_read_and_write.html

VDI

VDI , .

 root@nod1 :~# collie vdi check disk1

VDI, . Sheepdog , . , .

: 'dog node kill' , ethernet , sheep . (, Ethernet), sheep . .

IO VDI

VDI . . , IO VDI.

Sheepdog SYNC, . -, VFS, , , .

VDI Sheepdog , . . Sheepdog VDI-.

VFS-

IO VDI sheep -n . SYNC , , VFS . , VFS , , !

. , — , , .

  sheep -n ...

Sheepdog . -D

- . sheep - IO — SSD . , VDI, SYNC . .

, VDI , VDI . , , , VDI.

 sheep -w size=20000,directio,dir=/dir ...

size

directio
sheep , . SSD.

dir

      ,     .

( ) dog .

VDI dog vd cashe flush , VDI!

— . VDI, VFS , (/store_dir/journal/[epoch]/[vdi_object_id]), , .

IO , (cik, cak), (sequence).

, Sheepdog VDI , , SSD-. , VDI , , VDI.

sheep —

 $ sheep -j size=256M ...

, VDI , . -, — — -:

 $ sheep -j dir=/dir,size=256M ...

dir = , . , SW RAID SSD.

: sheep , . , skip, .

 $ sheep -j dir=/dir,size=256M,skip ...

^{↑ . 2015 . http://events.linuxfoundation.jp/sites/events/files/slides/COJ2015_Sheepdog_20150604.pdf}
^{↑ http://www.abclinuxu.cz/blog/kenyho_stesky/2011/11/sheepdog-hrajeme-si-v-hampejzu}
^{↑ SPOF ( S ingle p oint o f f ailure) , . SPOF VDI iSCSI tgtd}
^↑¹
^{↑ Btrfs — COW, , . , -, . , , . , , . , :}

^{autodefrag — , .}

^{nocow — (), — GlusterFS}

^{Btrfs , , FS, Sheepdog .}
- ^{, , ,}
- ^{multipath, .}
^{, , , Sheepdog.}
^{↑ Ext2 . - FS Btrfs, ext2, inode. ext3 ext4 . inode , Sheepdog . , -, . , Sheepdog , dog vdi check . , ext2 , — - dog vdi md , VDI .}
^{↑ , , vdi QEMU_Block_Disk}

संदर्भ

https://github.com/collie/sheepdog/wiki — ,
http://www.osrg.net/sheepdog/ — Nippon Telegraph and Telephone Corporation
http://www.sheepdog-project.org/doc/index.html — Sheepdog 0.8.0; — Valerio Pachera
http://www.admin-magazine.com/Archive/2014/23/Distributed-storage-with-Sheepdog — Udo Seidela Sheepdog , 23- Admin 2014

शीपडॉग