👩🏻‍💻 🈶 🙅🏽 हम एक RAID नियंत्रक पर सहेजते हैं, या वारिया को Iops के साथ कैसे खिलाएं 🦀 👆🏿 🕚

क्लाउड सेवाओं के हमारे युग में, AWS लैंबडा और अन्य साझाकरण बिल्कुल अमूर्त कंप्यूटिंग संसाधनों ~~की मेजबानी~~ करते हैं, कभी-कभी मैं अपना खुद का थोड़ा चाहता हूं। इच्छा के अलावा, कभी-कभी न्यूनतम प्लेटफ़ॉर्म लागत के साथ एक या किसी अन्य सॉफ़्टवेयर उत्पाद को जानबूझकर मोड़ने की भी आवश्यकता होती है। आप लगभग हमेशा कुछ अतिरिक्त उपकरण पा सकते हैं, कभी-कभी यह सब कुछ एक साथ रखने और इसे चालू करने के लिए भी निकलता है। यदि ये अधिशेष 64 जीबी से कम से कम 4-6 कोर और मेमोरी के साथ सीपीयू का प्रतिनिधित्व करते हैं - आम तौर पर उत्कृष्ट, तो आप ईएक्सएक्सआई ले सकते हैं और कुछ भी काम कर सकते हैं। एक समस्या: VMWare पर घरेलू हार्डवेयर पर एक डिस्क क्षमता के साथ - बिल्कुल कुछ भी नहीं। स्थानीय एकल एचडीडी का प्रदर्शन कम है, और 21 वीं शताब्दी में एक वैक्यूम में एक स्क्रू की सामग्री को खोना हैलो की तरह है। चलो नेटवर्क पर कुछ कनेक्ट करने का प्रयास करें।

TL, DR> संघ, संतुलन, आरआर सीमा, वह सब है।

दरअसल, नीचे दिया गया पाठ इस तथ्य के बारे में नहीं है कि यह आमतौर पर संभव है या किसी प्रकार का पता है। ISCSI डिस्क क्षमता जमा करने के तरीके पर इंटरनेट डमी के लिए लेखों से भरा हुआ है (यहां देखें, फिर अगला, अगला, पूर्ण)। मैं बस "जीवित लोगों की गलतियों" को बाहर करने के लिए लिख रहा हूं और उन क्षणों को साझा करता हूं जब "सब कुछ गलत हो जाएगा" (और यह जाएगा, मर्फी सही थी), और जब आप समाधान को लोड करने का प्रयास करते हैं, तो यह बस दुर्घटनाग्रस्त हो जाता है।

इसलिए, हम नेटवर्क पर कनेक्ट किए गए बाहरी डिस्क सरणी के साथ हमारे "घरेलू हाइपरवाइजर" को स्मूथ करने की कोशिश करेंगे। चूंकि सब कुछ हमारे चारों ओर "सस्ते में" घूमता है, इसे फ्रीएनएएस और 4 एसएटीए डिस्क होने दें, जो कि औसत 3 जीएचजेड 45-एनएम प्रतिशत द्वारा परोसा जाता है। हम Ebay को देखते हैं, और एक इस्तेमाल किए गए RAID नियंत्रक के लिए तुलनीय पैसे के लिए, वे वहां से i350-T4 नेटवर्क कार्ड के एक जोड़े को खींचते हैं। ये इंटेल से चार-पोर्ट गीगाबिट एडेप्टर हैं। उनके अनुसार, हम स्टोरेज को हाइपरविजर के साथ जोड़ देंगे।

थोड़ा गिन लो। एक औसत SATA डिस्क की औसत डेटा ट्रांसफर गति 160-180 MB / s है जिसकी इंटरफ़ेस चौड़ाई 6 Gb / s है। वास्तव में, HDD से वास्तविक डेटा अंतरण दर 2 Gb / s से अधिक नहीं है। यह इतना बड़ा आंकड़ा नहीं है, यह देखते हुए कि हम 4 गीगाबिट पोर्ट (4x1Gbps को 4Gbps में कैसे बदलें - हम आगे चर्चा करेंगे) पर संवाद करने की योजना है। रैंडम एक्सेस स्पीड के साथ सब कुछ बहुत खराब है - यहां सब कुछ फ्लॉपी डिस्क के स्तर तक गिर जाता है।

यह देखते हुए कि कई अतिथि OS का डिस्क लोड प्रोफ़ाइल रैखिक से दूर है, मैं अधिक मजेदार संख्या देखना चाहूंगा। हाइपरविजर (VMFS v6) के फाइल सिस्टम में स्थिति को ठीक करने के लिए, ब्लॉक का आकार 1 एमबी है, जो कई यादृच्छिक संचालन को कॉम्पैक्ट करने और वर्चुअल डिस्क पर डेटा तक पहुंच को गति देने में मदद करता है। लेकिन इसके साथ भी, सभी "मेहमानों" से I / O संचालन को संभालने के लिए एक भौतिक डिस्क पर्याप्त नहीं होगी।

मैं तुरंत ही आरक्षण कर दूंगा - यदि आपके पास "संग्रहण नेटवर्क" के लिए दो से अधिक एडेप्टर हैं, तो आगे सब कुछ समझ में आता है। ईएसएक्सआई एक मुफ्त यूनीप्रोसेसर लाइसेंस के साथ, स्थानीय डिस्क के अलावा, दो प्रकार के भंडारण - एनएफएस और आईएससीएसआई से जुड़ सकता है। एनएफएस में फ़ाइल-स्तरीय पहुंच शामिल है और यह अपने तरीके से भी अच्छा है। उस पर, आप डिस्क प्रदर्शन के लिए मेहमानों को निंदा कर सकते हैं। उनका बैकअप लेना खुशी की बात है। आप उसी NFS बॉल को कहीं और खोल सकते हैं और स्नैपशॉट vm कॉपी कर सकते हैं। सामान्य तौर पर, एक नेटवर्क इंटरफ़ेस (यदि यह 10GE नहीं है, तो निश्चित रूप से) - NFS आपकी पसंद है।

ISCSI के NFS पर कई फायदे हैं। उन्हें पूरी तरह से महसूस करने के लिए, हमने पहले ही तैयारी कर ली है - स्टोरेज नेटवर्क के लिए पहले से ही 4 गीगाबिट पोर्ट्स बिछाए हैं। नेटवर्क बैंडविड्थ का विस्तार आमतौर पर ज्ञात इंटरफ़ेस गति पर कैसे होता है? यह सही है, एकत्रीकरण। लेकिन एकत्रित चैनल के पूर्ण उपयोग के लिए, कई स्थितियों की आवश्यकता होती है, और यह स्विच के बीच संचार के लिए या हाइपरविजर के नेटवर्क अपलिंक के लिए अधिक उपयुक्त है। ISCSI प्रोटोकॉल के कार्यान्वयन से मल्टीथथिंग (शाब्दिक, कई पथ) जैसे फ़ंक्शन मिलते हैं - विभिन्न नेटवर्क इंटरफेस के माध्यम से एक ही वॉल्यूम को जोड़ने की क्षमता। बेशक, वहाँ लोड संतुलन की संभावना के बारे में भी, हालांकि मुख्य उद्देश्य भंडारण नेटवर्क की गलती सहिष्णुता है। (निष्पक्षता में, NFSv4.1, RDMA और MPTCP जैसे सबसे उन्नत जादू के आधार पर सत्र ट्रंकिंग का समर्थन करता है, लेकिन यह फ़ाइल के उपयोग की समस्याओं ~~को एक गले में सिर से एक स्वस्थ एक~~ निचले स्तर तक स्थानांतरित करने का एक प्रयास है।)

इसलिए, एक शुरुआत के लिए हम अपना लक्ष्य प्रकाशित करेंगे। हम मानते हैं कि FreeNAS स्थापित है, प्रबंधन का आईपी-पता नियमित रूप से हमारे लिए वेब-इंटरफ़ेस को जहाज करता है, हम अपने आंतरिक विश्वासों के अनुसार सरणी और ज़वल को पूरी तरह से काटते हैं। हमारे मामले में, यह एक 4 x 500GB ड्राइव है जो raidz1 में संयुक्त है (जो प्रभावी क्षमता का केवल 1.3 TiB देता है), और zvol आकार में ठीक 1 TB है। हम i350 नेटवर्क इंटरफेस को कॉन्फ़िगर करेंगे, सादगी के लिए हम स्वीकार करते हैं कि हर कोई अलग-अलग सबनेट से संबंधित होगा।

फिर हम "अगला, अगला, पूर्ण" विधि का उपयोग करके iSCSI गेंद को कॉन्फ़िगर करते हैं। पोर्टल को कॉन्फ़िगर करते समय, वहां iSCSI को समर्पित सभी नेटवर्क इंटरफेस को जोड़ना न भूलें। इसे तस्वीरों में कुछ इस तरह देखना चाहिए।

सेटिंग सीमा पर थोड़ा अधिक ध्यान देने की आवश्यकता होगी - जब कोई वॉल्यूम प्रस्तुत करते हैं, तो आपको 512 बाइट्स के ब्लॉक आकार को बाध्य करने की आवश्यकता होती है। इसके बिना, ESXi सर्जक ने प्रस्तुत संस्करणों की पहचान करने से इनकार कर दिया। निष्ठा की खातिर, भौतिक ब्लॉक के प्रोब्रोस आकारों को अक्षम करना बेहतर है (जो कि zvol नहीं है और नहीं हो सकता है) और Xen समर्थन मोड को सक्षम करें।
अब के लिए FreeNAS के साथ।

ईएसएक्सआई की ओर, यह नेटवर्क सेटअप के साथ थोड़ा अधिक जटिल है। फिर से, हम मानते हैं कि हाइपरविजर स्वयं स्थापित है और एक अलग पोर्ट पर भी प्रबंधित है। आपको 4 विभिन्न वर्चुअल स्विच में 4 विभिन्न पोर्ट समूहों से संबंधित 4 वीएम कर्नेल इंटरफेस का चयन करना होगा। इनमें से प्रत्येक स्विच का अपना अपलिंक भौतिक पोर्ट है। हम vmk # पते लेते हैं, निश्चित रूप से, इसी सबनेट में, स्टोरेज पोर्ट को कॉन्फ़िगर करने के लिए। पते सेट करने का क्रम, सामान्य रूप से, महत्वपूर्ण है - या तो हम बिना स्विच के पोर्ट-टू-पोर्ट कार्ड कनेक्ट करते हैं, या हम अलग-अलग नेटवर्क (अच्छी तरह से, अगर एक वयस्क तरीके से है) को अलग-अलग लिंक देते हैं, इसलिए भौतिक पोर्ट मिलान मायने रखता है।

ISCSI के लिए नेटवर्क स्थापित करते समय, हम MTU पैरामीटर पर विशेष ध्यान देते हैं। यह वास्तव में ऐसा है जब "आकार मायने रखता है" - हम अधिकतम लेते हैं जो सभी नेटवर्क घटक स्थापित कर सकते हैं। यदि कार्ड सीधे जुड़े हुए हैं, तो आप ESXi और FreeNAS दोनों तरफ mtu 9000 को इंगित कर सकते हैं। हालांकि, सामान्य स्विच इस मूल्य का समर्थन करेंगे। हम पिंग करते हैं, हम देखते हैं कि नेटवर्क सामान्य है, और आवश्यक आकार के पैकेट पास होते हैं। बहुत बढ़िया। हमने सर्जक को आग लगा दी।

ISCSI चालू करें, डायनामिक कॉन्फ़िगरेशन सेक्शन में IP एड्रेस जोड़ें (स्टोरेज -> एडेप्टर -> कॉन्फ़िगर iSCSI -> कन्फिगरेशन सिस्टम)। सहेजने के बाद, इन पते पर iSCSI पोर्टल्स को चुना जाएगा, सर्जक यह निर्धारित करेगा कि उनमें से प्रत्येक की समान मात्रा है और सभी उपलब्ध पतों (एक ही मल्टीपैथ) पर इसे कनेक्ट करें। अगला, हमें दिखाई देने वाले डिवाइस पर एक डेटास्टोर बनाने की आवश्यकता है।

उसके बाद, आप वर्चुअल मशीन को रोल आउट कर सकते हैं और माप सकते हैं कि हमें क्या मिला।

इतना प्रभावशाली परिणाम नहीं। स्टोरेज कंसोल खोलें, वर्तमान नेटवर्क स्थिति प्रदर्शित करें और परीक्षण चलाएं।

root@freenas:~ # systat -ifstat

हम क्या देखते हैं?

  /0 /1 /2 /3 /4 /5 /6 /7 /8 /9 /10 Load Average Interface Traffic Peak Total lo0 in 0.319 KB/s 0.893 KB/s 3.041 MB out 0.319 KB/s 0.893 KB/s 3.041 MB alc0 in 0.478 KB/s 1.233 KB/s 3.934 MB out 0.412 KB/s 1.083 KB/s 2.207 MB igb3 in 0.046 KB/s 0.105 KB/s 181.434 KB out 0.073 KB/s 0.196 KB/s 578.396 KB igb2 in 0.046 KB/s 0.105 KB/s 120.963 KB out 0.096 KB/s 0.174 KB/s 517.221 KB igb1 in 4.964 MB/s 121.255 MB/s 10.837 GB out 6.426 MB/s 120.881 MB/s 3.003 GB igb0 in 0.046 KB/s 0.105 KB/s 139.123 KB out 0.073 KB/s 0.210 KB/s 869.938 KB

चार नेटवर्क बंदरगाहों (igb1) में से केवल एक का उपयोग किया गया है। ऐसा इसलिए होता है क्योंकि मल्टीपाथ के लिए डिफ़ॉल्ट रूप से प्रदान किया गया संतुलन तंत्र प्रत्येक डेटा पैकेट के साथ एक ही एडेप्टर का चयन करता है। हमें हर चीज का उपयोग करने की जरूरत है।
हम SSH और कमांड के माध्यम से हाइपरवाइजर से जुड़े हैं।
सबसे पहले, आइए देखें कि चंद्रमा की मल्टीपथ के साथ क्या आईडी है, और यह कैसे काम करता है:

[root@localhost:~] esxcfg-mpath -b
naa.6589cfc000000b478db42ca922bb9308 : FreeNAS iSCSI Disk (naa.6589cfc000000b478db42ca922bb9308)

[root@localhost:~] esxcli storage nmp device list -d naa.6589cfc000000b478db42ca922bb9308 | grep PSP
Path Selection Policy: VMW_PSP_MRU

पथ चयन नीति MRU है, जिसका उपयोग हाल ही में किया गया है। सभी डेटा एक ही पोर्ट पर जाते हैं, पथ का पुन: चयन केवल तब होता है जब नेटवर्क कनेक्शन अनुपलब्ध होता है। हम राउंड-रॉबिन में बदलते हैं, जिसमें निश्चित संख्या में ऑपरेशन के बाद सभी इंटरफेस बदले जाते हैं:

[root@localhost:~] esxcli storage nmp device set -d naa.6589cfc000000b478db42ca922bb9308 -P VMW_PSP_RR

हम ESXi को रीबूट करते हैं, खुली निगरानी करते हैं, परीक्षण चलाते हैं। हम देखते हैं कि लोड समान रूप से नेटवर्क एडेप्टर (कम से कम शिखर मान, बहुत अधिक स्क्रैप) में वितरित किया जाता है, परीक्षण के परिणाम भी अधिक मजेदार हैं।

  Interface Peak igb3 in 43.233 MB/s out 46.170 MB/s igb2 in 42.806 MB/s out 45.773 MB/s igb1 in 43.495 MB/s out 45.489 MB/s igb0 in 43.208 MB/s out 46.079 MB/s

बंदरगाहों पर कुछ विचलन हैं, यह पथ चयन नीति की सीमाओं के कारण है - संचालन या बाइट्स की संख्या, जिसके बाद दूसरे पोर्ट पर स्विच करना होता है। डिफ़ॉल्ट रूप से, 1000 IOPS, अर्थात्, यदि डेटा एक्सचेंज 999 ऑपरेशन के भीतर है, तो यह एक नेटवर्क पोर्ट के माध्यम से जाएगा। आप उचित मूल्य को बदल सकते हैं, तुलना कर सकते हैं और चुन सकते हैं। आप बदल नहीं सकते, अधिकांश कार्यों के लिए डिफ़ॉल्ट पर्याप्त है।

हम माप लेते हैं, परीक्षण करते हैं, काम करते हैं। परिणाम एकल ड्राइव की क्षमताओं से काफी बेहतर हैं, इसलिए अब हमारे वर्चुअल मशीन I / O संचालन पर कोहनी नहीं मार सकते हैं। सरणी की परिणामी गति और दोष सहिष्णुता हार्डवेयर पर निर्भर करेगी और वॉल्यूम कैसे कॉन्फ़िगर किया गया है।

हम एक RAID नियंत्रक पर सहेजते हैं, या वारिया को Iops के साथ कैसे खिलाएं

More articles: