एचपीसी इन्फ्रास्ट्रक्चर के लिए भंडारण, या हमने रिकेन जापान रिसर्च सेंटर में 65 पीबी स्टोरेज कैसे एकत्र किए

datacenterknowledge.com

पिछले साल, सबसे बड़ा RAIDIX- आधारित भंडारण संस्थापन लागू किया गया था। 11 फेलओवर क्लस्टर की एक प्रणाली RIKEN इंस्टीट्यूट ऑफ कंप्यूटिंग साइंस (जापान) में तैनात की गई थी। सिस्टम का मुख्य उद्देश्य एचपीसी इन्फ्रास्ट्रक्चर (एचपीसीआई) के लिए भंडारण है, जो शैक्षणिक सूचना अकादमिक क्लाउड (SINET नेटवर्क पर आधारित) के बड़े पैमाने पर अकादमिक विनिमय के हिस्से के रूप में लागू किया गया है।

इस परियोजना की एक महत्वपूर्ण विशेषता इसकी 65 पीबी की कुल मात्रा है, जिसमें से सिस्टम की उपयोगी मात्रा 51.4 पीबी है। इस मूल्य को बेहतर ढंग से समझने के लिए, हम जोड़ते हैं कि ये 6512 10 टीबी ड्राइव (स्थापना के समय सबसे आधुनिक) हैं। यह बहुत कुछ है।

परियोजना पर काम पूरे साल चला, जिसके बाद लगभग एक साल तक प्रणाली की स्थिरता की निगरानी जारी रही। प्राप्त संकेतक उल्लिखित आवश्यकताओं को पूरा करते हैं, और अब हम इस रिकॉर्ड की सफलता और हमारे लिए महत्वपूर्ण परियोजना के बारे में बात कर सकते हैं।

RIKEN संस्थान कम्प्यूटिंग केंद्र में सुपर कंप्यूटर

आईसीटी उद्योग के लिए, RIKEN संस्थान मुख्य रूप से अपने प्रसिद्ध "के-कंप्यूटर" (जापानी "केई" से है, जिसका अर्थ है 10 क्वाड्रिलियन), जो लॉन्च के समय (जून 2011) दुनिया में सबसे शक्तिशाली सुपर कंप्यूटर माना जाता था।


सुपरकंप्यूटर जटिल बड़े पैमाने पर अनुसंधान के कार्यान्वयन में कम्प्यूटेशनल विज्ञान केंद्र के लिए मदद करता है: यह मॉडलिंग जलवायु, मौसम की स्थिति और आणविक व्यवहार, परमाणु भौतिकी में प्रतिक्रियाओं की गणना और विश्लेषण, और बहुत कुछ करने की अनुमति देता है। सुपरकंप्यूटर कैपेसिटी का उपयोग अधिक "रोज़" और अनुप्रयुक्त अनुसंधान के लिए किया जाता है - तेल क्षेत्रों की खोज और शेयर बाजारों में पूर्वानुमान के रुझान के लिए।

इस तरह की गणना और प्रयोग बहुत बड़ी मात्रा में डेटा उत्पन्न करते हैं, जिसके महत्व और महत्व को कम करके आंका नहीं जा सकता है। इसका सबसे अधिक लाभ उठाने के लिए, जापानी वैज्ञानिकों ने एक एकल सूचना स्थान की अवधारणा विकसित की, जिसमें विभिन्न अनुसंधान केंद्रों के एचपीसी पेशेवरों को प्राप्त एचपीसी संसाधनों तक पहुंच प्राप्त होगी।

उच्च निष्पादन कम्प्यूटिंग इन्फ्रास्ट्रक्चर (एचपीसीआई)

HPCI SINET (विज्ञान सूचना नेटवर्क), जापानी विश्वविद्यालयों और अनुसंधान केंद्रों के बीच वैज्ञानिक डेटा के आदान-प्रदान के लिए एक रीढ़ नेटवर्क के आधार पर संचालित होता है। वर्तमान में, SINET लगभग 850 संस्थानों और विश्वविद्यालयों को एक साथ लाता है, जो अनुसंधान में सूचना के आदान-प्रदान के लिए विशाल अवसर पैदा करता है, जो परमाणु भौतिकी, खगोल विज्ञान, भूविज्ञान, भूकम्प विज्ञान और कंप्यूटर विज्ञान को प्रभावित करता है।

एचपीसीआई एक अद्वितीय बुनियादी ढांचा परियोजना है जो जापान में विश्वविद्यालयों और अनुसंधान केंद्रों के बीच उच्च प्रदर्शन कंप्यूटिंग के क्षेत्र में एकीकृत सूचना विनिमय प्रणाली बनाती है।

"के" सुपर कंप्यूटर और अन्य अनुसंधान केंद्रों की क्षमताओं को एक सुलभ रूप में मिलाकर, वैज्ञानिक समुदाय सुपर कंप्यूटर कंप्यूटिंग द्वारा बनाए गए मूल्यवान डेटा के साथ काम करने के लिए स्पष्ट लाभ प्राप्त करता है।

एचपीसीआई पर्यावरण के लिए प्रभावी संयुक्त उपयोगकर्ता पहुंच प्रदान करने के लिए, एक्सेस गति के लिए भंडारण पर उच्च आवश्यकताओं को लगाया गया था। और K- कंप्यूटर की "हाइपरप्रोडक्टिविटी" के लिए धन्यवाद, RIKEN इंस्टीट्यूट ऑफ कंप्यूटिंग साइंस के स्टोरेज क्लस्टर की गणना कम से कम 50 PB की कार्यशील मात्रा के साथ करने के लिए की गई थी।

HPCI प्रोजेक्ट इंफ्रास्ट्रक्चर Gfarm फ़ाइल सिस्टम के शीर्ष पर बनाया गया था, जिसने उच्च स्तर के प्रदर्शन और संयुक्त भंडारण समूहों को एक ही साझा स्थान में रखने की अनुमति दी थी।

Gfarm फ़ाइल सिस्टम

Gfarm जापानी इंजीनियरों द्वारा विकसित एक खुला स्रोत वितरित फ़ाइल प्रणाली है। Gfarm इंस्टीट्यूट फॉर एडवांस्ड इंडस्ट्रियल साइंस एंड टेक्नोलॉजी (AIST) के विकास का फल है, और सिस्टम का नाम ग्रिड डेटा फ़ार्म द्वारा उपयोग की जाने वाली वास्तुकला को संदर्भित करता है।

यह फाइल सिस्टम कई असंगत गुणों को जोड़ती है:

• वॉल्यूम और प्रदर्शन में उच्च मापनीयता
• कई विविध अनुसंधान केंद्रों के लिए एकल नाम स्थान के समर्थन के साथ लंबी दूरी का नेटवर्क वितरण
• POSIX API सपोर्ट
• समानांतर कंप्यूटिंग के लिए आवश्यक उच्च प्रदर्शन
• डेटा संग्रहण सुरक्षा

Gfarm कई सर्वरों से भंडारण संसाधनों का उपयोग करके एक वर्चुअल फ़ाइल सिस्टम बनाता है। डेटा मेटाडेटा सर्वर द्वारा वितरित किया जाता है, और वितरण योजना स्वयं उपयोगकर्ताओं से छिपाई जाती है। मुझे यह कहना चाहिए कि Gfarm में न केवल स्टोरेज क्लस्टर है, बल्कि एक कम्प्यूटेशनल ग्रिड भी है जो समान सर्वर के संसाधनों का उपयोग करता है। सिस्टम के संचालन का सिद्धांत Hadoop जैसा दिखता है: प्रस्तुत कार्य उस नोड को "कम" किया जाता है जहां डेटा निहित है।

फ़ाइल सिस्टम आर्किटेक्चर असममित है। भूमिकाएँ स्पष्ट रूप से आवंटित की जाती हैं: संग्रहण सर्वर, मेटाडेटा सर्वर, क्लाइंट। लेकिन एक ही समय में, तीनों भूमिकाओं को एक ही मशीन द्वारा किया जा सकता है। संग्रहण सर्वर फ़ाइलों की कई प्रतियों को संग्रहीत करते हैं, और मेटाडेटा सर्वर मास्टर-स्लेव मोड में काम करते हैं।

प्रोजेक्ट का काम

कोर माइक्रो सिस्टम्स, एक रणनीतिक साझेदार और जापान में RAIDIX के अनन्य आपूर्तिकर्ता, ने रिकिन इंस्टीट्यूट ऑफ कंप्यूटिंग साइंस सेंटर में कार्यान्वयन किया। परियोजना को लागू करने के लिए, लगभग 12 महीनों तक श्रमसाध्य कार्य किया गया, जिसमें न केवल कोर माइक्रो सिस्टम के कर्मचारी, बल्कि रेयडिक्स टीम के तकनीकी विशेषज्ञों ने भी सक्रिय भाग लिया।

उसी समय, किसी अन्य संग्रहण प्रणाली में संक्रमण की संभावना कम थी: मौजूदा प्रणाली में बहुत सारे तकनीकी बंधन थे जो किसी भी नए ब्रांड के संक्रमण को जटिल करते थे।

डेटा की इतनी प्रभावशाली मात्रा के साथ काम करने पर लंबे समय तक परीक्षण, जांच और सुधार के दौरान, RAIDIX ने लगातार उच्च प्रदर्शन और दक्षता दिखाई है।

सुधार के बारे में यह थोड़ा और बताने लायक है। यह न केवल Gfarm फ़ाइल सिस्टम के साथ भंडारण प्रणालियों का एकीकरण बनाने के लिए आवश्यक था, बल्कि सॉफ्टवेयर के कुछ कार्यात्मक विशेषताओं का विस्तार करने के लिए भी था। उदाहरण के लिए, तकनीकी विशिष्टताओं की स्थापित आवश्यकताओं को पूरा करने के लिए, स्वचालित राइट-थ्रू तकनीक को जल्द से जल्द विकसित और कार्यान्वित करना आवश्यक था।

सिस्टम की तैनाती स्वयं व्यवस्थित थी। कोर माइक्रो सिस्टम के इंजीनियरों ने परीक्षण के प्रत्येक चरण को सावधानीपूर्वक और सटीक रूप से संचालित किया, धीरे-धीरे सिस्टम के पैमाने को बढ़ाया।

अगस्त 2017 में, सिस्टम तैनाती की मात्रा 18 पीबी तक पहुंचने पर पहला तैनाती चरण पूरा हुआ। उसी वर्ष के अक्टूबर में, दूसरे चरण को लागू किया गया था, जिसमें वॉल्यूम बढ़कर रिकॉर्ड 51 पीबी हो गया।

समाधान वास्तुकला

समाधान RAIDIX भंडारण प्रणालियों और Gfarm वितरित फ़ाइल सिस्टम के एकीकरण के माध्यम से बनाया गया था। Gfarm के साथ संयोजन के रूप में, 11 दोहरे नियंत्रक RAIDIX सिस्टम का उपयोग करके स्केलेबल स्टोरेज बनाने की क्षमता।

Gfarm सर्वर से कनेक्ट करना 8 x SAS 12G के माध्यम से है।



अंजीर। 1. प्रत्येक नोड के लिए एक अलग डेटा सर्वर के साथ एक क्लस्टर की छवि

(1) 48Gbps × 8 सैन मेश कनेक्शन; बैंडविड्थ: 384Gbps
(२) ४ 48 जीबीपीएस × ४० मेश फेब्रिक कनेक्शन; बैंडविड्थ: 1920Gbps

दोहरे नियंत्रक प्लेटफ़ॉर्म कॉन्फ़िगरेशन

सीपीयू	इंटेल Xeon E5-2637 - 4 पीसी
मदरबोर्ड	पीसीआई एक्सप्रेस 3.0 x8 / x16 का समर्थन करने वाले प्रोसेसर मॉडल के साथ संगत
आंतरिक कैश	प्रत्येक नोड के लिए 256 जीबी
हवाई जहाज़ के पहिये	2U
एसएएस नियंत्रक डिस्क अलमारियों, सर्वर को जोड़ने और कैश सिंक्रनाइज़ेशन लिखने के लिए	ब्रॉडकॉम 9305 16e, 9300 8e
HDD	HGST हीलियम 10TB SAS HDD
दिल की धड़कन सिंक	ईथरनेट 1 GbE
CacheSync सिंक	6 एक्स एसएएस 12 जी

फेलओवर क्लस्टर के दोनों नोड्स प्रत्येक नोड के लिए 20 एसएएस 12 जी पोर्ट के माध्यम से 10 जेबीओडी (10 टीबी प्रत्येक के 60 डिस्क) से जुड़े हैं। इन डिस्क अलमारियों पर, 58 10TB RAID6 सरणियों का निर्माण किया गया (8 डेटा डिस्क (D) + 2 समता डिस्क (P)) और 12 डिस्क "हॉट स्वैप" के लिए आवंटित किए गए थे।

10 JBOD => 58 × RAID6 (8 डेटा डिस्क (D) + 2 समता डिस्क (P)), 580 से HDD + 12 HDD "हॉट स्वैप" (कुल वॉल्यूम का 2.06%)

592 HDD (10TB SAS / 7.2k HDD) प्रति क्लस्टर * HDD: HGST (MTBF: 2% 000D)



अंजीर। 2. 10 JBOD कनेक्शन आरेख के साथ विफलता क्लस्टर

सामान्य प्रणाली और कनेक्शन आरेख

अंजीर। 3. एचपीसीआई प्रणाली के भीतर एक क्लस्टर की छवि

मुख्य परियोजना संकेतक

प्रति क्लस्टर की उपयोग करने योग्य क्षमता: 4.64 PB ((RAID6 / 8D + 2P) LUN × 58)

संपूर्ण प्रणाली की कुल प्रयोग करने योग्य क्षमता: 51.04 PB (4.64 PB × 11 क्लस्टर)।

कुल सिस्टम क्षमता: 65 पीबी ।

सिस्टम प्रदर्शन था: लेखन के लिए 17 जीबी / एस , पढ़ने के लिए 22 जीबी / एस ।

11 RAIDIX भंडारण प्रणालियों पर क्लस्टर के डिस्क सबसिस्टम का कुल प्रदर्शन: 250 जीबी / एस ।