- मुझे कितना बड़ा क्लस्टर चाहिए?
- अच्छा, यह निर्भर करता है ... (गुस्से में खीस)

इलास्टिक्स खोज इलास्टिक स्टैक का दिल है, जिसमें सभी दस्तावेजों का जादू होता है: जारी करना, प्राप्त करना, प्रसंस्करण करना और भंडारण करना। प्रदर्शन नोड्स की सही संख्या और समाधान की वास्तुकला पर निर्भर करता है। और कीमत, वैसे भी, अगर आपकी सदस्यता गोल्ड या प्लेटिनम है।

हार्डवेयर की मुख्य विशेषताएं डिस्क (भंडारण), मेमोरी (मेमोरी), प्रोसेसर (कंप्यूट) और नेटवर्क (नेटवर्क) हैं। इनमें से प्रत्येक घटक उस कार्रवाई के लिए ज़िम्मेदार है, जो एलिस्टिक्स खोज दस्तावेजों पर करता है, जो क्रमशः भंडारण, पढ़ना, कंप्यूटिंग और प्राप्त करना / संचारण हैं। आइए आकार देने के सामान्य सिद्धांतों के बारे में बात करते हैं और बहुत "यह निर्भर करता है" प्रकट करते हैं। और लेख के अंत में वेबिनार और संबंधित लेख के लिंक हैं। चलो चलते हैं!

यह लेख डेविड मूर की वेबिनार साइजिंग और क्षमता योजना पर आधारित है। हमने इसे थोड़ा स्पष्ट करने के लिए लिंक और टिप्पणियों के साथ उनके तर्क को पूरक बनाया। लेख के अंत में, एक बोनस ट्रैक उन लोगों के लिए इलास्टिक सामग्रियों के लिए लिंक है, जो इस विषय में खुद को बेहतर ढंग से विसर्जित करना चाहते हैं। यदि आपके पास एलिस्टिक्स खोज का अच्छा अनुभव है, तो कृपया टिप्पणी में साझा करें कि क्लस्टर कैसे डिज़ाइन किया जाए। आपकी राय जानने के लिए हम और सभी सहयोगी रुचि लेंगे।

एलीस्टेकचर्च वास्तुकला और संचालन

लेख की शुरुआत में, हमने हार्डवेयर को बनाने वाले 4 घटकों के बारे में बात की: डिस्क, मेमोरी, प्रोसेसर, और नेटवर्क। नोड की भूमिका इन घटकों में से प्रत्येक के निपटान को प्रभावित करती है। एक नोड एक साथ कई भूमिकाएं निभा सकता है, लेकिन क्लस्टर की वृद्धि के साथ, इन भूमिकाओं को विभिन्न नोड्स में वितरित किया जाना चाहिए।

मास्टर नोड्स संपूर्ण रूप से क्लस्टर के स्वास्थ्य की निगरानी करते हैं। मास्टर नोड के काम में, एक कोरम मनाया जाना चाहिए, अर्थात्। उनकी संख्या विषम होनी चाहिए (शायद 1, लेकिन बेहतर 3)।

डेटा नोड्स भंडारण कार्य करते हैं। क्लस्टर प्रदर्शन बढ़ाने के लिए, नोड्स को "हॉट", "हॉट" और "कोल्ड" (फ्रोजन) में विभाजित किया जाना चाहिए। पहला ऑनलाइन एक्सेस के लिए, दूसरा स्टोरेज के लिए और तीसरा आर्काइव के लिए है। तदनुसार, "गर्म" के लिए स्थानीय एसएसडी-ड्राइव का उपयोग करना उचित है, और "गर्म" और "ठंडा" के लिए एचडीडी सरणी स्थानीय या सैन में उपयुक्त है।

भंडारण के लिए नोड्स की भंडारण क्षमता निर्धारित करने के लिए, इलास्टिक निम्नलिखित तर्क का उपयोग करने की सिफारिश करता है: "हॉट" → 1:30 (मेमोरी के प्रति गीगाबाइट का 30 जीबी डिस्क स्थान), "गर्म" → 1: 100, "ठंडा" → 1: 500)। जेवीएम हीप के तहत , कुल मेमोरी का 50% से अधिक और कचरा संग्रहकर्ता छापे से बचने के लिए 30 जीबी से अधिक नहीं। शेष मेमोरी का उपयोग ऑपरेटिंग सिस्टम के कैश के रूप में किया जाएगा।

Elastisearch उदाहरण प्रदर्शन संकेतक जैसे थ्रेड पूल और थ्रेड कतार प्रोसेसर कोर उपयोग से अधिक प्रभावित होते हैं । पहला उन कार्यों के आधार पर बनता है जो नोड करता है: खोज, विश्लेषण, लेखन और अन्य। दूसरे विभिन्न प्रकारों के संगत अनुरोधों की कतार हैं। उपयोग के लिए उपलब्ध Elasticsearch प्रोसेसर की संख्या स्वचालित रूप से निर्धारित की जाती है, लेकिन आप इस मान को मैन्युअल रूप से सेटिंग्स में निर्दिष्ट कर सकते हैं (यह तब उपयोगी हो सकता है जब आपके पास एक ही होस्ट पर चलने वाले 2 या अधिक Elasticsearch इंस्टेंस हों)। सेटिंग्स में प्रत्येक प्रकार के थ्रेड पूल और थ्रेड कतार की अधिकतम संख्या सेट की जा सकती है। थ्रेड पूल मीट्रिक एलिटिक्स खोज के लिए प्राथमिक प्रदर्शन मीट्रिक है।

कलेक्टरों (लॉगस्टैश, बीट्स आदि) से सबसे कम नोड्स इनपुट लेते हैं, उन पर रूपांतरण करते हैं, और लक्ष्य सूचकांक में लिखते हैं।

मशीन लर्निंग नोड्स डेटा विश्लेषण के लिए अभिप्रेत हैं। जैसा कि हमने इलास्टिक स्टैक में मशीन लर्निंग पर एक लेख में लिखा था, तंत्र C ++ में लिखा गया है और जेवीएम के बाहर काम करता है, जो खुद एलीटसर्च को चलाता है, इसलिए एक अलग नोड पर इस तरह के एनालिटिक्स का प्रदर्शन करना उचित है।

समन्वयक नोड्स एक खोज अनुरोध स्वीकार करते हैं और इसे रूट करते हैं। इस प्रकार के नोड की उपस्थिति खोज प्रश्नों के प्रसंस्करण को गति देती है।

यदि हम बुनियादी ढांचे की क्षमता के आधार पर नोड्स पर लोड पर विचार करते हैं, तो वितरण कुछ इस तरह होगा:

इसके बाद, हम 4 मुख्य प्रकार के ऑपरेशन को एलीस्टेक खोज में प्रस्तुत करते हैं, जिनमें से प्रत्येक को एक निश्चित प्रकार के संसाधन की आवश्यकता होती है।

सूचकांक - प्रसंस्करण और सूचकांक में एक दस्तावेज को सहेजना। नीचे दिए गए आरेख प्रत्येक चरण में उपयोग किए गए संसाधनों को दिखाते हैं।



हटाएं - एक दस्तावेज़ को सूचकांक से हटा दें ।



अपडेट - इंडेक्स और डिलीट जैसे काम करता है, क्योंकि इलास्टिक्स में दस्तावेज अपरिवर्तनीय हैं।

खोज - एक या अधिक दस्तावेज़ प्राप्त करना या एक या अधिक अनुक्रमित से उनका एकत्रीकरण।



हमने वास्तुकला और प्रकार के भार का पता लगाया, अब आइए एक आकार देने वाले मॉडल के गठन की ओर बढ़ें।

एलिस्टिक्स खोज और इसके गठन से पहले सवाल

लोचदार दो आकार की रणनीतियों का उपयोग करने की सिफारिश करता है: भंडारण-उन्मुख और थ्रूपुट। पहले मामले में, डिस्क संसाधन और मेमोरी सर्वोपरि हैं, और दूसरे मामले में, मेमोरी, प्रोसेसर पावर और नेटवर्क।

स्टोरेज के आकार के आधार पर इलास्टिसर्च आर्किटेक्चर आकार

गणना से पहले, हम प्रारंभिक डेटा प्राप्त करते हैं। आवश्यक:

• प्रति दिन कच्चे डेटा की मात्रा;
• दिनों में डेटा भंडारण की अवधि;
• डेटा ट्रांसफ़ॉर्मेशन फैक्टर (json factor + indexing factor + संपीड़न factor);
• शार्क प्रतिकृति की संख्या;
• मेमोरी डेटा नोड्स की मात्रा;
• डेटा के लिए मेमोरी का अनुपात (1:30, 1: 100, आदि)।

दुर्भाग्य से, डेटा परिवर्तन कारक की गणना केवल अनुभवजन्य रूप से की जाती है और विभिन्न चीजों पर निर्भर करती है: कच्चे डेटा का प्रारूप, दस्तावेजों में फ़ील्ड्स की संख्या आदि। यह पता लगाने के लिए, आपको सूचकांक में परीक्षण डेटा के एक हिस्से को लोड करने की आवश्यकता है। इस तरह के परीक्षणों के विषय पर, सम्मेलन से एक दिलचस्प वीडियो और इलास्टिक समुदाय में एक चर्चा है । सामान्य तौर पर, आप इसे 1 के बराबर छोड़ सकते हैं।

डिफ़ॉल्ट रूप से, एलिस्टिक्स खोज एलजेड 4 एल्गोरिथ्म का उपयोग करके डेटा को संपीड़ित करता है, लेकिन इसमें डीएफ़लेट भी है, जो 15% अधिक दबाता है। सामान्य तौर पर, 20-30% का संपीड़न प्राप्त किया जा सकता है, लेकिन यह भी अनुभवजन्य रूप से गणना की जाती है। DEFLATE एल्गोरिथ्म पर स्विच करते समय, कंप्यूटिंग शक्ति पर भार बढ़ जाता है।

अभी भी अतिरिक्त सिफारिशें हैं:

• डिस्क स्थान पर रिजर्व रखने के लिए 15% जमा करें;
• अतिरिक्त जरूरतों के लिए 5% प्रतिज्ञा;
• तेजी से प्रवास सुनिश्चित करने के लिए डेटा नोड के 1 बराबर लेट जाएं।

अब हम सूत्र पर चलते हैं। यहां कुछ भी जटिल नहीं है, और, हमें लगता है, इन सिफारिशों के अनुपालन के लिए अपने क्लस्टर की जांच करना आपके लिए दिलचस्प होगा।

डेटा की कुल राशि (GB) = प्रति दिन कच्चा डेटा * संग्रहण के दिनों की संख्या * डेटा परिवर्तन कारक * (प्रतिकृतियों की संख्या - 1)

कुल डेटा संग्रहण (GB) = कुल डेटा (GB) * (1 + 0.15 स्टॉक + 0.05 अतिरिक्त आवश्यकताएं)

नोड्स की कुल संख्या = ओके (कुल डेटा स्टोरेज (जीबी) / मेमोरी की मात्रा प्रति नोड / डेटा का मेमोरी का अनुपात + 1 डेटा डेटा के बराबर)

स्टोरेज के आकार के आधार पर शार्दूल और डेटा नोड्स की संख्या निर्धारित करने के लिए आकार देने वाली इलास्टिसर्च आर्किटेक्चर

गणना से पहले, हम प्रारंभिक डेटा प्राप्त करते हैं। आवश्यक:

• सूचकांक पैटर्न की संख्या आप बनाएंगे;
• कोर शार्क और प्रतिकृतियों की संख्या;
• कितने दिनों के बाद सूचकांक रोटेशन किया जाएगा, अगर बिल्कुल भी;
• सूचकांकों को संग्रहीत करने के लिए दिनों की संख्या;
• प्रत्येक नोड के लिए स्मृति की मात्रा।

अभी भी अतिरिक्त सिफारिशें हैं:

• प्रत्येक नोड पर प्रति 1 जीबी जेवीएम हीप में 20 से अधिक न हो;
• 40 जीबी से ज्यादा की शार्क डिस्क स्पेस में न रखें।

सूत्र इस प्रकार हैं:

शर्ड्स की संख्या = इंडेक्स पैटर्न की संख्या * मुख्य शार्क की संख्या * (प्रतिकृति की संख्या + 1) * स्टोरेज के दिनों की संख्या

डेटा नोड्स की संख्या = ठीक (संख्याओं की संख्या / (प्रत्येक नोड के लिए 20 * मेमोरी))

इलास्टिक्स खोज बैंडविड्थ साइज़िंग

सबसे आम मामला जब उच्च बैंडविड्थ की आवश्यकता होती है, तो अक्सर और बड़ी संख्या में खोज क्वेरी होती है।

गणना के लिए आवश्यक प्रारंभिक डेटा:

• पीक प्रति सेकंड की खोज;
• मिलीसेकंड में औसत स्वीकार्य प्रतिक्रिया समय;
• डेटा नोड्स पर प्रति कोर कोर और थ्रेड्स की संख्या।

थ्रेड्स का पीक मान = ओके (सेकंड में खोज क्वेरी की पीक संख्या * मिलीसेकंड / 1000 मिलीसेकंड में खोज क्वेरी का जवाब देने के लिए समय की औसत संख्या)

वॉल्यूम थ्रेड पूल = OKRUP ((नोड प्रति भौतिक कोर की संख्या * प्रति धागे की संख्या * 3/2) +1

डेटा नोड्स की संख्या = ठीक (पीक थ्रेड मान / थ्रेड पूल वॉल्यूम)

आर्किटेक्चर डिजाइन करते समय शायद सभी प्रारंभिक डेटा आपके हाथ में नहीं होंगे, लेकिन वेबिनार को देखने या इस लेख को पढ़ने के बाद, एक समझ दिखाई देगी कि सिद्धांत रूप में हार्डवेयर संसाधनों की मात्रा को प्रभावित करता है।

कृपया ध्यान दें कि दिए गए आर्किटेक्चर का पालन करना आवश्यक नहीं है (उदाहरण के लिए, कॉर्ड कॉर्ड नोड्स और हैंडलर नोड्स बनाएं)। यह जानना पर्याप्त है कि इस तरह का एक संदर्भ वास्तुकला मौजूद है और यह एक प्रदर्शन को बढ़ावा दे सकता है जिसे आप अन्य तरीकों से हासिल नहीं कर सकते।

निम्नलिखित लेखों में से एक में, हम उन प्रश्नों की एक पूरी सूची प्रकाशित करेंगे, जिन्हें क्लस्टर आकार निर्धारित करने के लिए उत्तर देने की आवश्यकता है।

हमसे संपर्क करने के लिए, आप Habré या साइट पर प्रतिक्रिया फ़ॉर्म पर व्यक्तिगत संदेशों का उपयोग कर सकते हैं।

अतिरिक्त सामग्री

वेबिनार "एलीस्टैचर्च साइज़िंग एंड कैपेसिटी प्लानिंग"

एलियटिक्स खोज क्षमता योजना वेबिनार

"मात्रात्मक क्लस्टर आकार" विषय के साथ इलास्टिकन पर भाषण

क्लस्टर प्रदर्शन संकेतक के निर्धारण के लिए रैली उपयोगिता के बारे में वेबिनार

एलिटिक्स खोज आकार का लेख

लोचदार स्टैक वेबिनार