साइटों को पार्स करने और अतिरिक्त क्लाउड संसाधनों को जोड़ने पर लोड संतुलन

इस पोस्ट में, हम एक पुस्तकालय के बारे में बात करेंगे जो अपने आप में नोड्स को पंजीकृत करता है और एक विशिष्ट नोड के लिए बाहर से अनुरोधों को रीडायरेक्ट करता है।

आपको यह प्रोजेक्ट लिखने का विचार कैसे आया?

बड़ी मात्रा में पार्सिंग साइटों की आवश्यकता होने के बाद, मैंने सेलेनियम ग्रिड का उपयोग करके ऐसी चीज को लागू करने की कोशिश की, फिर मैंने सेलेनॉइड लिया। सेलेनॉइड आया, लेकिन बहुत कुछ ऐसा था जिसकी मुझे आवश्यकता नहीं थी, उदाहरण के लिए, संस्करण और ब्राउज़र विकल्प, और सबसे महत्वपूर्ण बात, ऑटो स्केलिंग की कमी (लेकिन सेलेनॉइड उसके लिए नहीं है)। उस समय का 90% क्लस्टर बेकार है, और फिर एक बड़ा लोड दिखाई देता है, जिसे सर्वर सामना नहीं कर सकता है। यह लोहे के लिए बड़े खर्चों को पूरा करता है, जो लगभग हर समय काम नहीं करता है, और यहां तक ​​कि सामना नहीं कर सकता है। मैंने सोचा कि यह बहुत अच्छा होगा यदि, जैसे ही लोड आता है, निष्पादन योग्य ब्राउज़रों की संख्या बढ़ जाएगी, लेकिन कैसे लोड गायब हो जाता है और ब्राउज़र हटा दिए जाते हैं। सौभाग्य से, यह लागू किया जा सकता है, उदाहरण के लिए, AWS EC2 के माध्यम से।

संरचना के बारे में थोड़ा सा

• हब।
  
  हब को आपके लिए सुविधाजनक स्थान पर लॉन्च किया गया है, यह एक उदाहरण में आवश्यक है।
  हब के साथ डॉकटर कंटेनर बनाते समय, इसे एक टोकन पर्यावरण चर को पास करना होगा।
  
  जिसके बाद वह नोड्स और उपयोगकर्ताओं से आने वाले कनेक्शन की उम्मीद करना शुरू कर देता है।
  हब मार्गों को याद करता है, यह उन्हें ठीक एक मिनट की निष्क्रियता के लिए याद करता है, फिर यह इस मार्ग को हटा देता है और दूसरे क्लाइंट के लिए नोड को मुक्त करता है।
  
• नोड।
  
  नोड को ऑटो स्केलिंग सिस्टम के लिए एक बुनियादी कंटेनर के रूप में कॉन्फ़िगर किया जा सकता है, उदाहरण के लिए, कंटेनर पूल पर एक औसत भार के साथ, एक और एक जोड़ें, या, चरम मामलों में, आप लॉन्च समय पर इस कंटेनर के साथ एक वर्चुअल सर्वर शुरू कर सकते हैं, बशर्ते कि आप वास्तविक भुगतान करें सर्वर का उपयोग समय।
  
  नोड के साथ एक डॉकटर कंटेनर बनाते समय, इसे टोकन और सर्वर पर्यावरण चर को पास करना होगा। सर्वर हमारे हब का आईपी है।
  
  

विकल्प संख्या 1. नोड से अनुरोध

नोड टोकन सेट के साथ हब के लिए एक अनुरोध करता है - जो पर्यावरण चर से टोकन है। हब अनुरोध से टोकन की जांच करता है और यदि वे मेल खाते हैं, तो इसे याद है। हब हर 4 सेकंड में एक बार इस नोड को पिंग करना शुरू करता है। यदि 5 पिंग प्रयास विफल रहे, तो नोड को कनेक्शन हानि के नोट के साथ हटा दिया जाता है। नोड, बदले में, हर 10 सेकंड में एक बार प्रतिक्रिया पिंग को शुरू करता है, अगर मामले में हब के साथ कनेक्शन खो गया है। ऐसा इसलिए किया जाता है ताकि कनेक्शन टूट जाने के बाद, क्लस्टर खुद ही अपनी स्थिति को बहाल कर दे।

विकल्प संख्या 2. उपयोगकर्ता से अनुरोध

उपयोगकर्ता टोकन और नंबर हेडर सेट के साथ हब के लिए एक अनुरोध करता है। टोकन की आवश्यकता है ताकि केवल विश्वसनीय नोड्स क्लस्टर को संचालित कर सकें, और संख्या ताकि हम एक ही क्लाइंट आईपी के भीतर विभिन्न सत्र बना सकें। प्रत्येक सत्र की अपनी विशिष्ट संख्या होती है।

प्रत्येक अनुरोध के लिए, हब की जाँच करता है कि क्या पहले से ही एक निर्मित मार्ग है या नहीं, अगर वहाँ है - अनुरोध बस इच्छित नोड पर पुनर्निर्देशित किया जाता है, अगर ऐसा कोई मार्ग नहीं है, तो उपयोगकर्ता से अनुरोध नोड को मुक्त करने के लिए कतारबद्ध है। जैसे ही एक नोड को मुक्त किया जाता है, हब उपयोगकर्ता सत्र और मुक्त मार्ग के लिए एक मार्ग बनाता है। अब इस सत्र के लिए सभी अनुरोध एक विशिष्ट नोड पर जाएंगे।

एक मिनट बाद। उपयोगकर्ता ने कनेक्शन कैसे बंद किया - नोड को मुक्त किया गया और किसी अन्य उपयोगकर्ता के अनुरोध पर स्थानांतरित किया गया।

प्रोजेक्ट रिपॉजिटरी से लिंक

परिणाम

पोस्ट उपयोग के लिए निर्देशों की तरह अधिक निकला, लेकिन फिर भी, मुझे विश्वास है कि यह परियोजना उपयोगी हो सकती है।

पुनश्च कुछ स्पष्टीकरण

यह पहला प्रोजेक्ट है, जिसे मैंने गोल्ंग पर लिखना शुरू किया है, जिसके संबंध में, यदि किसी के पास कोई सुझाव या टिप्पणी है, तो कृपया टिप्पणियों में लिखें (मैं पीआर पर भी गणना नहीं करता हूं, लेकिन यह बहुत अच्छा होगा!)