ड्रॉपबॉक्स पर काफ्का की बैंडविड्थ सीमा की खोज

अपाचे-स्टैक प्रौद्योगिकियों का व्यापक उपयोग एक स्पष्ट प्रवृत्ति है। और काफ्का लोकप्रियता के मामले में सबसे आगे है: आज, जो लोग इस तरह के एक संदेश दलाल को जानते हैं, शायद उन लोगों की संख्या से अधिक है जो फ्रेंज़ शब्द को काफ्का शब्द के बगल में देखने के लिए उपयोग किए जाते हैं।

हम खुद अपनी परियोजनाओं में इस तकनीक का सक्रिय रूप से उपयोग कर रहे हैं। लेकिन यह हमेशा दिलचस्प होता है, लेकिन यह दूसरों के लिए कैसे काम करता है? और यह दोगुना दिलचस्प है अगर यह किसी के अभ्यास से सिर्फ एक उदाहरण नहीं है, बल्कि प्रौद्योगिकी के परीक्षण पर केंद्रित है। इसलिए, हमने एक हालिया लेख का अनुवाद किया है, जो बताता है कि कैसे ड्रॉपबॉक्स को कफका में अवसरों और धीरज की सीमाओं की सीमाओं के लिए अनुभवजन्य रूप से खोजा गया। और जो उसने चाहा, पाया।

ड्रॉपबॉक्स पर काफ्का की बैंडविड्थ सीमा की खोज
अपाचे काफ्का बड़ी मात्रा में डेटा के स्ट्रीमिंग और क्रमिक प्रसंस्करण के लिए एक लोकप्रिय समाधान है। यह उच्च तकनीक उद्योग में व्यापक रूप से उपयोग किया जाता है, और ड्रॉपबॉक्स कोई अपवाद नहीं है। कफका हमारे कई महत्वपूर्ण वितरित प्रणालियों के डेटा संरचना में एक महत्वपूर्ण भूमिका निभाता है - डेटा विश्लेषण, मशीन सीखने, निगरानी, ​​पुनर्प्राप्ति, और स्ट्रीम प्रसंस्करण (केप) (और ये सिर्फ कुछ हैं)।

ड्रॉपबॉक्स में, काफ्का समूहों को जेटस्ट्रीम टीम द्वारा प्रबंधित किया जाता है, जिनकी प्राथमिक जिम्मेदारी कफका से संबंधित उच्च-गुणवत्ता वाली सेवाएं प्रदान करना है। ड्रॉपबॉक्स अवसंरचना के भीतर काफ्का बैंडविड्थ सीमा को समझना विभिन्न उपयोग के मामलों में संसाधनों को आवंटित करने के बारे में सही निर्णय लेने के लिए महत्वपूर्ण है, और यह टीम के प्राथमिक लक्ष्यों में से एक था। हमने हाल ही में इसे प्राप्त करने के लिए एक स्वचालित परीक्षण प्लेटफॉर्म बनाया है। और इस प्रकाशन में हम अपने तरीके और निष्कर्षों को साझा करना चाहेंगे।

परीक्षण मंच

ऊपर दिया गया आंकड़ा इस अध्ययन के लिए हमारे परीक्षण मंच के मापदंडों को दर्शाता है। हम काफ्का ग्राहकों की मेजबानी करने के लिए स्पार्क का उपयोग करते हैं, जो हमें एक मनमाना मात्रा में यातायात का उत्पादन और उपभोग करने की अनुमति देता है। हमने विभिन्न आकारों के तीन काफ्का समूहों का निर्माण किया, जिससे कि क्लस्टर आकार को ट्यूनिंग करके ट्रैफ़िक को किसी अन्य बिंदु पर पुनर्निर्देशित करना कम कर दिया गया। कफका ने परीक्षण यातायात के उत्पादन और खपत के लिए एक विषय बनाया। सादगी के लिए, हमने सभी दलालों में समान रूप से यातायात वितरित किया है। ऐसा करने के लिए, हमने दलालों की संख्या के दस गुना वर्गों की संख्या के साथ एक परीक्षण विषय बनाया। प्रत्येक ब्रोकर ठीक 10 खंडों का नेतृत्व करता है। चूंकि किसी खंड में लिखना अनुक्रमिक है, इसलिए प्रति ब्रोकर आवंटित किए गए बहुत से खंड प्रतिस्पर्धी लेखन को जन्म दे सकते हैं, जो बैंडविड्थ को सीमित करता है। हमारे प्रयोगों से पता चला कि प्रतिस्पर्धी रिकॉर्डिंग से जुड़ी अड़चनों को खत्म करने के लिए 10 एक अच्छी संख्या है।

हमारे बुनियादी ढांचे की वितरित प्रकृति के कारण, हमारे ग्राहक संयुक्त राज्य के विभिन्न क्षेत्रों में स्थित हैं। यह देखते हुए कि हमारा परीक्षण ट्रैफ़िक ड्रॉपबॉक्स ट्रंक चैनलों की सीमा से काफी नीचे है, हम आत्मविश्वास से मान सकते हैं कि अंतर-क्षेत्रीय ट्रैफ़िक की यह सीमा स्थानीय ट्रैफ़िक पर भी लागू है।

लोड को क्या प्रभावित करता है?

ऐसे कई कारक हैं जो काफ्का क्लस्टर के भार को प्रभावित कर सकते हैं: उत्पादकों की संख्या, उपभोक्ता समूहों की संख्या, उपभोक्ताओं की प्रारंभिक ऑफसेट, प्रति सेकंड संदेशों की संख्या, प्रत्येक संदेश का आकार, विषयों की संख्या और इसमें शामिल अनुभाग। और ये सिर्फ उनमें से कुछ हैं। मापदंडों की स्थापना में स्वतंत्रता की डिग्री अधिक है। इस प्रकार, हमें एक स्वीकार्य स्तर तक परीक्षण की जटिलता को कम करने के लिए प्रमुख कारकों को खोजने की आवश्यकता है।

हमने उन मापदंडों के विभिन्न संयोजनों की जांच की जो हमें उपयुक्त लगे। हम इस निष्कर्ष पर पहुंचे कि जिन प्रमुख कारकों को ध्यान में रखा जाना चाहिए, वे लोड के मुख्य घटक हैं: प्रति सेकंड (s / s) उत्पादित संदेशों की संख्या और प्रति संदेश बाइट्स की संख्या (b / s)।

ट्रैफिक मॉडल

हमने काफ्का की सीमाओं को समझने के लिए एक औपचारिक तरीका अपनाया। एक विशेष कफका क्लस्टर के लिए एक संबंधित यातायात स्थान है। इस बहुआयामी स्थान के प्रत्येक बिंदु काफ्का पर लागू यातायात की एक अद्वितीय स्थिति से मेल खाते हैं और मापदंडों के वेक्टर के रूप में प्रस्तुत किए गए हैं: <s / s, b / s, # निर्माता, # उपभोक्ता समूह, # विषय, ...>। सभी ट्रैफ़िक में कफ़्का भीड़ के परिणाम नहीं होते हैं, एक बंद उप-क्षेत्र बनाते हैं जिसकी सतह कफ़्का क्लस्टर को सीमित करेगी।

हमारे पहले परीक्षण के लिए, हमने मुख्य मापदंडों के रूप में एस / एस और बी / एस को चुना और ट्रैफिक स्पेस को दो-आयामी विमान तक कम कर दिया। अनुमेय यातायात की सीमाएँ स्पष्ट ट्रैकिंग क्षेत्र बनाती हैं। हमारे मामले में काफ्का सीमा का पता लगाना इस क्षेत्र के सीमा मूल्यों को निर्धारित करने के बराबर है।

परीक्षण स्वचालन

सीमाओं को पर्याप्त सटीकता के साथ सेट करने के लिए, विभिन्न मापदंडों के साथ सैकड़ों परीक्षण करने की आवश्यकता थी - जो मैन्युअल रूप से करने के लिए बेहद तर्कहीन होगा। इसलिए, हमने एक एल्गोरिथ्म विकसित किया है जो आपको मानव हस्तक्षेप के बिना सभी प्रयोगों को करने की अनुमति देता है।

भीड़ की दर

संकेतकों का एक सेट ढूंढना बहुत महत्वपूर्ण है जो आपको काफ्का की स्थिति का मूल्यांकन करने की अनुमति देता है। हमने संभावित संकेतकों की एक विस्तृत श्रृंखला की जांच की और निम्नलिखित छोटे नमूने पर बसे:

• एक साधारण I / O स्ट्रीम 20% से नीचे है: इसका मतलब है कि क्लाइंट अनुरोधों को संसाधित करने के लिए काफ्का द्वारा उपयोग किए जाने वाले वर्कफ़्लोज़ का पूल बहुत व्यस्त है और आने वाले कार्यों का सामना नहीं कर सकता है।
• 50% से अधिक द्वारा सिंक्रनाइज़ प्रतिकृति (ISR) के सेट में परिवर्तन: इसका मतलब यह है कि जब मनाया समय के 50% के लिए यातायात का उपयोग करते हैं, तो कम से कम एक दलाल के पास अपने नेता से प्राप्त डेटा की नकल करने का समय नहीं होता है।

काफ्का की स्थिति की निगरानी और क्लस्टर अधिभार के पहले अलार्म संकेतों के रूप में काम करने के लिए जेटस्ट्रीम में समान संकेतकों का उपयोग किया जाता है।

सीमाओं का पता लगाएं

एक सीमा मूल्य निर्धारित करने के लिए, हम बी / एस को ठीक करते हैं और फिर काफ्का को अधिभार में लाने के लिए एस / एस को बदलते हैं। जब हम सुरक्षित एस / एस मूल्य को जानते हैं और इसके करीब है, लेकिन पहले से ही अधिभार का कारण सीमा एस / एस मूल्य निर्धारित करना संभव है। इन दोनों में से, सुरक्षित s / s मान सीमा मूल्य के रूप में लिया जाता है। जैसा कि नीचे दिखाया गया है, विभिन्न संकेतकों b / s के साथ समान परीक्षणों के परिणामों के अनुसार सीमा मानों की रेखा बनती है:



यह ध्यान देने योग्य है कि सीधे एस / एस को विनियमित करने के बजाय, हमने एक ही उत्पादन गति वाले निर्माताओं की एक अलग संख्या के साथ प्रयोग किया, जो कि एनपी द्वारा निरूपित किया गया था। बात यह है कि संदेशों का बैच प्रसंस्करण किसी एकल निर्माता की उत्पादन गति पर नियंत्रण को जटिल करता है। इसके विपरीत, निर्माताओं की संख्या में परिवर्तन से आप ट्रैफ़िक को रैखिक रूप से बदल सकते हैं। हमारे शुरुआती शोध के अनुसार, निर्माताओं की संख्या में साधारण वृद्धि से काफ्का पर भार में ध्यान देने योग्य अंतर पैदा नहीं होगा।

शुरू करने के लिए, हम एक बाइनरी खोज का उपयोग करके एक अलग सीमा मान पाते हैं। खोज एक बहुत बड़ी रेंज एनपी [0, अधिकतम] से शुरू होती है, जहां अधिकतम मूल्य है जो आवश्यक रूप से अधिभार को जन्म देगा। प्रत्येक पुनरावृत्ति में, ट्रैफ़िक बनाने के लिए एक औसत मूल्य चुना जाता है। यदि काफ्का इस मूल्य के साथ अतिभारित है, तो यह औसत मूल्य नई ऊपरी सीमा बन जाता है; अन्यथा, यह एक नई निचली सीमा बन जाती है। खोज प्रक्रिया बंद हो जाती है जब सीमा पर्याप्त होती है। तब हम s / s संकेतकों पर विचार करते हैं, जो सीमा मूल्यों की स्थापित निचली सीमा से संबंधित हैं।

परिणाम



जैसा कि आप ऊपर दिए गए आरेख में देख सकते हैं, हमने विभिन्न आकारों के काफ्का के लिए सीमा मान निर्धारित किए हैं। परिणामों के आधार पर, हम इस निष्कर्ष पर पहुंचे कि ड्रॉपबॉक्स अवसंरचना का अधिकतम संभावित प्रवाह 60 एमबी / प्रति ब्रोकर है।

इस बात पर जोर दिया जाना चाहिए कि यह एक रूढ़िवादी सीमा है, क्योंकि काफ्का में आंतरिक संदेश संपीड़न के प्रभाव को कम करने के लिए हमारे परीक्षण संदेशों की सामग्री यथासंभव यादृच्छिक थी। जब ट्रैफ़िक अपनी सीमा तक पहुँच जाता है, तो ड्राइव और नेटवर्क दोनों का पूरा उपयोग होता है। कामकाजी लिपियों में, काफ्का संदेश आमतौर पर एक निश्चित पैटर्न के अनुरूप होते हैं, क्योंकि वे अक्सर समान एल्गोरिदम द्वारा बनते हैं। यह संदेश संपीड़न के अनुकूलन के लिए महत्वपूर्ण अवसर प्रदान करता है। हमने एक चरम परिदृश्य का परीक्षण किया, जब संदेशों में एक ही वर्ण होता है, और बहुत अधिक थ्रूपुट दर्ज किया, क्योंकि डिस्क और नेटवर्क अब एक अड़चन नहीं है।

इसके अलावा, ये थ्रूपुट संकेतक सही हैं यदि परीक्षण किए गए विषय की सदस्यता लेने वाले कम से कम 5 उपभोक्ता समूह हैं। दूसरे शब्दों में, संकेतित रिकॉर्डिंग बैंडविड्थ तब प्राप्त होता है जब रीडिंग बैंडविड्थ 5 गुना अधिक होता है। जब उपभोक्ता समूहों की संख्या 5 से अधिक हो जाती है, तो नेटवर्क से अड़चन बनते ही रिकॉर्डिंग बैंडविड्थ कम होने लगती है। चूंकि पढ़ने और लिखने के ट्रैफ़िक का अनुपात उन मामलों में 5 से बहुत कम है जहां ड्रॉपबॉक्स उत्पादन समूहों का उपयोग किया जाता है, प्राप्त बैंडविड्थ सभी उत्पादन समूहों तक फैली हुई है।

यह परिणाम आपको भविष्य के काफ्का के लिए बेहतर योजना संसाधनों में मदद करेगा। उदाहरण के लिए, यदि हम सभी ब्रोकरों के 20% तक ऑफ़लाइन काम करने की अनुमति देना चाहते हैं, तो एक ब्रोकर की अधिकतम सुरक्षित बैंडविड्थ 60 एमबी / एस * 0.8 ~ = 50 एमबी / एस होनी चाहिए। इस संख्या का उपयोग भविष्य के उपयोग के मामलों के नियोजित प्रवाह के आधार पर, क्लस्टर आकार को निर्धारित करने के लिए किया जा सकता है।

भविष्य के काम के लिए उपकरण

प्लेटफ़ॉर्म और स्वचालित परीक्षक जेटस्ट्रीम टीम के लिए अपने भविष्य के काम में महत्वपूर्ण उपकरण होंगे। जब हम एक नए हार्डवेयर में जाते हैं, तो नेटवर्क कॉन्फ़िगरेशन को बदलें या काफ्का के संस्करण को अपडेट करें, हम बस इन परीक्षणों को फिर से चला सकते हैं और नए कॉन्फ़िगरेशन की अनुमत सीमा पर नया डेटा प्राप्त कर सकते हैं। हम अन्य कारकों का अध्ययन करने के लिए समान कार्यप्रणाली लागू कर सकते हैं जो विभिन्न तरीकों से काफ्का के प्रदर्शन को प्रभावित कर सकते हैं। अंत में, प्लेटफ़ॉर्म जेटस्ट्रीम के रूप में कार्य कर सकता है जो नए ट्रैफ़िक विकल्पों का अनुकरण करने या एक अलग वातावरण में समस्याओं को पुन: उत्पन्न करने के लिए परीक्षण किया जाता है।

संक्षेप में देना

इस लेख में, हमने काफ्का की सीमाओं को समझने के लिए अपने व्यवस्थित दृष्टिकोण का परिचय दिया। यह ध्यान रखना महत्वपूर्ण है कि हमने ड्रॉपबॉक्स अवसंरचना के आधार पर ये परिणाम प्राप्त किए हैं, इसलिए हार्डवेयर, सॉफ्टवेयर और नेटवर्क स्थितियों में अंतर के कारण हमारे नंबर अन्य काफ्का प्रतिष्ठानों पर लागू नहीं हो सकते हैं। हमें उम्मीद है कि यहां प्रस्तुत कार्यप्रणाली पाठकों को अपने स्वयं के सिस्टम को समझने में मदद कर सकती है।