वारकामिंग में काफ्का: ब्लिट्ज

कफका क्यों? आपके समग्र इंप्रेशन क्या हैं? गुच्छों की संरचना क्या है? कटौती के तहत - लेवॉन अवाक्यन के लिए एक दर्जन लघु प्रश्न, जो वॉरगामिंग में विश्वसनीयता, अनुप्रयोग वास्तुकला, बुनियादी ढांचे और उत्पादन के लिए जिम्मेदार हैं।



- आपने काफ्का को कैसे चुना? पहले क्या इस्तेमाल किया गया था? क्या विकल्प पर विचार किया गया?

टैंक विकास के संबंध में बहुत सही सवाल नहीं है। अपाचे काफ्का हमारे डेटा वेयरहाउस की जरूरतों के लिए पहले से ही कंपनी में इस्तेमाल किया गया था, और शुरू में एक एकीकरण कार्य था, और उसके बाद ही हमने देखा कि काफ्का का उपयोग विभिन्न कार्यों के लिए किया जा सकता है।

- आपके खेल क्लस्टर द्वारा कितनी घटनाएं उत्पन्न होती हैं?

एक टैंक क्लस्टर क्लस्टर का एक समूह है, सिस्टम वितरित किया जाता है और विभिन्न कफका में घटनाओं को उत्पन्न करता है। सभी क्लस्टर औसतन 12 हजार संदेश उत्पन्न करते हैं, चोटियों पर प्रति सेकंड लगभग 30 हजार संदेश आते हैं।

- और आपके पास कितने क्लस्टर हैं और उनकी रचना क्या है?

सबसे बड़े केंद्रीय क्लस्टर में पांच लोहे के नोड होते हैं। छोटे क्लस्टर जो केवल टैंक बाह्य उपकरणों की सेवा करते हैं, वे प्रत्येक वर्चुअल मशीन के तीन नोड्स होते हैं। हमारे पास सीआईएस क्षेत्र के लिए चार स्थानीय क्लस्टर हैं।

- आप कितने निर्माता और उपभोक्ता हैं? पढ़ने / लिखने की दरें क्या हैं?

अच्छा सवाल है। स्थानीय परिधीय कफका के लिए, निर्माता एक है - एक टैंक क्लस्टर, और दर्जनों उपभोक्ता हैं। दरों के अनुसार: प्रति सेकंड 75 हजार संदेश केंद्रीय क्लस्टर पर लिखे जाते हैं, औसतन 12 हजार, स्थानीय लोगों पर सात हजार और औसतन तीन हजार तक।

- काफ्का में आप कितनी बड़ी घटनाएँ लिखते हैं? क्या डिलीवरी की कोई समय सीमा है?

सीमा 1 एमबी - कोई और नहीं पूछा। कुछ उपभोक्ताओं के लिए डिलीवरी समय पर प्रतिबंध है, कुछ के लिए नहीं। कुछ सप्ताह में एक बार पढ़ते हैं।

- क्या आपने किसी दिलचस्प विशेषताओं और बग का सामना किया था जब शार्पिंग या प्रतिकृति थी?

विषय सेटिंग के कारण पुन: चुनाव के दौरान डेटा हानि। गंदे पुन: चुनाव की अनुमति दी गई और गलत ISR को चुना गया।

- और क्या यह डिस्क या नेटवर्क के खिलाफ आराम करने के लिए हुआ था?

उन्होंने नेटवर्क पर आराम नहीं किया, हमारे पास 10 जीबी नेटवर्क इंटरफेस है। उन्होंने डिस्क के खिलाफ भी आराम नहीं किया। तैयार फ़ाइल डिस्क्रिप्टर पर आराम किया। Java-1.7.0-openjdk-1.7.0.55-2.4.4.1.1.el6_5.x86_64 से jdk1.8.0_66-1.8.0_66-fcs.x86_64 पर अपग्रेड करने के बाद स्थिरता आई।

- जेवीएम कफका के साथ क्या ओवरहेड लाता है? क्या जीसी विशेष सेटअप की आवश्यकता है? एक उदाहरण आपके मामले में कितनी स्मृति का उपभोग करता है?

12 जीबी मेमोरी आवंटित की जाती है, बाकी सब कुछ मानक है।

- क्या आपको काफ्का की किसी विशेष विशेषता का उपयोग करना था? संघनन लॉग करें?
कुछ विषयों के लिए लॉग कंपटीशन का उपयोग किया, लेकिन टैंक प्रोजेक्ट की दुनिया के लिए नहीं। विशिष्ट विषयों पर शामिल हैं, लेकिन परिणाम स्पष्ट नहीं है, किसी ने प्रतिक्रिया नहीं दी। Offsets.retention.minutes को भी सात दिनों तक बढ़ाया गया था, ताकि सप्ताह में एक बार पढ़ने वाले कॉन्सेरगेस ने पढ़ना जारी रखा जहां से वे चले गए।

- काफ्का के साथ काम करने के लिए पायथन लाइब्रेरी का क्या उपयोग किया गया? आपको क्या पसंद आया?

मॉस्को पायथन कॉन्फ ++ में मेरी एक रिपोर्ट वाह में काफ्का के लिए विभिन्न पायथन पुस्तकालयों का उपयोग करने के अनुभव के बारे में होगी। हमारी संपत्ति काफ्का-अजगर, संगम-काफ्का-अजगर, अयोकाफ़्का है। इन पुस्तकालयों में से प्रत्येक में इसके पेशेवरों और विपक्ष हैं।

- स्मृति के साथ तुलना में फ़ाइल-आधारित भंडारण के फायदे और नुकसान के बारे में आप क्या कहेंगे? किस प्रकार के कार्यों के लिए आप एक या दूसरे की सिफारिश कर सकते हैं?

यहाँ सिद्धांत सरल है। फ़ाइल सिस्टम पर यह अधिक विश्वसनीय है, लेकिन धीमी है। मेमोरी तेज है, लेकिन विश्वसनीयता कम है। साथ ही, वॉल्यूम में एक महत्वपूर्ण सीमा: आप फ़ाइल सिस्टम में टेराबाइट्स स्टोर कर सकते हैं, लेकिन हम अभी भी मेमोरी में गीगाबाइट का उपयोग करते हैं। यहां से आप एक विशिष्ट कार्यान्वयन से शुरू करके, बहुत कुछ कल्पना कर सकते हैं।

उपरोक्त के आधार पर: यदि आपको तेजी की आवश्यकता है, तो वॉल्यूम छोटा है और सुरक्षा महत्वपूर्ण नहीं है, फिर इन-मेमोरी, अन्यथा हम फ़ाइल-आधारित को देखते हैं।

- काफ्का के सामान्य छापे? यदि आप अब वही कार्य करने वाले थे, तो क्या आप काफ्का छोड़ेंगे या अन्य समाधानों की दिशा में देखेंगे?

कफ़्का बाहर से बड़ी मात्रा में डेटा तक पहुंच प्रदान करने के लिए एक अच्छा और सरल उपकरण है, जिसे बाद में अलग-अलग जगहों पर अलग-अलग टीमों द्वारा अलग-अलग उद्देश्यों के लिए धीरे-धीरे संसाधित किया जा सकता है। WoT में, हमारी समस्याओं को हल करने के लिए हमारे पास कई अलग-अलग उपकरण हैं, इसलिए जहां काफ्का चुनना उचित है, हम काफ्का चुनते हैं, जहां नहीं, हम अन्य उपकरणों को देखते हैं।

फिर, यदि आप काफ्का के साथ हमारे अनुभव के विवरण में रुचि रखते हैं, तो मॉस्को पायथन कॉन्फ ++ में मेरी बात पर आएं। मुझे आशा है कि कई इसे रोचक और उपयोगी पाएंगे।