ओलेग अनास्तासिव के साथ मिनी-इंटरव्यू: अपाचे कैसेंड्रा में गलती सहिष्णुता

सहपाठियों RuNet में Apache Cassandra का सबसे बड़ा उपयोगकर्ता है और दुनिया में सबसे बड़ा है। हमने फोटो अनुमानों को संग्रहीत करने के लिए कैसंड्रा का उपयोग 2010 में शुरू किया था, और अब कैसंड्रा हजारों नोड्स पर डेटा के पेटाबाइट्स का प्रबंधन करता है, इसके अलावा, हमने अपने स्वयं के न्यूकैश लेनदेन डेटाबेस का भी विकास किया।
12 सितंबर को, हमारे सेंट पीटर्सबर्ग कार्यालय में, हम अपाचे कैसेंड्रा को समर्पित दूसरी बैठक करेंगे। इस आयोजन के मुख्य वक्ता मुख्य अभियंता ओडनोकलासनिकोव ओलेग अनास्तासिव होंगे। ओलेग वितरित और दोष-सहिष्णु प्रणालियों के क्षेत्र में एक विशेषज्ञ है, वह 10 वर्षों से कैसेंड्रा के साथ काम कर रहा है और सम्मेलनों में इस उत्पाद की विशेषताओं के बारे में बार-बार बात की है ।

बैठक की पूर्व संध्या पर, हमने ओलेग के साथ कैसंड्रा के साथ वितरित प्रणालियों की गलती सहिष्णुता के बारे में बात की, पूछा कि वह बैठक में क्या बात करेंगे और इस समारोह में भाग लेने के लायक क्यों थे।

ओलेग ने 1995 में एक प्रोग्रामर के रूप में अपना करियर शुरू किया। बैंकिंग क्षेत्र, दूरसंचार, परिवहन में विकसित सॉफ्टवेयर। वह 2007 से प्लेटफ़ॉर्म टीम के सदस्य के रूप में ओडनोकलासनिक में एक प्रमुख डेवलपर के रूप में काम कर रहे हैं। उनकी जिम्मेदारियों में उच्च-लोड सिस्टम, बड़े डेटा वेयरहाउस के लिए आर्किटेक्चर और समाधान का विकास, पोर्टल की उत्पादकता और विश्वसनीयता की समस्याओं को हल करना शामिल है। वह कंपनी के भीतर प्रशिक्षण डेवलपर्स में भी लगे हुए हैं।

- ओलेग, हैलो! अपाचे कैसेंड्रा को समर्पित पहली बैठक मई में हुई थी, प्रतिभागियों का कहना है कि चर्चाएं देर रात तक चलीं, कृपया मुझे बताएं, पहली बैठक के आपके क्या प्रभाव हैं?

विभिन्न कंपनियों के विभिन्न पृष्ठभूमि वाले डेवलपर्स अपने दर्द, समस्याओं और अप्रत्याशित कहानियों के अप्रत्याशित समाधान के साथ आए। हम चर्चा के प्रारूप में अधिकांश बैठक का संचालन करने में सक्षम थे, लेकिन इतनी चर्चाएँ थीं कि हम केवल एक तिहाई विषयों पर ही स्पर्श कर पा रहे थे, जिन्हें रेखांकित किया गया था। हमने इस बात पर बहुत ध्यान दिया कि हम अपनी वास्तविक उत्पादन सेवाओं का उपयोग एक उदाहरण के रूप में कैसे और क्या करते हैं।

मुझे दिलचस्पी थी और वास्तव में इसका आनंद लिया।

- घोषणा से देखते हुए, दूसरा म्यूटाप पूरी तरह से दोष सहिष्णुता के लिए समर्पित होगा, आपने इस विषय को क्यों चुना?

कैसेंड्रा एक सामान्य रूप से भरी हुई वितरण प्रणाली है जिसमें उपयोगकर्ता के सीधे अनुरोधों के अलावा बड़ी मात्रा में कार्यक्षमता है: गपशप, विफलता का पता लगाना, स्कीमा परिवर्तन का वितरण, क्लस्टर का विस्तार / कम करना, एंटी-एंट्रोपी, बैकअप और रिकवरी, आदि। जैसा कि किसी भी वितरित प्रणाली में, लोहे की मात्रा में वृद्धि के साथ, विफलताओं की संभावना बढ़ जाती है, इसलिए कैसेंड्रा समूहों के उत्पादन के संचालन को विफलताओं और ऑपरेटर कार्यों के मामले में व्यवहार की भविष्यवाणी करने के लिए अपने डिवाइस की गहरी समझ की आवश्यकता होती है। कई वर्षों से कैसेंड्रा का उपयोग करने की प्रक्रिया में, हमने महत्वपूर्ण विशेषज्ञता जमा की है , जिसे हम साझा करने के लिए तैयार हैं, और हम यह भी चर्चा करना चाहते हैं कि हमारे सहयोगी कैसे विशिष्ट समस्याओं को हल करते हैं।

- जब यह कैसंड्रा की बात आती है, तो आपको गलती सहिष्णुता से क्या मतलब है?

सबसे पहले, ज़ाहिर है, सिस्टम की क्षमता ठेठ हार्डवेयर विफलताओं से बचने के लिए: नोड्स / डेटा केंद्रों के साथ मशीनों, डिस्क, या नेटवर्क कनेक्टिविटी का नुकसान। लेकिन विषय स्वयं बहुत व्यापक है और विशेष रूप से विफलताओं से वसूली शामिल है, जिसमें विफलताएं भी शामिल हैं, जिसके लिए लोग शायद ही कभी तैयार होते हैं, उदाहरण के लिए, ऑपरेटर त्रुटियां।

- क्या आप सबसे अधिक लोड और सबसे बड़े डेटा क्लस्टर का एक उदाहरण दे सकते हैं?

हमारे सबसे बड़े समूहों में से एक उपहार क्लस्टर है: 200 से अधिक नोड्स और सैकड़ों टीबी डेटा। लेकिन यह सबसे अधिक भरा हुआ नहीं है, क्योंकि यह एक वितरित कैश द्वारा कवर किया गया है। हमारे व्यस्ततम क्लस्टर लेखन के लिए हजारों आरपीएस और पढ़ने के लिए हजारों आरपीएस रखते हैं।

- वाह! कितनी बार कुछ टूटता है?

हाँ, लगातार ! कुल में, हमारे पास 6 हज़ार से अधिक सर्वर हैं, और हर सप्ताह कुछ सर्वर और कई दर्जनों डिस्क को प्रतिस्थापित किया जाता है (समानांतर उन्नयन प्रक्रियाओं को छोड़कर और बेड़े का विस्तार)। प्रत्येक प्रकार की विफलता के लिए, क्या और किस क्रम में करना है, इस पर एक स्पष्ट निर्देश लिखा जाता है, यदि संभव हो तो सब कुछ स्वचालित है, इसलिए विफलता एक दिनचर्या है और 99% मामलों में वे उपयोगकर्ताओं द्वारा किसी का ध्यान नहीं देते हैं।

- ऐसी असफलताओं से आप क्या जूझ रहे हैं?

कैसंड्रा के संचालन की पहली शुरुआत और पहली घटनाओं से, हमने उनसे बैकअप और रिकवरी मैकेनिज्म पर काम किया, ऐसी परिनियोजित कार्यविधियाँ बनाईं जो कैसंड्रा क्लस्टर्स की स्थिति को ध्यान में रखती हैं और उदाहरण के लिए, यदि डेटा हानि संभव है, तो नोड्स को पुनः आरंभ करने से रोकें। हम बैठक में इस सब के बारे में बात करने की योजना बना रहे हैं।

- जैसा कि आपने कहा, बिल्कुल विश्वसनीय सिस्टम मौजूद नहीं है। आप किस प्रकार की विफलताओं के लिए तैयार हैं और जीवित रहने में सक्षम हैं?

अगर हम कैसंड्रा क्लस्टर की हमारी स्थापना के बारे में बात करते हैं, तो उपयोगकर्ता एक डीसी या पूरे डीसी में कई मशीनें खो जाने पर कुछ भी नोटिस नहीं करेंगे (यह हुआ)। डीसी की संख्या में वृद्धि के साथ, हम दो डीसी की विफलता की स्थिति में परिचालन सुनिश्चित करने के लिए शुरू करने के बारे में सोच रहे हैं।

- आपको क्या लगता है कि कसंद्रा में दोष सहिष्णुता की कमी है?

कैसंड्रा, कई अन्य शुरुआती NoSQL रिपॉजिटरी की तरह, इसकी आंतरिक संरचना और चल रही गतिशील प्रक्रियाओं की गहरी समझ की आवश्यकता है। मैं कहूंगा कि उसके पास सादगी, पूर्वानुभव और अवलोकनीयता का अभाव है। लेकिन बैठक के अन्य प्रतिभागियों की राय सुनना दिलचस्प होगा!

ओलेग, सवालों का जवाब देने के लिए समय निकालने के लिए बहुत-बहुत धन्यवाद!

हम उन सभी लोगों की प्रतीक्षा कर रहे हैं जो अपने सेंट पीटर्सबर्ग कार्यालय में 12 सितंबर की बैठक में अपाचे कैसेंड्रा के संचालन के क्षेत्र में विशेषज्ञों के साथ बात करना चाहते हैं।

आओ, यह दिलचस्प होगा!

घटना के लिए रजिस्टर करें।