हाईलोड पर ग्रिडगैन: जहां वितरित डीबीएमएस, इन-मेमोरी और ओपन सोर्स के बारे में बात करनी है

नई सुविधाएँ बनाना मजेदार है। लेकिन उनका परीक्षण कैसे करें, यदि आपका उत्पाद एक वितरित प्रणाली है, और वास्तविक ऑपरेशन विभिन्न भौतिक सर्वर, नेटवर्क इंटरैक्शन, हार्डवेयर विफलताओं और अप्रत्याशित उपयोगकर्ता कार्यों पर बहुत सारे कोर और डिस्क हैं?

हम आपको बताएंगे कि नई अपाचे इग्नाइट फंक्शनलिटी का परीक्षण कैसे किया जाता है, हम जो अच्छा कर रहे हैं, वह इतना अच्छा नहीं है:
- हम एकीकरण परीक्षणों में क्यों भागते हैं, और वास्तव में इकाई, नकली और XP की तरह नहीं हैं?
- मल्टीथ्रेड और वितरित एल्गोरिदम का परीक्षण
- एक परीक्षण योजना और कोड समीक्षा बनाना
- हम सबसे अधिक बार कहाँ चुभते हैं?

ग्रिडगैन ने एक बार इसी नाम का अपाचे सॉफ्टवेयर फाउंडेशन उत्पाद दान किया था - अब इसे अपाचे इग्नाइट के रूप में जाना जाता है। तब से, ग्रिडगैन इंजीनियर दो भूमिकाओं का संयोजन कर रहे हैं - एक लाभ-उन्मुख वाणिज्यिक कंपनी के कर्मचारी, और एक खुली परियोजना के स्वतंत्र डेवलपर्स। और हां, इन भूमिकाओं के बीच प्यार और नफरत के रिश्ते हैं। बैठक में, हम इस बारे में बात करेंगे कि ओपन सोर्स में विकास कैसे व्यापार की समस्याओं को हल करने में मदद करता है और बाधा डालता है।

हम शुरू करेंगे, और आप शामिल होंगे।
खुले स्रोत की ओर से: दिमित्री पावलोव, अपाचे इग्नाइट समुदाय प्रबंधक
व्यापार की ओर से: ग्रिडजैन कस्टमर सक्सेस से स्टानिस्लाव लुक्यानोव

आप अंतहीन रूप से कार्यक्षमता जोड़ सकते हैं और उत्पाद में कीड़े को ठीक कर सकते हैं, लेकिन यह सब समझ में नहीं आता है अगर नया संस्करण उपयोगकर्ता तक नहीं पहुंचता है। और एक नया संस्करण जारी करने के लिए, यह केवल विधानसभा और परीक्षणों को चलाने के लिए हमेशा पर्याप्त है। और संस्करण की रिहाई के लिए - यह विधानसभा शुरू करने के समान बिल्कुल नहीं है।

यदि आपको उत्पाद के कई संस्करणों का समर्थन करने की आवश्यकता है तो क्या करें? आश्चर्य के बिना उपयोगकर्ता को एक संस्करण से दूसरे संस्करण में कैसे बनाया जाए? और खुले स्रोत का इससे क्या लेना-देना है?

आइए बात करते हैं कि उपयोगकर्ता के पत्र से ग्राहक सहायता के लिए कौन से बदलाव आते हैं जब तक कि वे सुधार के साथ प्रतिष्ठित संस्करण प्राप्त नहीं करते।

कोई फर्क नहीं पड़ता कि तकनीक कैसे विकसित होती है, मुश्किल समय में एक बैकअप हमें नसों को बचाने के लिए जारी रखता है, और कभी-कभी काम करता है। ग्रिडगैन प्लेटफार्म अपाचे इग्नाइट वितरित ओपन सोर्स सिस्टम के शीर्ष पर चलता है, जहां डेटा बैकअप करना संभव नहीं है। तिथि करने के लिए, ग्राहक के डेटा की अधिकतम मात्रा ग्रिडगैन में 160 टेबल्स पर 200 टेराबाइट्स है। डेटा न केवल संग्रहीत किया जाता है, बल्कि लेन-देन की गारंटी सुनिश्चित करने के लिए लगातार संशोधित भी किया जाता है।

इस तरह के पैमाने पर एक वितरित प्रणाली के बैकअप बनाने की क्षमता की कमी बड़े व्यवसायों के लिए हमारे मंच के व्यावहारिक उपयोग के लिए एक ठोकर थी। रिपोर्ट से आप जानेंगे कि कैसे हम इस अंतर को भरने में कामयाब रहे।

हमें सीखना था:
- उपयोगकर्ता को रोकने के बिना बैकअप डेटा;
- वितरित सिस्टम के बैकअप में डेटा को सुसंगत और लेन-देन के अनुरूप बनाना;
- वितरित परिमित राज्य मशीन का उपयोग करके टोपोलॉजी परिवर्तन के लिए बैकअप निर्माण और पुनर्प्राप्ति प्रक्रिया को प्रतिरोधी बनाना;
- वृद्धिशील बैकअप लागू करें, कम जगह परिमाण का एक आदेश ले;
- काफी अलग क्लस्टर टोपोलॉजी पर बनाए गए पुराने डेटा बैकअप को पुनर्स्थापित करें।