GSoC अनुभव: कैसे दो (तीन) छात्र वास्तव में बेहतर CRIU कोड

हर साल, Google Google समर ऑफ़ कोड ईवेंट की मेजबानी करता है, जहां अग्रणी ओपनसोर्स परियोजनाएं छात्रों के बीच नए प्रतिभाशाली डेवलपर्स को ढूंढती हैं। 2019 में, हमारा CRIU प्रोजेक्ट न केवल क्वालिफाइंग राउंड को पास करने में कामयाब रहा, बल्कि कई युवा डेवलपर्स को एक साथ आकर्षित करने में भी कामयाब रहा। यह सब क्यों, और सीआरयूआई पर काम जीएसओसी के ढांचे के भीतर कैसे हुआ - बिल्ली के नीचे पढ़ें।





हम Virtuozzo में एक छोटी लेकिन पहले से ही काफी लोकप्रिय परियोजना है जिसे CRIU कहा जाता है। यह एक जटिल प्रणाली उपयोगिता और कर्नेल पैच का एक सेट है (उनमें से अधिकांश, वैसे, पहले से ही मुख्य कर्नेल पेड़ में स्वीकार किए जाते हैं), जिसके साथ आप जैसे चीजें कर सकते हैं, उदाहरण के लिए, कंटेनरों का लाइव प्रवास या अनुप्रयोगों को फिर से शुरू करने से कर्नेल को अपडेट करें।



हमने 2011 में इस परियोजना को वापस शुरू किया। और इस तथ्य के बावजूद कि उपयोगिता ने शुरू में बहुत सारे सवाल किए, और कुछ ने इसके कार्यान्वयन को असंभव माना, सीआरआईयू धीरे-धीरे एक परिपक्व उपकरण में बदल गया। आज तक, Google और IBM जैसे दिग्गज कंपनियों सहित कई दर्जन कंपनियों के डेढ़ सौ से अधिक योगदानकर्ताओं ने इसमें भाग लिया है। इसके बावजूद, नए सदस्यों की तलाश जारी है, और इस साल हमने आखिरकार Google समर ऑफ कोड (GSoC) को टक्कर दी।

जीएसओसी एक Google-प्रायोजित वार्षिक कार्यक्रम है जिसका उद्देश्य छात्रों को विभिन्न ओपनसोर्स परियोजनाओं के लिए आकर्षित करना है। एक ओर, खुली परियोजनाओं की टीमें इस आयोजन में भाग लेना चाहती हैं, और दूसरी ओर, वे छात्र जो समुदाय के विकास में योगदान करना चाहते हैं और वास्तविक परियोजनाओं पर अपनी व्यावसायिकता साबित करते हैं।

जीएसओसी टीम में प्रवेश करने के लिए, परियोजना विवरण को निर्दिष्ट करने वाले एक आवेदन को प्रस्तुत करना आवश्यक है, कई विषय जो छात्र काम कर सकते हैं और तथाकथित "आकाओं" की एक सूची है - परियोजना में सक्रिय प्रतिभागी जो छात्र को उसके कठिन काम में मदद करेंगे। छात्रों को एक या एक से अधिक परियोजनाओं का चयन करना होगा और अपने रिज्यूमे को मेंटर्स को भेजना होगा।

स्कूल वर्ष के मध्य में, Google टीमों के अनुप्रयोगों पर विचार करता है और उन परियोजनाओं का चयन करता है जो भाग लेंगे, और गर्मियों की छुट्टियों के करीब, टीम उन छात्रों का चयन करती है जिनके साथ वे काम करने के लिए तैयार हैं, जिसके बाद Google अंतिम फ़िल्टरिंग करता है और टीमों के अनुसार छात्रों को वितरित करता है। गर्मियों में, काम शुरू होता है, जो तीन महीने तक रहता है। हर 30 दिनों में एक बार, छात्र अंतरिम रिपोर्ट जमा करते हैं, और उनके संरक्षक परिणामों का मूल्यांकन करते हैं और काम की निरंतरता (या समाप्ति) के लिए सिफारिशें करते हैं।

मेमोरी ऑप्टिमाइज़ेशन और बाइनरी लॉग्स का कार्यान्वयन

मैं मानता हूं कि 2019 में जीएसओसी में प्रवेश करने का हमारा पहला प्रयास नहीं था। इस बिंदु तक, हम Google से परियोजनाओं के चयन के चरण से गुजरने में सक्षम नहीं हैं। लेकिन हमने हार नहीं मानी (सामान्य तौर पर, आवेदन जमा करना मुश्किल नहीं है), और आखिरकार, सब कुछ काम कर गया - Google ने हमारी परियोजना के विकास को महत्वपूर्ण माना और जीएसओसी में सीआरयूआई जारी किया।

हमारे पास छात्रों के लिए बहुत सारे विषय थे, एक और अधिक सुंदर और अधिक जटिल। एक सुखद आश्चर्य यह था कि समुदाय में उनमें से प्रत्येक के लिए कलाकार थे। ऐसे लोग थे जो आवाज वाले मुद्दों को जानते थे और एक संरक्षक के रूप में काम करने के लिए तैयार थे। छात्र दाखिल करने के चरण में, हमने एक पूरी "प्रतियोगिता" प्राप्त की - 2 छात्रों ने प्रत्येक विषय के लिए आवेदन किया और लगभग सभी के पास अद्भुत इनपुट डेटा था। अंतिम चयन ने हमें दो छात्रों को प्राप्त करने की अनुमति दी, जिन्होंने चल रही प्रक्रिया से मेमोरी संरक्षण कोड के अनुकूलन के विषयों को लिया, साथ ही साथ बाइनरी लॉग्स का कार्यान्वयन भी किया।

चूंकि CRIU लाइव एप्लिकेशन माइग्रेशन की एक प्रणाली है, इसलिए इसमें ऑपरेशन की एक ऐसी विधा होती है जब स्मृति द्वारा उपयोग की जाने वाली प्रक्रिया को प्रक्रिया के निष्पादन के साथ समानांतर में छवि फ़ाइलों को पढ़ा और लिखा जाता है। हम इसे प्रक्रिया का "जीवित हृदय ऑपरेशन" कहते हैं, क्योंकि यह बिना रुके काम करना जारी रखता है। GSoC राउंड से पहले, सभी मेमोरी को vmsplice सिस्टम कॉल का उपयोग करके पाइप में खींचा गया था, जिसने एक समय में शोर किया था, और फिर प्रक्रिया निष्पादित करना जारी रखा, और CRIU ने धीरे-धीरे इस मेमोरी को फाइलों में (या एक नेटवर्क में अगर यह लाइव माइग्रेशन था) डंप कर दिया। सिद्धांत रूप में, यह एक कामकाजी दृष्टिकोण है, लेकिन समस्या यह थी कि पाइप में स्थित मेमोरी प्रभावी रूप से लॉक (झुंड) है और यदि आवश्यक हो तो कर्नेल इसे डिस्क (स्वैप-आउट) में अनलोड नहीं कर सकता है।

एक वास्तुकला की दृष्टि से, हम प्रोसेस_vm_readv कॉल करके मेमोरी को छोटे भागों में कॉपी करने के लिए पाइप को बदलना चाहते थे। यह नवाचार लिनक्स कर्नेल में बहुत पहले नहीं दिखाई दिया था (वैसे, इस कॉल का जुड़वाँ भाई है, जिसे process_vm_writex) कहा जाता है। लेकिन एक ही समय में यह आपको बहुत सुविधा और गति प्रदान करने की अनुमति देता है, उदाहरण के लिए, स्ट्रेस यूटिलिटी और डीबगर्स का काम, जिसे कुछ अन्य कार्यों को हल करने के लिए प्रक्रियाओं की स्मृति में चारों ओर पोक किया जा सकता है।

अनुकूलन पर काम इस तथ्य से जटिल था कि प्रक्रिया मेमोरी के साथ काम करने के लिए कोड उपयोगिता में केंद्रीय लोगों में से एक है, और इसलिए यह बिल्कुल विश्वसनीय होना चाहिए। पृष्ठों को सहेजने में कोई भी त्रुटि इसकी आंतरिक वस्तुओं की एक असंगत स्थिति प्राप्त करने की प्रक्रिया को जन्म दे सकती है (जिसके बारे में CRIU, निश्चित रूप से, "कुछ भी नहीं जानता") और पुनर्प्राप्ति के बाद यह बिना किसी स्पष्ट निदान के गिर जाएगा।

इस विकास की दूसरी कठिनाई यह थी कि मेमोरी के साथ काम करना लगभग सभी CRIU सुविधाओं में शामिल है। ये सामान्य चेकपॉइंट-पुनर्स्थापना प्रक्रियाएं हैं, ये इसके विभिन्न अनुकूलित संस्करण हैं, उदाहरण के लिए पूर्व-डंप या आलसी-पुनर्स्थापना। अगले रिपोर्टिंग सप्ताह में एक बार, हमने परियोजना से छात्र को "खारिज" करने की योजना भी बनाई, लेकिन, सौभाग्य से, हमने ऐसा नहीं किया और अब हमारी लंबे समय से प्रतीक्षित अनुकूलन है।



जीएसओसी 2019 के ढांचे के भीतर दूसरा कार्य तथाकथित बाइनरी लॉग्स का विकास और कार्यान्वयन था। यहां यह बात है: जब सीआरआईयू काम करता है, तो उपयोगिता अपने काम के बारे में एक फाइल (या स्क्रीन पर, लेकिन फिर भी एक फ़ाइल के लिए बेहतर है) के बारे में संदेश लिखती है। इन पदों का महत्व बहुत बड़ा है! यदि किसी कारण से बैकअप या पुनर्स्थापना प्रक्रिया सफलता के साथ समाप्त नहीं होती है, तो कारण को समझने का एकमात्र तरीका प्रत्येक चरण का यथासंभव विस्तार से विश्लेषण करना है, और इसके लिए आपको उपयोगिता के बारे में जानकारी चाहिए। आदर्श रूप से, कार्यवाही के लिए सबसे विस्तृत लॉग और छवि फ़ाइलों की आवश्यकता होती है, यदि कोई हो। व्यवहार में, ऐसी आवश्यकताओं को संतुष्ट करना मुश्किल है।

सबसे विस्तृत लॉग प्राप्त करने के लिए, CRIU एक उपयुक्त मोड प्रदान करता है, और अधिकांश उपयोगकर्ता (और शायद सभी भी) इसे हमेशा सक्रिय करते हैं। लेकिन इस प्रक्रिया में क्रियू उत्पन्न करने वाली जानकारी की मात्रा इतनी अधिक होती है कि लॉगिंग स्वयं सिस्टम की गति को ध्यान देने लगता है। एक छोटे से अध्ययन से पता चला है कि हम अपना 90% समय आउटपुट फॉर्मेटिंग ऑपरेशंस पर लॉगिंग में बिताते हैं - जो कि "उसी"% d,% 08s,% .2f और फ़ंक्शन के प्रिंटफ परिवार के अन्य संशोधक पर है। लॉग्स को बंद करने से प्रक्रियाओं के आकार के आधार पर खुद को बचाने और सहेजने का समय 10 से 30 प्रतिशत तक कम हो जाता है।



लॉगिंग के लिए सिस्टम संसाधनों की इतनी राशि के उपयोग को बंद करने के लिए, लेकिन लॉग को यथासंभव सूचनात्मक रूप से छोड़ दें, हमने फॉर्मेटिंग से छुटकारा पाने और बाइनरी डेटा को लॉग फ़ाइलों में सहेजने का निर्णय लिया। यदि आवश्यक हो, तो आखिरकार, आप उन्हें बाद में प्रारूपित कर सकते हैं। दूसरा छात्र इस कार्य से जुड़ा हुआ है, जिसके पैच को पहले ही विकास शाखा में स्वीकार कर लिया गया है।

और न केवल जीएसओसी पर

वैसे, जीएसओसी में भाग लेने का एक और दिलचस्प तथ्य यह है कि एक तीसरा छात्र हमारे पास आया था जिसने गुमनामी की समस्या को हल करने की इच्छा व्यक्त की थी। आखिरकार, इस तथ्य के कारण छवि फ़ाइलों को प्राप्त करना अक्सर असंभव होता है कि उनमें गुप्त जानकारी होती है जो उपयोगकर्ता केवल किसी के साथ साझा नहीं करना चाहता है - मेमोरी की सामग्री, प्रक्रिया जिस फाइल के साथ काम करती है, नेटवर्क कनेक्शन में कतारों की सामग्री, और इसी तरह। इस समस्या को हल करने के लिए, हमने एप्लिकेशन में "छवियों का अज्ञातिकरण" नामक एक सुविधा सबमिट की, लेकिन Google ने इसे स्वीकार नहीं किया।

फिर भी, विषय ने अपनी प्रासंगिकता नहीं खोई है, और जो छात्र जीएसओसी के ढांचे के भीतर इससे निपटना चाहते थे, अंत में, Google घटना के बाहर, स्वतंत्र रूप से इस मुद्दे पर काम करने का फैसला किया।

निष्कर्ष

बेशक, यह जीएसओसी में भाग लेने वाला एक सकारात्मक अनुभव था। हमारा CRIU उपकरण, जिसे हम बहुत प्यार करते हैं और महत्व देते हैं, को विकास के लिए कुछ अधिक शक्तिशाली आवेग प्राप्त हुए हैं, यह और भी अधिक परिपक्व और सुविधाजनक बन गया है। तो यह किसके लिए उपयोगी हो सकता है, इसका आनंद के साथ उपयोग करें!

दूसरी ओर, हम आश्वस्त थे कि इस तरह की घटनाओं में भागीदारी का मुद्दा हमारी परियोजना में दृढ़ता और विश्वास का विषय है। यदि आपको डेवलपर्स की आवश्यकता है, तो बस आवेदन जमा करने और नए, दिलचस्प विषयों को तैयार करने में थक न जाएं। आपको किसी अन्य देश या किसी अन्य कंपनी से पूरी तरह से अनपेक्षित योगदानकर्ता मिल सकते हैं।