सक्रिय पुनर्स्थापना के लिए सेवा या इन्नोपोलिस में एक औद्योगिक परियोजना का इतिहास

नमस्कार, हेब्र! मेरा नाम रोमन है, और मैं आज इस बारे में बात करना चाहता हूं कि कैसे हम इन्नोपोलिस विश्वविद्यालय में एक परीक्षण बेंच और सेवा का विकास किया जो Acronis Active Restore सिस्टम के लिए है, जो जल्द ही कंपनी की उत्पाद लाइन का हिस्सा बन जाना चाहिए। हर कोई जो रुचि रखता है कि विश्वविद्यालय औद्योगिक भागीदारों के साथ संबंध कैसे बना रहा है, मैं आपको बिल्ली के नीचे आगे बढ़ने के लिए आमंत्रित करता हूं।



एक्टिव रिस्टोर का विकास एंकॉनिस के अंदर शुरू हुआ, लेकिन हम, इनोपोलिस यूनिवर्सिटी के छात्रों के रूप में, इस प्रक्रिया में एक औद्योगिक प्रशिक्षण परियोजना के हिस्से के रूप में भाग लिया। मेरे क्यूरेटर (और अब सहकर्मी) डौलेट तुम्बाव ने अपने पोस्ट में पहले से ही विचार, साथ ही वास्तुकला के बारे में लिखा था। आज मैं इस बारे में बात करूंगा कि हमने इन्नोपोलिस से सेवा कैसे तैयार की।

यह सब गर्मियों में वापस शुरू हुआ, जब हमें बताया गया कि पहले सेमेस्टर में, आईटी कंपनियां हमारे पास आएंगी और व्यावहारिक कार्यों के लिए अपने विचारों की पेशकश करेंगी। और इसलिए, दिसंबर 2018 में हमें 15 अलग-अलग परियोजनाओं के साथ प्रस्तुत किया गया था, और महीने के अंत में हमने प्राथमिकताएं निर्धारित कीं, जो आपको सबसे अच्छा लगा।

सभी अंडरग्रेजुएटों ने एक फॉर्म भरा, जहां चार परियोजनाओं को चुनना आवश्यक था, जिसमें हम भाग लेना चाहते थे। यह प्रेरित करने के लिए आवश्यक था कि मैं क्यों, और क्यों ठीक इन परियोजनाओं के लिए। उदाहरण के लिए, मैंने बताया कि मेरे पास पहले से ही सिस्टम प्रोग्रामिंग और C / C ++ में विकास का अनुभव है। लेकिन सबसे महत्वपूर्ण बात, परियोजना ने मुझे अपने कौशल को विकसित करने और विकसित करने के लिए जारी रखने की अनुमति दी।

दो सप्ताह बाद, हमें सौंपा गया, और दूसरे सेमेस्टर की शुरुआत से, परियोजनाओं पर काम शुरू हुआ। टीम का गठन किया गया था, पहली बैठक में हमने एक दूसरे की ताकत और कमजोरियों और असाइन की गई भूमिकाओं का मूल्यांकन किया।

• रोमन रबकिन एक पायथन / सी ++ डेवलपर है।
• यूजीन इशुटिन - पायथन / सी ++ डेवलपर, कंपनी के साथ बातचीत के लिए जिम्मेदार।
• अनास्तासिया रोडियोनोवा एक पायथन / सी ++ डेवलपर है जो दस्तावेज लेखन के लिए जिम्मेदार है।
• ब्रैंडन एकोस्टा - पर्यावरण की स्थापना, प्रयोगों और परीक्षण के लिए स्टैंड तैयार करना।

पहले दो सप्ताह हमें प्रक्रिया शुरू करनी थी। हमने ग्राहक के साथ संपर्क स्थापित किया, परियोजना के लिए आवश्यकताओं को औपचारिक रूप दिया, एक पुनरावृत्ति प्रक्रिया शुरू की, और काम के लिए वातावरण स्थापित किया।

वैसे, जब हम ऐच्छिक शुरू करते हैं, तो ग्राहक के साथ हमारा काम वास्तव में उबलने लगता है। तथ्य यह है कि Acronis Innopolis विश्वविद्यालय (और न केवल) पसंद के विषयों की ओर जाता है। और कर्नेल टीम के एक प्रमुख डेवलपर एलेक्सी कोस्ट्युशको दो पाठ्यक्रमों को निरंतर आधार पर सिखाते हैं: रिवर्स इंजीनियरिंग और विंडोज कर्नेल आर्किटेक्चर एंड ड्राइवर्स। जहां तक ​​मुझे पता है, सिस्टम प्रोग्रामिंग और मल्टी-थ्रेडेड कंप्यूटिंग पर एक कोर्स भी भविष्य में योजनाबद्ध है। लेकिन मुख्य बात यह है कि इन सभी पाठ्यक्रमों को इस तरह से डिज़ाइन किया गया है ताकि छात्रों को औद्योगिक परियोजनाओं का सामना करने में मदद मिल सके। वे गंभीरता से विषय क्षेत्र को समझते हैं और इस तरह परियोजना पर काम को आसान बनाते हैं।

इसके कारण, हमने अन्य टीमों की तुलना में अधिक सख्ती शुरू कर दी, और Acronis के साथ बातचीत अधिक घनी हो गई। एलेक्सी कोस्त्यूशो ने हमारे लिए उत्पाद मालिक की भूमिका निभाई, उनसे हमें विषय क्षेत्र में आवश्यक ज्ञान प्राप्त हुआ। उनके ऐच्छिक की बदौलत, हमारे कठिन कौशल और दक्षताओं को बहुत दृढ़ता से पंप किया गया, हम उस कार्य को पूरा करने के लिए वास्तव में तैयार हो गए जिसने हमें सामना किया।

विचार से परियोजना के लिए

सभी टीमों के लिए पहला महीना उतना ही मुश्किल था। हर कोई खो गया था, पता नहीं था कि कहां से शुरू करें - शायद दस्तावेजों के साथ या, इसके विपरीत, कोड में गोताखोरी। सबसे पहले, विश्वविद्यालय और कंपनी के प्रतिनिधियों पर क्यूरेटर और मेंटर्स की ओर से परस्पर विरोधी टिप्पणियां आईं।

जब सब कुछ घट गया (कम से कम मेरे सिर में), यह स्पष्ट हो गया कि विश्वविद्यालय के आकाओं ने हमें टीम में आंतरिक संबंध बनाने और दस्तावेज तैयार करने में मदद की। लेकिन असली सफलता बिंदु मार्च में डोलेट का आगमन था। हम बस बैठ गए और पूरे सप्ताहांत में इस परियोजना पर काम किया। फिर हमने परियोजना के सार को फिर से खोजा, रिबूट किया, कार्यों की प्राथमिकताओं का पुनर्वितरण किया और जल्दी से आगे बढ़ा। हमने समझा कि प्रयोग शुरू करने के लिए (इसके बारे में थोड़ी देर बाद) और सेवा को विकसित करने के लिए क्या करने की आवश्यकता है। उस क्षण से, सामान्य विचार एक स्पष्ट योजना में बदल गया। कोड का वास्तविक विकास शुरू हुआ, और 2 सप्ताह में हमने परीक्षण बेंच का पहला संस्करण विकसित किया, जिसमें वर्चुअल मशीन, आवश्यक सेवाएं और प्रयोग को स्वचालित करने और डेटा एकत्र करने के लिए कोड शामिल हैं।

यह ध्यान देने योग्य है कि औद्योगिक परियोजना के समानांतर में प्रशिक्षण पाठ्यक्रम थे जो हमें अपनी परियोजनाओं के लिए एक सक्षम वास्तुकला बनाने और गुणवत्ता प्रबंधन का आयोजन करने में मदद करते थे। पहले, इन कार्यों में प्रति सप्ताह 70-90% समय लगता था, लेकिन जैसा कि यह निकला, विकास प्रक्रिया में समस्याओं से बचने के लिए समय की आवश्यकता थी। विश्वविद्यालय का लक्ष्य था कि हम विकास प्रक्रिया को सक्षम रूप से बनाना सीखें, और कंपनियों, ग्राहकों के रूप में, परिणाम में अधिक रुचि रखते थे। यह, निश्चित रूप से, बहुत भ्रम लाया, लेकिन इसने सैद्धांतिक और व्यावहारिक कौशल को संयोजित करने में मदद की। पर्याप्त जटिलता और भार ने प्रेरणा की उपस्थिति सुनिश्चित की, जिसके परिणामस्वरूप एक सफल परियोजना बनी।

प्रारंभ में, हमारी टीम में दो लोग शुद्ध विकास में लगे हुए थे, एक व्यक्ति ने दस्तावेजों को संभाला, और दूसरे ने पर्यावरण की स्थापना की। हालांकि, बाद में तीन और कुंवारे हमारे साथ हो गए, जिनके साथ हम एक एकल टीम बन गए। विश्वविद्यालय ने अध्ययन के तीसरे वर्ष के छात्रों के लिए एक परीक्षण औद्योगिक परियोजना शुरू करने का फैसला किया। 4 से 7 लोगों की टीम का विस्तार करने से प्रक्रिया में तेजी आई, क्योंकि हमारे स्नातक आसानी से विकास से संबंधित कार्य कर सकते थे। एकातेरिना लेवचेंको ने टेस्ट बेंच के लिए अजगर कोड और बैच स्क्रिप्ट लिखने में मदद की। अंसैट अबिरोव और रुस्लान किम ने डेवलपर्स के रूप में काम किया, वे एल्गोरिदम के चयन और अनुकूलन में लगे हुए थे।

हमने मई के अंत तक इस प्रारूप में काम किया था, जब प्रयोग शुरू किया गया था। इस समय, स्नातक के लिए औद्योगिक परियोजना समाप्त हो गई। उनमें से दो ने एक Acronis इंटर्नशिप शुरू की और हमारे साथ काम करना जारी रखा। इसलिए, मई के बाद, हमने पहले से ही 6 लोगों की एक टीम के रूप में काम किया।

इससे पहले कि हम तीसरे सेमेस्टर में थे, जो इनोपोलिस शैक्षणिक गतिविधियों से मुक्त है। हमारे पास केवल 2 ऐच्छिक थे, और बाकी समय एक औद्योगिक परियोजना पर खर्च किया गया था। यह तीसरे सेमेस्टर में था कि सेवा पर काम तीव्रता से चला गया। विकास प्रक्रिया पूरी तरह से रेल, डेमो और रिपोर्ट पर गिर गई और नियमित हो गई। इस प्रारूप में, हमने 1.5 महीने तक काम किया, और जुलाई के अंत में हमने काम के विकास के हिस्से को लगभग समाप्त कर दिया।

तकनीकी विवरण

पहले, आवश्यकताओं को सेवा के लिए तैयार किया गया था, जिसे फाइल सिस्टम मिनीफिल्टर ड्राइवर के साथ पर्याप्त रूप से बातचीत करनी चाहिए (आप यहां पढ़ सकते हैं कि यह क्या है) और इसकी वास्तुकला के बारे में सोचा गया था। आगे कोड समर्थन की सादगी पर नज़र रखने के साथ, हमने तुरंत एक मॉड्यूलर दृष्टिकोण प्रदान किया। हमारी सेवा में कई प्रबंधक, एजेंट और हैंडलर शामिल हैं, और कोडिंग की शुरुआत से पहले भी, समानांतर मोड में काम करने की क्षमता रखी गई थी।

हालांकि, Acronis लोगों के साथ एक बैठक में वास्तुकला पर चर्चा करने के बाद, पहले एक प्रयोग करने का फैसला किया गया था, और फिर स्वयं सेवा लेने के लिए। नतीजतन, विकास को केवल 2.5 महीने लगे। बाकी समय, हमने फाइलों की न्यूनतम पर्याप्त सूची खोजने के लिए एक प्रयोग किया, जिस पर विंडोज चलाया जा सकता था। एक वास्तविक प्रणाली में, ड्राइवर का उपयोग करके फ़ाइलों का यह सेट उत्पन्न होता है, हालांकि, हमने ड्राइवर के संचालन की जांच करने के लिए, आधे डिवीजन विधि का उपयोग करते हुए, इस सेट को खोजने का निर्णय लिया।


प्रयोग का रुख।


ऐसा करने के लिए, हमने दो आभासी मशीनों से पायथन में एक स्टैंड बनाया। उनमें से एक ने लिनक्स पर काम किया, और दूसरे ने विंडोज लोड किया। उनके लिए दो डिस्क कॉन्फ़िगर किए गए थे: वर्चुअल एचडी 1 और वर्चुअल एचडी 2। दोनों ड्राइव VM1 से जुड़े थे जिस पर लिनक्स स्थापित किया गया था। HD1 पर इस वर्चुअल मशीन पर, किलर एप्लिकेशन इंस्टॉल किया गया था, जो HD2 को "क्षतिग्रस्त" करता है। नुकसान डिस्क से कुछ फ़ाइलों को हटाने के लिए संदर्भित करता है। HD2 VM2 के लिए एक बूट डिस्क था जो विंडोज के तहत काम करता था। डिस्क को "क्षति" के बाद, हमने VM2 को शुरू करने की कोशिश की। यदि ऐसा करना संभव था, तो डिस्क से हटाए गए फ़ाइलों को चलाने के लिए अनावश्यक माना जाता था।

इस प्रक्रिया को स्वचालित करने के लिए, हमने फ़ाइलों को बेतरतीब ढंग से नहीं, बल्कि पूर्व-विचार के दृष्टिकोण के भाग के रूप में हटाने का प्रयास किया। एल्गोरिथ्म में 3 चरण शामिल थे:

1. फ़ाइल सूची को आधे में विभाजित करें।
2. आधी फ़ाइलों में से एक को हटा दें।
3. सिस्टम शुरू करने का प्रयास करें। यदि सिस्टम शुरू हुआ, तो हटाए गए फ़ाइलों को अनावश्यक की सूची में जोड़ें। अन्यथा, हम चरण 1 पर लौटते हैं।

सबसे पहले, हमने एल्गोरिथ्म का अनुकरण करने का निर्णय लिया। मान लीजिए कि फाइल सिस्टम में 1,000,000 फाइलें हैं। इस मामले में, महत्वपूर्ण फ़ाइलों के लिए सबसे प्रभावी खोज उन मामलों में हुई जहां महत्वपूर्ण फाइलें कुल का लगभग 15% थीं।


आधा विभाजन विधि।

पहले, प्रयोग के साथ बहुत सारी समस्याएं थीं। 2-3 हफ्तों के लिए एक परीक्षण स्टैंड तैयार था। और एक और 1-1.5 महीने मुझे बग्स को पकड़ना था, कोड जोड़ना और स्टैंड काम करने के लिए विभिन्न चालें लागू करना था।

सबसे मुश्किल काम एक बग को पकड़ना था जो कैशिंग डिस्क संचालन से जुड़ा था। प्रयोग ने 2 दिनों तक काम किया और बहुत आशावादी परिणाम उत्पन्न किए जो सिमुलेशन से कई गुना तेज थे। हालाँकि, महत्वपूर्ण फ़ाइल परीक्षण विफल हो गया, सिस्टम प्रारंभ नहीं हुआ। यह पता चला कि आभासी मशीन के जबरन बंद होने के दौरान, फ़ाइल सिस्टम द्वारा कैश किए गए हटाए गए संचालन का प्रदर्शन नहीं किया गया था, और तदनुसार, डिस्क पूरी तरह से मिट नहीं गई थी। नतीजतन, एल्गोरिथ्म को गलत परिणाम मिले, और कुछ दिनों के लिए हमने अपने सभी संकल्पों को पूरा करने का प्रयास किया।

एक निश्चित बिंदु पर, हमने देखा कि निरंतर संचालन के दौरान एल्गोरिथ्म को फाइल सिस्टम के एक सेगमेंट में दफन किया गया था और उसी फाइलों (एक नए परिणाम की उम्मीद में) को हटाने की कोशिश करने लगा। यह उस समय हुआ जब एल्गोरिथ्म उन क्षेत्रों में आराम करता था जहां सबसे आवश्यक थे, जबकि विलोपन के लिए गलत अंतराल चुनना। इस बिंदु पर, हमने एक फेरबदल फ़ाइल सूची जोड़ने का फैसला किया। यही है, एक बार कुछ पुनरावृत्तियों, फ़ाइलों की सूची में फेरबदल किया गया था। इसने एल्गोरिदम को ऐसी छड़ियों से बाहर निकलने में मदद की।

जब सब कुछ तैयार हो गया, तो हमने इन दो वीएम को 3 दिनों के लिए लॉन्च किया। कुल मिलाकर, लगभग 600 पुनरावृत्तियों को पारित किया गया, जिनमें से 20 से अधिक सफल प्रक्षेपण थे। यह स्पष्ट हो गया कि यह प्रयोग लंबे समय तक चलाया जा सकता है, साथ ही अधिक शक्तिशाली मशीनों पर, विंडोज चलाने के लिए इष्टतम फ़ाइल आकार खोजने के लिए। साथ ही, इस प्रक्रिया को और तेज करने के लिए एल्गोरिथ्म को कई मशीनों में वितरित किया जा सकता है

हमारे मामले में, विंडोज के अलावा, डिस्क पर केवल पायथन और हमारी सेवा थी। तीन दिनों में हम फाइलों की संख्या 70 हजार से घटाकर 50 हजार करने में सफल रहे। फ़ाइलों की सूची केवल 28% कम हो गई थी, लेकिन यह स्पष्ट हो गया कि यह दृष्टिकोण काम कर रहा है, और यह आपको ओएस को लोड करने के लिए आवश्यक फाइलों के न्यूनतम सेट को निर्धारित करने की अनुमति देता है।

सेवा संरचना

थोड़ी सेवा संरचना पर स्पर्श करते हैं। मुख्य सेवा मॉड्यूल एक कतार प्रबंधक है। चूंकि हमें ड्राइवर से फ़ाइलों की एक सूची मिलती है, इसलिए हमें इस सूची से फ़ाइलों को पुनर्स्थापित करने की आवश्यकता है। ऐसा करने के लिए, हमने प्राथमिकताओं के साथ एक मोड़ बनाया।



हमारे पास फ़ाइलों की एक सूची है जो बदले में बहाल की जाती है। और यदि नए एक्सेस अनुरोध दिखाई देते हैं, तो तत्काल आवश्यक फ़ाइलों को प्राथमिकता में बहाल किया जाता है। इसके लिए धन्यवाद, कतार की शुरुआत में वे फाइलें होंगी जो उपयोगकर्ता को वास्तव में अभी चाहिए, और कतार के अंत में वे फाइलें होंगी जो भविष्य में आवश्यक हो सकती हैं। लेकिन उपयोगकर्ता के सक्रिय कार्य के साथ, एक "असाधारण वस्तुओं की कतार" का गठन किया जा सकता है, साथ ही उन फ़ाइलों की एक सूची भी बनाई जा सकती है जिन्हें अभी बहाल किया जा रहा है। इसके अलावा, इन सभी कतारों में एक साथ खोज अभियान लागू किया जाना चाहिए था। काश, हमें कतार का ऐसा क्रियान्वयन नहीं मिला, जो खोज को समर्थन देने के साथ-साथ मक्खी पर बदलती प्राथमिकताओं के साथ कई फ़ाइल प्राथमिकताओं को निर्धारित कर सके। हम मौजूदा डेटा संरचनाओं के अनुकूल नहीं होना चाहते थे, और इसलिए हमें अपना स्वयं का लिखना था और इसके साथ काम करने की क्षमता स्थापित करनी थी।



हमारी सेवा को पहले उस ड्राइवर के साथ संवाद करना होगा, जिस पर डौले ने काम किया था, और उसके बाद फ़ाइलों को पुनर्स्थापित करने के लिए ज़िम्मेदार घटकों के साथ ... इसलिए, शुरुआत के लिए, हमने रिकवरी सिस्टम के अपने छोटे इम्यूलेटर बनाने का फैसला किया, जो बाह्य उपकरणों से फाइलें जारी कर सकता है ताकि वे हो सकें सेवा को पुनर्स्थापित और परीक्षण करें।

कुल मिलाकर, दो ऑपरेटिंग मोड प्रदान किए गए थे - सामान्य और रिकवरी मोड। सामान्य मोड में, ड्राइवर हमें ओएस स्टार्टअप से प्रभावित फाइलों की एक सूची भेजता है। फिर, जब सिस्टम चल रहा होता है, तो ड्राइवर सभी फ़ाइल संचालन पर नज़र रखता है और हमारी सेवा को सूचनाएं भेजता है, और यह बदले में, फ़ाइलों की सूची को बदल देता है। पुनर्प्राप्ति मोड में, ड्राइवर उस सेवा को सूचित करता है जो सिस्टम पुनर्प्राप्ति आवश्यक है। सेवा फ़ाइलों को कतार में रखती है, सॉफ़्टवेयर एजेंट चलाती है जो बैकअप से फ़ाइलों का अनुरोध करती है, और पुनर्प्राप्ति प्रक्रिया शुरू करती है।

डिप्लोमा, नौकरी का निमंत्रण और नई परियोजनाएं

जब सेवा तैयार थी और परीक्षण किया गया था, तो हमारे पास परियोजना पर अंतिम गतिविधि थी। यह उन सभी कलाकृतियों को अद्यतन और संरचना करने के लिए आवश्यक था जिन्हें हमने संचित किया है, साथ ही साथ हमारे परिणामों को ग्राहक और विश्वविद्यालय को प्रस्तुत करते हैं। कंपनी के लिए, यह हमारे स्नातक थीसिस के साथ विश्वविद्यालय के लिए, परियोजना के कार्यान्वयन की दिशा में एक और कदम था।

प्रस्तुति के बाद, छात्रों के लिए एक प्रस्ताव बनाया गया था। और कुछ हफ्तों के बाद मैं Acronis काम पर जाता हूं। परियोजना के परिणामों ने डेवलपर्स को यह सोचने के लिए प्रेरित किया कि सेवा को और अधिक कुशल बनाने के लिए संभव है कि इसे मूल Windows अनुप्रयोग के स्तर तक कम कर दिया जाए। लेकिन अगले लेख में उस पर और अधिक।