SRE प्रलेखन क्यों महत्वपूर्ण है भाग 3

सभी को शुभ संध्या! हम इस खबर को साझा करने की जल्दी में हैं कि फरवरी में हम Devops - प्रैक्टिस और टूल्स कोर्स पर एक नई स्ट्रीम शुरू कर रहे हैं, जिसका अर्थ है कि हमने जो शुरू किया था उसे खत्म करने और लेख के तीसरे भाग को प्रकाशित करने का समय है: "क्यों SRE प्रलेखन महत्वपूर्ण है" । चलो चलते हैं!

SRE कमांड के प्रबंधन के लिए दस्तावेज

SRE टीमों को कुशलतापूर्वक काम करने के लिए विश्वसनीय और सस्ती प्रलेखन की आवश्यकता होती है।

टीम साइट

नोट: साइट के बजाय, आप कंफ्लुएंस / विकी में एक अलग स्थान या अनुभाग का उपयोग कर सकते हैं।

टीम की साइट महत्वपूर्ण है क्योंकि यह SRE टीम और इसकी परियोजनाओं से संबंधित सूचना और प्रलेखन का समन्वय प्रदान करती है। उदाहरण के लिए, Google पर, कई SRE टीमें g3doc (एक आंतरिक Google दस्तावेज़ीकरण प्लेटफ़ॉर्म का उपयोग करती हैं, जहां संबंधित कोड वाले स्रोत कोड में रहते हैं), और कुछ टीम g3doc और Google साइट का उपयोग करती हैं: इस मामले में, g3doc पृष्ठ कार्यान्वयन कोड / विवरण से निकटता से संबंधित हैं।

टीम चार्टर



एसआरई टीमों को एक प्रकाशित चार्टर का समर्थन करना चाहिए जो काम की प्रेरणा और दस्तावेजों की चल रही सगाई की रूपरेखा तैयार करता है। कंपनी भर में टीम की पहचान, मुख्य लक्ष्य और मूल्य स्थापित करने के लिए चार्टर आवश्यक है।

चार्टर में आमतौर पर निम्नलिखित तत्व होते हैं:

  • टीम के ज़िम्मेदारी के क्षेत्र का एक उच्च-स्तरीय विवरण। टीम द्वारा समर्थित सेवाओं के प्रकार (और कैसे), संबंधित सिस्टम, उदाहरण शामिल हैं।
  • टीम द्वारा समर्थित सबसे महत्वपूर्ण सेवाओं के एक जोड़े का संक्षिप्त विवरण। यह खंड प्रमुख प्रौद्योगिकियों और उन्हें उपयोग करने की चुनौतियों, एसआरई को शामिल करने के लाभों और उनकी जिम्मेदारियों पर भी प्रकाश डालता है।
  • टीम के प्रमुख सिद्धांत और मूल्य।
  • टीम वेबसाइट और प्रलेखन के लिए लिंक।

यह एक दृष्टि बयान (भविष्य के लिए दृष्टि की अवधारणा - टीम के दीर्घकालिक लक्ष्यों का एक प्रेरणादायक विवरण) और कई तिमाहियों के लिए एक रोडमैप की उपस्थिति मानता है।

नई एसआरई को एकीकृत करने के लिए प्रलेखन

नए कर्मचारियों के लिए प्रशिक्षण उपकरणों और सामग्रियों में निवेश करने से कर्मचारियों के कार्य प्रक्रियाओं में एकीकरण की गति पर सकारात्मक प्रभाव पड़ता है। यह SRE टीमों के लिए फायदेमंद है कि वे जल्द से जल्द सभी आवश्यक बदलाव कार्य कौशल के साथ नए लोगों को प्रशिक्षित करें। ज़ो की कहानी स्पष्ट रूप से दिखाती है कि एक नए कर्मचारी के लिए पूर्णकालिक प्रशिक्षण की कमी एक मामूली घटना को एक गंभीर खराबी बनाती है।

एसआरई की कई टीमें चेकलिस्ट का उपयोग करके बदलाव के लिए नए कर्मचारियों को तैयार करती हैं। एक पाली चेकलिस्ट आमतौर पर उच्च-स्तरीय क्षेत्रों (उपखंडों में विभाजित) को कवर करती है जिसे टीम के सदस्यों को समझना चाहिए। ऐसे क्षेत्रों के उदाहरण हैं उत्पादन अवधारणाएं, फ्रंट-एंड और बैक-एंड, ऑटोमेशन और इंस्ट्रूमेंटेशन, मॉनिटरिंग और लॉगिंग। इसके अलावा, शिफ्ट की तैयारी के लिए निर्देश और शिफ्ट के दौरान किए गए कार्यों को चेकलिस्ट में शामिल किया जा सकता है।

SRE टीम के नए सदस्यों को तैयार करने के लिए, वे रोल-प्लेइंग एक्सरसाइज का उपयोग करते हैं (उन्हें Google में व्हील ऑफ मिसफोर्ट - व्हील ऑफ फेल्योर कहा जाता है)। यह अभ्यास डेटा और संकेतों के एक विशिष्ट सेट के साथ एक विफलता परिदृश्य है जिसे SRE को एक बदलाव के दौरान समस्या को हल करने की आवश्यकता हो सकती है। टीम के सदस्य आपदा वसूली की अपनी महारत हासिल करने और सिस्टम को डीबग करने की क्षमता के लिए ड्यूटी पर एक इंजीनियर की भूमिका निभाते हैं। दुर्भाग्य का पहिया यह देखने के लिए जांचता है कि क्या टीम के प्रत्येक सदस्य को पता है कि समस्या को ठीक करने के लिए आवश्यक दस्तावेज कहां मिलेंगे, और विफलता से कैसे निपटना है।

भंडारण प्रबंधन

SRE टीम की सभी जानकारी कई साइटों, स्थानीय रिपॉजिटरी और Google ड्राइव फ़ोल्डरों में बिखरी जा सकती हैं, जो सही की खोज को बहुत जटिल बनाती हैं। जैसा कि पहले वर्णित उदाहरण में हुआ था, ज़ो (एसआरई ऑन ड्यूटी) के लिए महत्वपूर्ण परिचालन उपकरण और इसके उपयोग के निर्देश उपलब्ध नहीं थे, क्योंकि वे उसकी तकनीकी नेतृत्व की व्यक्तिगत निर्देशिका में छिपे हुए थे, और उन्हें खोजने में असमर्थता ने सेवा की विफलता की अवधि में काफी वृद्धि की। ऐसी समस्याओं से छुटकारा पाने के लिए, आपको सभी सूचनाओं की संरचना करने और यह सुनिश्चित करने की आवश्यकता है कि टीम के सदस्यों को पता है कि इसे कहां ढूंढना और संग्रहीत करना है, और इसे कैसे बनाए रखना है। अच्छी तरह से विकसित संरचना टीम को तेजी से जानकारी खोजने में मदद करेगी। नई टीम के सदस्यों को जल्द से जल्द रखने की जल्दी होगी, जबकि ड्यूटी पर इंजीनियर तेजी से समस्याओं को हल करेंगे।

दस्तावेज़ रिपॉजिटरी बनाने और बनाए रखने के तरीके के बारे में यहां कुछ दिशानिर्देश दिए गए हैं:

  • प्रमुख हितधारकों की पहचान करें और सभी आवश्यकताओं की पहचान करने के लिए लघु साक्षात्कार आयोजित करें।
  • जितना संभव हो उतना प्रलेखन का पता लगाएं और सामग्री में अंतराल का विश्लेषण करें।
  • सही स्थानों में नए दस्तावेज़ बनाने के लिए अपनी साइट संरचना को आधार बनाएं।
  • मौजूदा दस्तावेज़ को एक नए स्थान पर ले जाएं।
  • पुरालेख और पुराने प्रलेखन को फाड़ दें।
  • समर्थित दस्तावेज की गुणवत्ता / स्थिरता सुनिश्चित करने के लिए नियमित जांच करें।
  • सुनिश्चित करें कि खोज परिणामों की सूची के बहुत ऊपर मानक खोज क्वेरीज़ आवश्यक दस्तावेज़ लौटाती हैं।
  • मानक प्रथाओं को मापने के लिए, Google Analytics जैसे संकेतों का उपयोग करें।

रिपॉजिटरी सपोर्ट पर ध्यान दें: डॉक्यूमेंट को नियमित रूप से जांचना और अपडेट करना महत्वपूर्ण है। मालिक का नाम और अंतिम चेक की तारीख दिखाई देनी चाहिए - यह जानकारी चयनित दस्तावेज़ की सटीकता को सत्यापित करने में मदद करती है। इतिहास में ज़ो एक महत्वपूर्ण उपकरण का केवल पुराना दस्तावेज खोजने में सक्षम था, जिससे समस्या को जल्दी हल करने की क्षमता खो गई। अविश्वसनीय और पुराना दस्तावेज़ SRE को कम कुशल बनाता है, जो प्रबंधित सेवाओं की विश्वसनीयता को नकारात्मक रूप से प्रभावित करता है।

रिपोजिटरी उपलब्धता

SRE टीमों को यह सुनिश्चित करना चाहिए कि मानक रिपॉजिटरी क्रैश होने पर भी प्रलेखन उपलब्ध रहे और उपलब्ध न हो। प्रत्येक Google SRE अपने महत्वपूर्ण प्रलेखन की एक प्रति का मालिक है। यह प्रतिलिपि एक एन्क्रिप्टेड कॉम्पैक्ट स्टोरेज डिवाइस या कुछ समान हटाने योग्य लेकिन सुरक्षित भौतिक माध्यम पर उपलब्ध है जो प्रत्येक एसआरई की ड्यूटी पर है।

एक सेवा को डिक्रिमिशन करने के लिए प्रलेखन

जब किसी सेवा का जीवन चक्र समाप्त हो जाता है, तो एसआरई इसका पूर्वानुमान लगाने योग्य होगा। यह अनुभाग किसी सेवा को सेवा से बाहर निकालने के लिए प्रलेखन के लिए सिफारिशें प्रदान करता है।

यह महत्वपूर्ण है कि उपयोगकर्ताओं को सेवा के विघटन से पहले सूचित किया जाए और एक अनुसूची और चरण प्रदान किए जाएं। नए उपयोगकर्ताओं का पंजीकरण समाप्त होने पर, आपके विज्ञापन को यह बताना चाहिए कि भविष्य के बग में कैसे मौजूदा और पता लगाया जाएगा, और जब सेवा अंत में काम करना बंद कर देगी। स्पष्ट रूप से सभी महत्वपूर्ण तिथियों और एसआरई के लिए समर्थन को कम करने की प्रक्रिया की पहचान करें, प्रगति के रूप में अंतरिम घोषणाएं भेजें।

एक साधारण ईमेल वितरण पर्याप्त नहीं है - आपको दस्तावेज़, प्लेबुक और कोडलैब के मुख्य पृष्ठ को अपडेट करने की आवश्यकता है। इसके अलावा, यदि संभव हो तो, हेडर फ़ाइलों पर टिप्पणी करें। किसी दस्तावेज़ में घोषणा का विवरण (पत्र के अलावा) का वर्णन करें, जिसे उपयोगकर्ता संदर्भित कर सकते हैं। पत्र यथासंभव छोटा होना चाहिए, लेकिन एक ही समय में सभी मुख्य बिंदुओं को दर्शाते हुए सूचनात्मक। अतिरिक्त विवरण का वर्णन करें: सेवा को बंद करने के लिए व्यावसायिक प्रेरणा, उपयोगकर्ता किसी अन्य सेवा में माइग्रेट करने के लिए कौन से टूल का उपयोग कर सकते हैं, माइग्रेशन के दौरान कौन सा समर्थन उपलब्ध है। उपयोगकर्ताओं द्वारा पूछे गए प्रश्नों पर नई जानकारी के साथ समय के साथ इसे भरने के लिए, यह एक FAQ पृष्ठ बनाने के लायक है।

तकनीकी प्रलेखन संपादकों की भूमिका

तकनीकी संपादक (या तकनीकी लेखक) ऐसी सेवाएं प्रदान करते हैं जो SRE को अधिक कुशल और उत्पादक बनाती हैं। कार्यों की सीमा SRE टीम द्वारा निर्दिष्ट आवश्यकताओं के अनुसार अलग-अलग दस्तावेज़ लिखने तक सीमित नहीं है।

SRE टीमों के साथ काम करने पर तकनीकी संपादकों के लिए कुछ व्यावहारिक सिफारिशें यहां दी गई हैं।

  • तकनीकी संपादक SRE के साथ सहयोग करते हैं ताकि वह SRE उत्पादों और औजारों के लिए चल रही सेवाओं और उत्पादन प्रलेखन के लिए परिचालन दस्तावेज तैयार कर सकें।
  • वे प्रलेखन रिपॉजिटरी का निर्माण और अद्यतन करते हैं, उपयोगकर्ताओं की आवश्यकताओं के अनुसार उन्हें पुनर्गठित करते हैं और समग्र रिपॉजिटरी प्रबंधन के हिस्से के रूप में व्यक्तिगत दस्तावेजों में सुधार करते हैं।
  • संपादक प्रलेखन और सूचना प्रबंधन द्वारा आवश्यक सुधारों की पहचान करने में मदद करते हैं। इसमें आवश्यकताओं को इकट्ठा करने, अभियंताओं द्वारा बनाए गए दस्तावेज़ों और साइटों को बेहतर बनाने के लिए प्रलेखन का मूल्यांकन करना, दस्तावेज़ों को बनाने, व्यवस्थित करने, पुनः डिज़ाइन करने, खोज करने और बनाए रखने के नियमों पर टीमों को सलाह देना शामिल है।
  • संपादकों को बेहतर एसआरई समाधान प्रदान करने के लिए प्रलेखन उपकरणों का मूल्यांकन और सुधार करना चाहिए।

टेम्पलेट्स

तकनीकी संपादक भी टेम्पलेट प्रदान करते हैं जो SRE प्रलेखन के निर्माण और उपयोग को सरल बनाते हैं। टेम्पलेट निम्न कार्य करते हैं:

  • नए दस्तावेज़ बनाने के लिए एक स्पष्ट संरचना के साथ इंजीनियरों को प्रदान करके प्रलेखन के निर्माण को सरल बनाएं।
  • प्रलेखन के पूर्ण समापन के लिए सभी आवश्यक दस्तावेजों के अनुभागों को जोड़ें।
  • वे दस्तावेज़ के विषय, सूचना के प्रकार और इसे कैसे व्यवस्थित किया जाता है, इसे जल्दी से समझने में पाठक की मदद करते हैं।

साइट विश्वसनीयता इंजीनियरिंग में कई नमूना प्रलेखन टेम्पलेट शामिल हैं। इस अनुभाग में, हम यह दिखाने के लिए कुछ और उदाहरण देंगे कि कैसे टेम्प्लेट एक संरचना प्रदान करते हैं और इंजीनियरों को सामग्री के साथ आबाद करने के लिए एक मार्गदर्शिका प्रदान करते हैं।

सेवा साक्षात्कार

सिंहावलोकन

यह क्या है वह क्या कर रहा है? उच्च-स्तरीय ग्राहकों (अंत उपयोगकर्ता, घटकों, आदि) को प्रदान की गई कार्यक्षमता का वर्णन करते हैं।

आर्किटेक्चर

बताएं कि वास्तुकला कैसे काम करती है। घटकों के बीच डेटा की गति का वर्णन करें। एक महत्वपूर्ण निर्भरता प्रणाली आरेख और प्रवाह क्वेरी और डेटा जोड़ने पर विचार करें।

ग्राहक और निर्भरता

सभी क्लाइंट (अन्य टीमों से संबंधित) की सूची दें जो उस पर और सभी सेवाओं (अन्य टीमों से संबंधित) पर निर्भर करते हैं। (इसे सिस्टम आरेख के रूप में भी प्रदर्शित किया जा सकता है।)

कोड और कॉन्फ़िगरेशन

उत्पादन की संरचना के बारे में बताएं। यह कहां चल रहा है? सूची बायनेरिज़, नौकरी, डेटा केंद्र और कॉन्फ़िगरेशन फ़ाइल सेटिंग्स, या इंगित करें कि वे सभी कहाँ स्थित हैं। कोड का स्थान भी प्रदान करें और, यदि आवश्यक हो, तो बिल्ड के बारे में जानकारी।

इस उत्पाद या सेवा को संचालित करने के लिए आवश्यक कॉन्फ़िगरेशन फ़ाइलों, परिवर्तनों और बंदरगाहों की सूची बनाएं और उनका वर्णन करें।

निम्नलिखित का वर्णन करें: इस उत्पाद या सेवा के लिए कौन सी कॉन्फ़िगरेशन फ़ाइलें बदली गई हैं? सेटअप कैसे किया जाता है?

प्रक्रियाओं

निम्नलिखित का वर्णन करें: सेवा के लिए काम करने के लिए क्या डेमॉन और अन्य प्रक्रियाएं चल रही हैं? सेवा को प्रबंधित करने के लिए कौन सी नियंत्रण स्क्रिप्ट बनाई गई थीं?

उत्पादन

घटक द्वारा बनाई गई लॉग फ़ाइलों की सूची और वर्णन करें और क्या अवलोकन किए गए हैं। निम्नलिखित का वर्णन करें: क्या लॉग इस घटक द्वारा उत्पन्न होते हैं? प्रत्येक फ़ाइल में क्या है? इन फाइलों के अध्ययन के लिए क्या सिफारिशें हैं? विश्वसनीय सेवा संचालन के लिए घटक के किन पहलुओं की निगरानी की जानी चाहिए?

डैशबोर्ड्स और टूल्स

संबंधित डैशबोर्ड और टूल से लिंक चिपकाएं।

शक्ति

एकल उदाहरण की शक्ति को इंगित करें; विश्व स्तर पर डाटासेंटर: क्यूपीएस, बैंडविड्थ और लेटेंसी वैल्यू।

SLA

पहुँच लक्ष्य प्रदान करें।

मानक प्रक्रियाएं

लोड टेस्टिंग, अपडेट / पुश / फ्लैग स्टेट्स, आदि सहित प्रक्रियाओं के लिंक जोड़ें। अलर्ट प्लेबुक में अलर्ट प्रलेखन के लिंक जोड़ें।

संदर्भ

घटक या संबंधित घटकों के लिए डिजाइन प्रलेखन के लिंक जोड़ें, आमतौर पर विकास टीम द्वारा लिखित, साथ ही साथ अन्य संबंधित जानकारी।

प्लेबुक

नाम

नाम में, अलर्ट का नाम निर्दिष्ट करें (उदाहरण के लिए, NormalAlert_AlertVery Very Normal)।

सिंहावलोकन

निम्नलिखित का वर्णन करें: इस चेतावनी का क्या अर्थ है? क्या यह पेजर या केवल मेल करने के लिए आता है? क्या कारकों एक चेतावनी ट्रिगर? सेवा के कौन से भाग प्रभावित होते हैं? इसके साथ क्या अलर्ट जुड़ा हुआ है? किसे अधिसूचित करने की आवश्यकता है?

खतरा स्तर अलर्ट

सेवा की सामान्य स्थिति पर अधिसूचना के खतरे की डिग्री और प्रभावित भागों के प्रभाव को उचित ठहराएं।

पुष्टीकरण

स्थिति की जाँच और सत्यापन के लिए स्पष्ट निर्देश प्रदान करें।

समस्याओं का निवारण करने

सूची और डिबगिंग के तरीकों और सूचना के संबंधित स्रोतों का वर्णन करें। संबंधित डैशबोर्ड के लिंक के बारे में मत भूलना। अलर्ट चालू करें। निम्नलिखित का वर्णन करें: अलर्ट चालू होने पर लॉग में क्या दिखाई देगा? क्या डिबगिंग हैंडलर हैं? क्या कोई उपयोगी स्क्रिप्ट और कमांड हैं? वे क्या आउटपुट उत्पन्न करते हैं? क्या कोई अतिरिक्त कार्य हैं जिन्हें चेतावनी के उन्मूलन के बाद हल करने की आवश्यकता है?

निर्णय

चेतावनी के कारण समस्या के सभी संभावित समाधानों का वर्णन करें और उन्हें सूचीबद्ध करें। निम्नलिखित का वर्णन करें: मैं समस्या को कैसे ठीक करूं और चेतावनी को हल करूं? रिबूट चलाने के लिए क्या आज्ञा है? यदि उपयोगकर्ता की कार्रवाइयों के कारण अलर्ट चालू हो जाता है, तो किसे सूचित किया जाना चाहिए? किसके पास एक समान समस्या डिबगिंग का अनुभव है?

वृद्धि

वृद्धि पथों की सूची बनाएं और उनका वर्णन करें। व्यक्ति या टीम को सूचित करने और ऐसा करने के लिए संकेत दें। यदि वृद्धि आवश्यक नहीं है - इसके बारे में लिखें।

संबंधित लिंक

संबंधित अलर्ट, प्रक्रिया, और समीक्षा प्रलेखन के लिंक प्रदान करें।
त्रैमासिक सेवा रिपोर्ट
परिचय
उस सेवा का वर्णन करें जिसके लिए टीम जिम्मेदार है।

क्षमता योजना

जिनमें शामिल हैं:

  • सेवा के लिए वास्तविक मांग, पिछले 6-8 तिमाहियों से शुरू, सेवा के लिए सबसे प्रासंगिक मैट्रिक्स में व्यक्त की गई (उदाहरण के लिए, QPS या DAU)।
  • अगले 8 तिमाहियों के लिए पूर्वानुमान।
  • क्षमता योजना जो अतिरेक के आवश्यक स्तर पर अनुमानित मांग को पूरा करती है - घाटे और / या क्षमता नियोजन जोखिमों को निर्दिष्ट करती है।

हम पिछली 2-4 तिमाहियों के लिए पूर्वानुमान जोड़ने की भी सलाह देते हैं ताकि पाठक पूर्वानुमानों की स्थिरता और सटीकता का मूल्यांकन कर सके।

SLA कार्यान्वयन / उपलब्धता

SRE द्वारा समर्थित सभी सेवाओं में एक लिखित SLA होना चाहिए, जो प्रत्येक तिमाही के प्रदर्शन का मूल्यांकन करता है।

धारा SLA में SLA शर्तों की त्रैमासिक व्यवहार्यता को मापने के लिए सेवा के मुख्य घटकों के मापदंडों के साथ-साथ एक लिखित SLA टीम का लिंक भी होना चाहिए।

सहवर्ती घटनाएं (वैकल्पिक)

प्रति तिमाही 3-5 प्रमुख घटनाओं या विफलताओं की सूची बनाएं।

उपलब्धियां (वैकल्पिक)

तिमाही के लिए मुख्य उपलब्धियों की सूची बनाएं।

SLA परिवर्तन (वांछित)

हाल ही में एसएलए में परिवर्तन।

सेवा विवरण (वांछनीय)

अनुभाग में विकास, देरी के आंकड़े आदि शामिल हो सकते हैं।

टीम की जानकारी (वैकल्पिक)

टीम की संरचना, स्थिति, परियोजनाओं, बदलाव के आंकड़ों की जानकारी शामिल हो सकती है।

डेटा स्रोत (आवश्यक)

पहुँच मानों, गणना विधियों को प्राप्त करने के लिए उपयोग किए जाने वाले स्रोतों का वर्णन करें, संबंधित डैशबोर्ड को लिंक प्रदान करें।

टीम चार्टर

हम कौन हैं

एक वाक्य में (~ 1 पंक्ति) तकनीकी वातावरण, ग्राहकों और टीम के प्रस्तावों, साथ ही साथ एसआरई भागीदारी और विशेष विशेषज्ञता की डिग्री का वर्णन करता है।

समर्थित सेवाएँ

कार्य के दायरे को और स्पष्ट करने के लिए, उन सेवाओं (या उनके समूह) का वर्णन करें जो टीम समर्थन करती है।

हम समय कैसे बिताते हैं

स्कोपिंग एक रोडमैप बनाने और दीर्घकालिक लक्ष्यों को प्राप्त करने और समर्थन करने में मदद करता है।

टीम मान

मूल्यों का स्पष्ट रूप से वर्णन करें। यह उस तरह से प्रभावित करता है जिस तरह से टीम के सदस्य आपस में बातचीत करते हैं, और आपकी टीम दूसरों के साथ कैसा व्यवहार करती है।

निष्कर्ष

भले ही आप एक एसआरई, या एक एसआरई प्रबंधक, या एक तकनीकी संपादक हों, अब आप एक प्रभावी एसआरई टीम के जीवन में प्रलेखन के महत्वपूर्ण महत्व को समझते हैं। अच्छा प्रलेखन SRE टीम को विकसित करने और नई और मौजूदा सेवाओं के प्रबंधन के लिए एक स्पष्ट कार्यप्रणाली का पालन करने की अनुमति देता है।

इस प्रकार, हमने इस लेख का अंतिम भाग प्रकाशित किया, पहले और दूसरे भाग को हाइपरलिंक पर क्लिक करके पढ़ा जा सकता है, और आप हमारे खुले पाठ में और भी अधिक उपयोगी जानकारी प्राप्त कर सकते हैं, जो 19 फरवरी को आयोजित किया जाएगा। हम सभी का इंतजार कर रहे हैं!

Source: https://habr.com/ru/post/hi439566/


All Articles