🍥 🤨 👩🏿‍🚒 हम एक बड़े विरासत नेटवर्क का स्वचालन कैसे करते हैं 🚆 🏖️ 📉

नमस्कार। हमारे पास 15,260+ ऑब्जेक्ट्स और 38,000 नेटवर्क डिवाइस हैं जिन्हें उनकी कार्यक्षमता के लिए कॉन्फ़िगर, अपडेट और चेक करने की आवश्यकता है। उपकरणों के ऐसे बेड़े की सेवा करना काफी मुश्किल है और इसके लिए बहुत समय, प्रयास और लोगों की आवश्यकता होती है। इसलिए, हमें नेटवर्क उपकरण के साथ काम को स्वचालित करने की आवश्यकता थी और हमने अपनी कंपनी में नेटवर्क का प्रबंधन करने के लिए एक कोड के रूप में नेटवर्क की अवधारणा को अनुकूलित करने का निर्णय लिया। कटौती के तहत, हमारे स्वचालन इतिहास, गलतियों और भवन प्रणालियों के लिए एक और योजना पढ़ें।

लंबी कहानी छोटी, हम नेटवर्क को स्वचालित करना चाहते हैं

नमस्ते! मेरा नाम अलेक्जेंडर प्रोखोरोव है, और हमारे विभाग में नेटवर्क इंजीनियरों की टीम के साथ हम #IT X5 में एक नेटवर्क पर काम कर रहे हैं। हमारा विभाग एक कोड के रूप में नेटवर्क के बुनियादी ढांचे, निगरानी, नेटवर्क स्वचालन और नेटवर्क की फैशनेबल दिशा को विकसित करता है।

प्रारंभ में, मुझे वास्तव में सिद्धांत रूप में हमारे नेटवर्क में किसी भी स्वचालन पर विश्वास नहीं था। बहुत सारी विरासत और कॉन्फ़िगरेशन त्रुटियां थीं - हर जगह केंद्रीय प्राधिकरण नहीं था, सभी हार्डवेयर एसएसएच समर्थित नहीं थे, हर जगह नहीं एसएनएमपी कॉन्फ़िगर किया गया था। यह सब स्वचालन में विश्वास को बहुत कम करता है। इसलिए, सबसे पहले, हमने स्वचालन को शुरू करने के लिए क्या आवश्यक है, अर्थात्: SSH कनेक्शन का मानकीकरण, एकल प्राधिकरण ( AAA ) और SNMP प्रोफाइल का मानकीकरण किया। यह सब नींव आपको एक डिवाइस को बड़े पैमाने पर वितरण के लिए एक उपकरण लिखने की अनुमति देता है, लेकिन सवाल उठता है: क्या मैं अधिक प्राप्त कर सकता हूं? इसलिए हम विशेष रूप से एक कोड के रूप में स्वचालन के विकास और नेटवर्क की अवधारणा के लिए एक योजना तैयार करने की आवश्यकता पर आए।

सिस्को के अनुसार, कोड के रूप में नेटवर्क की अवधारणा का अर्थ है, निम्नलिखित सिद्धांत:

भंडार, स्रोत नियंत्रण में लक्ष्य विन्यास स्टोर करें
कॉन्फ़िगरेशन परिवर्तन सत्य के एकल स्रोत, रिपॉजिटरी के माध्यम से जाते हैं
एपीआई के माध्यम से एम्बेडिंग विन्यास

पहले दो बिंदु आपको अपने नेटवर्क के बुनियादी ढांचे के प्रबंधन के लिए DevOps या NetDevOps दृष्टिकोण लागू करने की अनुमति देते हैं। तीसरे पैराग्राफ के साथ कठिनाइयाँ हैं, उदाहरण के लिए, एपीआई नहीं होने पर क्या करें? बेशक, SSH और CLI, हम नेटवर्कर हैं!

और क्या हम सभी की जरूरत है?

अकेले इन सिद्धांतों के अनुप्रयोग नेटवर्क के बुनियादी ढांचे की सभी समस्याओं का समाधान नहीं करते हैं, जिस तरह उनके आवेदन के लिए नेटवर्क डेटा के साथ एक निश्चित आधार की आवश्यकता होती है।

जब हमने इस बारे में सोचा तो सवाल उठे:

ठीक है, मैं कॉन्फ़िगरेशन को कोड के रूप में संग्रहीत करता हूं, मुझे इसे किसी विशिष्ट ऑब्जेक्ट पर कैसे लागू करना चाहिए?
ठीक है, मेरे पास रिपॉजिटरी में एक कॉन्फ़िगरेशन टेम्पलेट है, लेकिन मैं इसके आधार पर किसी ऑब्जेक्ट के लिए कॉन्फ़िगरेशन को स्वचालित रूप से कैसे कॉन्फ़िगर कर सकता हूं?
इस ऑब्जेक्ट पर किस मॉडल और किस विक्रेता को होना चाहिए यह कैसे पता करें? क्या मैं इसे स्वचालित रूप से कर सकता हूं?
मैं कैसे जांच सकता हूं कि ऑब्जेक्ट की वर्तमान सेटिंग्स रिपॉजिटरी में मापदंडों से मेल खाती है या नहीं?
रिपॉजिटरी में परिवर्तन के साथ कैसे काम करें और उन्हें एक उत्पादक नेटवर्क पर दोहराएं?
जीरो टच प्रोविजनिंग के बारे में मुझे क्या डेटा सेट और सिस्टम चाहिए?
विक्रेताओं, और एक ही विक्रेता के मॉडल के अंतर के बारे में क्या?
स्वचालित कॉन्फ़िगरेशन के लिए सबनेट कैसे स्टोर करें?

उपरोक्त सभी प्रश्नों के आधार पर, यह स्पष्ट हो गया कि हमें ऐसे सिस्टम की आवश्यकता है जो विभिन्न समस्याओं को हल करें, एक दूसरे के साथ मिलकर काम करें और हमें नेटवर्क इन्फ्रास्ट्रक्चर के बारे में पूरी जानकारी दें।

नेटवर्क प्रबंधन में नए दृष्टिकोणों को लागू करने की कोशिश करने के अलावा, हम नेटवर्क बुनियादी ढांचे में कुछ और तीव्र समस्याओं को हल करना चाहते थे, जैसे कि डेटा अखंडता, अद्यतन करना और निश्चित रूप से, स्वचालन। स्वचालन से हमारा तात्पर्य न केवल उपकरणों के विन्यास के बड़े पैमाने पर वितरण से है, बल्कि स्वचालित विन्यास, नेटवर्क उपकरण सूची डेटा के स्वचालित संग्रह और निगरानी प्रणालियों से एकीकरण से भी है। लेकिन पहले बातें पहले।

हमारे द्वारा लक्षित कार्यक्षमता है:

नेटवर्क उपकरण डेटाबेस (+ खोज, + ऑटो-अपडेट)
आधार नेटवर्क पते (IPAM + सत्यापन जाँच)
इन्वेंट्री डेटा के साथ निगरानी प्रणालियों का एकीकरण
संस्करण नियंत्रण प्रणाली में विन्यास मानकों का भंडारण
किसी वस्तु के लिए लक्ष्य विन्यास का स्वचालित गठन
नेटवर्क उपकरणों के लिए विन्यास का थोक वितरण
नेटवर्क कॉन्फ़िगरेशन परिवर्तनों को प्रबंधित करने के लिए CI / CD प्रक्रिया लागू करें
सीआई / सीडी के साथ नेटवर्क कॉन्फ़िगरेशन का परीक्षण करना
ZTP (Zero Touch Provisioning) - किसी ऑब्जेक्ट के लिए उपकरण का स्वचालित सेटअप

लंबी कहानी, हमने स्वचालितकरण की कोशिश की

हमने 2 साल पहले नेटवर्क सेटअप के काम को स्वचालित करने की कोशिश शुरू की। अब यह प्रश्न फिर से क्यों आया है और इस पर ध्यान देने की आवश्यकता है?

अपने हाथों से कुछ दर्जन से अधिक उपकरणों को कॉन्फ़िगर करने के लिए यह थकाऊ और उबाऊ है। कभी-कभी इंजीनियर का हाथ जुड़ जाता है, और वह गलतियाँ करता है। कई दर्जनों के लिए, एक इंजीनियर द्वारा लिखित एक स्क्रिप्ट आमतौर पर पर्याप्त होती है, जो नेटवर्क उपकरणों के लिए अद्यतन सेटिंग्स को रोल करती है।

वहां क्यों नहीं रुके? वास्तव में, कई नेटवर्क इंजीनियरों को पहले से ही पता है कि सभी प्रकार के अजगर कैसे करें, और जो लोग नहीं जानते हैं कि यह पहले से ही बहुत जल्द कैसे कर पाएगा (नताल्या समोइलेन्को, हालांकि, पायथन पर एक उत्कृष्ट काम प्रकाशित किया है , विशेष रूप से नेटवर्क पर)। जिस किसी को भी n + 1 राउटर को कॉन्फ़िगर करने का काम सौंपा गया है, वह स्क्रिप्ट लिखने में सक्षम है और सेटिंग्स को बहुत तेज़ी से रोल आउट करता है। बहुत तेजी से फिर सब कुछ वापस लाने में सक्षम। स्वचालन के अनुभव के अनुसार "हर आदमी अपने लिए", गलतियाँ तब होती हैं जब आप केवल अपने हाथों से संचार को बहाल कर सकते हैं, और केवल पूरी टीम के महान दुख के साथ।

उदाहरण

एक बार, इंजीनियरों में से एक ने एक महत्वपूर्ण कार्य करने का फैसला किया - रूटर्स के कॉन्फ़िगरेशन में आदेश को पुनर्स्थापित करने के लिए। कई वस्तुओं पर ऑडिट के परिणामस्वरूप, विशिष्ट सबनेट के साथ एक अप्रचलित उपसर्ग-सूची मिली, जिसकी हमें अब आवश्यकता नहीं थी। पहले, इसका उपयोग केंद्रीय साइटों के लूपबैक पतों को फ़िल्टर करने के लिए किया गया था ताकि वे केवल एक चैनल के माध्यम से आए, और हम इस चैनल के कनेक्शन का परीक्षण कर सकें। लेकिन तंत्र को अनुकूलित किया गया था, और उन्होंने ऐसी चैनल परीक्षण योजना का उपयोग करना बंद कर दिया। कर्मचारी ने इस उपसर्ग-सूची को हटाने का फैसला किया, ताकि यह कॉन्फ़िगरेशन में लूम न हो और भविष्य में भ्रम पैदा करे। सभी लोग अप्रयुक्त उपसर्ग-सूची को हटाने के लिए सहमत हुए, कार्य सरल है, वे तुरंत भूल गए। लेकिन दर्जनों वस्तुओं पर अपने हाथों से समान उपसर्ग-सूची निकालना बहुत उबाऊ और समय लेने वाला है। और इंजीनियर ने एक स्क्रिप्ट लिखी जो जल्दी से उपकरण के माध्यम से जाएगी, "कोई उपसर्ग-सूची प्ल-सिस्को-प्राइमर" न बनाएं और पूरी तरह से कॉन्फ़िगरेशन को बचाएं।

चर्चा के कुछ समय बाद, कुछ घंटे, या एक दिन, मुझे याद नहीं है, एक वस्तु गिर गई। कुछ मिनटों के बाद, एक और, समान। दुर्गम वस्तुओं की संख्या आधे घंटे से 10 तक बढ़ती रही, और हर 2-3 मिनट में एक नया जोड़ा गया। सभी इंजीनियर निदान के लिए जुड़े हुए थे। दुर्घटना शुरू होने के 40-50 मिनट बाद, सभी से बदलावों के बारे में सवाल किया गया और कर्मचारी ने स्क्रिप्ट बंद कर दी। उस समय, पहले से ही टूटी हुई चैनलों के साथ लगभग 20 ऑब्जेक्ट थे। एक पूर्ण बहाली में 7 इंजीनियरों को कई घंटे लगे।

तकनीकी पक्ष

लूपबैक को फ़िल्टर करने के लिए उपसर्ग-सूची का उपयोग किया गया था - एक को एक चैनल पर फ़िल्टर किया गया था, दूसरा बैकअप पर। चैनलों के बीच उत्पादक यातायात को स्विच किए बिना संचार का परीक्षण करने के लिए इसका उपयोग किया गया था। इसलिए, एक बीजीपी पड़ोसी पर आने वाले रूट-मैप का पहला नियम "मैच आईपी पते की उपसर्ग सूची" के साथ था । रूट-मैप के बाकी नियम सभी PERMIT थे।

कई बारीकियां हैं जो ध्यान देने योग्य हो सकती हैं:

रूट-मैप नियम जिसमें कोई मेल नहीं है - सब कुछ छोड़ देता है
उपसर्ग-सूची के अंत में निहित इंकार है , लेकिन केवल अगर यह खाली नहीं है
एक खाली उपसर्ग-सूची एक अंतर्निहित परमिट है

सिस्को IOS के लिए उपरोक्त सभी सत्य है। जब आप रूट-मैप की घोषणा करते हैं तो एक खाली उपसर्ग-सूची दिखाई दे सकती है, इसे "आईपी एड्रेस प्रीफिक्स-लिस्ट प्ल-टेस्ट-सिस्को" से मिलाएं । यह उपसर्ग-सूची स्पष्ट रूप से कॉन्फ़िगरेशन ( मैच के साथ लाइन के अलावा) में घोषित नहीं की जाएगी, लेकिन यह शो आईपी प्रीफ़िक्स-सूची में पाया जा सकता है।

2901-NOC-4.2(config)#route-map rm-test-in 2901-NOC-4.2(config-route-map)#match ip address prefix-list pl-test-in 2901-NOC-4.2(config-route-map)#do sh run | i prefix match ip address prefix-list pl-test-in 2901-NOC-4.2(config-route-map)#do sh ip prefix ip prefix-list pl-test-in: 0 entries 2901-NOC-4.2(config-route-map)#

जो कुछ भी हुआ था, उस पर लौटते समय, जब उपसर्ग-सूची को स्क्रिप्ट द्वारा हटा दिया गया था, तो यह खाली हो गया, क्योंकि यह रूट-मैप में पहले DENY नियम में था। एक खाली उपसर्ग-सूची सभी सबनेट की अनुमति देती है, इसलिए एक बीजीपी सहकर्मी ने जो कुछ भी हमारे पास किया वह पहले DENY नियम में गिर गया।
इंजीनियर ने तुरंत यह क्यों नहीं देखा कि उसने कनेक्शन तोड़ दिया था? यहां सिस्को में बीजीपी टाइमर की भूमिका निभाई।
बीजीपी स्वयं एक अनुसूची पर मार्गों का आदान-प्रदान नहीं करता है, और यदि आपने बीजीपी रूटिंग नीति को अपडेट किया है, तो आपको सिस्को के लिए "स्पष्ट आईपी बीजीपी <पीयर-आईपी>" परिवर्तनों को लागू करने के लिए बीजीपी सत्र को रीसेट करने की आवश्यकता है।

सत्र को रीसेट न करने के लिए, दो तंत्र हैं:

सिस्को सॉफ्ट-रीकॉन्फ़िगरेशन
रूट को RFC2918 के रूप में ताज़ा करें

जब तक स्थानीय adj-RIB- तालिका में नीतियां लागू नहीं की जाती हैं, तब तक पड़ोसियों से मार्गों के बारे में जानकारी प्राप्त करने के लिए सॉफ्ट-रिइंफिगरेशन रखती है। नीतियों को अद्यतन करते समय, पड़ोसी से UPDATE का अनुकरण करना संभव हो जाता है।
रूट रिफ्रेश अनुरोध पर अद्यतन भेजने के लिए साथियों की "क्षमता" है। पड़ोस की स्थापना करते समय इस अवसर की उपलब्धता पर सहमति व्यक्त की जाती है। पेशेवरों - स्थानीय रूप से अद्यतन की एक प्रति संग्रहीत करने की आवश्यकता नहीं है। विपक्ष - व्यवहार में, पड़ोसी से अनुरोध के बाद, आपको उसके भेजने तक प्रतीक्षा करने की आवश्यकता है। वैसे, आप एक छिपे हुए आदेश के साथ सिस्को पर सुविधा को अक्षम कर सकते हैं:

 neighbor <peer-ip> dont-capability-negotiate

सिस्को की एक अनिर्दिष्ट सुविधा है - 30 सेकंड का टाइमर, जो बीजीपी नीतियों में बदलाव से शुरू होता है। नीतियों को बदलने के बाद, 30 सेकंड में उपरोक्त तकनीकों में से किसी एक का उपयोग करके मार्गों को अपडेट करने की प्रक्रिया शुरू हो जाएगी। मुझे इस टाइमर का प्रलेखित विवरण नहीं मिला, लेकिन BUG CSCvi91270 में इसका उल्लेख है। आप अभ्यास में इसकी उपलब्धता के बारे में जान सकते हैं,

लैब में परिवर्तन करने और पड़ोसी के लिए अद्यतन अनुरोध या सॉफ्ट-रिइंफ़िगरेशन प्रक्रिया के लिए डिबग में देखने के बाद। (यदि विषय पर अतिरिक्त जानकारी है - आप टिप्पणियों में छोड़ सकते हैं)

सॉफ्ट-रीकॉन्फ़िगरेशन के लिए , टाइमर इस तरह काम करता है:

 2901-NOC-4.2(config)#no ip prefix-list pl-test seq 10 permit 10.5.5.0/26 2901-NOC-4.2(config)#do sh clock 16:53:31.117 Tue Sep 24 2019 Sep 24 16:53:59.396: BGP(0): start inbound soft reconfiguration for Sep 24 16:53:59.396: BGP(0): process 10.5.5.0/26, next hop 10.0.0.1, metric 0 from 10.0.0.1 Sep 24 16:53:59.396: BGP(0): Prefix 10.5.5.0/26 rejected by inbound route-map. Sep 24 16:53:59.396: BGP(0): update denied, previous used path deleted Sep 24 16:53:59.396: BGP(0): no valid path for 10.5.5.0/26 Sep 24 16:53:59.396: BGP(0): complete inbound soft reconfiguration, ran for 0ms Sep 24 16:53:59.396: BGP: topo global:IPv4 Unicast:base Remove_fwdroute for 10.5.5.0/26 2901-NOC-4.2(config)#

इस तरह पड़ोसी की ओर से मार्ग- वापसी के लिए:

 2801-RTR (config-router)# *Sep 24 20:57:29.847 MSK: BGP: 10.0.0.2 rcv REFRESH_REQ for afi/sfai: 1/1 *Sep 24 20:57:29.847 MSK: BGP: 10.0.0.2 start outbound soft reconfig for afi/safi: 1/1

यदि मार्ग-रीफ़्रेश को किसी एक सहकर्मी द्वारा समर्थित नहीं किया गया है और सॉफ्ट-रिइंफ़िगरेशन इनबाउंड सक्षम नहीं है, तो नई नीति द्वारा अपडेट किए गए मार्ग स्वचालित रूप से नहीं होंगे।

इसलिए, उपसर्ग-सूची हटा दी गई थी, कनेक्शन बना रहा, 30 सेकंड के बाद यह गायब हो गया। स्क्रिप्ट कॉन्फ़िगरेशन बदलने, कनेक्शन की जांच करने और कॉन्फ़िगरेशन को बचाने में कामयाब रही। बड़ी संख्या में वस्तुओं की पृष्ठभूमि के खिलाफ, स्क्रिप्ट से गिरावट तुरंत जुड़ी नहीं थी।

यह सब आसानी से परीक्षण, सेटिंग्स की आंशिक प्रतिकृति से बचा जा सकता है। एक समझ थी कि स्वचालन को केंद्रीकृत और नियंत्रित किया जाना चाहिए।

जिन प्रणालियों की हमें आवश्यकता है और उनके कनेक्शन

स्पॉइलर से एक संक्षिप्त निष्कर्ष - यह विन्यास के बड़े पैमाने पर वितरण की प्रक्रिया को व्यवस्थित और नियंत्रित करने के लिए बेहतर है ताकि विन्यास में त्रुटियों के बड़े पैमाने पर वितरण में न आए।

 - DevOps:    50ms     4    -     : ", !@#$%"

हम जिस योजना पर पहुंचे, उसमें "बिजनेस" मास्टर डेटा ब्लॉक, "नेटवर्क" मास्टर डेटा ब्लॉक, नेटवर्क इंफ्रास्ट्रक्चर मॉनिटरिंग सिस्टम, कॉन्फ़िगरेशन डिलीवरी सिस्टम, एक परीक्षण इकाई के साथ संस्करण नियंत्रण प्रणाली शामिल हैं।

हम सभी की जरूरत डेटा है

पहले हमें यह जानना होगा कि कंपनी में कौन सी वस्तुएं हैं।

SAP - ERP कंपनी सिस्टम। लगभग सभी सुविधाओं पर डेटा है, और सभी दुकानों और वितरण केंद्रों पर अधिक सटीक है। साथ ही ऐसे उपकरण पर डेटा है जो इन्वेंट्री नंबर के साथ एक आईटी गोदाम से गुजरे हैं, जो भविष्य में भी हमारे लिए उपयोगी होगा। केवल कार्यालय गायब हैं, उन्हें सिस्टम में शुरू नहीं किया गया है। हम एक अलग प्रक्रिया में इस समस्या को हल करने की कोशिश कर रहे हैं, खोलने के क्षण से शुरू करके, हमें प्रत्येक ऑब्जेक्ट पर कनेक्शन की आवश्यकता है, और हम संचार के लिए सेटिंग्स का चयन करते हैं, इसलिए कहीं न कहीं इस समय हमें मास्टर डेटा बनाने की आवश्यकता है। लेकिन डेटा अपर्याप्तता एक अलग विषय है, इस विवरण को एक अलग लेख में रखना बेहतर है यदि इसमें रुचि है।

HPSM - आईटी, घटना प्रबंधन, परिवर्तन प्रबंधन के लिए एक आम CMDB युक्त प्रणाली। चूंकि सिस्टम सभी आईटी के लिए सामान्य है, इसमें नेटवर्क उपकरण सहित सभी आईटी उपकरण होने चाहिए। यह वह जगह है जहां हम नेटवर्क पर सभी अंतिम डेटा जोड़ देंगे। घटना और परिवर्तन प्रबंधन के साथ, हम भविष्य में निगरानी प्रणालियों से बातचीत करने की योजना बनाते हैं।

हमें पता है कि हमारे पास कौन सी वस्तुएं हैं, उन्हें नेटवर्क पर डेटा के साथ समृद्ध करें। इस उद्देश्य के लिए, हमारे पास दो सिस्टम हैं - सोलरविन्ड्स से आईपीएएम और हमारा स्वयं का सीएमडीबी.नोक सिस्टम।

IPAM IP सबनेट का एक भंडार है, कंपनी में आईपी पते के स्वामित्व पर सबसे सही और सही डेटा यहां होना चाहिए।

CMDB.noc एक WEB इंटरफ़ेस वाला एक डेटाबेस है जहाँ नेटवर्क उपकरण पर स्थैतिक डेटा संग्रहीत किया जाता है - राउटर, स्विच, एक्सेस पॉइंट्स, साथ ही साथ प्रदाता और उनकी विशेषताएं। स्थैतिक के तहत इसका मतलब है कि उनका परिवर्तन केवल मनुष्य की भागीदारी के साथ किया जाता है। दूसरे शब्दों में, ऑटोडिस्कवरिंग इस डेटाबेस में परिवर्तन नहीं करता है; हमें यह समझने की आवश्यकता है कि वस्तु पर "क्या" स्थापित किया जाना चाहिए। इसका आधार उत्पादक प्रणालियों के बीच एक बफर के रूप में आवश्यक है जो पूरी कंपनी के साथ काम करती है और आंतरिक नेटवर्क उपकरण। आवश्यक क्षेत्रों, नए रिश्तों, मापदंडों को समायोजित करने, आदि को जोड़ते हुए विकास को गति देता है। साथ ही, यह समाधान न केवल विकास की गति में है, बल्कि डेटा के बीच उन संबंधों की उपस्थिति में भी है, जिनकी हमें आवश्यकता है, समझौता किए बिना। एक मिनी-उदाहरण के रूप में, हम IPAM, SAP और HPSM के बीच संचार के लिए डेटाबेस में कई एक्सिड का उपयोग करते हैं।

नतीजतन, हमने सभी वस्तुओं पर पूरा डेटा प्राप्त किया, संलग्न नेटवर्क उपकरण और आईपी पते के साथ। अब हमें कॉन्फ़िगरेशन टेम्प्लेट, या नेटवर्क सेवाओं की आवश्यकता है जो हम इन साइटों पर प्रदान करते हैं।

सत्य का एकल स्रोत

यहाँ, हम सिर्फ पहले NaaC सिद्धांत के अनुप्रयोग तक पहुँचे - रिपॉजिटरी में लक्ष्य विन्यासों को संचयित करना। हमारे मामले में, यह गीतालाब है। हमारे लिए विकल्प सरल था:

सबसे पहले, हमारे पास पहले से ही हमारी कंपनी में यह उपकरण है, हमें इसे खरोंच से तैनात करने की आवश्यकता नहीं थी
दूसरे, यह नेटवर्क के बुनियादी ढांचे पर हमारे सभी वर्तमान और भविष्य के कार्यों के लिए काफी उपयुक्त है

ऑटोमेशन का मुख्य दिलचस्प हिस्सा गिटलैब में होगा - कॉन्फ़िगरेशन मानक को बदलने की प्रक्रिया या, अधिक बस, टेम्पलेट।

मानक परिवर्तन प्रक्रिया उदाहरण

वस्तुओं में से एक है कि हम Pyaterochka स्टोर है। वहां, एक सामान्य टोपोलॉजी में एक राउटर और एक / दो स्विच होते हैं। टेम्पलेट कॉन्फ़िगरेशन फ़ाइल Gitlab में संग्रहीत है, इस भाग में सब कुछ सरल है। लेकिन यह काफी NaaC नहीं है।

अब कहते हैं कि एक नया प्रोजेक्ट हमारे पास आता है। नई आईटी परियोजना के लिए कार्य एक निश्चित मात्रा में स्टोर में एक पायलट बनाना है। पायलट के परिणामों के अनुसार - यदि सफल हो, तो इस प्रकार की सभी वस्तुओं के लिए एक प्रतिकृति बनाएं; अन्यथा एक प्रतिकृति प्रदर्शन के बिना पायलट पतन।

यह प्रक्रिया Git तर्क में बहुत अच्छी तरह से फिट होती है:

एक नई परियोजना के लिए, हम एक शाखा बनाते हैं, जहाँ हम विन्यास में बदलाव करते हैं।
शाखा में हम उन वस्तुओं की एक सूची भी रखते हैं जिन पर इस परियोजना का संचालन किया जा रहा है।
यदि सफल होता है, तो हम मास्टर ब्रांच में एक मर्ज-रिक्वेस्ट करते हैं, जिसे प्रोडक्ट-नेटवर्क पर दोहराया जाना होगा
विफलता के मामले में, या तो इतिहास के लिए शाखा छोड़ दें, या बस हटा दें

पहले सन्निकटन में - स्वचालन के बिना भी, यह एक नेटवर्क कॉन्फ़िगरेशन पर एक साथ काम करने के लिए एक बहुत ही सुविधाजनक उपकरण है। खासकर यदि आप कल्पना करते हैं कि एक ही समय में तीन या अधिक परियोजनाएं साथ आईं। जब ठेस में परियोजनाओं की रिहाई का समय आता है, तो आपको मर्ज-अनुरोधों में सभी कॉन्फ़िगरेशन विरोधों को हल करने और यह जांचने की आवश्यकता होगी कि सेटिंग्स में परिवर्तन पारस्परिक रूप से अनन्य नहीं हैं। और यह गिट में करने के लिए बहुत सुविधाजनक है।

साथ ही, यह दृष्टिकोण वस्तुतः कॉन्फ़िगरेशन का परीक्षण करने के लिए, टेस्ट बेंच या ऑब्जेक्ट के पायलट समूह में कॉन्फ़िगरेशन की डिलीवरी को स्वचालित करने के लिए Gitlab CI / CD टूल का उपयोग करने के लिए हमें लचीलापन जोड़ता है। // और यहां तक कि अगर आप चाहते हैं पर ठेस भी।

किसी भी वातावरण के लिए विन्यास तैनात करना

प्रारंभ में, मुख्य लक्ष्य एक उपकरण के रूप में कॉन्फ़िगरेशन की बड़े पैमाने पर वितरण था, जो स्पष्ट रूप से आपको इंजीनियरों के समय को बचाने और कॉन्फ़िगरेशन कार्यों के निष्पादन में तेजी लाने की अनुमति देता है। ऐसा करने के लिए, महान गतिविधि "नेटवर्क के रूप में एक कोड" की शुरुआत से पहले, हमने उपकरण कनेक्ट करने या इसे कॉन्फ़िगर करने के लिए उपकरण से कनेक्ट करने के लिए एक पायथन समाधान लिखा। यह netmiko है , यह pysnmp है , यह jinja2 है , आदि।

लेकिन हमारे लिए बल्क कॉन्फ़िगरेशन को कई उप-प्रजातियों में विभाजित करने का समय है:

परीक्षण और पायलट क्षेत्रों के लिए विन्यास का वितरण
यह आइटम Gitlab CI पर आधारित है, जो आपको पाइपलाइन में विन्यास वितरण और पाइपलाइन में परीक्षण क्षेत्रों को सक्षम करने की अनुमति देता है।
ठेस में विन्यास का दोहराव
- एक अलग आइटम, सबसे अक्सर 38k उपकरणों की प्रतिकृति कई तरंगों में होती है - बढ़ती मात्रा - ठेस में स्थिति की निगरानी करने के लिए। साथ ही, इस परिमाण के काम के लिए काम के समन्वय की आवश्यकता होती है, इसलिए इस प्रक्रिया को हाथ से शुरू करना बेहतर है। इसके लिए, Ansible + -AWX का उपयोग करना और हमारे मास्टर डेटा सिस्टम से इन्वेंट्री के गतिशील संकलन को तेज करना सुविधाजनक है।
- इसके अलावा, यह एक सुविधाजनक समाधान है जब आपको दूसरी पंक्ति को पूर्व-कॉन्फ़िगर प्लेबुक की लॉन्चिंग की आवश्यकता होती है जो जटिल और महत्वपूर्ण संचालन करते हैं, जैसे कि साइटों के बीच ट्रैफ़िक स्विच करना।
डेटा संग्रह
- ऑटोडिस्कवर नेटवर्क डिवाइस
- बैकअप कॉन्फ़िगरेशन
- कनेक्टिविटी की जाँच करें
हमने इस कार्य को एक अलग ब्लॉक में आवंटित किया, क्योंकि कई बार ऐसा होता है कि किसी ने अचानक स्विच को बंद कर दिया या एक नया उपकरण स्थापित किया, लेकिन हमें इसके बारे में पहले से पता नहीं था। तदनुसार, यह उपकरण हमारे मास्टर डेटा में नहीं होगा और सामान्य रूप से, परिचालन कार्य में कॉन्फ़िगरेशन डिलीवरी, निगरानी और, की प्रक्रिया से बाहर हो जाएगा। ऐसा होता है कि उपकरण वैध रूप से स्थापित किया गया था, लेकिन कॉन्फ़िगरेशन गलत तरीके से "डाला" गया था, और किसी कारण से, उपयोग के लिए ssh , snmp , aaa या गैर-मानक पासवर्ड वहां काम नहीं करते हैं। ऐसा करने के लिए, हमारे पास कंपनी में मौजूद सभी संभावित विरासत कनेक्शन विधियों को आज़माने के लिए अजगर है, जो सभी पुराने पासवर्डों के लिए जानवर-बल बनाते हैं, और सभी लोहे के टुकड़े को पाने के लिए और इसे तैयार करने और निगरानी के साथ काम करने के लिए तैयार करते हैं। ।

एक सरल तरीका है - ansible के लिए कई इन्वेंट्री फ़ाइलों को बनाने के लिए, जहां कनेक्शन के लिए सभी संभावित डेटा (सभी संभावित उपयोगकर्ता नाम / पासवर्ड जोड़े के साथ सभी प्रकार के विक्रेताओं) का वर्णन करें और प्रत्येक इन्वेंट्री वैरिएंट के लिए एक प्लेबुक चलाएं। हम बेहतर समाधान की उम्मीद करते थे, लेकिन रेडहैट सम्मेलन में, Ansible वास्तुकार ने उसी तरह से सलाह दी। आमतौर पर यह माना जाता है कि आप पहले से जानते हैं कि आप किससे जुड़ रहे हैं।
हम एक सार्वभौमिक समाधान चाहते थे - बैकअप हटाते समय, नए उपकरणों की तलाश करें और, यदि पाया जाता है, तो इसे सभी आवश्यक प्रणालियों में जोड़ें। इसलिए, हम अजगर में एक समाधान चुनते हैं - पता है कि एक प्रोग्राम से अधिक सुंदर क्या हो सकता है जो खुद को कनेक्ट करने के लिए हार्डवेयर के एक नेटवर्क टुकड़े का पता लगा सकता है, चाहे उस पर क्या कॉन्फ़िगर किया गया हो (उचित सीमा के भीतर, निश्चित रूप से), आवश्यकतानुसार कॉन्फ़िगर करें, कॉन्फ़िगरेशन हटाएं और उसी समय। आवश्यक सिस्टम में एपीआई डेटा जोड़ें।

निगरानी की तरह सत्यापन

स्वचालन के कार्यों में से एक, ज़ाहिर है, यह पता लगाने के लिए कि इस स्वचालन से क्या गिर गया। सभी 38k पहली बार पूरी तरह से कॉन्फ़िगर नहीं किए गए हैं, यहां तक कि ऐसा भी होता है कि कोई अपने हाथों से उपकरण सेट करता है। और इन परिवर्तनों को ट्रैक करना और लक्ष्य कॉन्फ़िगरेशन के साथ ~~न्याय को~~ बहाल करना आवश्यक है।

मानक के साथ कॉन्फ़िगरेशन अनुपालन की पुष्टि करने के लिए तीन दृष्टिकोण हैं:

एक अवधि में एक बार जांच करें - वर्तमान स्थिति को अनलोड करें, लक्ष्य के खिलाफ जांचें और पहचानी गई कमियों को ठीक करें।
किसी भी चीज़ की जाँच किए बिना, एक बार अवधि - लक्ष्य कॉन्फ़िगरेशन रोल आउट करें। सच है, कुछ तोड़ने का जोखिम है - शायद लक्ष्य कॉन्फ़िगरेशन में सब कुछ नहीं था।
एक सुविधाजनक दृष्टिकोण वह है जब सत्य के एकल स्रोत में लक्ष्य विन्यास से अंतर को अलर्ट माना जाता है और निगरानी प्रणाली द्वारा निगरानी की जाती है। इसमें शामिल हैं: वर्तमान कॉन्फ़िगरेशन मानक के साथ एक बेमेल, हार्डवेयर और मास्टर डेटा में निर्दिष्ट एक अंतर, IPAM में डेटा के साथ एक बेमेल।

तीसरे मामले में, एक विकल्प इस कार्य को घटना प्रबंधन (ओएस) में स्थानांतरित करने के लिए प्रकट होता है, ताकि आपातकाल द्वारा एक बार की तुलना में पूरे समय में छोटे हिस्से में विसंगतियों को समाप्त किया जा सके।

ज़ैबिक्स , जो मैंने पहले लेख "हमने 14,000 वस्तुओं की निगरानी कैसे की थी" के बारे में लिखा था , हमारी वितरित वस्तुओं की निगरानी प्रणाली है जहां हम किसी भी ट्रिगर और अलर्ट को बना सकते हैं जो हम सोच सकते हैं। अंतिम लेख लिखने के बाद से, हमने Zabbix 4.0 LTS में अपग्रेड किया है।

वेब ज़ैबिक्स के आधार पर , हमने अपने नेटवर्क सपोर्ट पोर्टल के लिए एक अपडेट किया, जहां अब आप एक स्क्रीन पर हमारे सभी सिस्टमों से किसी ऑब्जेक्ट पर सभी जानकारी पा सकते हैं, साथ ही अक्सर होने वाली समस्याओं की जांच के लिए स्क्रिप्ट भी चला सकते हैं।

हमने एक नई विशेषता भी पेश की - हमारे लिए, ज़ैबिक्स किसी तरह से, सिस्टम एकीकरण स्क्रिप्ट, ऑटोडिस्कवर स्क्रिप्ट जैसी अनुसूचित लिपियों को लॉन्च करने के लिए एक क्रोन बन गया है। यह वास्तव में सुविधाजनक है जब आपको वर्तमान स्क्रिप्ट को देखने की आवश्यकता होती है और जब और जहां वे सभी सर्वरों की जांच के बिना चलते हैं। सच है, 30 सेकंड से अधिक समय तक चलने वाली स्क्रिप्ट के लिए, आपको एक लॉन्चर की आवश्यकता होगी जो अंत की प्रतीक्षा किए बिना उन्हें लॉन्च करता है। सौभाग्य से, यह सरल है:

launcher.sh

 #!/bin/bash nohup $* > /dev/null 2>/dev/null & echo $(date) Started job for $*

स्प्लंक एक समाधान है जो आपको नेटवर्क उपकरणों से ईवेंट लॉग एकत्र करने की अनुमति देता है, और इसका उपयोग स्वचालन की निगरानी के लिए भी किया जा सकता है। उदाहरण के लिए, कॉन्फ़िगरेशन बैकअप एकत्रित करना, एक अजगर स्क्रिप्ट एक लॉग संदेश CFG-5-BACKUP उत्पन्न करता है, एक राउटर या स्विच स्प्लंक को एक संदेश भेजता है, जिसमें हम नेटवर्क उपकरणों से इस प्रकार के संदेशों की संख्या की गणना करते हैं। यह हमें उन उपकरणों की मात्रा को ट्रैक करने की अनुमति देता है जिन्हें स्क्रिप्ट ने पता लगाया है। और हम देखते हैं कि स्प्लंक को लोहे के कितने टुकड़े इसकी सूचना देने में सक्षम थे और सभी लोहे के टुकड़ों से आए संदेशों को सत्यापित करते थे।
स्पेक्ट्रम एक व्यापक प्रणाली है जिसका उपयोग हम महत्वपूर्ण वस्तुओं की निगरानी करने के लिए करते हैं, बल्कि एक शक्तिशाली उपकरण जो महत्वपूर्ण नेटवर्क घटनाओं को सुलझाने में हमारी बहुत मदद करता है। स्वचालन में, हम इसे केवल डेटा खींचने से उपयोग करते हैं, यह ओपन-सोर्स नहीं है , इसलिए संभावनाएं कुछ हद तक सीमित हैं।

केक पर चेरी

उपकरणों पर मास्टर डेटा वाले सिस्टम का उपयोग करके, हम ZTP, या Zero Touch Provisioning बनाने के बारे में सोच सकते हैं। एक बटन "ऑटो-ट्यूनिंग" की तरह, लेकिन केवल एक बटन के बिना।

हमारे पास पिछले ब्लॉकों से सभी आवश्यक डेटा हैं - हम ऑब्जेक्ट को जानते हैं, इसका प्रकार, क्या उपकरण है (विक्रेता और मॉडल), पते (आईपीएएम) क्या हैं, वर्तमान कॉन्फ़िगरेशन मानक (गिट) क्या है। उन सभी को एक साथ रखकर, हम कम से कम डिवाइस को अपलोड करने के लिए एक कॉन्फ़िगरेशन टेम्पलेट तैयार कर सकते हैं, यह वन टच प्रोविजनिंग की तरह अधिक होगा, लेकिन कभी-कभी अधिक की आवश्यकता नहीं होती है।

ट्रू ज़ीरो टच के लिए एक तरीका है जो कि असम्बद्ध हार्डवेयर में कॉन्फ़िगरेशन को स्वचालित रूप से वितरित करता है। इसके अलावा, यह विक्रेता की परवाह किए बिना वांछनीय है। कई काम करने के विकल्प हैं - एक कंसोल सर्वर, यदि सभी उपकरण केंद्रीय गोदाम, मोबाइल कंसोल समाधानों से गुजरते हैं, अगर उपकरण तुरंत आता है। हम सिर्फ इन समाधानों पर काम कर रहे हैं, लेकिन जैसे ही कोई कार्य विकल्प होता है, हम इसे साझा कर सकते हैं।

निष्कर्ष

कुल मिलाकर, एक कोड के रूप में नेटवर्क की हमारी अवधारणा में, 5 मुख्य मील के पत्थर थे:

मास्टर डेटा (एक दूसरे के साथ सिस्टम और डेटा का संचार, प्रणालियों का एपीआई, समर्थन और लॉन्च के लिए डेटा पर्याप्तता)
डेटा और कॉन्फ़िगरेशन की निगरानी (नेटवर्क उपकरणों के ऑटोडिस्कवरिंग, सुविधा में कॉन्फ़िगरेशन की प्रासंगिकता के लिए जाँच)
संस्करण नियंत्रण, परीक्षण और पायलटिंग कॉन्फ़िगरेशन (Gitlab CI / CD जैसा कि नेटवर्क पर लागू होता है, नेटवर्क कॉन्फ़िगरेशन परीक्षण उपकरण)
कॉन्फ़िगरेशन डिलीवरी (कनेक्ट करने के लिए Ansible, AWX, अजगर स्क्रिप्ट)
शून्य टच प्रोविजनिंग (क्या डेटा की आवश्यकता है, कैसे एक प्रक्रिया का निर्माण करना है ताकि यह है, हार्डवेयर के एक गैर-कॉन्फ़िगर किए गए टुकड़े से कैसे जुड़ें)

यह एक लेख में सब कुछ फिट करने के लिए काम नहीं करता था, प्रत्येक आइटम एक अलग चर्चा के योग्य है, हम अब कुछ के बारे में बात कर सकते हैं, कुछ के बारे में जब हम व्यवहार में समाधान की जांच करते हैं। यदि आप किसी भी विषय में रुचि रखते हैं - तो अंत में एक सर्वेक्षण होगा जहां आप अगले लेख के लिए मतदान कर सकते हैं। यदि विषय सूची में शामिल नहीं है, लेकिन इसके बारे में पढ़ना दिलचस्प है, एक टिप्पणी छोड़ें जैसे ही हम कर सकते हैं, हमारे अनुभव को साझा करना सुनिश्चित करें।

2018 के पतन में यैंडेक्स क्लाउड और क्लाउड नेटवर्क के बुनियादी ढांचे में स्वचालन के बारे में कहानी के संदर्भ में विरलिन अलेक्जेंडर ( xscrew ) और सिबगेटुलिन मराट ( यूकैरियोट ) के लिए विशेष धन्यवाद। उनके बाद, हमें प्रेरणा और X5 रिटेल ग्रुप के बुनियादी ढांचे में स्वचालन और NetDevOps के उपयोग के बारे में बहुत सारे विचार मिले।

हम एक बड़े विरासत नेटवर्क का स्वचालन कैसे करते हैं