टेराफॉर्मर - इन्फ्रास्ट्रक्चर टू कोड

मैं नए सीएलआई टूल के बारे में बात करना चाहूंगा जो मैंने एक पुरानी समस्या को हल करने के लिए लिखा था।

समस्या

लंबे समय से टेराफॉर्म देवप्स / क्लाउड / आईटी समुदाय में मानक है। कोड के रूप में बुनियादी ढांचे को करने के लिए यह चीज बहुत सुविधाजनक और उपयोगी है। टेराफॉर्म में कई कांटे और साथ ही कई कांटे, तेज चाकू और रेक हैं।
टेराफॉर्म के साथ, नई चीजें करना और फिर उन्हें प्रबंधित करना, बदलना या हटाना बहुत सुविधाजनक है। और उन लोगों के बारे में क्या है जिनके पास क्लाउड में एक बड़ा बुनियादी ढांचा है और टेराफॉर्म के माध्यम से नहीं बनाया गया है? पूरे क्लाउड को फिर से लिखना और फिर से बनाना किसी तरह महंगा और असुरक्षित है।
मुझे 2 कामों में इस तरह की समस्या का सामना करना पड़ा, सबसे सरल उदाहरण यह है कि जब आप चाहते हैं कि सब कुछ टेराफ़ॉर्म फ़ाइलों के रूप में हो, और आपके पास 250+ बाल्टी हो और उनमें से बहुत कुछ अपने हाथों से टैरफ़ॉर्म के लिए लिखें।
टेराफोम में 2014 से एक मुद्दा है जो 2016 में इस उम्मीद के साथ बंद हो गया था कि आयात होगा।

सामान्य तौर पर, तस्वीर में सब कुछ सही से बाईं ओर के रूप में होता है


चेतावनियाँ: लेखक अपने आधे जीवन के लिए रूस में नहीं रहता है और रूसी में बहुत कम लिखता है। वर्तनी की त्रुटियाँ।

समाधान

1. AWS टेराफॉर्मिंग के लिए टर्नकी और पुराने समाधान हैं। जब मैंने इसके माध्यम से अपनी 250+ बाल्टी प्राप्त करने की कोशिश की, तो मुझे एहसास हुआ कि वहां सब कुछ खराब था। AWS ने पहले ही बहुत सारे नए विकल्पों को लंबे समय तक फेंक दिया है और टेराफ़ॉर्मिंग उनके बारे में नहीं जानता है और सामान्य तौर पर इसमें एक रूबी टेम्पलेट होता है जो खराब दिखता है । शाम को 2 के बाद मैंने वहाँ और सुविधाएँ जोड़ने के लिए एक पुल अनुरोध भेजा और महसूस किया कि इस तरह का समाधान बिल्कुल भी फिट नहीं है।
टेराफॉर्मिंग कैसे काम करता है, यह AWS SDK से डेटा लेता है और टेम्पलेट के माध्यम से tf और tfstate उत्पन्न करता है।
3 समस्याएं हैं:
1. अपडेट में हमेशा बैकलॉग रहेगा
2. tf फाइलें कभी-कभी टूटी हुई निकल जाती हैं
3. tfstate को tf से अलग करके एकत्रित किया जाता है और हमेशा अभिसरण नहीं किया जाता है
सामान्य तौर पर, परिणाम प्राप्त करना मुश्किल होता है जिसमें `टेराफॉर्म प्लान` यह कहेगा कि कोई परिवर्तन नहीं हैं

2. `टेराफॉर्म इंपोर्ट '- एक बिल्ट-इन कमांड टेराफॉर्म। यह कैसे काम करता है?
आप संसाधन के नाम और प्रकार के साथ एक खाली TF फ़ाइल लिखते हैं, फिर `terraform import` चलाते हैं और संसाधन की ID पास करते हैं। टेराफॉर्म कॉल प्रदाता को डेटा प्राप्त करता है और एक tfstate फ़ाइल बनाता है।
3 समस्याएं हैं:
1. हम केवल tfstate फ़ाइल प्राप्त करते हैं और tf खाली को tfstate के साथ लिखा या परिवर्तित किया जाना चाहिए
2. हर बार केवल एक संसाधन के साथ काम करने में सक्षम और सभी संसाधनों का समर्थन नहीं करता है। और मुझे 250+ बाल्टी के साथ फिर से क्या करना चाहिए
3. आपको संसाधन आईडी को जानने की आवश्यकता है - अर्थात, आपको इसे कोड में लपेटने की आवश्यकता है जो संसाधनों की सूची को बाहर निकालता है
सामान्य तौर पर, परिणाम आंशिक होता है और अच्छी तरह से पैमाने पर नहीं होता है

मेरे फैसले

आवश्यकताएँ:
1. संसाधनों द्वारा tf और tfstate फाइल बनाने की क्षमता। उदाहरण के लिए, सभी बकेट / सिक्योरिटी ग्रुप / लोड बैलेंसर डाउनलोड करें और `टेराफ़ॉर्म प्लान` वापस आए ताकि कोई बदलाव न हो
2. यह आवश्यक है GCP + AWS के 2 बादल
3. एक वैश्विक समाधान जो हर बार अपडेट करना आसान है और 3 दिनों के काम के लिए प्रत्येक संसाधन पर समय बर्बाद नहीं करता है
4. ओपन सोर्स बनाएं - सभी को ऐसी समस्या होती है

गो लैंग्वेज - यही कारण है कि मैं इसे प्यार करता हूं, और इसमें HCL फाइलें बनाने के लिए एक लाइब्रेरी है जो टेराफॉर्म में उपयोग की जाती है + टेराफॉर्म में बहुत सारे कोड हैं जो उपयोगी हो सकते हैं

जिस तरह से

पहला प्रयास
एक साधारण विकल्प शुरू किया। वांछित संसाधन के लिए एसडीके के माध्यम से क्लाउड तक पहुंच और टेराफॉर्म के लिए इसे खेतों में परिवर्तित करना। इस प्रयास की सुरक्षा समूह में तुरंत मृत्यु हो गई क्योंकि मुझे केवल सुरक्षा समूह (और बहुत सारे संसाधन हैं) में परिवर्तित होने के लिए 1.5 दिन पसंद नहीं आए। लंबे और फिर खेतों को बदला / जोड़ा जा सकता है

दूसरा प्रयास
यहां वर्णित विचार के आधार पर। बस ले और tfstate को tf में रूपांतरित करें। सभी डेटा वहाँ हैं और फ़ील्ड समान हैं। कई संसाधनों के लिए पूर्ण tfstate कैसे प्राप्त करें ?? तब बचाव के लिए `टेराफॉर्म रिफ्रेश` कमांड आया। terraform सभी संसाधनों को tststate में लेता है और ID द्वारा डेटा खींचता है और tfstate को सब कुछ लिखता है। यही है, केवल नाम और आईडी के साथ एक खाली tfstate बनाएं, `टेराफ़ॉर्म रिफ्रेश` को चलाएं, हमें पूर्ण tfateate मिलता है। हुर्रे!
अब tfstate से tf के लिए एक कनवर्टर लिखने के पुनरावर्ती पोर्नोग्राफी करते हैं। उन लोगों के लिए जिन्होंने कभी टफस्टेट नहीं पढ़ा है, यह JSON है, लेकिन विशेष।
यहां इसकी महत्वपूर्ण विशेषता है

"attributes": { "id": "default/backend-logging-load-deployment", "metadata.#": "1", "metadata.0.annotations.%": "0", "metadata.0.generate_name": "", "metadata.0.generation": "24", "metadata.0.labels.%": "1", "metadata.0.labels.app": "backend-logging", "metadata.0.name": "backend-logging-load-deployment", "metadata.0.namespace": "default", "metadata.0.resource_version": "109317427", "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment", "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5", "spec.#": "1", "spec.0.min_ready_seconds": "0", "spec.0.paused": "false", "spec.0.progress_deadline_seconds": "600", "spec.0.replicas": "1", "spec.0.revision_history_limit": "10", "spec.0.selector.#": "1", 

इस प्रकार हैं:
1. आईडी - स्ट्रिंग
2. मेटाडेटा - आकार 1 की एक सरणी और इसमें खेतों के साथ एक वस्तु जो नीचे वर्णित है
3. युक्ति - आकार 1 का हैश और इसमें कुंजी, मान
संक्षेप में, एक मजेदार प्रारूप, सब कुछ गहराई से कई स्तरों पर भी हो सकता है

  "spec.#": "1", "spec.0.min_ready_seconds": "0", "spec.0.paused": "false", "spec.0.progress_deadline_seconds": "600", "spec.0.replicas": "1", "spec.0.revision_history_limit": "10", "spec.0.selector.#": "1", "spec.0.selector.0.match_expressions.#": "0", "spec.0.selector.0.match_labels.%": "1", "spec.0.selector.0.match_labels.app": "backend-logging-load", "spec.0.strategy.#": "0", "spec.0.template.#": "1", "spec.0.template.0.metadata.#": "1", "spec.0.template.0.metadata.0.annotations.%": "0", "spec.0.template.0.metadata.0.generate_name": "", "spec.0.template.0.metadata.0.generation": "0", "spec.0.template.0.metadata.0.labels.%": "1", "spec.0.template.0.metadata.0.labels.app": "backend-logging-load", "spec.0.template.0.metadata.0.name": "", "spec.0.template.0.metadata.0.namespace": "", "spec.0.template.0.metadata.0.resource_version": "", "spec.0.template.0.metadata.0.self_link": "", "spec.0.template.0.metadata.0.uid": "", "spec.0.template.0.spec.#": "1", "spec.0.template.0.spec.0.active_deadline_seconds": "0", "spec.0.template.0.spec.0.container.#": "1", "spec.0.template.0.spec.0.container.0.args.#": "3", 

सामान्य तौर पर, जो एक साक्षात्कार के लिए एक प्रोग्रामिंग कार्य चाहते हैं, बस इस मामले के लिए एक पार्सर लिखने के लिए कहें :)
बग्स के बिना एक पार्सर लिखने के लंबे प्रयासों के बाद, मुझे टेराफॉर्म कोड में इसका हिस्सा मिला, और सबसे महत्वपूर्ण हिस्सा। और सब कुछ ठीक काम लग रहा था

तीन प्रयास करें
टेराफॉर्मफॉर्म प्रदाता एक बाइनरी है जिसमें क्लाउड एपीआई के साथ काम करने के लिए सभी संसाधनों और तर्क के साथ एक कोड होता है। प्रत्येक क्लाउड का अपना प्रदाता होता है और टेराफ़ॉर्म स्वयं ही उन्हें दो प्रक्रियाओं के बीच अपने आरपीसी प्रोटोकॉल के माध्यम से बुलाता है।
अब मैंने आरपीसी कॉल के माध्यम से टेराफ़ॉर्म प्रदाताओं को सीधे एक्सेस करने का निर्णय लिया। यह खूबसूरती से निकला और टेराफ़ॉर्म प्रदाताओं को नए में बदलना और कोड को बदले बिना नए अवसर प्राप्त करना संभव बना दिया। यह पता चला कि tfstate में सभी फ़ील्ड tf में नहीं होनी चाहिए, लेकिन मुझे यह कैसे पता चलेगा? बस प्रदाता से इस बारे में पूछें। फिर नियमित अभिव्यक्तियों की असेंबली पर एक और पुनरावर्ती पोर्नोग्राफी गहराई से सभी स्तरों पर tststate के अंदर खेतों की खोज के साथ शुरू हुई ।

अंत में, हमें एक उपयोगी सीएलआई उपकरण मिला, जिसमें सभी टेराफ़ॉर्म प्रदाताओं के लिए एक समान बुनियादी ढांचा है और आप आसानी से एक नया जोड़ सकते हैं। इसके अलावा संसाधनों को जोड़ने में थोड़ा कोड लगता है। साथ ही सभी प्रकार की अच्छाइयों जैसे संसाधनों के बीच संबंध। बेशक कई अलग-अलग समस्याएं थीं जिनका वर्णन नहीं किया जा सकता है।
उन्होंने छोटे जानवर टेराफोमर को बुलाया।

अन्त

Terrafomer का उपयोग करते हुए, हमने दो बादलों से tf + tststate कोड की 500-700 हजार लाइनें उत्पन्न कीं। वे विरासत की चीजें ले सकते थे और उन्हें केवल टेराफॉर्म के माध्यम से छूना शुरू कर सकते थे क्योंकि कोड के रूप में बुनियादी ढांचे के सर्वोत्तम विचारों में। यह केवल जादू है जब आप एक विशाल बादल लेते हैं और इसे टेराफॉर्म वर्किंग फाइलों के रूप में कमांड के माध्यम से प्राप्त करते हैं। और फिर grep / प्रतिस्थापित / git और इतने पर।

उन्होंने कंघी की और आदेश दिया, अनुमति प्राप्त की। गुरुवार (05/02/19) को सभी के लिए जीथूब पर जारी किया गया। github.com/GoogleCloudPlatform/terraformer
पहले से ही 600 स्टार, 2 पुल अनुरोधों ने ओपनस्टैक और कुबेरनेट के लिए समर्थन प्राप्त किया। अच्छी समीक्षा। सामान्य तौर पर, यह परियोजना लोगों के लिए उपयोगी है
मैं उन सभी को सलाह देता हूं जो टेराफॉर्म के साथ काम करना शुरू करना चाहते हैं और इसके लिए सब कुछ फिर से लिखना नहीं चाहते हैं।
मुझे अनुरोधों, मुद्दों, सितारों को खींचने में खुशी होगी।

डेमो


अपडेट: न्यूनतम ओपनस्टैक समर्थन और कुबेरनेट का समर्थन खराब हो गया है, पीआर के लिए लोगों को धन्यवाद