इस्टियो में वितरित अनुरेखण

अनुवाद के हमारे संपादकीय कर्मचारियों का एक नोट: प्रस्तुत लेख एक विशेष कंपनी के बंद उत्पाद का वर्णन करता है और दुर्भाग्य से, कोई सबूत नहीं है कि इसे कभी भी खोलने की योजना है - शब्द के स्टालमैन अर्थ में। फिर भी, हमें यह विचार करना बहुत महत्वपूर्ण और उपयोगी लगा कि लोग आमतौर पर इस्तियो के डिबग मुद्दों से कैसे संपर्क करते हैं और वे इस क्षेत्र में अपने काम का अनुकूलन कैसे करते हैं। शायद कोई व्यक्ति अपने लिए कुछ दिलचस्प विचार आकर्षित कर सकता है।

कुछ बिंदु पर, जब माइक्रोसिस्टवर्क आर्किटेक्चर पर आधारित उत्पादन प्रणाली विकसित हो रही थी, तो हम इस निष्कर्ष पर पहुंचे कि हमारी सेवा के प्रत्येक व्यक्तिगत तत्व की निगरानी करना गंभीर समस्याओं से निपटने के लिए पर्याप्त नहीं है। समय के साथ, एक ही समय में पूरे आवेदन में पूरे कॉल स्टैक की एक पूरी तस्वीर प्राप्त करने की आवश्यकता है, जिसमें अनुरोध टोपोलॉजी, नेटवर्क देरी और व्यक्तिगत कमांड की अवधि के बारे में विस्तृत जानकारी है। इस समस्या को हल करने के लिए, इंजीनियर आमतौर पर वितरित ट्रेसिंग का सहारा लेते हैं।

इस पोस्ट में, वितरित अनुरेखण की अवधारणा की जांच माइक्रोसर्विस आर्किटेक्चर के प्रिज़्म के माध्यम से की जाएगी: यह सब कैसे एकीकृत होता है और इस्तियो के माध्यम से स्वचालित होता है , और फिर पूरी प्रक्रिया को सरलीकृत और बैकयार्ड के माध्यम से संसाधित किया जाता है - इस्तियो के लिए हमारा सेवा उत्पाद।

प्रविष्टि

इससे पहले, हमने इस बारे में लिखा था कि यह केवल इस्टियो को स्थापित करने और कॉन्फ़िगर करने में कितना जटिल है, इसलिए इस स्थिति को आसान बनाने के लिए, हमने बंजई क्लाउड इस्तियो के खुले स्रोत के विकास को चुना। इस्तियो के अलावा, आप हेल्म ( प्रोमेथियस , ग्राफाना , जेगर , किआली ) के साथ कई सुविधाजनक उपकरणों का उपयोग कर सकते हैं, किसी भी मामले में, ज्यादातर समर्थन / एकीकरण अनुरोध उनके लिए आया था। चूंकि हम मानते हैं कि हर कोई अपनी पसंद के लिए एक उपकरण चुनता है , इसलिए हमने इन उपकरणों को इस्तियो में सख्ती से लागू नहीं किया, लेकिन केवल इन घटकों को आसानी से एकीकृत करने की क्षमता प्रदान की।

इसके अलावा, हम अपने उपयोगकर्ताओं को क्लस्टर में सूचीबद्ध घटकों (यानी, इस्तियो के अलावा कुछ और) के प्रबंधन के लिए एक और शक्तिशाली उपकरण प्रदान करना चाहते थे, इसलिए हमने Backyards भी बनाया। इसका उपयोग करके, आप आसानी से प्रोमेथियस, ग्रेफाना और जेगर को स्थापित कर सकते हैं, और, किआली के विपरीत, बैकयार्ड न केवल एक वेब-आधारित निगरानी इंटरफ़ेस है, बल्कि आपकी सेवाओं के नेटवर्क के प्रबंधन के लिए एक पूर्ण बहुक्रियाशील उपकरण है। यह एक बार में एक या कई समूहों के साथ संगत है और इसमें एक शक्तिशाली सीएलआई और ग्राफकॉल एपीआई है।

इस पोस्ट में, हम वितरित अनुरेखण और Jaeger पर ध्यान केंद्रित करेंगे।

वितरित अनुरेखण का परिचय

माइक्रोसर्विसेज की वास्तुकला में, जब कई सेवाएं एक ही समय में एक-दूसरे को कॉल करती हैं, तो अक्सर समस्याओं को ढूंढना और उन्हें डिबग करना मुश्किल होता है। वास्तव में, इस कथन में मुख्य कारण निहित है कि सेवा अनुरोधों की दक्षता कम क्यों है: कौन सी सेवा एक अड़चन बन गई है, अनुरोधों के बीच नेटवर्क देरी कितनी बड़ी है?

वितरित अनुरेखण के लिए धन्यवाद, आप संपूर्ण कॉल ट्री की कल्पना कर सकते हैं, देखें कि किस सेवा ने किस सेवा तक पहुंच प्राप्त की है, प्रत्येक कॉल को कितना समय लगता है और जवाब देने में देरी क्या है। यह वितरित ट्रेस है जो यह निर्धारित करने में मदद करता है कि विफलता कहाँ हुई और कौन सी सेवा प्रतिक्रिया समय से बाहर है।

वितरित अनुरेखण प्रणाली के भीतर पूरे कॉल स्टैक पर व्यक्तिगत अनुरोधों को ट्रैक करने की प्रक्रिया है।

वितरित ट्रेसिंग का उपयोग किए बिना, वास्तव में माइक्रोसर्विसेस के बीच बदले गए कई कॉलों में खो जाना आसान है। इसके बिना समस्याओं को डीबग करना भी मुश्किल है, क्योंकि आपको केवल लॉग पर निर्भर रहना पड़ता है। लेकिन वितरित ट्रेसिंग के लिए धन्यवाद, समस्या के निदान के लिए आवश्यक सभी जानकारी के साथ पूरा कॉल स्टैक आपके लिए उपलब्ध हो जाता है।

एक वितरित ट्रेस के हुड के तहत

स्पैन एक वितरित ट्रेस में सबसे छोटी इकाई है। उसके पास "प्रारंभ" और "अवधि" लेबल हैं। स्पैन के एक-दूसरे के साथ माता-पिता-बच्चे के रिश्ते हैं और एक साथ ट्रेस का निर्माण करते हैं।

तीन कार्य हैं जिनमें सही तरीके से निशान एकत्र करना है

1. Incoming request spans 2. Outgoing request spans 3. Context propagation 

  आवक अनुरोध स्पैन: 

जब कोई अनुरोध किसी सेवा में आता है, तो उसे ट्रेस हेडर के लिए जांचा जाना चाहिए। यदि कोई हेडर नहीं है, तो ट्रेसिंग शुरू करने के लिए एक रूट (पैरेंट) स्पैन बनाना आवश्यक है, यदि हां, तो ट्रेसिंग जारी रखने के लिए चाइल्ड स्पैन बनाएं।

  आउटगोइंग अनुरोध स्पैन: 

जब एक अनुरोध को एक सेवा से दूसरे में भेजा जाता है, तो पहले एक स्पैन बनाया जाता है, इसलिए अनुरोध प्राप्त करने वाली पार्टी ऊपर बताए अनुसार ट्रेस करना जारी रखती है।

  प्रसंग प्रचार: 

सेवाएँ आमतौर पर एक ही बार में कई अनुरोध प्राप्त करती हैं और भेजती हैं। कोई भी परिवर्तन किए बिना, आवक और जावक अनुरोधों के बीच संबंध को ट्रैक करना असंभव है। यह वह जगह है जहां सबसे अच्छा घंटा संदर्भ को व्यक्त करने के लिए आता है। HTTP के लिए, यह इनकमिंग कॉल्स के ट्रेस हेडर को एप्लिकेशन से आउटगोइंग कॉल पर पास करके किया जा सकता है, जो आपको पूर्ण ट्रेस बनाने की अनुमति देगा।

इन कार्यों के अलावा, निशान को एकत्र किया जाना चाहिए, समूहीकृत किया जाना चाहिए, और पूरी तरह से कल्पना की जानी चाहिए।

यह सब सिस्टम के भीतर सभी सेवाओं पर लागू होने के लिए पर्याप्त जटिल लग सकता है, लेकिन ऐसे उपकरण हैं जो आपको स्वचालित मोड में वर्णित लगभग सभी कार्यों को हल करने की अनुमति देते हैं। नतीजतन, डेवलपर्स वितरित अनुरेखण प्राप्त कर सकते हैं, वास्तव में, बॉक्स से बाहर।

वितरित अनुरेखण के मूल सिद्धांतों के बारे में अधिक जानकारी के लिए, मैं नाइके के इस महान पोस्ट को पढ़ने की सलाह दूंगा ।

इस्टियो में वितरित अनुरेखण

इस्तियो में, एनवॉय प्रॉक्सिस वितरित ट्रेसिंग का गंदा काम करते हैं। इस्तियो में एक साइडकार इंजेक्शन है, जिसकी बदौलत सेवा से आने वाले / जाने वाले सभी अनुरोध पहले Envoy प्रॉक्सी सर्वर से होकर गुजरते हैं। यह इस स्तर पर है कि माता-पिता और बेटी के निशान उत्पन्न होते हैं, जो वितरित ट्रेस बनाने के लिए तीन आवश्यक शर्तों में से पहले दो हैं।

तीसरी शर्त - संदर्भ स्थानांतरण - आवेदन तर्क में बदलाव के माध्यम से किया जाना चाहिए। Istio Bookinfo में, यह पहले से ही प्रत्येक माइक्रोसैस सर्विस के स्तर पर लागू किया गया है, इसलिए स्थापना के तुरंत बाद पूर्ण निशान प्राप्त किया जा सकता है। अपनी स्वयं की सेवाओं में वितरित ट्रेसिंग का उपयोग करते समय, आपको स्वयं संदर्भ प्रसार को लागू करने की आवश्यकता होती है।

कुछ सामान्य गलत धारणाओं के विपरीत, यह ध्यान देने योग्य है कि एक नियमित सेवा ग्रिड के स्तर पर भी संदर्भ प्रसार के साथ वितरित अनुरेखण के लिए पूर्ण समर्थन केवल एप्लिकेशन के तर्क को बदलकर बनाया जा सकता है। कैविएट 1 में एक अच्छा उदाहरण दिया गया है।

Istio वेबसाइट में प्रलेखन है कि किस हेडर का उपयोग करना है। सभी ज़िपकिन हैडर प्रारूप के साथ संगत हैं।

कृपया ध्यान दें कि ऊपर वर्णित एनवॉय -आधारित ट्रेसिंग के अलावा, इस्तियो में एक मिक्सर-आधारित ट्रेसिंग भी है जो मिक्सर घटक का अधिक सक्रिय रूप से उपयोग करता है। यह संभावना है कि भविष्य के संस्करणों में मिक्सर बंद हो जाएगा, इसलिए मैं इसके साथ विस्तार से काम नहीं करूंगा। केवल एक कहना है कि मिक्सर टेलीमेट्री ऑपरेटर के माध्यम से महसूस किया जा सकता है।

एनवॉय और ट्रेस हेडर को वितरित करने के साथ, हमें अपनी आवश्यकता के निशान मिल सकते हैं। इस जानकारी को इकट्ठा करने और कल्पना करने के लिए, इस्तियो जैगर , जिपकिन , लाइटस्टेप और डेटाडॉग जैसे उपकरणों के साथ आता है। डिफ़ॉल्ट रूप से, जेगर का उपयोग किया जाता है, यह सभी सूचीबद्धों का सबसे लोकप्रिय उपकरण भी है।

हम नमूना दर को भी समायोजित कर सकते हैं, अर्थात, सभी अनुरोधों का कितना प्रतिशत निशान के रूप में प्रस्तुत किया जाएगा। डिफ़ॉल्ट मान अनुरोधों की कुल संख्या का 1% है। इस्तियो ऑपरेटर के इस क्षेत्र में आवृत्ति को यहां बदला जा सकता है।

यह Istio में कैसे काम करता है

आइए संक्षेप में बताएं कि जैगर के साथ वितरित अनुरेखण कैसे किया जाए (बाद में हम इसकी तुलना बैकयार्ड में इसी प्रक्रिया से करते हैं):

1. इस्तियो के साथ, आपको सभी आवश्यक सेवाओं और तैनाती के साथ जैगर मिलता है।
2. ट्रेस सेवा का पता डिफ़ॉल्ट रूप से Envoy परदे के पीछे विन्यास द्वारा निर्धारित किया जाता है और उनके माध्यम से स्पैन रिपोर्ट और साइडकार सेवाएं काम करती हैं।
3. सभी सेवाओं को अपने हेड हेडर को निशान में वितरित करने से पहले बुकइनफो स्थापित किया जा सकता है।
4. पर्याप्त जानकारी एकत्र किए जाने के बाद निशान उपलब्ध हो जाएंगे।
5. एक ब्राउज़र के माध्यम से उपयोगकर्ता भाग को खोलने के लिए Jaeger कंट्रोल पैनल को पुनर्निर्देशित किया जा सकता है।

पिछवाड़े में वितरित ट्रेस

बैकयार्ड में, जैगर को कॉन्फ़िगर करना, स्वचालित रूप से वितरित ट्रेस हेडर के साथ डेमो एप्लिकेशन इंस्टॉल करना और इन सभी को लोड भेजना - सब कुछ एक साधारण कमांड के साथ किया जाता है! और सेवाओं को पटरियों के साथ एक दूसरे से जोड़ने के बाद, यह सब यूजर इंटरफेस से उपलब्ध हो जाता है।

अब देखो!

एक क्लस्टर बनाएँ
खैर, शुरुआत के लिए, हमें कुबेरनेट्स में एक क्लस्टर की आवश्यकता है। मैंने डेवलपर्स के लिए पाइपलाइन के मुफ्त संस्करण के माध्यम से GKE पर Kubernetes क्लस्टर उठाया। यदि आप भी ऐसा ही करना चाहते हैं, तो हमारे द्वारा समर्थित पांच क्लाउड प्रदाताओं में से किसी एक पर पाइपलाइन के माध्यम से अपना क्लस्टर बनाएं। अन्यथा, अपने कुबेरनेट क्लस्टर को कहीं और बढ़ाएं।

यह बैकयार्ड में कैसे काम करता है
इससे पहले, हमने मध्यवर्ती परिणाम को अभिव्यक्त किया था कि जेगर को इस्तियो के साथ संयोजन में इस्तेमाल किया जा सकता है। अब आइए तुलना करें कि बैकयार्ड में सब कुछ कैसे होता है।

अब, Istio, Backyards, और एक नए क्लस्टर पर डेमो एप्लिकेशन को स्थापित करने का सबसे आसान तरीका Backyards कमांड लाइन इंटरफ़ेस का उपयोग करना है ।

आपको केवल एक कमांड दर्ज करने की आवश्यकता है (आपके क्लस्टर पर होना चाहिए)

  KUBECONFIG): 

 $backyards install –a –run-demo 

1. इस आदेश का उपयोग करते हुए, जेगर स्वचालित रूप से स्थापित हो जाता है (हमारे खुले स्रोत इस्तियो ऑपरेटर और बैकयार्ड घटकों के बजाय)।
2. जैसा कि पहले उल्लेख किया गया है, इस्तियो प्रोमेथियस, ग्राफाना या जैगर जैसे अन्य घटकों के साथ एकीकृत करने के लिए तैयार बॉक्स से बाहर है। जब Jaeger स्थापित होता है, तो इसका सेवा पता ऑपरेटर की उपयोगकर्ता विंडो में सेट किया जाता है। भविष्य में, यह पता हर उस स्थान पर लिखा जाता है, जहाँ पर इस्तियो के घटकों और डेटा प्रवाह को नियंत्रित करने की आवश्यकता होती है।
3. डिफ़ॉल्ट रूप से डेमो एप्लिकेशन भी इंस्टॉल किया गया है। यह गोलंग सेवाओं का उपयोग करता है जो पहले से ही आवश्यक ट्रेस हेडर को वितरित करने के लिए कॉन्फ़िगर किया गया है।
4. डेमो एप्लिकेशन का स्वचालित लोडिंग शुरू होता है (इसलिए --run- डेमो फ्लैग), इसलिए आप तुरंत ट्रैकिंग ट्रैक शुरू कर सकते हैं।
5. जैगर इनपुट गेटवे के माध्यम से खुलता है, यह यूआई के साथ जुड़ा हुआ है और योजना के रूप में और सूची के रूप में दोनों स्वचालित रूप से उपलब्ध है।

यह वास्तव में एक नया कुबेरनेट समूह बनाने के लिए एक टीम लिखने के रूप में सरल है, इसलिए यदि आप चाहें तो इसे आज़माएं !

यहाँ आप देखेंगे:

स्कीम से जुड़े जेगर:



और यहाँ एक सूची है:



डेमो एप्लिकेशन के लिए Jaeger UI:





UI में, आप अपने microservice सिस्टम में पूरे कॉल स्टैक को देख सकते हैं। अब आप बिल्कुल ट्रैक कर सकते हैं कि रूट अनुरोध कब शुरू किया गया था और प्रत्येक अनुरोध को कितना समय लगा। या, उदाहरण के लिए, आप देख सकते हैं कि विश्लेषणात्मक सेवा ने कुछ निश्चित प्रश्नों में से अधिकांश समय बिताया है, क्योंकि यह वास्तविक गणनाओं में व्यस्त है (उदाहरण के लिए, यह पाई के मूल्यों की गणना करता है)।

सफाई
अपने क्लस्टर से डेमो एप्लिकेशन, बैकयार्ड और इस्तियो को निकालने के लिए, आपको केवल एक टीम की आवश्यकता है। वह सही क्रम में सभी घटकों को हटाने का ध्यान रखेगा:

 $ backyards uninstall -a 

परिणाम

वितरित ट्रेसिंग मुख्य रूप से मौजूदा वितरित सिस्टमों के लिए आवश्यक है जिसमें किसी भी कठिनाइयों या समस्याओं को ठीक करने की आवश्यकता होती है। हमारे ऑपरेटर, इस्तियो, पूरी तरह से प्रबंधन पर ध्यान केंद्रित करते हैं, जहां बैकयार्ड में कई और घटक होते हैं जिनका उपयोग कार्य में किया जा सकता है। उदाहरण के लिए, यह जैगर है, जो बॉक्स से बाहर वितरित अनुरेखण का संचालन करने की क्षमता प्रदान करता है।

इस मामले में, Jaeger को Backyards का उपयोग करके स्थापित किया गया है, और बाद में इंटरफ़ेस में सीधे सिस्टम में Jaeger के सभी लिंक और निशान प्रदर्शित करता है!

एक अच्छा निशान है!