हम प्रोमेथियस से कैसे जुड़े

किसी तरह मुझे अपने एपीआई के लिए मैट्रिक्स से निपटना पड़ा, हमेशा की तरह (कोई समय नहीं!) बाद में जोड़ने के लिए - यह बहुत मुश्किल है और अभी तक लागू नहीं हुआ है - इसका मतलब है कि इसे लागू करने का समय है। नेट पर कुछ भटकने के बाद, सबसे लोकप्रिय निगरानी प्रणाली, यह मुझे प्रतीत हुआ, प्रोमेथियस था।

प्रोमेथियस का उपयोग करके, हम विभिन्न कंप्यूटर संसाधनों की निगरानी कर सकते हैं, जैसे: मेमोरी, प्रोसेसर, डिस्क, नेटवर्क लोड। हमारे लिए हमारे एपीआई के तरीकों को कॉल की संख्या की गणना करना या उनके निष्पादन के समय को मापना भी महत्वपूर्ण हो सकता है, क्योंकि सिस्टम पर भार जितना अधिक होगा, उतना ही महंगा इसका डाउनटाइम। और यहाँ प्रोमेथियस हमारी सहायता के लिए आता है। यह लेख प्रदान करता है, यह मुझे लगता है, प्रोमेथियस के काम को समझने और एपीआई में मैट्रिक्स के संग्रह को जोड़ने के लिए मुख्य बिंदु। इसलिए, हम एक छोटे से विवरण के साथ, सबसे अधिक प्रतिबंध के साथ शुरू करते हैं।

प्रोमेथियस एक ओपन सोर्स सिस्टम और टाइम सीरीज़ डीबीएमएस है जिसे गो में लिखा गया है और साउंडक्लाउड द्वारा विकसित किया गया है। इसका आधिकारिक प्रलेखन और भाषाओं के लिए समर्थन है: गो, जावा या स्काला, पायथन, रूबी। अन्य भाषाओं के लिए अनौपचारिक समर्थन है, जैसे: C #, C ++, C, Bash, Lua for Nginx, Lua for Tarantool और अन्य, पूरी सूची आधिकारिक Prometheus वेबसाइट पर है।

सभी प्रोमेथियस सेवाएं डोकर हब या क्वाइओ पर डोकर छवियों के रूप में उपलब्ध हैं।

प्रोमेथियस को docker run -p 9090:9090 prom/prometheus द्वारा लॉन्च किया गया है, जो इसे डिफ़ॉल्ट कॉन्फ़िगरेशन के साथ शुरू करता है और इसके लिए पोर्ट localhost:9090 सेट करता है। उसके बाद, प्रोमेथियस यूआई localhost:9090 पर उपलब्ध होगा।

प्रोमेथियस एक मॉनिटरिंग सिस्टम है जिसमें HTTP प्रोटोकॉल का उपयोग करके एप्लिकेशन (एंडपॉइंट्स) की निगरानी को कॉन्फ़िगर करने के लिए विभिन्न उपकरण शामिल हैं। प्रोमेथियस से कनेक्ट होने पर, HTTP एपीआई "मूल स्थिति" का समर्थन नहीं करता है। यदि आप प्रोमेथियस से कनेक्ट करने के लिए मूल प्रमाणीकरण का उपयोग करना चाहते हैं, तो यह अनुशंसा की जाती है कि आप रिवर्स प्रॉक्सी सर्वर के साथ संयोजन में प्रोमेथियस का उपयोग करें और प्रॉक्सी स्तर पर प्रमाणीकरण का उपयोग करें। आप प्रोमेथियस के साथ किसी भी रिवर्स प्रॉक्सी का उपयोग कर सकते हैं।

प्रोमेथियस के मुख्य घटक:

• एक सर्वर जो मैट्रिक्स एकत्र करता है, उन्हें डेटाबेस में सहेजता है और साफ करता है;
• एपीआई में मैट्रिक्स इकट्ठा करने के लिए पैकेज;
• पुशगेटवे - उन अनुप्रयोगों से मैट्रिक्स प्राप्त करने के लिए घटक जिसके लिए एक पुल अनुरोध का उपयोग नहीं किया जा सकता है;
• निर्यातकों - लक्ष्य मशीनों पर स्थापित तृतीय-पक्ष अनुप्रयोगों और सेवाओं से मीट्रिक निर्यात करने के लिए उपकरण;
• AlertManager - सूचना प्रबंधक (अलर्ट), अलर्ट कॉन्फ़िगरेशन फ़ाइल में परिभाषित किए गए हैं और मैट्रिक्स के लिए नियमों के एक सेट द्वारा निर्धारित किए गए हैं।
  यदि ऑपरेशन के दौरान नियम का अनुपालन होता है, तो एक अलर्ट ट्रिगर किया जाता है और ईमेल, स्लैक या अन्य के माध्यम से निर्दिष्ट प्राप्तकर्ताओं को भेजा जाता है।

प्रोमेथियस जिन वस्तुओं के साथ काम करता है, उन्हें लक्ष्य से प्राप्त मेट्रिक्स कहा जाता है या तो पुशगेटवे या निर्यातकों के माध्यम से।

मैट्रिक्स एकत्रित करते समय, उन्हें प्रसारित करने के कई तरीकों का उपयोग किया जाता है:

• प्रोमेथियस एक पुल अनुरोध के माध्यम से लक्ष्य से मैट्रिक्स का अनुरोध करता है, जिनमें से सेटिंग्स प्रत्येक नौकरी के लिए स्क्रेप_कॉन्फ़िग अनुभाग में कॉन्फ़िगरेशन फ़ाइल में निर्दिष्ट होती हैं।
  जब सिस्टम डेटा एकत्र करता है, तो आप संग्रह की आवृत्ति को नियंत्रित कर सकते हैं और विभिन्न वस्तुओं के लिए एक अलग आवृत्ति का चयन करने के लिए डेटा संग्रह के कई कॉन्फ़िगरेशन बना सकते हैं;
• निर्यातक आपको विभिन्न वस्तुओं से मैट्रिक्स इकट्ठा करने की अनुमति देते हैं, उदाहरण के लिए: डेटाबेस (MongoDB, SQL, आदि), संदेश दलाल (RabbitMQ, EMQ, NSQ, आदि), HTTP लोड बैलेंसर्स, आदि।
• Pushgateway। यदि आवश्यक हो तो इसका उपयोग किया जा सकता है, जब एप्लिकेशन प्रोमेथियस को सीधे मैट्रिक्स देने की क्षमता प्रदान नहीं कर सकता है; या बैच नौकरियों का उपयोग करते समय जिसमें प्रोमेथियस पुल अनुरोध का उपयोग करने की क्षमता नहीं होती है।

इस प्रकार, सभी प्राप्त मैट्रिक्स प्रोमेथियस द्वारा समय टिकटों के साथ एक डेटाबेस में संग्रहीत किए जाएंगे।

विन्यास

प्रोमेथियस को YAML प्रारूप में प्रदान की गई कमांड लाइन के झंडे और कॉन्फ़िगरेशन फ़ाइलों का उपयोग करके कॉन्फ़िगर किया गया है। कमांड लाइन के झंडे आपको अपरिवर्तनीय मापदंडों को कॉन्फ़िगर करने की अनुमति देते हैं, जैसे: पथ, डिस्क पर संग्रहीत डेटा वॉल्यूम और मेमोरी में, आदि। कॉन्फ़िगरेशन फ़ाइल आपको नौकरियों से संबंधित सभी चीज़ों को कॉन्फ़िगर करने और लोड किए गए नियम यमल फ़ाइलों को सेट करने की अनुमति देती है। सब कुछ वैश्विक कॉन्फ़िगरेशन फ़ाइल में लिखा गया है, यह आपको सभी के लिए सामान्य सेटिंग्स सेट करने और अलग-अलग कॉन्फ़िगरेशन अनुभागों के लिए अलग-अलग हाइलाइट करने की अनुमति देता है। प्रोमेथियस चुनावों की सेटिंग्स को विन्यास फाइल में scrape_configs अनुभाग में कॉन्फ़िगर किया गया है।

प्रोमेथियस ऑपरेशन के दौरान कॉन्फ़िगरेशन फ़ाइलों को फिर से लोड कर सकता है, यदि नया कॉन्फ़िगरेशन अमान्य है, तो इसे लागू नहीं किया जाएगा। कॉन्फ़िगरेशन फ़ाइल को --web.enable-lifecycle करने से --web.enable-lifecycle Prometheus कमांड भेजकर या HTTP POST अनुरोध /-/reload करके --web.enable-lifecycle , बशर्ते कि --web.enable-lifecycle ध्वज --web.enable-lifecycle । यह सभी कॉन्फ़िगर की गई नियम फ़ाइलों को भी फिर से लोड करेगा।

किस प्रकार के डेटा का उपयोग किया जाता है

प्रोमेथियस एक कस्टम बहुआयामी डेटा मॉडल को संग्रहीत करता है और बहु-आयामी डेटा के लिए एक क्वेरी भाषा का उपयोग करता है जिसे प्रोमसेल कहा जाता है। प्रोमेथियस समय श्रृंखला के रूप में डेटा संग्रहीत करता है; यह कई भंडारण विकल्पों का समर्थन करता है:

• स्थानीय डिस्क भंडारण: हर 2 घंटे में, स्मृति में बफ़र किया गया डेटा डिस्क पर संपीड़ित और संग्रहीत होता है। डिफ़ॉल्ट रूप से, ./data निर्देशिका का उपयोग संकुचित फ़ाइलों को सहेजने के लिए कार्यशील निर्देशिका में किया जाता है;
• रिमोट रिपॉजिटरी: प्रोमेथियस प्रोटोकॉल बफर एडॉप्टर के माध्यम से थर्ड-पार्टी रिपॉजिटरी (उदाहरण के लिए: काफ्का, पोस्टग्रैसक्यू, अमेज़ॅन एस 3, आदि) के साथ एकीकरण का समर्थन करता है।

संग्रहीत समय श्रृंखला मीट्रिक और मेटाडेटा द्वारा कुंजी-मूल्य जोड़े के रूप में निर्धारित की जाती है, हालांकि, यदि आवश्यक हो, तो मीट्रिक के नाम का उपयोग नहीं किया जा सकता है और मीट्रिक में केवल मेटाडेटा शामिल होगा। एक समय श्रृंखला को औपचारिक रूप से <मीट्रिक नाम> {<मेटाडेटा>} के रूप में परिभाषित किया जा सकता है। कुंजी है <मीट्रिक नाम> {<मेटाडेटा>} - हम जो माप कर रहे हैं, और मान वास्तविक मूल्य है जिसमें फ्लोट64 (प्रोमेथियस केवल इस प्रकार का समर्थन करता है) के साथ एक संख्या है। मुख्य विवरण में मेटाडेटा (लेबल) होते हैं, जिन्हें कुंजी-मूल्य युग्मों द्वारा भी वर्णित किया गया है: <लेबल नाम> = "<लेबल मान>", <लेबल नाम> = "<लेबल मान>", ...

मैट्रिक्स संग्रहीत करते समय, निम्न डेटा प्रकार उपयोग किए जाते हैं:

• काउंटर - समय की अवधि में राशि की गणना करता है। इस प्रकार की मीट्रिक केवल बढ़ सकती है (आप नकारात्मक मानों का उपयोग नहीं कर सकते हैं) या मान रीसेट करें।
  यह उपयुक्त हो सकता है, उदाहरण के लिए, प्रति मिनट अनुरोधों की संख्या या प्रति दिन त्रुटियों की संख्या, भेजे गए / प्राप्त नेटवर्क पैकेटों की संख्या आदि के लिए।
• गेज - उन मूल्यों को संग्रहीत करता है जो समय के साथ घट या बढ़ सकते हैं।
  समय की अवधि में गेज मेट्रिक्स के विकास को नहीं दर्शाता है। गेज का उपयोग करके, आप समय के साथ अनियमित मीट्रिक परिवर्तन खो सकते हैं।
• हिस्टोग्राम - कई समय श्रृंखला बचाता है: सभी मनाया मूल्यों का कुल योग; देखी गई घटनाओं की संख्या;
  संचय काउंटर (बाल्टी) - लेबल में le="<upper inclusive bound>" रूप में इंगित किया गया है।
  मानों को ऊपरी ऊपरी सीमा (बाल्टी) वाले क्षेत्रों में एकत्र किया जाता है।
• सारांश - कई समय श्रृंखला बचाता है: सभी मनाया मूल्यों का कुल योग; देखी गई घटनाओं की संख्या;
  देखी गई घटनाओं के प्रवाह φ-quantiles (0 φ φ of 1) - को quantile="<φ>" रूप में लेबल में इंगित किया गया है।

डेटा कैसे बचाया जाता है?

प्रोमेथियस एक चल रहे एप्लिकेशन को रैम के "2/3" देने की सिफारिश करता है।
मेमोरी में डेटा स्टोर करने के लिए, प्रोमेथियस चंक नामक फ़ाइलों का उपयोग करता है, प्रत्येक मीट्रिक की अपनी फ़ाइल होती है। सभी चंक फाइलें अपरिवर्तनीय हैं, केवल पिछले एक को छोड़कर, जिसमें डेटा लिखा गया है। नया डेटा चंक में सहेजा गया है और हर 2 घंटे में बैकग्राउंड स्ट्रीम डेटा को जोड़ती है और इसे डिस्क पर लिखती है। प्रत्येक दो घंटे के ब्लॉक में एक निर्देशिका होती है जिसमें एक या एक से अधिक चंक फाइलें होती हैं, जिसमें उस समय अवधि के लिए सभी समय श्रृंखला के नमूने होते हैं, साथ ही मेटाडेटा फ़ाइल और एक इंडेक्स फ़ाइल (जो चंक फ़ाइलों में समय श्रृंखला के लिए मैट्रिक्स और लेबल के नामों को अनुक्रमित करती है)। अगर एक घंटे के भीतर प्रोमेथियस डेटा को चंक करने के लिए नहीं लिखता है, तो इसे डिस्क पर सहेजा जाएगा और डेटा लिखने के लिए एक नई चंकी बनाई जाएगी। प्रोमेथियस में अधिकतम डेटा अवधारण अवधि ~ 21 दिन है।

क्योंकि मेमोरी का आकार तय हो गया है, सिस्टम का लेखन और रीड प्रदर्शन मेमोरी की इस राशि तक सीमित रहेगा। PTSDB मेमोरी की मात्रा न्यूनतम समय अवधि, संग्रह अवधि और समय मैट्रिक्स की संख्या से निर्धारित होती है।

प्रोमेथियस में डेटा हानि को रोकने के लिए एक वाल मैकेनिज्म भी है।

आगे लॉग (वाल) लिखें लॉग फ़ाइलों के रूप में एक स्थायी माध्यम पर संकलित संचालन को क्रमबद्ध करता है। विफलता की स्थिति में, लॉग से पुनर्स्थापित करके डेटाबेस को अपनी सुसंगत स्थिति में पुनर्स्थापित करने के लिए वाल फाइलों का उपयोग किया जा सकता है।

लॉग फ़ाइलों को 128 एमबी सेगमेंट में वॉल डायरेक्टरी में संग्रहीत किया जाता है। इन फ़ाइलों में कच्चा डेटा होता है जो अभी तक संपीड़ित नहीं किया गया है, इसलिए वे नियमित टुकड़े फ़ाइलों की तुलना में काफी बड़े हैं।

प्रोमेथियस कम से कम 3 लॉग फ़ाइलों को संग्रहीत करेगा, लेकिन उच्च ट्रैफ़िक वाले सर्वर तीन से अधिक वाल फाइलें देख सकते हैं, क्योंकि इसमें कम से कम दो घंटे के कच्चे डेटा को संग्रहीत करने की आवश्यकता होती है।

वाल का उपयोग करने का परिणाम डिस्क के रूप में लिखने के अनुरोधों की संख्या में महत्वपूर्ण कमी है केवल एक लॉग फ़ाइल को डिस्क पर लिखने की आवश्यकता होती है, और डेटा के प्रत्येक टुकड़े को नहीं जो ऑपरेशन के परिणामस्वरूप बदल दिया गया है। लॉग फ़ाइल क्रमिक रूप से लिखी गई है और इस प्रकार लॉग को सिंक्रनाइज़ करने की लागत डेटा के साथ टुकड़े लिखने की लागत से बहुत कम है।

प्रोमेथियस आवधिक विराम बिंदुओं को बचाता है, जो डिफ़ॉल्ट रूप से पिछली अवधि के लिए लॉग को संपीड़ित करके और डिस्क पर सहेजकर हर 2 घंटे में जोड़े जाते हैं।

सभी ब्रेकप्वाइंट चेकपॉइंट के रूप में एक ही निर्देशिका में संग्रहीत किए जाते हैं। डीडी, जहां डीडीडी एक नीरस रूप से बढ़ती संख्या है। इसलिए, एक विफलता से उबरने पर, यह ब्रेकपॉइंट कैटलॉग से ब्रेकपॉइंट को ऑर्डर के संकेत के साथ पुनर्स्थापित कर सकता है (.ddd)।
वाल लॉग लिखकर, आप किसी भी चेकपॉइंट पर लौट सकते हैं जिसके लिए डेटा लॉग उपलब्ध है।

क्या हुआ व्यवहार में?

प्रोजेक्ट (.Net फ्रेमवर्क) में जोड़ते समय, हमने मैट्रिक्स इकट्ठा करने के लिए Prometheus.Client.3.0.2 पैकेज का उपयोग किया था। मेट्रिक्स को इकट्ठा करने के लिए प्रॉमेटियस द्वारा प्राप्त होने तक मेट्रिक्स को स्टोर करने के लिए प्रोजेक्ट में आवश्यक तरीके और कक्षाएं जोड़ी गई हैं।

IMetricsService इंटरफ़ेस को मूल रूप से परिभाषित किया गया था कि कितने समय तक काम करने के तरीकों को मापने के लिए टाइमर तरीके शामिल थे:

 public interface IMetricsService { Stopwatch StartTimer(); void StopTimer(Stopwatch timer, string controllerName, string actionName, string methodName = "POST"); } 

हम मेट्रिक्स सर्विस सेवा को जोड़ते हैं, जो IMetricsService इंटरफ़ेस को लागू करता है और मीट्रिक्स को अस्थायी रूप से संग्रहीत करता है।

 public class MetricsService : IMetricsService { private static Histogram _histogram; static MetricsService() { _histogram = CreateHistogram(); } public Stopwatch StartTimer() { try { var timer = new Stopwatch(); timer.Start(); return timer; } catch (Exception exception) { Logger.Error(exception); } return null; } public void StopTimer(Stopwatch timer, string controllerName, string actionName, string methodName = "POST") { try { if (timer == null) { throw new ArgumentException($"{nameof(timer)} can't be null."); } timer.Stop(); _histogram .WithLabels(controllerName, actionName, methodName) .Observe(timer.ElapsedMilliseconds, DateTimeOffset.UtcNow); } catch (Exception exception) { Logger.Error(exception); } } public static List<string> GetAllLabels() { var metricsList = new List<string>(); try { foreach (var keyValuePair in _histogram.Labelled) { var controllerName = keyValuePair.Key.Labels[0].Value; var actionName = keyValuePair.Key.Labels[1].Value; var methodName = keyValuePair.Key.Labels[2].Value; var requestDurationSum = keyValuePair.Value.Value.Sum; var requestCount = keyValuePair.Value.Value.Count; metricsList.Add($"http_request_duration_widget_sum{{controller={controllerName},action={actionName},method={methodName}}} {requestDurationSum}"); metricsList.Add($"http_request_duration_widget_count{{controller={controllerName},action={actionName},method={methodName}}} {requestCount}"); } _histogram = CreateHistogram(); } catch (Exception exception) { Logger.Error(exception); } return metricsList; } private static Histogram CreateHistogram() { var newMetrics = Metrics .WithCustomRegistry(new CollectorRegistry()) .CreateHistogram(name: "http_request_duration_web_api", help: "Histogram metrics of Web.Api", includeTimestamp: true, labelNames: new[] { "controller", "action", "method" }); var oldValue = _histogram; for (var i = 0; i < 10; i++) { var oldValue = Interlocked.Exchange<Histogram>(ref oldValue, newMetrics); if (oldValue != null) { return oldValue; } } return null; } } 

अब हम अपनी कक्षा का उपयोग उन मैट्रिक्स को संग्रहीत करने के लिए कर सकते हैं जिन्हें हम Application_BeginRequest, Application_Error, Application_EndRequest के तरीकों में एकत्रित करने की योजना बनाते हैं। Global.cs वर्ग में, हम उपरोक्त विधियों में मैट्रिक्स का एक संग्रह जोड़ते हैं।

 private IMetricsService _metricsService; protected virtual void Application_BeginRequest(object sender, EventArgs e) { var context = new HttpContextWrapper(HttpContext.Current); var metricServiceTimer = _metricsService.StartTimer(); context.Items.Add("metricsService", _metricsService); context.Items.Add("metricServiceTimer", metricServiceTimer); } protected virtual void Application_EndRequest(object sender, EventArgs e) { WriteMetrics(new HttpContextWrapper(HttpContext.Current)); } protected void Application_Error(object sender, EventArgs e) { WriteMetrics(new HttpContextWrapper(HttpContext.Current)); } private void WriteMetrics(HttpContextBase context) { try { _metricsService = context.Items["metricsService"] as IMetricsService; if (_metricsService != null) { var timer = context.Items["metricServiceTimer"] as Stopwatch; string controllerName = null; string actionName = null; var rd = RouteTable.Routes.GetRouteData(context); if (rd != null) { controllerName = rd.GetRequiredString("controller"); actionName = rd.GetRequiredString("action"); } _metricsService.StopTimer(timer, controllerName, actionName, context.Request.HttpMethod); } } catch (Exception exception) { Logger.Error("Can't write metrics.", exception); } } 

एक नया नियंत्रक जोड़ें, जो हमारे एपीआई के प्रोमेथियस को भेजने के लिए एक संदर्भ बिंदु होगा:

 public class MetricsController : Controller { [HttpGet] public string[] GetAllMetrics() { try { var metrics = MetricsService.GetAllLabels(); return metrics.ToArray(); } catch (Exception exception) { Logger.Error(exception); } return new string[] { }; } } 

अंतिम चरण स्क्रेपे_कॉन्फ़्स अनुभाग में मीट्रिक एकत्र करने के लिए प्रोमेथियस कॉन्फिगर को कॉन्फ़िगर करना होगा, जिसके बाद हम प्रोमेथियस या ग्राफाना यूआई में पहले से ही एकत्रित मैट्रिक्स देख सकते हैं।

प्रोमेथियस में मुख्य विशेषताएं जो हम में रुचि रखते थे:

बहुआयामी डेटा मॉडल: मैट्रिक्स और लेबल।
लचीली PromQL क्वेरी भाषा। एक ही क्वेरी ऑपरेटर में, हम कई गुणा, जोड़, संघनन आदि जैसे कार्यों का उपयोग कर सकते हैं। कई मैट्रिक्स के साथ किया जा सकता है।
पुल विधि का उपयोग करके HTTP- आधारित डेटा को इकट्ठा करता है।
पुशगेटवे के माध्यम से पुश विधि के साथ संगत।
निर्यातकों के माध्यम से अन्य अनुप्रयोगों से मैट्रिक्स एकत्र करना संभव है।
डेटा हानि को रोकने के लिए एक तंत्र प्रदान करता है।
डेटा के विभिन्न चित्रमय अभ्यावेदन का समर्थन करता है।