👐🏼 👩‍🎨 🧑🏿‍🤝‍🧑🏼 कपैसिटर में मेट्रिक प्रोसेसिंग ट्रिक्स ⏏️ ✋🏽 🧘🏿

सबसे अधिक संभावना है, आज किसी के पास कोई सवाल नहीं है कि उन्हें सर्विस मेट्रिक्स इकट्ठा करने की आवश्यकता क्यों है। अगला तार्किक कदम एकत्रित मीट्रिक के लिए अलर्ट को कॉन्फ़िगर करना है, जो आपको (मेल, स्लैक, टेलीग्राम) सुविधाजनक चैनलों में डेटा में किसी भी विचलन के बारे में सूचित करेगा। ओस्ट्रोवोकॉव होटल के ऑनलाइन आरक्षण सेवा में, हमारी सेवाओं के सभी मेट्रिक्स को इन्फ्लक्सबीडी में डाला जाता है और ग्राफाना में प्रदर्शित किया जाता है, बुनियादी चेतावनी भी निर्धारित की जाती है। "आपको कुछ गणना करने और इसके साथ तुलना करने की आवश्यकता है" जैसे कार्यों के लिए, हम कपासीटर का उपयोग करते हैं।

Kapacitor टिक स्टैक का हिस्सा है जो InfluxDB से मैट्रिक्स को संभाल सकता है। वह एक-दूसरे से कई आयामों को जोड़ सकता है (जुड़ सकता है), प्राप्त आंकड़ों से उपयोगी कुछ गणना कर, परिणाम को वापस करके InfluxDB पर लिखें, स्लैक / टेलीग्राम / मेल को अलर्ट भेजें।

पूरे स्टैक में शांत और विस्तृत दस्तावेज हैं , लेकिन हमेशा उपयोगी चीजें हैं जो मैनुअल में स्पष्ट रूप से निर्दिष्ट नहीं हैं। इस लेख में, मैंने ऐसे कई उपयोगी गैर-स्पष्ट युक्तियों को इकट्ठा करने का निर्णय लिया (मूल टिकसिप्ट सिंटैक्स यहां वर्णित है ) और दिखाते हैं कि हमारी समस्याओं को हल करने के उदाहरण का उपयोग करके उन्हें कैसे लागू किया जा सकता है।

चलो चलते हैं!

फ्लोट और इंट, गणना त्रुटियां

पूरी तरह से मानक समस्या है, इसे जातियों के माध्यम से हल किया जाता है:

var alert_float = 5.0 var alert_int = 10 data|eval(lambda: float("value") > alert_float OR float("value") < float("alert_int"))

डिफ़ॉल्ट () का उपयोग करना

यदि टैग / फ़ील्ड नहीं भरा गया है, तो गणना में त्रुटियां होंगी:

 |default() .tag('status', 'empty') .field('value', 0)

भरने में शामिल (भीतरी बनाम बाहरी)

डिफ़ॉल्ट रूप से, जॉइन पॉइंट्स को छोड़ देगा जहां कोई डेटा (आंतरिक) नहीं है।
भरने ('अशक्त') के साथ, बाहरी जुड़ाव निष्पादित किया जाएगा, जिसके बाद आपको डिफ़ॉल्ट () करने की आवश्यकता है और रिक्त मान भरें:

 var data = res1 |join(res2) .as('res1', 'res2) .fill('null') |default() .field('res1.value', 0.0) .field('res2.value', 100.0)

अभी भी एक अति सूक्ष्म अंतर है। यदि श्रृंखला (रेस 1 या रेस 2) में से एक के ऊपर के उदाहरण खाली हैं, तो अंतिम श्रृंखला (डेटा) भी खाली होगी। इस विषय पर जीथब ( 1633 , 1871 , 6967 ) पर कई टिकट हैं - हम फिक्स के लिए इंतजार कर रहे हैं और थोड़ा पीड़ित हैं।

गणना में शर्तों का उपयोग करना (यदि लैम्ब्डा में)

 |eval(lambda: if("value" > 0, true, false)

अवधि के दौरान पाइप लाइन से अंतिम पांच मिनट

उदाहरण के लिए, आपको पिछले सप्ताह के साथ अंतिम पांच मिनट के मूल्यों की तुलना करने की आवश्यकता है। आप दो अलग-अलग बैच'आमी के साथ दो पैकेट डेटा ले सकते हैं या बड़ी अवधि से डेटा का हिस्सा निकाल सकते हैं:

  |where(lambda: duration((unixNano(now()) - unixNano("time"))/1000, 1u) < 5m)

अंतिम पांच मिनट के लिए एक विकल्प बैरियरनोड नोड का उपयोग किया जा सकता है, जो निर्दिष्ट समय से पहले डेटा को काट देता है:

 |barrier() .period(5m)

संदेश में गो के पैटर्न का उपयोग करने के उदाहरण

टेम्प्लेट text.template पैकेज से प्रारूप के अनुरूप हैं, नीचे कुछ सामान्य कार्य हैं।

अगर-बाकी

हम चीजों को क्रम में रखते हैं, हम लोगों को एक बार फिर से पाठ के साथ ट्रिगर नहीं करते हैं:

 |alert() ... .message( '{{ if eq .Level "OK" }}It is ok now{{ else }}Chief, everything is broken{{end}}' )

संदेश में दो दशमलव स्थान

संदेश की पठनीयता में सुधार:

 |alert() ... .message( 'now value is {{ index .Fields "value" | printf "%0.2f" }}' )

संदेश में चर का विस्तार करना

हम प्रश्न का उत्तर देने के लिए संदेश में अधिक जानकारी प्रदर्शित करते हैं "यह क्यों चिल्ला रहा है?"

 var warnAlert = 10 |alert() ... .message( 'Today value less then '+string(warnAlert)+'%' )

विशिष्ट चेतावनी पहचानकर्ता

डेटा में एक से अधिक समूह होने पर सही बात, अन्यथा केवल एक अलर्ट उत्पन्न होगा:

 |alert() ... .id('{{ index .Tags "myname" }}/{{ index .Tags "myfield" }}')

कस्टम हैंडलर की

हैंडलर की बड़ी सूची ने निष्पादित किया है, जो आपको अपनी स्क्रिप्ट को पारित मापदंडों (स्टडिन) के साथ निष्पादित करने की अनुमति देता है - रचनात्मकता और बहुत कुछ!

हमारे कस्टम टूल में से एक एक छोटा अजगर स्क्रिप्ट है, जिसमें सूचनाओं को सुस्त करने के लिए भेजा गया है।
सबसे पहले, हम संदेश में प्राधिकरण द्वारा संरक्षित एक ग्राफ्टाना से एक तस्वीर भेजना चाहते थे। के बाद - एक ही समूह से पिछले अलर्ट को थ्रेड के लिए ठीक लिखें, और एक अलग संदेश के रूप में नहीं। थोड़ी देर बाद - संदेश के अंतिम X मिनट में सबसे आम त्रुटि को जोड़ने के लिए।

एक अलग विषय अन्य सेवाओं और एक चेतावनी द्वारा शुरू की गई किसी भी कार्रवाई के साथ संचार है (केवल अगर आपकी निगरानी अच्छी तरह से काम करती है)।
एक हैंडलर के विवरण का एक उदाहरण, जहां slack_handler.py हमारी स्व-लिखित स्क्रिप्ट है:

 topic: slack_graph id: slack_graph.alert match: level() != INFO AND changed() == TRUE kind: exec options: prog: /sbin/slack_handler.py args: ["-c", "CHANNELID", "--graph", "--search"]

कैसे करें डेब्यू?

लॉग आउटपुट विकल्प

 |log() .level("error") .prefix("something")

वॉच (cli): kapacitor -url host-or-ip : 9092 लॉग lvl = एरर

HttpOut के साथ वेरिएंट

वर्तमान पाइपलाइन में डेटा दिखाता है:

 |httpOut('something')

देखो (प्राप्त करें): होस्ट-या-आईपी : 9092 / kapacitor / v1 / कार्य / task_name / कुछ

निष्पादन योजना

प्रत्येक कार्य ग्रेविवि प्रारूप में उपयोगी संख्या के साथ एक रन ट्री देता है।
डॉट ब्लॉक लें।
हम दर्शक में सम्मिलित होते हैं, आनंद लेते हैं ।

मुझे और कहां से रेक मिल सकता है

राइटबैक पर influxdb टाइमस्टैम्प

उदाहरण के लिए, हम प्रति घंटे (ग्रुपबी) (1h) अनुरोधों के योग के लिए एक अलर्ट सेट करते हैं और इनफ्लक्सबब में हुए अलर्ट को रिकॉर्ड करना चाहते हैं (ग्राफ्टाना में ग्राफ पर समस्या को खूबसूरती से दिखाने के लिए)।

influxDBOut () टाइमस्टैम्प को अलर्ट से क्रमशः समय मान लिखेगा, चार्ट पर बिंदु अलर्ट आने से पहले / बाद में दर्ज किया जाएगा।

जब सटीकता की आवश्यकता होती है: हम एक कस्टम हैंडलर को कॉल करके इस समस्या को बायपास करते हैं, जो वर्तमान टाइमस्टैम्प के साथ डेटा को फ्लक्सडब लिख देगा।

docker, निर्माण और तैनाती

स्टार्टअप पर, काॅपीसिटर [लोड] ब्लॉक में कॉन्फ़िगरेशन में निर्दिष्ट निर्देशिका से कार्यों, टेम्पलेट्स और हैंडलर को लोड कर सकता है।

किसी कार्य को सही ढंग से करने के लिए, निम्नलिखित चीजों की आवश्यकता होती है:

फ़ाइल का नाम - आईडी / स्क्रिप्ट नाम तक फैलता है
प्रकार - धारा / बैच
dbrp - वह कीवर्ड जिसमें डेटाबेस + नीति स्क्रिप्ट काम करता है (dbrp "आपूर्तिकर्ता" "ऑटोजेन") इंगित करता है।

यदि कुछ बैच कार्य में ड्रब के साथ कोई रेखा नहीं है, तो पूरी सेवा शुरू करने से इनकार कर देगी और लॉग में इसके बारे में ईमानदारी से लिखेंगे।

क्रोनोग्रफ़ में, इसके विपरीत, यह रेखा नहीं होनी चाहिए, इसे इंटरफ़ेस के माध्यम से स्वीकार नहीं किया जाता है और एक त्रुटि फेंकता है।

कंटेनर का निर्माण करते समय हैक करें: डॉकरीफाइल -1 के साथ बाहर निकलता है अगर //.+dbrp के साथ लाइनें हैं, जो बिल्ड का निर्माण करते समय फ़ाइल के कारण को तुरंत समझ जाएगा।

एक से कई शामिल हों

उदाहरण कार्य: आपको प्रति सप्ताह सेवा के संचालन समय का 95 वां प्रतिशत लेने की आवश्यकता है, अंतिम 10 के हर मिनट की इस मूल्य के साथ तुलना करें।

आप एक से कई, अंतिम / माध्य / माध्यियों में शामिल नहीं हो सकते हैं, बिंदुओं के समूह को नोड को धारा में बदल दें, त्रुटि "बच्चे को बेमेल किनारों को नहीं जोड़ सकती है: बैच -> स्ट्रीम" वापस आ जाएगी।

एक लंबोदर अभिव्यक्ति में एक चर के रूप में बैच का परिणाम भी प्रतिस्थापित नहीं किया गया है।

पहले बैच से udf के माध्यम से एक फ़ाइल के लिए आवश्यक संख्या को बचाने और इस फाइल को साइडलोड के माध्यम से लोड करने का विकल्प है।

हमने क्या फैसला किया?

हमारे पास लगभग 100 होटल आपूर्तिकर्ता हैं, उनमें से प्रत्येक के पास कई कनेक्शन हो सकते हैं, चलो इसे एक चैनल कहते हैं। इनमें से लगभग 300 चैनल हैं, जिनमें से प्रत्येक चैनल बंद हो सकता है। सभी रिकॉर्ड किए गए मीट्रिक में से, हम त्रुटि दर (अनुरोध और त्रुटियों) की निगरानी करेंगे।

ग्राफ्टना क्यों नहीं?

त्रुटि अलर्ट जो ग्राफन में कॉन्फ़िगर किए गए हैं, उनमें कई नुकसान हैं। कुछ महत्वपूर्ण, कुछ अपनी आँखें बंद कर सकते हैं, स्थिति के आधार पर।

Grafana को आयाम + चेतावनी के बीच गणना करने का तरीका नहीं पता है, लेकिन हमें एक दर (अनुरोध-त्रुटियां) / अनुरोध की आवश्यकता है।

त्रुटियां दिखती हैं:

और कम शातिर जब सफल अनुरोधों को देखा जाता है:

ठीक है, हम ग्राफ्टाना से पहले सेवा में दर की पूर्व-गणना कर सकते हैं, और कुछ मामलों में यह करेंगे। लेकिन हमारा नहीं, क्योंकि प्रत्येक चैनल के लिए, इसका अनुपात "सामान्य" माना जाता है, और अलर्ट स्थिर मूल्यों के अनुसार काम करते हैं (हम अपनी आंखों से देखते हैं, परिवर्तन करते हैं, यदि अक्सर सतर्क होते हैं)।

ये विभिन्न चैनलों के लिए "सामान्य" के उदाहरण हैं:

हम पिछले पैराग्राफ की उपेक्षा करते हैं और मानते हैं कि सभी आपूर्तिकर्ताओं में "सामान्य" चित्र है। अब सब कुछ ठीक है, और क्या हम ग्राफ्टाना में अलर्ट के साथ मिल सकते हैं?
हम कर सकते हैं, लेकिन वास्तव में नहीं करना चाहते हैं, क्योंकि हमें एक विकल्प चुनना होगा:
क) प्रत्येक चैनल के लिए अलग से कई रेखांकन बनाने के लिए (और दर्द उनके साथ)
बी) सभी चैनलों के साथ एक चार्ट छोड़ें (और रंगीन लाइनों और ट्यून किए गए अलर्ट में खो जाएं)

आपने यह कैसे किया?

फिर, प्रलेखन का एक अच्छा प्रारंभिक उदाहरण है ( शामिल श्रृंखला में दरों की गणना ), आप समान कार्यों में आधार के रूप में झांक सकते हैं या ले सकते हैं।

इसके परिणामस्वरूप आपने क्या किया:

कुछ घंटों में दो एपिसोड मिलाएं, चैनल द्वारा समूहीकृत करना;
यदि कोई डेटा नहीं था, तो समूहों द्वारा श्रृंखला में भरें;
पिछले डेटा के साथ पिछले 10 मिनट के माध्यिका की तुलना करें;
हम चिल्लाते हैं अगर हम कुछ पाते हैं;
गणना की गई दरों को लिखें और इनफ्लक्सबब में अलर्ट आए;
सुस्त करने के लिए एक उपयोगी संदेश भेजें।

मेरी राय में, हम सब कुछ जितना संभव हो सके उतना सुंदर रूप से प्रबंधित करते थे जो हम आउटपुट पर प्राप्त करना चाहते थे (और कस्टम हैंडलर के साथ थोड़ा और भी)।

Github.com पर आप परिणामी स्क्रिप्ट का नमूना कोड और न्यूनतम आरेख (ग्राफविज़) देख सकते हैं।

परिणामी कोड का उदाहरण:

 dbrp "supplier"."autogen" var name = 'requests.rate' var grafana_dash = 'pczpmYZWU/mydashboard' var grafana_panel = '26' var period = 8h var todayPeriod = 10m var every = 1m var warnAlert = 15 var warnReset = 5 var reqQuery = 'SELECT sum("count") AS value FROM "supplier"."autogen"."requests"' var errQuery = 'SELECT sum("count") AS value FROM "supplier"."autogen"."errors"' var prevErr = batch |query(errQuery) .period(period) .every(every) .groupBy(1m, 'channel', 'supplier') var prevReq = batch |query(reqQuery) .period(period) .every(every) .groupBy(1m, 'channel', 'supplier') var rates = prevReq |join(prevErr) .as('req', 'err') .tolerance(1m) .fill('null') //   ,     |default() .field('err.value', 0.0) .field('req.value', 0.0) // if  lambda:  ,     |eval(lambda: if("err.value" > 0, 100.0 * (float("req.value") - float("err.value")) / float("req.value"), 100.0)) .as('rate') //      rates |influxDBOut() .quiet() .create() .database('kapacitor') .retentionPolicy('autogen') .measurement('rates') //     10 ,   var todayRate = rates |where(lambda: duration((unixNano(now()) - unixNano("time")) / 1000, 1u) < todayPeriod) |median('rate') .as('median') var prevRate = rates |median('rate') .as('median') var joined = todayRate |join(prevRate) .as('today', 'prev') |httpOut('join') var trigger = joined |alert() .warn(lambda: ("prev.median" - "today.median") > warnAlert) .warnReset(lambda: ("prev.median" - "today.median") < warnReset) .flapping(0.25, 0.5) .stateChangesOnly() //   message      .message( '{{ .Level }}: {{ index .Tags "channel" }} err/req ratio ({{ index .Tags "supplier" }}) {{ if eq .Level "OK" }}It is ok now{{ else }} '+string(todayPeriod)+' median is {{ index .Fields "today.median" | printf "%0.2f" }}%, by previous '+string(period)+' is {{ index .Fields "prev.median" | printf "%0.2f" }}%{{ end }} http://grafana.ostrovok.in/d/'+string(grafana_dash)+ '?var-supplier={{ index .Tags "supplier" }}&var-channel={{ index .Tags "channel" }}&panelId='+string(grafana_panel)+'&fullscreen&tz=UTC%2B03%3A00' ) .id('{{ index .Tags "name" }}/{{ index .Tags "channel" }}') .levelTag('level') .messageField('message') .durationField('duration') .topic('slack_graph') // "today.median"   "value",        (keep) trigger |eval(lambda: "today.median") .as('value') .keep() |influxDBOut() .quiet() .create() .database('kapacitor') .retentionPolicy('autogen') .measurement('alerts') .tag('alertName', name)

निष्कर्ष क्या है?

कपासीटर समूहों के एक समूह के साथ अलर्ट की निगरानी में बहुत अच्छा है, पहले से ही दर्ज मेट्रिक्स पर अतिरिक्त गणना करना, कस्टम क्रियाएं करना और स्क्रिप्ट चलाना (udf)।

प्रवेश सीमा बहुत अधिक नहीं है - इसे आज़माएं यदि ग्राफ्टाना या अन्य उपकरण आपकी विशलिस्ट को पूरी तरह से संतुष्ट नहीं करते हैं।

कपैसिटर में मेट्रिक प्रोसेसिंग ट्रिक्स