गरीब आदमी की निगरानी या कंसोल से सर्वर की निगरानी

सभी प्रिय पाठकों का स्वागत है। इस लेख में मैं आपको अपनी "बाइक" के बारे में बताऊंगा, जिस पर मैं कंसोल को छोड़े बिना विभिन्न चीजों की निगरानी करता हूं।

मुझे एक बार ऐसी स्थिति का सामना करना पड़ा जहाँ पर बहुत सारी अलग-अलग परियोजनाओं और सर्वरों को काट दिया गया, और मेरे हाथ सामान्य निगरानी स्थापित करने तक नहीं पहुँचे।

और आधुनिक दुनिया में, "सही" मॉनिटरिंग से तात्पर्य है सॉफ्टवेयर के एक पूरे समूह की तैनाती, इस पूरी चीज़ का विन्यास। वैसे आप जानते हैं ... डॉकटर, इलास्टिक स्टैक और ऑफ यह चला गया। मेरे लिए यह एक मजबूत ओवरहेड था। मुझे प्रोडक्शन में एक या दो चाहिए थे।

मैंने एक अजगर पर सरल निगरानी की ओर देखा, यह आत्मा में मेरे सबसे करीब था, लेकिन इसमें कुछ विशेषताओं का अभाव था। और उसी समय मैं गो सीखना चाहता था ... ठीक है, सामान्य तौर पर, आप खुद जानते हैं कि आमतौर पर यह सब कैसे शुरू होता है।

इसलिए मैंने गो वेल्डिंग ली, और इस बाइक को एक साथ रखा।

क्ली मॉनिटरिंग गो में लिखा गया है और यह बायनेरिज़ का एक सेट है, जिनमें से प्रत्येक स्टड से डेटा प्राप्त करता है, कुछ विशिष्ट कार्य करता है और परिणाम को स्टडआउट में प्रदर्शित करता है।

कुल चार प्रकार के बायनेरिज़ हैं: मैट्रिक्स , प्रोसेसर , फिल्टर और आउटपुट ।

मेट्रिक्स , जैसा कि नाम का तात्पर्य है, कोई भी डेटा एकत्र करें और आमतौर पर श्रृंखला में पहले जाएं।
प्रोसेसर बीच में हैं और किसी तरह डेटा को बदलते हैं या अन्य उपयोगिता कार्य करते हैं।
फिल्टर लगभग प्रोसेसर की तरह हैं, लेकिन इसके विपरीत, वे शर्त के आधार पर डेटा को छोड़ते हैं या छोड़ते नहीं हैं।
आउटपुट श्रृंखला से बाहर हैं और विभिन्न सेवाओं को सूचनाएं भेजने के लिए उपयोग किया जाता है।

आदेशों की पूरी श्रृंखला में आमतौर पर फॉर्म होता है:

some_metric | processor_1 | processor_2 ... | cm_p_message | output_1 | output_2 ...

इस श्रृंखला का कोई भी टुकड़ा किसी भी लिनक्स कमांड का हो सकता है, जब तक कि यह स्टडिन में डेटा प्राप्त करता है और बिना बफरिंग के स्टडआउट को भेजता है। लाइन ब्रेक से संबंधित केवल एक छोटा BUT है, लेकिन बाद में उस पर और अधिक।

बायनेरिज़ का नाम cm_ {type} _ {name} के रूप में बनता है , जहाँ प्रकार तीन में से एक है: m, p, f या o , और नाम कमांड का नाम है।

उदाहरण के लिए, cm_m_cpu एक मीट्रिक है जो एक प्रोसेसर पर आँकड़े को json प्रारूप में stdout में आउटपुट करता है।

और cm_p_debounce फ़ाइल एक प्रोसेसर है जो किसी दिए गए अंतराल पर हर बार केवल एक संदेश देता है।

एक विशेष cm_p_message प्रोसेसर है जो पहले आउटपुट के सामने होना चाहिए। यह अपने आउटपुट द्वारा बाद के प्रसंस्करण के लिए आवश्यक प्रारूप का संदेश बनाता है।

कंसोल और विभिन्न स्थितियों में json को संभालने के लिए, मैंने jq यूटिलिटी का उपयोग किया। यह कुछ-कुछ सीड की तरह है, केवल जोंस के लिए।

यह है कि, उदाहरण के लिए, सीपीयू मॉनिटरिंग अंत में कैसा दिखता है।

 cm_m_cpu | cm_p_eot2nl | jq -cM --unbuffered 'if .LoadAvg1 > 1 then .LoadAvg1 else false end' | cm_p_nl2eot | cm_f_regex -e '\d+' | cm_p_debounce -i 60 | cm_p_message -m 'Load average is {stdin}' | cm_o_telegram 

और इसलिए RabbitMQ कतार में संदेशों की संख्या की निगरानी करना

 while true; do rabbitmqctl list_queues -p queue_name | grep -Po --line-buffered '\d+'; sleep 60; done | jq -cM '. > 10000' --unbuffered | cm_p_nl2eot | cm_f_true | cm_p_message -m 'There are more than 10000 tasks in rabbit queue' | cm_o_opsgenie 

इसलिए आप देख सकते हैं कि 10 सेकंड में फ़ाइल को कुछ भी नहीं लिखा गया है

 tail -f out.log | cm_p_nl2eot | cm_p_watchdog -i 10 | cm_p_debounce -i 3600 | cm_p_message -m 'No write to out.log for 10 seconds' -s 'alert' | cm_o_telegram 

स्क्रीन को बंद करने के लिए जल्दी मत करो, अब हम विश्लेषण करेंगे कि पहले उदाहरण में यहां क्या हो रहा है।

1) मीट्रिक cm_m_cpu एक सेकंड में प्रदर्शित होता है (-i पैरामीटर द्वारा निर्दिष्ट, डिफ़ॉल्ट रूप से एक सेकंड) स्ट्रिंग प्रारूप में। उदाहरण के लिए, {"LoadAvg1": 2.0332031, "LoadAvg2": 1.9018555, "LoadAvg3": 1.8623047}

2) cm_p_nl2eot उपयोगिता कमांड में से एक है जो EOT कैरेक्टर को LF कैरेक्टर में कनवर्ट करता है। तथ्य यह है कि लाइन रैपिंग के साथ समस्याओं से बचने के लिए, मैंने यह सुनिश्चित करने का निर्णय लिया कि मेरे सभी बायनेरिज़ एएससीआई चरित्र ईओटी (ट्रांसमिशन ऑफ एंड ट्रांसमिशन) तक डेटा पढ़ते हैं। यह आपको टीमों के बीच मल्टी-लाइन डेटा को सुरक्षित रूप से स्थानांतरित करने की अनुमति देता है।

इसलिए, जब किसी अन्य कमांड को बुलाया जाता है, तो उन्हें फॉर्म में घिरा होना चाहिए:
cm_p_eot2nl | कोई अन्य टीम | cm_p_nl2eot।

3) अगला jq उपयोगिता के लिए एक कॉल है, जो LoadAvg1 फ़ील्ड की जांच करता है और यदि यह 1 से अधिक है, तो इसे आगे प्रदर्शित करता है, यदि कम है, तो झूठा प्रदर्शित करता है

4) अगला, हमें पूरे संदेश को चेन से झूठे फेंकने की आवश्यकता है। ऐसा करने के लिए, हम cm_f_regex फ़िल्टर लागू करते हैं, जो इनपुट के रूप में एक स्ट्रिंग लेता है, इसे एक नियमित अभिव्यक्ति के साथ मेल खाता है, और, एक मैच के मामले में, इसे आगे प्रदर्शित करता है। अन्यथा, स्ट्रिंग को केवल त्याग दिया जाता है

साधारण grep का उपयोग किया जा सकता है, लेकिन सबसे पहले यह आउटपुट को बफ़र करता है, और पूर्ण सिंटैक्स थोड़ी लंबी (grep --line-buffered) हो जाता है, दूसरा cm_f_regex समूह मैचों को प्रदर्शित करना बहुत आसान बनाता है। उदाहरण के लिए:

cm_f_regex -e '(\d+)-(\d+)' -o '{1}/{2}'

धर्मान्तरित रेखा 123-345 से पंक्ति 123/345

5) इस मामले में cm_p_debounce प्रोसेसर, हमारे LoadAvg1 मान को लेता है और इसे प्रत्येक 60 सेकंड में केवल एक बार श्रृंखला के नीचे प्रदर्शित करता है। अपने आप को स्पैम न करने के लिए यह आवश्यक है। आप कोई अन्य अंतराल सेट कर सकते हैं।

6) लगभग सब कुछ तैयार है। यह केवल एक संदेश बनाने और इसे टेलीग्राम में भेजने के लिए बना हुआ है। संदेश विशेष cm_p_message कमांड द्वारा जनरेट किया जाता है। यह बस एक स्ट्रिंग को इनपुट के रूप में स्वीकार करता है, गंभीरता, संदेश और अन्य क्षेत्रों के साथ जोंस बनाता है और फिर आउटपुट प्रोसेसिंग के लिए इसे आउटपुट करता है। यदि हमने -m विकल्प को पास नहीं किया है, तो स्टडिन संदेश होगा, अर्थात्। बाजरा नंबर हमारे LoadAvg1 है। यह बहुत जानकारीपूर्ण नहीं है।

7) cm_o_telegram टीम केवल प्राप्त संदेश को टेलीग्राम में भेजती है। टेलीग्राम सेटिंग्स एक आईएनआई फ़ाइल में संग्रहीत होती हैं।

विन्यास

सभी पैरामीटर जो बायनेरिज़ को स्वीकार करते हैं, उन्हें आईएनआई फ़ाइल में निर्दिष्ट किया जा सकता है। कमांड लाइन तर्क द्वारा निर्दिष्ट पैरामीटर, आईएनआई फ़ाइल पर पूर्वता लेते हैं।

Init फ़ाइल प्रारूप है:

[global]
host_name=override host name for this machine

[telegram]
cid=....
token=....

[opsgenie]
apiToken=...
apiEndpoint=...
......

[debounce]
i=3600

Ini फ़ाइल स्वयं निम्न क्रम में चुनी गई है:

1) वर्तमान कार्य निर्देशिका में फ़ाइल cm.config.ini
2) फ़ाइल /etc/cm/config.ini यदि आइटम 1 से फ़ाइल नहीं मिली है

उत्पादन

एक वास्तविक सर्वर पर, मैं एक फ़ाइल बनाता हूं, उदाहरण के लिए, cpu.sh, जिसमें सभी आवश्यक चेन ऑफ़ कमांड्स लिखे गए हैं। फिर ताज में मैं कुछ इस तरह लिखता हूं:

*/5 * * * * flock -n /etc/cm/cpu.lock /etc/cm/cpu.sh > /dev/null

अगर कुछ गिर जाता है तो झुंड कमान को फिर से खड़ा करेगा। और वह सब है! जिस सादगी में मेरी इतनी कमी नहीं थी।

यह एक ऐसा उपकरण है, शायद किसी को यह सुविधाजनक लगेगा। मेरे लिए, सुविधा यह है कि केवल आवश्यक चीजों की निगरानी के लिए बहुत सारी अनावश्यक चीजों को बनाने की आवश्यकता नहीं है। और यह सभी आसानी से कॉन्फ़िगर किया गया है: इसने रिपॉजिटरी को क्लोन किया, $ PATH में बायनेरिज़ के लिए रास्ता जोड़ा और यह है।

कृपया कड़ाई से न्याय न करें। उपकरण खुद के लिए लिखा गया था, कमांड का सेट अभी तक बड़ा नहीं है। लेकिन मुझे किसी भी प्रतिक्रिया और सुझाव पर खुशी होगी। ध्यान देने के लिए आप सभी का धन्यवाद।