ग्रेफाना के लिए प्लगइन विकास: पूर्ण शंकु की कहानी

सभी को नमस्कार! कुछ महीने पहले, हमने अपने नए ओपन-सोर्स प्रोजेक्ट लॉन्च किए, कुबेरनेट्स की निगरानी के लिए ग्राफाना प्लगइन, जिसे DevOpsProdigy KubeGraf कहा जाता है , उत्पादन में । प्लगइन का स्रोत कोड GitHub पर सार्वजनिक रिपॉजिटरी में उपलब्ध है । और इस लेख में हम आपके साथ एक कहानी साझा करना चाहते हैं कि हमने प्लग-इन कैसे बनाया, हमने कौन से टूल का इस्तेमाल किया और विकास प्रक्रिया के दौरान हमें क्या नुकसान हुए। चलो चलते हैं!

भाग ० - परिचयात्मक: हमें यह कैसे मिला?

ग्राफन के लिए अपना स्वयं का प्लगइन लिखने का विचार संयोग से पैदा हुआ था। हमारी कंपनी 10 से अधिक वर्षों से जटिलता के विभिन्न स्तरों की वेब परियोजनाओं की निगरानी कर रही है। इस समय के दौरान, हमने विभिन्न निगरानी प्रणालियों का उपयोग करने में बहुत सारी विशेषज्ञता, दिलचस्प मामले और अनुभव संचित किए हैं। और कुछ बिंदु पर हमने खुद से पूछा: "क्या कुबेरनेट्स की निगरानी के लिए एक जादुई उपकरण है ताकि वे कहते हैं," सेट और भूल जाओ "? .. k8s की निगरानी के लिए प्रचारक, ज़ाहिर है, लंबे समय से प्रोमेथियस + ग्राफाना का एक गुच्छा है। और इस स्टैक के लिए तैयार समाधान के रूप में, विभिन्न प्रकार के उपकरणों का एक बड़ा सेट है: प्रोमेथियस-ऑपरेटर, डैशबोर्ड्स कुबेरनेट्स-मिक्सिन का सेट, ग्राफाना-कुबेरनेट्स-ऐप।

ग्राफाना-कुबेरनेट्स-ऐप प्लगइन हमारे लिए सबसे दिलचस्प विकल्प लगता था, लेकिन इसे एक साल से अधिक समय से समर्थन नहीं मिला है और इसके अलावा, नोड-निर्यातक और क्यूब-स्टेट-मेट्रिक्स के नए संस्करणों के साथ काम करना नहीं जानता है। और कुछ बिंदु पर, हमने तय किया: "लेकिन क्या हम अपना निर्णय नहीं लेते हैं?"

हमने अपने प्लगइन में किन विचारों को लागू करने का निर्णय लिया है:

• "एप्लिकेशन मैप" का विज़ुअलाइज़ेशन: क्लस्टर में आवेदनों की सुविधाजनक प्रस्तुति, नाम स्थान, तैनाती द्वारा समूहीकृत ...;
• "तैनाती - सेवा (+ पोर्ट)" के कनेक्शन के विज़ुअलाइज़ेशन।
• क्लस्टर नोड्स द्वारा क्लस्टर अनुप्रयोगों के वितरण का दृश्य।
• कई स्रोतों से मैट्रिक्स और जानकारी एकत्र करना: प्रोमेथियस और k8s एप सर्वर।
• दोनों अवसंरचना भाग (प्रोसेसर समय, मेमोरी, डिस्क सबसिस्टम, नेटवर्क का उपयोग), और एप्लिकेशन लॉजिक की निगरानी - स्वास्थ्य-स्थिति पॉड्स, उपलब्ध प्रतिकृतियों की संख्या, उत्तोलन / तैयार नमूनों के बारे में जानकारी।

भाग 1: ग्राफाना प्लगइन क्या है?

तकनीकी दृष्टिकोण से, Grafana के लिए प्लगइन एक कोणीय नियंत्रक है, जो Grafan के डेटा निर्देशिका ( /var/grafana/plugins/<your_plugin_name>/dist/mulule.js ) में संग्रहीत है और इसे एक SystemJS मॉड्यूल के रूप में लोड किया जा सकता है। इसके अलावा इस निर्देशिका में एक plugin.json फ़ाइल होनी चाहिए जिसमें आपके प्लगइन के बारे में सभी मेटा-जानकारी हो: नाम, संस्करण, प्लगइन का प्रकार, रिपॉजिटरी / साइट / लाइसेंस, निर्भरता के लिंक, और इसी तरह।


module.ts


plugin.json

जैसा कि आप स्क्रीनशॉट में देख सकते हैं, हमने plugin.type = app को निर्दिष्ट किया है। Grafana के लिए प्लगइन्स तीन प्रकार के हो सकते हैं:

पैनल : सबसे आम प्रकार का प्लग-इन - यह किसी भी मैट्रिक्स को देखने के लिए एक पैनल है, इसका उपयोग विभिन्न डैशबोर्ड बनाने के लिए किया जाता है।
डेटा स्रोत : किसी भी डेटा स्रोत के लिए प्लग-इन कनेक्टर (उदाहरण के लिए, प्रोमेथियस-डेटासोर्स, क्लिकहाउस-डेटासोर्स, इलास्टिकसर्च-डेटासोर्स)।
ऐप : एक प्लगइन जो आपको ग्राफाना के अंदर अपने स्वयं के फ्रंटएंड एप्लिकेशन का निर्माण करने की अनुमति देता है, अपने स्वयं के HTML पृष्ठ बनाएं और विभिन्न डेटा की कल्पना करने के लिए मैन्युअल रूप से डेटा स्रोत तक पहुंचें। इसके अलावा, अन्य प्रकार के प्लगइन्स (डेटासोर्स, पैनल) और विभिन्न डैशबोर्ड का उपयोग निर्भरता के रूप में किया जा सकता है।


प्रकार = एप्लिकेशन के साथ प्लगइन निर्भरता का एक उदाहरण ।

एक प्रोग्रामिंग भाषा के रूप में, आप जावास्क्रिप्ट और टाइपस्क्रिप्ट दोनों का उपयोग कर सकते हैं (हमने इसे चुना है)। आप यहां किसी भी प्रकार के हैलो-वर्ल्ड प्लग-इन के लिए रिक्त स्थान पा सकते हैं : इस रिपॉजिटरी में पहले से स्थापित और कॉन्फ़िगर किए गए बिल्डरों के साथ स्टार्टर-पैक (रिएक्ट पर एक प्लगइन का प्रयोगात्मक उदाहरण भी है) की एक बड़ी संख्या है।

भाग 2: अपने स्थानीय वातावरण को तैयार करना

प्लगइन पर काम करने के लिए, हमें स्वाभाविक रूप से सभी प्रीइंस्टॉल्ड टूल्स के साथ एक कुबेरनेट क्लस्टर की आवश्यकता होती है: प्रोमेथियस, नोड-निर्यातक, क्यूब-स्टेट-मेट्रिक्स, ग्राफाना। पर्यावरण को जल्दी, आसानी से और स्वाभाविक रूप से स्थापित किया जाना चाहिए, और गर्म-पुनः लोड डेटा प्रदान करने के लिए, ग्राफाना निर्देशिका को सीधे डेवलपर की मशीन से माउंट किया जाना चाहिए।

सबसे सुविधाजनक, हमारी राय में, स्थानीय रूप से कुबेरनेट्स के साथ काम करने का तरीका मिनिक्यूब है। अगला कदम प्रोमेथियस-ऑपरेटर के उपयोग से प्रोमेथियस + ग्राफाना बंडल स्थापित करना है। यह लेख मिनीक्यूब पर प्रोमेथियस-ऑपरेटर को स्थापित करने की प्रक्रिया का विवरण देता है। दृढ़ता को सक्षम करने के लिए, आपको दृढ़ता को सेट करना होगा : चार्ट / ग्राफाना / मानों में सत्य पैरामीटर ।yaml फ़ाइल, अपना स्वयं का PV और PVC जोड़ें और उन्हें persistence.existingClaim पैरामीटर में निर्दिष्ट करें

अंतिम मिनीब्यूब लॉन्च स्क्रिप्ट इस प्रकार है:

minikube start --kubernetes-version=v1.13.4 --memory=4096 --bootstrapper=kubeadm --extra-config=scheduler.address=0.0.0.0 --extra-config=controller-manager.address=0.0.0.0 minikube mount /home/sergeisporyshev/Projects/Grafana:/var/grafana --gid=472 --uid=472 --9p-version=9p2000.L 

भाग 3: विकास ही

ऑब्जेक्ट मॉडल

प्लगइन के कार्यान्वयन की तैयारी में, हमने उन सभी बुनियादी कुबेरनेट इकाइयों का वर्णन करने का निर्णय लिया, जिनके साथ हम टाइपस्क्रिप्ट क्लासेस के रूप में काम करेंगे: फली, तैनाती, डेमोंसेट, स्टेटफुलसेट, जॉब, क्रोनजॉब, सर्विस, नोड, नेमस्पेस। इनमें से प्रत्येक वर्ग सामान्य बेसमॉडल वर्ग से विरासत में मिला है, जो निर्माणकर्ता, विध्वंसक, दृश्यता को अद्यतन करने और स्विच करने के तरीकों का वर्णन करता है। प्रत्येक वर्ग अन्य संस्थाओं के साथ नेस्टेड संबंधों का वर्णन करता है, उदाहरण के लिए, एक प्रकार की तैनाती के लिए पॉड्स की एक सूची।

 import {Pod} from "./pod"; import {Service} from "./service"; import {BaseModel} from './traits/baseModel'; export class Deployment extends BaseModel{ pods: Array<Pod>; services: Array<Service>; constructor(data: any){ super(data); this.pods = []; this.services = []; } } 

गेटर्स और सेटर्स का उपयोग करके, हम एक सुविधाजनक और पठनीय तरीके से उन संस्थाओं के मीट्रिक को प्रदर्शित या सेट कर सकते हैं जिनकी हमें आवश्यकता है। उदाहरण के लिए, आवंटन योग्य सीपीयू नोड्स का स्वरूपित आउटपुट:

 get cpuAllocatableFormatted(){ let cpu = this.data.status.allocatable.cpu; if(cpu.indexOf('m') > -1){ cpu = parseInt(cpu)/1000; } return cpu; } 

पेज

हमारे प्लगइन के सभी पृष्ठों की एक सूची शुरू में हमारे pluing.json में निर्भरता अनुभाग में वर्णित है:



प्रत्येक पृष्ठ के लिए ब्लॉक में, हमें पृष्ठ TITLE को इंगित करना चाहिए (यह तब स्लग में बदल जाएगा, जिसके द्वारा यह पृष्ठ उपलब्ध होगा); इस पृष्ठ के संचालन के लिए जिम्मेदार घटक का नाम (घटकों की सूची मॉड्यूल को निर्यात किया जाता है); उपयोगकर्ता की भूमिका निर्दिष्ट करना जिसके लिए इस पृष्ठ तक पहुंच उपलब्ध है और साइडबार के लिए नेविगेशन सेटिंग्स।

पृष्ठ के संचालन के लिए जिम्मेदार घटक में, हमें टेम्पलेटअप स्थापित करना होगा, वहां मार्कअप के साथ HTML फ़ाइल का पथ गुजरना होगा। नियंत्रक के अंदर, निर्भरता इंजेक्शन के माध्यम से, हम 2 महत्वपूर्ण कोणीय सेवाओं तक पहुंच सकते हैं:

• backendSrv - एक सेवा जो ग्राफाना एपी-सर्वर के साथ बातचीत प्रदान करती है;
• datasourceSrv - एक ऐसी सेवा जो आपके Grafana में स्थापित सभी डेटा स्रोत के साथ स्थानीय सहभागिता प्रदान करती है (उदाहरण के लिए, .getAll () विधि - सभी स्थापित डेटा स्रोत'ओव की एक सूची लौटाती है;। (<name>) - किसी विशेष डेटा स्रोत की आवृत्ति ऑब्जेक्ट लौटाता है।

भाग 4: डेटा स्रोत

ग्राफाना के दृष्टिकोण से, डेटा स्रोत बिल्कुल उसी प्लग-इन के रूप में है, जैसा कि हर कोई है: इसका अपना प्रवेश बिंदु मॉड्यूल है। जेएस, मेटा-जानकारी प्लगइन के साथ एक फ़ाइल है। जेसन। प्रकार = एप्लिकेशन के साथ एक प्लगइन विकसित करते समय, हम मौजूदा डेटा स्रोत (उदाहरण के लिए, प्रोमेथियस-डेटासोर्स) के साथ बातचीत कर सकते हैं, साथ ही साथ अपने स्वयं के, जिसे हम सीधे प्लगइन निर्देशिका (डिस्ट / डेटासोर्स / *) में स्टोर कर सकते हैं या एक निर्भरता के रूप में सेट कर सकते हैं। हमारे मामले में, डेटा स्रोत प्लगइन कोड के साथ आता है। यह भी अनिवार्य है कि आपके पास config.html टेम्प्लेट और configCtrl कंट्रोलर है जो कि डेटासोर्स के कॉन्फ़िगरेशन पेज और डेटासोर्स कंट्रोलर के कॉन्फ़िगरेशन पेज के लिए उपयोग किया जाएगा, जो आपके डेटा स्रोत के तर्क को लागू करता है।

उपयोगकर्ता इंटरफ़ेस के दृष्टिकोण से, KubeGraf प्लगइन में, डेटा स्रोत kubernetes क्लस्टर का एक उदाहरण है जिसमें निम्नलिखित विशेषताएं लागू की जाती हैं (स्रोत कोड संदर्भ द्वारा उपलब्ध है ):

• k8s एपि-सर्वर से डेटा संग्रह (नाम स्थान की सूची प्राप्त करना, परिनियोजन ...)
• प्रोमेथियस-डेटासोर्स (जो प्रत्येक विशिष्ट क्लस्टर के लिए प्लगइन सेटिंग्स में चुना गया है) और दोनों स्थिर पृष्ठों और डैशबोर्ड में डेटा का उपयोग करने के लिए प्रतिक्रियाओं को प्रारूपित करने के लिए अनुरोधों का अनुरोध।
• प्लगइन के स्थिर पृष्ठों पर डेटा अपडेट करना (रिफ्रेश रेट सेट के साथ)।
• ग्राफ्टाना-डैशबोर्ड्स (.metriFindQuery () विधि में एक टेम्प्लेट सूची बनाने के लिए प्रसंस्करण अनुरोध

• अंतिम k8s क्लस्टर के साथ कनेक्शन का परीक्षण करें।

 testDatasource(){ let url = '/api/v1/namespaces'; let _url = this.url; if(this.accessViaToken) _url += '/__proxy'; _url += url; return this.backendSrv.datasourceRequest({ url: _url, method: "GET", headers: {"Content-Type": 'application/json'} }) .then(response => { if (response.status === 200) { return {status: "success", message: "Data source is OK", title: "Success"}; }else{ return {status: "error", message: "Data source is not OK", title: "Error"}; } }, error => { return {status: "error", message: "Data source is not OK", title: "Error"}; }) } 

एक अलग दिलचस्प बिंदु, हमारी राय में, डेटासोर्स के लिए प्रमाणीकरण और प्राधिकरण तंत्र का कार्यान्वयन है। एक नियम के रूप में, अंतिम डेटा स्रोत तक पहुंच को कॉन्फ़िगर करने के लिए बॉक्स से बाहर, हम अंतर्निहित Grafana घटक - datasourceHttpSettings का उपयोग कर सकते हैं। इस घटक का उपयोग करते हुए, हम यूआरएल और मूल प्रमाणीकरण / प्राधिकरण सेटिंग्स: लॉगिन-पासवर्ड या क्लाइंट-सर्टिफिकेट / क्लाइंट-कुंजी निर्दिष्ट करके http डेटा स्रोत तक पहुंच को कॉन्फ़िगर कर सकते हैं। एक वाहक टोकन (k8s के लिए मानक वास्तव में) का उपयोग करके कॉन्फ़िगर करने की क्षमता का एहसास करने के लिए, मुझे थोड़ा "रासायनिक" करना पड़ा।

इस समस्या को हल करने के लिए, आप Grafana के अंतर्निहित "प्लगइन रूट" तंत्र ( आधिकारिक प्रलेखन पृष्ठ पर अधिक) का उपयोग कर सकते हैं। हमारे डेटा स्रोत की सेटिंग में, हम रूटिंग नियमों के एक सेट की घोषणा कर सकते हैं जो कि ग्राफाना प्रॉक्सी सर्वर द्वारा संसाधित किया जाएगा। उदाहरण के लिए, प्रत्येक अलग-अलग समापन बिंदु के लिए हेडर चिपकाए जाने की संभावना है या टेम्पलेट की क्षमता के साथ यूआरएल, डेटा जिसके लिए jsonData और SecureJsonData फ़ील्ड (पासवर्ड संग्रहीत या एन्क्रिप्टेड रूप में टोकन के लिए) से लिया जा सकता है। हमारे उदाहरण में, फॉर्म / __ प्रॉक्सी / एपीआई / v1 / नेमस्पेस के अनुरोधों को फॉर्म के urx में सम्‍मिलित किया जाएगा।
प्राधिकरण के साथ <your_k8s_api_url> / api / v1 / नामस्थान: वाहक शीर्षलेख।





स्वाभाविक रूप से, k8 के एपी-सर्वर के साथ काम करने के लिए, हमें आसानी से एक्सेस के साथ एक उपयोगकर्ता की आवश्यकता है, जिसे बनाने के लिए प्रकट होता है जिसे आप प्लगइन के स्रोत कोड में भी पा सकते हैं।

भाग 5: रिलीज़

आपके द्वारा Grafana के लिए अपना स्वयं का प्लगइन लिखने के बाद, आप स्वाभाविक रूप से इसे सार्वजनिक डोमेन में रखना चाहेंगे। Grafana grafana.com/grafana/plugins पर उपलब्ध एक प्लगइन लाइब्रेरी है

आपके प्लगइन को आधिकारिक स्टोर में उपलब्ध होने के लिए, आपको इस रिपॉजिटरी में PR को पुन: पोस्ट करने के लिए आवश्यक है।



जहाँ संस्करण आपके प्लगइन का संस्करण है, url रिपॉजिटरी का एक लिंक है, और कमिट कमिट का एक हैश है, जिसके द्वारा प्लगइन का एक विशिष्ट संस्करण उपलब्ध होगा।

और बाहर निकलने पर आपको फॉर्म की एक अद्भुत तस्वीर दिखाई देगी:



इसके लिए डेटा स्वचालित रूप से आपके Readme.md, Changelog.md और plugin.json फ़ाइल से प्लगइन विवरण के साथ पकड़ा जाएगा।

भाग 6: निष्कर्ष के बजाय

हमने रिलीज के बाद अपना प्लगइन विकसित करना बंद नहीं किया। और अब हम क्लस्टर नोड्स के संसाधनों के उपयोग की सही निगरानी पर काम कर रहे हैं, UX को बढ़ाने के लिए नई सुविधाओं की शुरूआत, साथ ही साथ हमारे ग्राहकों द्वारा प्लगइन स्थापित करने के बाद और आइसहुई से गीथब पर (यदि आप अपना मुद्दा छोड़ते हैं या अनुरोध करते हैं, तो दोनों को प्राप्त करने के लिए बड़ी मात्रा में प्रतिक्रिया मिली है) मुझे बहुत खुशी होगी :-))।

हमें उम्मीद है कि यह लेख आपको ग्राफाना जैसे महान उपकरण को समझने में मदद करेगा और संभवतः, अपना खुद का प्लगइन भी लिख सकता है।

धन्यवाद!)