सभी को नमस्कार!

मैं आपके साथ साझा करना चाहता हूं कि गोलंग पर प्रोमेथियस के लिए अपने निर्यातक को लिखना कितना आसान है और यह दिखाएं कि यह एक छोटे से कार्यक्रम के उदाहरण के साथ कैसे किया जा सकता है जो वर्तमान टीसीपी कनेक्शन भौगोलिक रूप से स्थापित किए जाने पर नज़र रखता है।

0. अस्वीकरण

मैं तुरंत, शुरुआत में, रूपरेखा, इसलिए इस प्रकाशन के दायरे और बोलने के लिए कहना चाहूंगा कि यह नहीं बताता है, ताकि बाद में कोई सवाल न हो:

• हां, यह ग्राहकों का दृश्य नहीं है। यह दूरस्थ कनेक्शन का एक दृश्य है। यही है, यह उन कनेक्शनों को विभाजित नहीं करता है जिसमें दूरस्थ सर्वर ने कनेक्शन शुरू किया था और जिन्हें इस मशीन द्वारा शुरू किया गया था, और नक्शे पर सब कुछ दिखाएगा - उदाहरण के लिए, रिपॉजिटरी वाला सर्वर, जहां अब तक आपके मशीन पर अपडेट डाउनलोड हो रहे हैं।
• हां, मैं समझता हूं कि नेटवर्क पर अज्ञात उपकरण हैं जो क्लाइंट के वास्तविक आईपी को छिपाते हैं। इस उपकरण का उद्देश्य किसी भी ग्राहक के सटीक जीपीएस निर्देशांक की पहचान करना नहीं है, बल्कि उनके भूगोल का कम से कम एक सामान्य विचार है।
• whois आईपी पते के देश की तुलना में अधिक सटीक जानकारी प्रदान करता है, लेकिन यहाँ मैं Grafan के लिए प्लगइन की सीमा से जुड़ा था, जो केवल देशों को ही प्रदान करता है, लेकिन शहरों को नहीं।

1. हम "बैक-एंड" लिखते हैं: चलते-फिरते निर्यातक

तो, पहली चीज जो हमें करने की ज़रूरत है वह एक निर्यातक लिखना है जो वास्तव में हमारे सर्वर से डेटा एकत्र करेगा और इसे प्रोमेथियस को भेज देगा। भाषाओं का विकल्प बहुत अच्छा है: प्रोमेथियस के पास कई लोकप्रिय भाषाओं में निर्यातकों को लिखने के लिए क्लाइंट लाइब्रेरी हैं, लेकिन मैंने गो को चुना, सबसे पहले, क्योंकि यह इतना "अधिक देशी" है (क्योंकि प्रोमेथियस उस पर लिखा गया है), और दूसरी बात यह है कि यह स्वयं मैं अपने DevOps अभ्यास में उपयोग करता हूं।

अच्छी तरह से पर्याप्त गीत, चलो कोड के लिए नीचे उतरो। आइए "बॉटम-अप" लिखना शुरू करें: पहला, आईपी द्वारा देश का निर्धारण करने के लिए कार्य और दूरस्थ आईपी पते की सूची, और फिर यह सब प्रोमेथियस को भेजना।

1.1। हम देश को आईपी पते से निर्धारित करते हैं

खैर, माथे में पूरी तरह से सब कुछ है, मैंने दार्शनिक नहीं किया और बस freegeoip.net सेवा का उपयोग किया, जिनमें से एपीआई पहले ही इस लेख के लिखे जाने तक समाप्त हो चुका था, और अब वे मुफ्त में पंजीकरण करने की पेशकश करते हैं और प्रति माह 10,000 अनुरोध करने में सक्षम हैं (जो हमारे उद्देश्यों के लिए पर्याप्त है) )। यहां सब कुछ सरल है: फॉर्म का एक समापन बिंदु है http://api.ipstack.com/<IP>?access_key=<API_KEY> , जो हमारे द्वारा आवश्यक country_code क्षेत्र के साथ बस हमें वापस लौटा देगा - जो कि हमें विज़ुअलाइज़ेशन की आवश्यकता है।
तो, आइए देश को आईपी द्वारा खींचने के लिए एक पैकेज लिखें।

 // Package geo implements function for searching // for a country code by IP address. package geo import ( "encoding/json" "fmt" "io/ioutil" "net/http" ) // Type GeoIP stores whois info. type GeoIP struct { Ip string `json:""` CountryCode string `json:"country_code"` CountryName string `json:""` RegionCode string `json:"region_code"` RegionName string `json:"region_name"` City string `json:"city"` Zipcode string `json:"zipcode"` Lat float32 `json:"latitude"` Lon float32 `json:"longitude"` MetroCode int `json:"metro_code"` AreaCode int `json:"area_code"` } 

 // Function GetCode returns country code by IP address. func GetCode(address string) (string, error) { response, err = http.Get("http://api.ipstack.com/" + address + "?access_key=<API_KEY>&format=1&legacy=1") if err != nil { fmt.Println(err) return "", err } defer response.Body.Close() body, err = ioutil.ReadAll(response.Body) if err != nil { fmt.Println(err) return "", err } err = json.Unmarshal(body, &geo) if err != nil { fmt.Println(err) return "", err } return geo.CountryCode, nil } 

पैरामीटर legacy=1 पर ध्यान दें, मुझे इसका उपयोग पिछड़े संगतता के लिए करना है; बेशक, यदि आप उनके एपीआई का उपयोग करते हैं, तो नवीनतम संस्करण का उपयोग करें।

1.2। टीसीपी कनेक्शन की एक सूची बनाएं

यहां हम github.com/shirou/gopsutil/net पैकेज का उपयोग करेंगे और ESTABLISHED स्थिति के साथ कनेक्शन फ़िल्टर करेंगे, स्थानीय IP पते और पतों को एक कस्टम ब्लैक लिस्ट से बाहर रखा जाएगा जो कि स्टार्टअप पर निर्यातक को पारित किया जा सकता है (उदाहरण के लिए, अपने सभी सार्वजनिक आईपी पते को बाहर करने के लिए)

 // Package conn implements function for collecting // active TCP connections. package conn import ( "log" "github.com/gree-gorey/geoip-exporter/pkg/geo" "github.com/shirou/gopsutil/net" ) // Type Connections stores map of active connections: country code -> number of connections. type Connections struct { ConnectionsByCode map[string]int `json:"connections_by_code"` } // Function RunJob retrieves active TCP connections. func (c *Connections) RunJob(p *Params) { if p.UseWg { defer p.Wg.Done() } c.GetActiveConnections(p.BlackList) } // Function GetActiveConnections retrieves active TCP connections. func (c *Connections) GetActiveConnections(blackList map[string]bool) { cs, err := net.Connections("tcp") if err != nil { log.Println(err) } c.ConnectionsByCode = make(map[string]int) for _, conn := range cs { if _, ok := blackList[conn.Raddr.IP]; !ok && (conn.Status == "ESTABLISHED") && (conn.Raddr.IP != "127.0.0.1") { code, err := geo.GetCode(conn.Raddr.IP) if code != "" && err == nil { _, ok := c.ConnectionsByCode[code] if ok == true { c.ConnectionsByCode[code] += 1 } else { c.ConnectionsByCode[code] = 1 } } } } } 

1.3। और अंत में, प्रोमेथियस को सब कुछ भेजें

अधिक सटीक रूप से, वह खुद सब कुछ ले जाएगा। हम केवल पोर्ट को सुनेंगे और इसे एकत्रित मैट्रिक्स देंगे।
github.com/prometheus/client_golang/prometheus का उपयोग करके प्रकार Gauge का एक मीट्रिक बनाएं। वास्तव में, आप Counter बना सकते हैं, बस तब हम डेटाबेस का उपयोग करते समय rate उपयोग करेंगे। शायद प्रोमेथियस के दृष्टिकोण से उत्तरार्द्ध अधिक प्रभावी है, लेकिन जब मैं इस निर्यातक को लिख रहा था (छह महीने पहले) मैं सिर्फ प्रोमेथियस से परिचित होना शुरू कर रहा था और Gauge मेरे लिए पर्याप्त था:

 location = prometheus.NewGaugeVec( prometheus.GaugeOpts{ Name: "job_location", Help: "Location connections number", }, []string{"location"}, ) 

पिछले पैराग्राफ का उपयोग करके मैट्रिक्स एकत्र करने के बाद, हम अपने वेक्टर को अपडेट करते हैं:

 for code, number := range c.ConnectionsByCode { location.With(prometheus.Labels{"location": code}).Set(float64(number)) } 

हम एक अलग गोरोइन में एक अंतहीन लूप के साथ यह सब शुरू करते हैं, और केवल मुख्य एक में पोर्ट को बांधते हैं और प्रोमेथियस के लिए हमारे मैट्रिक्स लेने की प्रतीक्षा करते हैं:

 prometheus.MustRegister(location) http.Handle("/metrics", prometheus.Handler()) log.Fatal(http.ListenAndServe(*addr, nil)) 

वास्तव में, सभी कोड GitHub पर रिपॉजिटरी में देखे जा सकते हैं, मैं यहां एक पंक्ति में सब कुछ कॉपी नहीं करना चाहता।

2. "फ्रंट-एंड": ग्राफाना

लेकिन पहले, निश्चित रूप से, आपको हमारे मैट्रिक्स को इकट्ठा करने के लिए प्रोमेथियस को बताने की आवश्यकता है:

  - job_name: 'GeoIPExporter' scrape_interval: 10s static_configs: - targets: ['127.0.0.1:9300'] 

(या सेवा खोज का उपयोग करते हुए, यदि आपके पास, उदाहरण के लिए, कुबेरनेट्स)। प्रोमेथियस को एक HUP संकेत भेजकर विन्यास को फिर से बनाने के लिए बनाया जा सकता है:

 $ pgrep "^prometheus$" | xargs -i kill -HUP {} 

हम इसे यूआई में जाते हैं और जांचते हैं कि मैट्रिक्स एकत्र किए गए हैं:

ठीक है, अब ग्राफन की बारी है। हम grafana-worldmap-panel प्लगइन का उपयोग करते हैं, जो पहले से स्थापित होना चाहिए:

 $ grafana-cli plugins install grafana-worldmap-panel 

इसके बाद, यूआई में उसके पास जाएं और ऐड पैनल -> वर्ल्डमैप पैनल पर क्लिक करें। मैट्रिक्स टैब में, निम्नलिखित प्रश्न दर्ज करें:

 sum(job_location) by (location) 

और किंवदंती प्रारूप निर्दिष्ट करें: {{location}} । सब कुछ इस तरह दिखना चाहिए:

अगला, वर्ल्डमैप टैब पर जाएं और स्क्रीनशॉट में सब कुछ कॉन्फ़िगर करें:

और वह सब है! हमारे नक्शे का आनंद लें।

ऐसे सरल तरीके से, आप ग्राफन में कनेक्शन का एक सुंदर नक्शा बना सकते हैं।

आपके ध्यान के लिए धन्यवाद और आपकी टिप्पणियों के लिए तत्पर हैं।

यह करें

बेशक, अपने इच्छित उद्देश्य के लिए उपकरण का उपयोग करने के लिए, आपको इसे पूरा करने की आवश्यकता है: स्थानीय सबनेट के पते को फ़िल्टर करें और बहुत कुछ। वैसे, अगर किसी को दिलचस्पी है और इस निर्यातक को विकसित करना चाहता है - गिटहब पर भंडार में आपका स्वागत है!

लिंक

• प्रोमेथियस क्लाइंट लाइब्रेरी
• जियोलोकेशन एपीआई
• गोलंग के लिए psutil
• ग्राफाना के लिए वर्ल्डमैप पैनल प्लगइन
• गिटहब परियोजना भंडार