वास्तविक समय में PHP लिपियों की सांख्यिकी और निगरानी। ClickHouse और Grafana मदद के लिए Pinba जाते हैं

इस लेख में मैं समझाऊंगा कि पिनबा_इन और पिनबोर्ड के बजाय क्लिकहाउस और ग्राफाना के साथ पिनबा का उपयोग कैसे करें।

Php प्रोजेक्ट पर पिनबा शायद यह समझने का एकमात्र विश्वसनीय तरीका है कि प्रदर्शन के साथ क्या हो रहा है। लेकिन आमतौर पर लोग पिनबा का उपयोग तभी करना शुरू करते हैं जब समस्याएं पहले से ही देखी जाती हैं और यह स्पष्ट नहीं होता है कि कहां देखना है।

अक्सर डेवलपर्स को पता नहीं होता है कि प्रत्येक स्क्रिप्ट में कितने आरपीएस हैं। इसलिए वे उन जगहों से शुरू करने का अनुकूलन करना शुरू करते हैं जो समस्या लगती हैं।

कोई nginx लॉग का विश्लेषण कर रहा है, और कोई डेटाबेस में धीमी क्वेरी है।

बेशक पिनबा अतिश्योक्तिपूर्ण नहीं होगा, लेकिन कई कारण हैं कि यह हर परियोजना पर नहीं है।



और पहला कारण स्थापना है।

पिनबा के उपयोग से किसी न किसी तरह का लाभ प्राप्त करने के लिए, यह केवल अंतिम मिनटों में ही नहीं, बल्कि समय की एक लंबी अवधि (दिनों से महीनों तक) पर भी देखने के लिए अत्यधिक वांछनीय है।

इसके लिए आपको चाहिए:

• php के लिए एक्सटेंशन स्थापित करें (और आप nginx के लिए एक मॉड्यूल रखना चाह सकते हैं)
• mysql के लिए संकलन संकलित करें
• पिनबोर्ड स्थापित करें और क्रोन कॉन्फ़िगर करें

क्योंकि हमें हाल ही में पिनबा के बारे में थोड़ी जानकारी है, बहुत से लोग सोचते हैं कि यह केवल php5 पर काम करता था और चला गया था, लेकिन जैसा कि हम बाद में देखेंगे, यह सच नहीं है।

पहला कदम सबसे आसान है, आपको बस इतना करना है कि कमांड निष्पादित करें:

apt install php-pinba 

रिपॉजिटरी में यह एक्सटेंशन php 7.3 समावेशी तक मौजूद है और आपको कुछ भी संकलित करने की आवश्यकता नहीं है।

इंस्टॉलेशन कमांड को निष्पादित करने के बाद, हम तुरंत एक पहले से ही काम कर रहे एक्सटेंशन को प्राप्त करते हैं जो प्रत्येक स्क्रिप्ट (अवधि, मेमोरी, आदि) के मेट्रिक्स को udp द्वारा 127.0.0.1:370002 पर प्रारूप प्रोटोबॉफ़ में इकट्ठा और भेजता है।

हमारे पास इन udp पैकेजों को पकड़ने और संसाधित करने के लिए अभी तक कोई एप्लिकेशन नहीं है, लेकिन यह आपके php स्क्रिप्ट की गति या स्थिरता को बुरी तरह से प्रभावित नहीं करता है।

कुछ समय पहले तक, केवल pinba_engine इन udp- संकुल को पकड़ और संसाधित कर सकता था। " सरल " स्थापना का वर्णन इसे पढ़ने के लिए फिर से हतोत्साहित करता है। निर्भरता की लंबी सूचियों में पैकेज के नाम और प्रोग्राम के नाम और दूसरे निर्भरता वाले अन्य पृष्ठों के लिंक होते हैं। इस बकवास से निपटने के लिए किसी के पास समय या इच्छा नहीं है।

Pinba2 के लिए स्थापना प्रक्रिया विशेष रूप से आसान नहीं है ।

हो सकता है कि फीचर में pinba10 को एक या दो कमांड के साथ इंस्टॉल किया जा सकता है और बिना किसी सामान को पढ़े यह पता लगाना है कि इसे कैसे करना है, लेकिन अभी यह ऐसा नहीं है।

Pinba_engine की स्थापना केवल आधी कहानी है। आखिरकार, बिना पिनबोर्ड के आपके पास केवल पिछले कुछ मिनटों के लिए सीमित डेटा होगा। यह अच्छा है कि एक इंस्टॉलेशन में पिनबोर्ड बहुत सरल है।

लेकिन php से सभी मेट्रिक्स पहले से ही protobuf प्रारूप में udp पोर्ट पर जाते हैं और सभी की जरूरत है कि एक ऐसा एप्लिकेशन लिखें जो udp-package को पकड़ सके और उसे किसी तरह के स्टोरेज में डाल सके? जाहिरा तौर पर, उन डेवलपर्स ने जो सोचा था कि उन्होंने खुद के आवेदन बनाए और जिनमें से कुछ ने गीताब पर प्रकाशित किया।

नीचे चार ओपन-सोर्स प्रोजेक्ट्स की समीक्षा है जो मैट्रिक्स को स्टोरेज में स्टोर करते हैं, जिससे यह डेटा आसानी से प्राप्त होता है और ग्राफ्टाना द्वारा विज़ुअलाइज़ किया जाता है।

ऑलीगेडोसेव / पिनबा-इनफ्लक्सब (नवंबर 2017)

गोलंग पर udp सर्वर, जो OpenTSDB में मैट्रिक्स को बचाता है। शायद अगर आप पहले से ही अपने प्रोजेक्ट पर OpenTSDB का उपयोग करते हैं, तो इस तरह का समाधान आपको सूट करेगा।

ऑलीगेडोसेव / पिनबा-इनफ्लक्सब (जून 2018)

उसी github उपयोगकर्ता से golang पर udp सर्वर, जो इस बार InfluxDB में मैट्रिक्स को बचाता है। कई परियोजनाएं पहले से ही निगरानी के लिए InfluxDB का उपयोग करती हैं, इसलिए यह समाधान उनके लिए अच्छा हो सकता है।

पेशेवरों:

• इन्फ्लक्स परिणामी मीट्रिक को एकत्र करने और एक निर्दिष्ट समय के बाद मूल को हटाने की अनुमति देता है।

विपक्ष:

• यह समाधान टाइमर के लिए जानकारी नहीं बचाता है।
• InfluxDB पन्नों के पतों को टैग के रूप में बचाएगा और यदि आपके पास पृष्ठों के बहुत सारे अनूठे पते हैं, तो यह रैम की खपत को बढ़ा देगा। एक निश्चित बिंदु से, यह " बहुत अधिक मेमोरी का उपयोग करना शुरू करेगा"। ( स्रोत )

क्लिकहाउस-निंजा / प्रोटॉन (जनवरी 2019)

Golang पर udp सर्वर, जो ClickHouse में मैट्रिक्स को बचाता है। यह मेरे मित्र का आवेदन है। उपयोग करने के बाद मैंने क्लिकहाउस के साथ पिनबा के लिए अपने स्वयं के आवेदन पर काम करना शुरू कर दिया।

पेशेवरों:

• ऐसे कार्यों के लिए क्लिकहाउस आदर्श है, यह आपको डेटा को संपीड़ित करने की अनुमति देता है ताकि आप सभी कच्चे डेटा को एकत्रीकरण के बिना भी संग्रहीत कर सकें
• यदि आपको आवश्यकता है, तो आप परिणामी मैट्रिक्स को आसानी से एकत्र कर सकते हैं
• ग्राफ्टाना के लिए तैयार टेम्पलेट
• टाइमर के लिए जानकारी बचाता है

विपक्ष:

• यहां आविष्कार नहीं हुआ
• डेटाबेस और तालिकाओं के नाम और पते और पोर्ट के लिए कोई विन्यास नहीं है
  सर्वर।
• अन्य छोटी चीजें जो पहले माइनस से बहती हैं

पिनबा-सर्वर / पिनबा-सर्वर (अप्रैल 2019)

php पर udp सर्वर, जो ClickHouse में मैट्रिक्स को बचाता है। यह मेरा आवेदन है, जो कि पिनबा, क्लिकहाउस और प्रोटोबुफ़ के मेरे आरएनडी का परिणाम है। मैंने "अवधारणा का प्रमाण" लिखा, जो मेरे लिए अप्रत्याशित रूप से महत्वपूर्ण संसाधनों (30 एमबी रैम और आठ प्रोसेसर कोर में से 1% से कम) का उपभोग नहीं करता था, इसलिए मैंने इसे लोगों के साथ साझा करने का फैसला किया।

लाभ पिछले समाधान के समान हैं, मैंने मूल पिनबा_इन्जिन से सामान्य नामों का भी उपयोग किया था। मैंने एक कॉन्फ़िगरेशन भी जोड़ा है जो आपको मैट्रिक्स को अलग-अलग तालिकाओं में सहेजने के लिए कई पिनबसवर इंस्टेंसेस चलाने की अनुमति देता है - यह उपयोगी है यदि आप न केवल php से माप लेना चाहते हैं, बल्कि nginx से भी।

विपक्ष - "यहां आविष्कार नहीं किया गया है" और उन छोटी चीजें जो आपको व्यक्तिगत रूप से सूट नहीं करती हैं, लेकिन मेरा समाधान बहुत सरल है और इसमें केवल लगभग 100 लाइनें शामिल हैं, इसलिए कोई भी php-developer कुछ मिनटों में कुछ भी बदल सकता है जो वह करता है पसंद नहीं है।

यह कैसे काम करता है

यह udp-port 30002 सुन रहा है। सभी आने वाले पैकेट्स को प्रोटोब्यूफ-स्कीम के अनुसार डिकोड किया जाता है और एकत्र किया जाता है। एक बार एक मिनट के लिए संकुल का बैच pinba.requests तालिका में क्लिकहाउस में डाला जाता है। (सभी सेटिंग्स विन्यास में कॉन्फ़िगर की गई हैं)

ClickHouse के बारे में

Clickhouse विभिन्न डेटा स्टोरेज इंजन का समर्थन करता है। सबसे अधिक इस्तेमाल किया जाने वाला मर्जट्री है।

यदि कुछ बिंदु पर आप एकत्रित डेटा को सभी समय के लिए संग्रहीत करने का निर्णय लेते हैं, और केवल बाद के लिए कच्चा डेटा, तो आप समूहीकरण के साथ एक भौतिकीकृत दृश्य बना सकते हैं और समय-समय पर मुख्य तालिका pinba.requests को साफ कर सकते हैं, जबकि सभी डेटा भौतिक दृष्टि में बने रहते हैं। इसके अलावा, आप pinba.requests तालिका के लिए "इंजन = नल" निर्दिष्ट कर सकते हैं, इसलिए कच्चे डेटा को डिस्क पर सहेजा नहीं जाएगा और साथ ही यह अभी भी भौतिक दृश्य में शामिल होगा। मैं इस योजना का उपयोग nginx मेट्रिक्स के लिए करता हूं, क्योंकि nginx पर मेरे पास php की तुलना में 50 गुना अधिक अनुरोध हैं।

आप एक लंबा सफर तय कर चुके हैं, इसलिए मेरे समाधान की स्थापना और विन्यास और आपकी जरूरत की हर चीज का विस्तृत विवरण होगा। पूरी स्थापना प्रक्रिया उबंटू 18.04 एलटीएस और सेंटोस 7 के लिए वर्णित है, अन्य वितरण और संस्करणों पर प्रक्रिया थोड़ा भिन्न हो सकती है।

स्थापना

मैंने निर्देश के प्रतिलिपि प्रस्तुत करने की क्षमता के लिए सभी आवश्यक आदेशों को डॉकरफाइल में डाल दिया है। केवल समस्याओं का वर्णन नीचे किया जाएगा।

php पिनबा

स्थापना के बाद, सुनिश्चित करें कि आपने /etc/php/7.2/fpm/conf.d/20-pinba.ini फ़ाइल में सभी विकल्पों को अनियोजित किया है। कुछ वितरणों में (उदाहरण के लिए, सेंटो) इसकी टिप्पणी की जा सकती है।

 extension = pinba.so pinba.enabled = 1 pinba.server = 127.0.0.1:30002 

clickhouse

स्थापना के दौरान, क्लिकहाउस आपको डिफ़ॉल्ट उपयोगकर्ता के लिए एक पासवर्ड सेट करने के लिए कहेगा। डिफ़ॉल्ट रूप से, यह उपयोगकर्ता सभी आईपी से उपलब्ध है। इसलिए यदि आपके सर्वर पर फ़ायरवॉल नहीं है तो कृपया पासवर्ड सेट करें। यह /etc/clickhouse-server/users.xml फ़ाइल में इंस्टॉलेशन के बाद भी किया जा सकता है।

यह भी ध्यान दें कि क्लिकहाउस 9000 सहित कई पोर्ट का उपयोग करता है। इस पोर्ट का उपयोग php-fpm के लिए कुछ वितरणों में भी किया जाता है (उदाहरण के लिए, centos)। यदि आप पहले से ही इस पोर्ट का उपयोग करते हैं, तो आप इसे /etc/clickhouse-server/config.xml फ़ाइल में दूसरे में बदल सकते हैं।

क्लिकहाउस प्लगइन के साथ ग्राफ्टाना

ग्रेफ़ाना स्थापित करने के बाद, उपयोगकर्ता नाम "व्यवस्थापक" और पासवर्ड "व्यवस्थापक" का उपयोग करें। जब आप पहली बार लॉग इन करते हैं, तो ग्राफ्टाना आपको एक नया पासवर्ड सेट करने के लिए कहेगा।

इसके बाद, मेनू "+" -> आयात करें और 10011 आयात करने के लिए डैशबोर्ड की संख्या निर्दिष्ट करें। मैंने यह डैशबोर्ड तैयार किया ताकि आपको इसे फिर से करने की आवश्यकता न पड़े।

Grafana एक तृतीय-पक्ष प्लगइन्स द्वारा ClickHouse का समर्थन करता है, लेकिन Grafana तृतीय-पक्ष प्लगइन्स के लिए अलर्ट का समर्थन नहीं करता है (टिकट पहले से ही कई वर्षों से मौजूद है)।

पिनबा सर्वर

प्रोटोबॉफ़ और लीबवेंट को स्थापित करना वैकल्पिक है, लेकिन यह पिनबा-सर्वर प्रदर्शन में सुधार करता है। यदि आप एक फ़ोल्डर में / ऑप्ट के अलावा अन्य पिनबा-सर्वर स्थापित करते हैं, तो आपको सिस्टमड स्क्रिप्ट स्क्रिप्ट बदलने की भी आवश्यकता होगी।

पिनबा-मॉड्यूल नगीनेक्स के तहत

मॉड्यूल को संकलित करने के लिए, आपको nginx के उसी संस्करण के स्रोत कोड की आवश्यकता है जो पहले से ही आपके सर्वर पर स्थापित है, साथ ही समान संकलन विकल्प भी हैं, अन्यथा असेंबली सफल होगी, लेकिन जब मॉड्यूल जुड़ा होता है, तो आप त्रुटि करेंगे " मॉड्यूल द्विआधारी असंगत है। " संकलन विकल्प "nginx -V" कमांड का उपयोग करके देखा जा सकता है।

lifehacks

मेरी सभी साइटें केवल https पर काम करती हैं। इसलिए मैं वेब / कंसोल को अलग करने के लिए फ़ील्ड "स्कीमा" का उपयोग करता हूं।
मेरे द्वारा उपयोग की जाने वाली वेब स्क्रिप्ट में:

 if (ini_get('pinba.enabled')) {    pinba_schema_set('web'); } 

और कंसोल में (उदाहरण के लिए, क्रोन-स्क्रिप्ट):

 if (ini_get ('pinba.enabled')) {    pinba_schema_set('console'); } 

ग्राफ्टाना में मेरे डैशबोर्ड में आँकड़ों को अलग से देखने के लिए एक स्विच वेब / कंसोल है।
आप अपने टैग पिनबा को भी भेज सकते हैं, उदाहरण के लिए:

 pinba_tag_set('country', $countryCode); 

बस इतना ही।

आप रूसी संस्करण भी पढ़ सकते हैं।

कृपया लेख के तहत सर्वेक्षण का जवाब दें और रेडिट पर मेरा समर्थन करें ।