वास्तविक समय में PHP लिपियों की सांख्यिकी और निगरानी। पिंकबा की मदद के लिए क्लिकहाउस और ग्राफाना जाना

इस लेख में, मैं आपको pinba_engine और pinboard के बजाय clickhouse और grafana के साथ pinba का उपयोग करने का तरीका दिखाऊंगा।

एक phba परियोजना पर, पिनबा शायद यह समझने का एकमात्र विश्वसनीय तरीका है कि प्रदर्शन के साथ क्या हो रहा है। सच है, पिनबा आमतौर पर केवल तब लागू किया जाता है जब समस्याएं पहले से ही देखी जाती हैं और यह स्पष्ट नहीं है कि कहां खोदना है।

अक्सर किसी को यह पता नहीं होता है कि प्रति सेकंड कितनी बार / मिनट में एक विशेष स्क्रिप्ट को कॉल किया जाता है और "टच द्वारा" का अनुकूलन करना शुरू होता है, उन जगहों से शुरू होता है जो अधिक तार्किक लगते हैं।

कोई nginx लॉग का विश्लेषण करता है, और कोई DB में धीमी गति से अनुरोध करता है।

बेशक पिनबा अतिश्योक्तिपूर्ण नहीं होगा, लेकिन कई कारण हैं कि यह हर परियोजना पर नहीं है।



और पहला कारण स्थापना है।

कमोबेश पिनबा की शुरूआत से किसी प्रकार का "निकास" हो जाता है, यह न केवल अंतिम मिनटों में, बल्कि समय की लंबी अवधि (दिनों से महीनों तक) पर भी देखने के लिए बहुत ही वांछनीय है।

ऐसा करने के लिए, आपको चाहिए:

• php के लिए एक्सटेंशन स्थापित करें (और शायद आप nginx के लिए एक मॉड्यूल चाहते हैं)
• mysql के लिए संकलन का विस्तार
• पिनबोर्ड स्थापित करें और क्रोन कॉन्फ़िगर करें

पिनबा के बारे में बहुत कम जानकारी होने के कारण, कई लोगों की धारणा है कि यह केवल php5 पर काम करता है और लंबे समय तक चलता है, लेकिन जैसा कि हम बाद में देखेंगे, ऐसा नहीं है।

पहला कदम सबसे आसान है, आपको बस इतना करना है कि कमांड चलाना है:

apt install php-pinba 

रिपॉजिटरी में यह विस्तार php 7.3 समावेशी तक सही है और आपको कुछ भी संकलित करने की आवश्यकता नहीं है।

इंस्टॉलेशन कमांड को निष्पादित करने के बाद, हम तुरंत एक पहले से ही काम कर रहे एक्सटेंशन को प्राप्त करते हैं जो udp द्वारा 127.0.0.1 {0002 द्वारा प्रोटोबॉफ़ प्रारूप में प्रत्येक स्क्रिप्ट (अवधि, मेमोरी, आदि) के मैट्रिक्स को इकट्ठा और भेजता है।

किसी ने अभी तक इन udp पैकेजों को पकड़ा और संसाधित नहीं किया है, लेकिन यह आपके php स्क्रिप्ट की गति या स्थिरता को प्रभावित नहीं करता है।

कुछ समय पहले तक, केवल pinba_engine ही एकमात्र ऐसा एप्लिकेशन था जो इन udp पैकेट को पकड़ और संसाधित कर सकता था। " सरल और संक्षिप्त " इंस्टॉलेशन का वर्णन कभी भी पढ़ने और फिर से इसे डिलीवर करने की इच्छा को हतोत्साहित करता है। किलोमीटर-लंबी निर्भरता सूचियों में पैकेज नाम और प्रोग्राम नाम और उनकी स्थापना के साथ अलग-अलग पृष्ठों के लिंक दोनों हैं, और उन पर अन्य निर्भरताओं के अपने स्वयं के लिंक हैं। इस बकवास से निपटने के लिए, किसी के पास न तो समय है और न ही इच्छा।

Pinba2 स्थापना प्रक्रिया बहुत आसान नहीं है ।

शायद किसी दिन pinba10 एक या दो आदेशों के साथ स्थापित किया जा सकता है और यह कैसे करना है यह समझने के लिए सामग्री का एक गुच्छा नहीं पढ़ा है, लेकिन अभी तक ऐसा नहीं है।

यदि आपने अभी भी pinba_engine स्थापित किया है, तो यह केवल आधी लड़ाई है। आखिरकार, बिना पिनबोर्ड के, आपको अपने आप को केवल अंतिम कुछ मिनटों में डेटा को सीमित करना होगा या अपने डेटा को स्वयं एकत्र करना, सहेजना और कल्पना करना होगा। यह अच्छा है कि पिनबोर्ड स्थापित करने में काफी आसान है।

ऐसा प्रतीत होता है, ऐसे कष्ट क्यों होते हैं यदि php से सभी मेट्रिक्स पहले से ही प्रोटोबुफ़ प्रारूप में udp पोर्ट पर चले जाते हैं और जो कुछ आवश्यक है वह एक आवेदन लिखना है जो उन्हें किसी प्रकार के भंडारण में पकड़े और संग्रहीत करेगा? जाहिर है, जो डेवलपर्स इस विचार के साथ आए, वे तुरंत अपनी बाइक लिखने के लिए बैठ गए, जिनमें से कुछ गिथब पर गिर गए।

निम्नलिखित चार ओपन सोर्स प्रोजेक्ट्स की समीक्षा है जो स्टोरेज में मैट्रिक्स स्टोर करते हैं, जिससे यह डेटा प्राप्त करना और कल्पना करना आसान है, उदाहरण के लिए, ग्राफ्टाना का उपयोग करना।

olegfedoseev / pinba-server ( nvent 2017)

udp सर्वर चलते हैं, जो OpenTSDB में मैट्रिक्स स्टोर करता है। शायद अगर आप पहले से ही प्रोजेक्ट पर OpenTSDB का उपयोग करते हैं, तो ऐसा समाधान आपको सूट करेगा अन्यथा मैं गुजरने की सलाह देता हूं।

ओलेगफेडेसेव / पिनबा-इनफ्लक्सब (जून 2018)

udp सर्वर चलते-फिरते, उसी हाबयुज़र से जो इस समय मेट्रक्सडीबी में मेट्रिक्स को बचाता है। कई परियोजनाओं पर, InfluxDB का उपयोग पहले से ही निगरानी के लिए किया जा रहा है, इसलिए यह समाधान उनके लिए बहुत अच्छा हो सकता है।

पेशेवरों:

• InfluxDB आपको प्राप्त मीट्रिक को एकत्र करने और एक निर्दिष्ट समय के बाद मूल को हटाने की अनुमति देता है ।

विपक्ष:

• यह समाधान टाइमर जानकारी को सहेजता नहीं है।
• InfluxDB पेज पतों को टैग के रूप में बचाएगा और यदि आपके पास कई अनूठे पृष्ठ पते हैं, तो इससे मेमोरी की खपत बढ़ जाएगी। एक निश्चित क्षण से, वह " स्मृति को खाना शुरू कर देगा जैसे कि स्वयं में नहीं ।" ( स्रोत )

क्लिकहाउस-निंजा / प्रोटॉन (जनवरी 2019)

udp सर्वर उस पर क्लिकहॉउस में मैट्रिक्स स्टोर करता है। यह मेरे मित्र का निर्णय है। यह उसके साथ परिचित होने के बाद था कि मैंने फैसला किया कि यह पिनबू और क्लिकहाउस पर लेने का समय था।

पेशेवरों:

• ऐसे कार्यों के लिए क्लिकहाउस आदर्श है, यह आपको डेटा को इतना संपीड़ित करने की अनुमति देता है कि आप सभी कच्चे डेटा को एकत्रीकरण के बिना भी संग्रहीत कर सकते हैं
• यदि आवश्यक हो, तो आप परिणामी मीट्रिक को आसानी से एकत्र कर सकते हैं
• ग्राफ्टाना के लिए तैयार टेम्पलेट
• टाइमर की जानकारी बचाता है

विपक्ष:

• घातक दोष
• कोई कॉन्फ़िगरेशन नहीं है जिसमें डेटाबेस और तालिकाओं के नाम, सर्वर के पते और पोर्ट को कॉन्फ़िगर करना संभव होगा।
• कच्चे डेटा को सहेजते समय, पृष्ठ और डोमेन पते को संग्रहीत करने के लिए एक सहायक डिक्शनरी टेबल का उपयोग किया जाता है, जो बाद में प्रश्नों को जटिल करता है
• अन्य छोटी चीजें जो पहले माइनस से बहती हैं

पिनबा-सर्वर / पिनबा-सर्वर (अप्रैल 2019)

php में udp सर्वर जो ClickHouse में मैट्रिक्स स्टोर करता है। यह मेरा समाधान है जो पिनबा, क्लिकहाउस और प्रोटोबुफ़ के साथ मेरे परिचित के परिणामस्वरूप है। जब मैं इस पूरे समूह के साथ काम कर रहा था, मैंने एक "अवधारणा का प्रमाण" लिखा, जो मेरे लिए अप्रत्याशित रूप से महत्वपूर्ण संसाधनों (30 एमबी रैम और आठ प्रोसेसर कोर में से 1% से कम) का उपभोग नहीं करता था, इसलिए मैंने इसे जनता के साथ साझा करने का फैसला किया।

पेशेवरों पिछले समाधान के रूप में ही हैं, मैं भी मूल pinba_engine से सामान्य नाम का इस्तेमाल किया। मैंने एक कॉन्फ़िगरेशन भी जोड़ा है जो आपको एक साथ कई तालिकाओं को अलग-अलग तालिकाओं को सहेजने के लिए कई पिनबर्स्वर इंस्टेंस चलाने की अनुमति देता है - यह उपयोगी है यदि आप न केवल php से डेटा एकत्र करना चाहते हैं, बल्कि nginx से भी।
विपक्ष - एक "घातक दोष" और उन छोटी चीज़ों के साथ जिन्हें आपने व्यक्तिगत रूप से नहीं जीता है, लेकिन मेरा समाधान "चप्पल के रूप में सरल" है और इसमें केवल 100 पंक्तियों के कोड हैं, इसलिए कोई भी php डेवलपर बदल सकता है जो वह कुछ मिनटों में पसंद नहीं करता है।

कार्य सिद्धांत

Udp पोर्ट 30002 को सुना जाता है। सभी आने वाले पैकेटों को प्रोटोबॉफ योजना के अनुसार डिकोड किया जाता है और एकत्र किया जाता है। एक मिनट में, पैकेट को पिनबा.रेक्वेस्ट टेबल में क्लिकहाउस में डाला जाता है। (सभी मापदंडों को कॉन्फ़िगर में कॉन्फ़िगर किया गया है)

क्लिकहाउस के बारे में थोड़ा

Clickhouse विभिन्न भंडारण इंजनों का समर्थन करता है। सबसे अधिक इस्तेमाल किया जाने वाला मर्जट्री है।

यदि किसी बिंदु पर आप हर समय के लिए एकत्रित डेटा को संग्रहीत करने का निर्णय लेते हैं, और केवल अंतिम के लिए कच्चा डेटा, तो आप एक समूहीकरण के साथ एक भौतिक दृश्य बना सकते हैं, और मुख्य तालिका pinba.requests को समय-समय पर साफ़ कर सकते हैं, जबकि सभी डेटा भौतिक दृष्टि में बने रहेंगे। इसके अलावा, जब pinba.requests तालिका बनाते हैं, तो आप "इंजन = नल" निर्दिष्ट कर सकते हैं, फिर कच्चे डेटा को डिस्क पर सहेजा नहीं जाएगा और साथ ही यह अभी भी भौतिक रूप में देखने और संग्रहीत एकत्र हो जाएगा। मैं इस योजना का उपयोग nginx मेट्रिक्स के लिए करता हूं, क्योंकि nginx पर मेरे पास php की तुलना में 50 गुना अधिक अनुरोध हैं।

तो, आप एक लंबा सफर तय कर चुके हैं और मैं आपको आधा नहीं छोड़ना चाहूंगा, इसलिए तब मेरे समाधान की स्थापना और विन्यास का एक विस्तृत विवरण और आपकी जरूरत की हर चीज और साथ ही एक से अधिक जहाज दुर्घटनाग्रस्त होने की स्थिति में होंगे। पूरी स्थापना प्रक्रिया उबंटू 18.04 एलटीएस और सेंटोस 7 के लिए वर्णित है, अन्य वितरण और संस्करणों पर प्रक्रिया थोड़ी भिन्न हो सकती है।

स्थापना

मैंने निर्देशों की प्रतिलिपि प्रस्तुत करने की क्षमता को सुविधाजनक बनाने के लिए डॉकरफाइल में सभी आवश्यक आदेश दिए। केवल नुकसान का वर्णन नीचे किया जाएगा।

php पिनबा

स्थापना के बाद, सुनिश्चित करें कि /etc/php/7.2/fpm/conf.d/20-pinba.ini फ़ाइल में आपके पास सभी विकल्प अपूर्ण हैं। कुछ वितरणों (उदाहरण के लिए, सेंटो) में उन पर टिप्पणी की जा सकती है।

 extension=pinba.so pinba.enabled=1 pinba.server=127.0.0.1:30002 

clickhouse

स्थापना के दौरान, क्लिकहाउस आपको डिफ़ॉल्ट उपयोगकर्ता के लिए एक पासवर्ड सेट करने के लिए कहेगा। डिफ़ॉल्ट रूप से, यह उपयोगकर्ता सभी आईपी से उपलब्ध है, इसलिए यदि आपके पास सर्वर पर फ़ायरवॉल नहीं है, तो इसके लिए पासवर्ड सेट करना सुनिश्चित करें। यह /etc/clickhouse-server/users.xml फ़ाइल में इंस्टॉलेशन के बाद भी किया जा सकता है।

यह भी ध्यान देने योग्य है कि क्लिकहाउस 9000 सहित कई पोर्ट का उपयोग करता है। इस पोर्ट का उपयोग php-fpm के लिए कुछ वितरणों में भी किया जाता है (उदाहरण के लिए, centos)। यदि आपके पास पहले से यह पोर्ट उपयोग में है, तो आप इसे /etc/clickhouse-server/config.xml फ़ाइल में दूसरे को बदल सकते हैं।

क्लिकहाउस प्लगइन के साथ ग्राफ्टाना

ग्रेफ़ाना स्थापित करने के बाद, व्यवस्थापक उपयोगकर्ता नाम और व्यवस्थापक पासवर्ड का उपयोग करें। पहले प्रवेश द्वार पर, अंगूर आपको एक नया पासवर्ड सेट करने के लिए कहेगा।

इसके बाद, "+" -> आयात मेनू पर जाएं और आयात के लिए डैशबोर्ड संख्या 10011 निर्दिष्ट करें। मैंने इस डैशबोर्ड को तैयार किया और भरा ताकि आप इसे फिर से खुद न करें।

ग्रेफ़ाना थर्ड-पार्टी प्लग-इन के माध्यम से क्लिकहाउस के साथ काम करने का समर्थन करता है, लेकिन तीसरे-पक्ष के प्लग-इन के लिए, ग्रेफ़ाना अलर्ट काम नहीं करता है (इसके लिए एक टिकट कई वर्षों से चल रहा है)।

पिनबा सर्वर

प्रोटोबॉफ़ और लीबवेंट को स्थापित करना वैकल्पिक है, लेकिन पिनबा-सर्वर प्रदर्शन में सुधार करता है। यदि आप एक फ़ोल्डर में पिनबा-सर्वर को / ऑप्ट के अलावा किसी अन्य फ़ोल्डर में स्थापित करते हैं, तो आपको सिस्टम स्क्रिप्ट स्क्रिप्ट को ठीक करने की भी आवश्यकता होगी।

पिग्ना मॉड्यूल नगीनेक्स के तहत

मॉड्यूल को संकलित करने के लिए, आपको नगणक्स के उसी संस्करण के स्रोतों की आवश्यकता होती है जो आपके सर्वर पर पहले से ही स्थापित है, साथ ही समान संकलन विकल्प भी हैं, अन्यथा असेंबली सफल होगी, लेकिन जब मॉड्यूल जुड़ा होता है, तो एक त्रुटि उत्पन्न होगी कि मॉड्यूल असंगत बाइनरी है। संकलन विकल्प nginx -V कमांड का उपयोग करके देखा जा सकता है

जीवन हैक

मेरी सभी साइटें केवल https पर काम करती हैं। स्कीमा फ़ील्ड अर्थहीन हो जाती है, इसलिए मैं इसका उपयोग वेब / कंसोल को अलग करने के लिए करता हूं।

मेरे द्वारा उपयोग की जाने वाली वेब से प्राप्त होने वाली लिपियों में:

 if (ini_get('pinba.enabled')) { pinba_schema_set('web'); } 

और कंसोल में (उदाहरण के लिए, मुकुट स्क्रिप्ट):

 if (ini_get('pinba.enabled')) { pinba_schema_set('console'); } 

ग्रैपेन में मेरे डैशबोर्ड में आँकड़ों को अलग से देखने के लिए एक वेब / कंसोल स्विच है।

आप उदाहरण के लिए, पिनब को अपने टैग भी स्थानांतरित कर सकते हैं:

 pinba_tag_set('country', $countryCode); 

वह सब है।

लेख के तहत चुनावों का जवाब देने का एक बड़ा अनुरोध।

परंपरागत रूप से, मैं चेतावनी देता हूं कि मैं सलाह नहीं देता हूं और हैबर और सोशल नेटवर्क के व्यक्तिगत संदेशों के माध्यम से मदद नहीं करता हूं।

जीथब पर टिकट शुरू करें।

इसके अलावा, कृपया इस लेख के अंग्रेजी संस्करण को पसंद के साथ reddit पर समर्थन करें।