नई Postgres_exporter PostgreSQL निगरानी सुविधाएँ

शुभ दोपहर, हेब्र पाठकों!

Posgres_exporter के बारे में पहले नोट में , मैंने उस समय फिटचा पर एक नए के साथ काम करते समय एक विशेष मामले की जांच की, अर्थात् एक निर्यातक द्वारा उदाहरणों और / या डेटाबेस के एक सेट की निगरानी करने की क्षमता। और उन्होंने कहा कि समस्याओं का "गुच्छा" जो उन्हें सामना करना पड़ा और इसे बनाने के लिए उन्होंने कौन से वर्कआर्डर्स का उपयोग किया।
और इसलिए, 25 नवंबर को, अगला पोस्टग्रेज_एक्सपोर्टर्स 0.8.0 रिलीज किया गया था। इसने पिछली पोस्ट में वर्णित समस्याओं को हल किया, और यह भी, जो विशेष रूप से अच्छा है, नई कार्यक्षमता को जोड़ा।

मैं एक बिल्ली के लिए पूछना ...

के साथ शुरू करने के लिए, मैं आपको पोस्टग्रे_एक्सपोर्टर्स के बारे में अधिक विस्तार से परिचित कराना चाहता हूं और एक तरह की शॉर्ट क्विक स्टार्ट गाइड लिखना चाहता हूं। चलिए मुख्य बिंदुओं पर चलते हैं:

1. पर्यावरण चर और स्टार्टअप पैरामीटर
2. डिफ़ॉल्ट मीट्रिक क्या हैं?
3. कैसे अपने खुद के मैट्रिक्स जोड़ने के लिए

विवरण

postgres_exporter - गो में लिखे गए एक सुलभ प्रोमेथियस प्रारूप में एक पोस्टग्रेसीक्यू डीबीएमएस क्लस्टर के उदाहरणों से मैट्रिक्स इकट्ठा करने के लिए एक उपयोगिता, खुला स्रोत है और नि: शुल्क वितरित किया जाता है।

पर्यावरण चर और कमान लाइन तर्क

Postgres_exporter, इस तरह, एक कॉन्फ़िगरेशन फ़ाइल नहीं है और सभी मापदंडों को निर्यातक को पर्यावरण चर या कमांड लाइन तर्क के माध्यम से पारित किया जाता है। इसी समय, DBMS से जुड़ने के लिए मापदंडों को केवल पर्यावरण चर के माध्यम से स्थानांतरित किया जा सकता है।

पर्यावरण चर

जैसा कि ऊपर उल्लेख किया गया है, पर्यावरण चर को दो समूहों में विभाजित किया जा सकता है। पूर्व कनेक्शन स्ट्रिंग को पास करता है, बाद वाला कमांड लाइन के तर्कों को दोहराता है।

पहले समूह के साथ शुरू करते हैं। ये चर उपसर्ग DATA_SOURCE_ शुरू होते हैं:

• DATA_SOURCE_NAME - डिफ़ॉल्ट रूप से उपयोग किया जाता है। आपको प्रारूप = में कनेक्शन स्ट्रिंग को रिकॉर्ड करने की अनुमति देता है, और यूआरआई के रूप में और कनेक्शन का लॉगिन और पासवर्ड शामिल कर सकता है।
  PostgreSQL से जुड़ने के लिए वैध नौकरी के विकल्प:

  
  
  • postgresql://rolename@dbhost:dbport/datname?sslmode=disable ; postgresql://rolename@dbhost:dbport/datname?sslmode=disable ;
  • postgresql://rolename:rolpass@dbhost:dbport?sslmode=disable&db=datname ; postgresql://rolename:rolpass@dbhost:dbport?sslmode=disable&db=datname ;
  • postgresql://rolename:rolpass@?sslmode=disable&dbname=database&host=dbhost&port=dbport ;
  • postgresql://rolename:rolpass@?sslmode=disable&dbname=database&host=/tmp (एक UNIX सॉकेट के माध्यम से कनेक्शन, एक PostgreSQL उदाहरण के unix_socket_directories से लिया गया);
  • host=dbhost port=dbport dbname=database user=rolename sslmode=disable ;
  
  

  यदि आपको कई उदाहरणों से कनेक्ट करने की आवश्यकता है (दशमलव बिंदु के बाद किसी स्थान का उपयोग करने की अनुमति नहीं है):

  
  
  • postgresql://rolename@dbhost:dbport/datname?sslmode=disable,postgresql://rolename@dbhost:dbport/datname?sslmode=disable
  • sslmode=disable dbname=postgres host=127.0.0.1 port=5434 user=postgres,sslmode=disable dbname=postgres port=5432 user=postgres ।
  
  
• DATA_SOURCE_URI - DATA_SOURCE_NAME के ​​लिए वैकल्पिक। यदि आप PostgreSQL के एक ही उदाहरण से जुड़ने का इरादा रखते हैं तो यह विकल्प उपयुक्त है)।
  चर DATA_SOURCE_URI उपयोगकर्ता नाम और पासवर्ड के बिना URI का भाग "dbhost: dbport / dbname? Key = value" के रूप में सेट करता है। उपयोगकर्ता नाम और पासवर्ड DATA_SOURCE_USER और DATA_SOURCE_PASS पर्यावरण चर, या DATA_SOURCE_USER_FILE DATA_SOURCE_PASS_FILE फ़ाइलों से लिए गए हैं।
  जब उपयोगकर्ता नाम और पासवर्ड फ़ाइलों में संग्रहीत होते हैं, तो उनकी सामग्री को चर और डेटा DATA_SOURCE_USER और DATA_SOURCE_PASS को पुन: असाइन किया जाता है। आगे, कोड में, यह सब फ़ॉर्म के पूर्ण-पूर्ण URI में एकत्र किया गया है: "postgresql://" + DATA_SOURCE_USER + ":" + DATA_SOURCE_PASS + "@" + DATA_SOURCE_URI
• DATA_SOURCE_URI_FILE - DATA_SOURCE_URI के समान है, केवल फ़ाइल से पढ़ा जाता है;
• DATA_SOURCE_USER - DATA_SOURCE_URI का उपयोग करते समय, उपयोगकर्ता को DBMS से कनेक्ट करने के लिए सेट करता है;
• DATA_SOURCE_USER_FILE - DATA_SOURCE_USER के समान, केवल फ़ाइल से पढ़ा जाता है;
• DATA_SOURCE_PASS - DATA_SOURCE_URI का उपयोग करते समय, उपयोगकर्ता पासवर्ड को DBMS से कनेक्ट करने के लिए सेट करता है;
• DATA_SOURCE_PASS_FILE - DATA_SOURCE_PASS के समान, केवल फ़ाइल को पढ़ें;

दूसरे समूह में चर डुप्लिकेट तर्क शामिल हैं। यानी स्टार्टअप पर, आपके पास एक विकल्प है, पर्यावरण चर के रूप में एप्लिकेशन के ऑपरेटिंग मापदंडों को सेट करें, या स्टार्टअप पर तर्क के रूप में पास करें। उपसर्ग PG_EXPORTER_ शुरू करें:

• PG_EXPORTER_WEB_LISTEN_ADDRESS - पता और पोर्ट सेट करता है जिसके माध्यम से निर्यातक को प्रोमेथियस से अनुरोध प्राप्त होगा। डिफ़ॉल्ट रूप से :9187 ;
• PG_EXPORTER_WEB_TELEMETRY_PATH - वह पथ जिसके साथ मैट्रिक्स दिए गए हैं। डिफ़ॉल्ट रूप से /metrics ;
• PG_EXPORTER_DISABLE_DEFAULT_METRICS - डिफ़ॉल्ट रूप से मैट्रिक्स का संग्रह अक्षम करता है। तथ्य यह है कि ये मीट्रिक नीचे होंगे। केवल सच्चे या झूठे मूल्यों को स्वीकार करता है। डिफ़ॉल्ट रूप से झूठी (मैट्रिक्स संग्रह की अनुमति है);
• PG_EXPORTER_DISABLE_SETTINGS_METRICS - pg_settings दृश्य से मीट्रिक का संग्रह अक्षम करता है। तथ्य यह है कि ये मीट्रिक नीचे होंगे। केवल सच्चे या झूठे मूल्यों को स्वीकार करता है। डिफ़ॉल्ट रूप से झूठी (मैट्रिक्स संग्रह की अनुमति है);
• PG_EXPORTER_AUTO_DISCOVER_DATABASES - अपने मैट्रिक्स एकत्र करने के लिए क्लस्टर उदाहरण के सभी डेटाबेस का पता लगाता है। केवल सच्चे या झूठे मूल्यों को स्वीकार करता है। डिफ़ॉल्ट रूप से, झूठा (मैट्रिक्स केवल उस डेटाबेस में एकत्र किया जाता है जिसे कनेक्शन मापदंडों में निर्दिष्ट किया गया था);
• PG_EXPORTER_EXCLUDE_DATABASES - डेटाबेस को उस डेटाबेस की सूची से बाहर करता है जिसके लिए मैट्रिक्स एकत्र किए जाते हैं यदि PG_EXPORTER_AUTO_DISCOVER_DATABASES=true । डेटाबेस नामों की अल्पविराम से अलग की गई सूची का प्रतिनिधित्व करता है। डिफ़ॉल्ट एक खाली स्ट्रिंग है। महत्वपूर्ण :
  
  • टेम्प्लेट्स टेम्पलेट ० और टेम्प्लेट १ - बाहर करने की कोई आवश्यकता नहीं है, इसलिए वे pg_dat डेटाबेस से डेटाबेस की सूची प्राप्त करने के चरण में कट जाते हैं;
  • URI में निर्दिष्ट डेटाबेस को बाहर नहीं कर सकता।
• PG_EXPORTER_EXTEND_QUERY_PATH - उपयोगकर्ता प्रश्नों वाले YAML फ़ाइल का पथ। क्वेरी .yaml फ़ाइल में उदाहरण हैं;
• PG_EXPORTER_CONSTANT_LABELS - लेबल (स्थिर) सभी मैट्रिक्स में जोड़ा गया। यह एक अल्पविराम द्वारा अलग किए गए जोड़े = की सूची के रूप में लिखा गया है।

कमांड लाइन तर्क

• web.listen- पता PG_EXPORTER_WEB_LISTEN_ADDRESS के समान है;
• web.telemetry-path - PG_EXPORTER_WEB_TELEMETRY_PATH के समान;
• अक्षम-डिफ़ॉल्ट-मेट्रिक्स PG_EXPORTER_DISABLE_DEFAULT_METRICS के समान है;
• अक्षम-सेटिंग-मीट्रिक पीजी_एक्सपॉर्टर_डायरेबल_सेटिंग्स_मेटिक्स के समान है;
• ऑटो-खोज-डेटाबेस वही है जो PG_EXPORTER_AUTO_DISCOVER_DATABASES;
• बहिष्कृत-डेटाबेस PG_EXPORTER_EXCLUDE_DATABASES के समान है;
• extension.query-path - PG_EXPORTER_EXTEND_QUERY_PATH के समान;
• ContinLabels - PG_EXPORTER_CONSTANT_LABELS के समान;
• डंपमैप - मेट्रिक्स मानचित्र की आंतरिक सामग्री को प्रदर्शित करता है। उपयोगकर्ता अनुरोधों को डीबग करने के लिए उपयोग किया जाता है। आवेदन शुरू नहीं करता है;
• log.level - संभव लॉगिंग स्तरों में से एक सेट करता है: debug , info , warn , error , fatal ;
• log.format - लॉग आउटपुट की विधि और प्रारूप सेट करता है। उदाहरण के लिए: logger:syslog?appname=bob&local=7 या logger:stdout?json=true । डिफ़ॉल्ट रूप से, logger:stderr ।

डिफ़ॉल्ट मेट्रिक्स

- मीट्रिक निगरानी मीट्रिक का एक निश्चित सेट है, जिसका संग्रह सीधे कोड में रखा गया है। - संग्रह - कमांड लाइन के मापदंडों को निर्दिष्ट करके अक्षम किया जा सकता है - तयशुदा-डिफ़ॉल्ट-मेट्रिक्स और / या -डिजेबल-सेटिंग्स-मेट्रिक्स या उपयुक्त पर्यावरण चर को परिभाषित करके।
मैं ध्यान देता हूं कि वर्तमान संस्करण में मैट्रिक्स का उपयोग करने की समस्या हल हो गई थी जब ऑटोडिस्कवरी को सक्षम किया गया था, जिसके कारण मैट्रिक्स का दोहराव था, जिसके कारण त्रुटियां हुईं।

डिफ़ॉल्ट रूप से, निम्नलिखित विचारों के मीट्रिक निगरानी के लिए भेजे जाते हैं:

• pg_stat_bgwriter;
• pg_stat_database;
• pg_stat_database_conflicts;
• pg_locks;
• pg_stat_replication;
• pg_stat_activity;
• pg_settings।

जिस पर आपको ध्यान देना चाहिए वह pg_stat_replication और pg_stat_activity है, क्योंकि लौटे हुए खेतों का सेट PostgreSQL के संस्करण पर निर्भर करता है। इसके लिए, निर्यातक में DBMS संस्करण की जाँच की जाती है और इसी अनुरोध का चयन किया जाता है। आप उपयोगकर्ता क्वेरी में कोई संस्करण निर्दिष्ट नहीं कर सकते। यह माना जाता है कि प्रशासक को पहले से पता है कि किस संस्करण की निगरानी की जाएगी। यदि आप विभिन्न संस्करणों के उदाहरणों से एक निर्यातक द्वारा मैट्रिक्स एकत्र करने का प्रयास करते हैं तो समस्याएं भी उत्पन्न हो सकती हैं।
उदाहरण सेटिंग मेट्रिक्स (pg_settings) के साथ, सब कुछ कुछ सरल है, वे अनुरोध द्वारा निर्मित होते हैं:

 SELECT name, setting, COALESCE(unit, ''), short_desc, vartype FROM pg_settings WHERE vartype IN ('bool', 'integer', 'real'); 

इस प्रकार, डिफ़ॉल्ट रूप से, मीट्रिक का एक सेट केवल संख्यात्मक मानों से बनता है।

इसके अलावा, हम निर्यातक के निष्कर्ष पर विचार करेंगे, जिसमें हम यह भी समझेंगे कि हार्ड-कोडेड मेट्रिक्स के अस्तित्व में उनका अधिकार क्यों है। उदाहरण के लिए, दो मैट्रिक्स लें: शेयर्ड_बफर्स ​​और वाल_सेंडर_टाइमआउट। निर्यातक के आउटपुट में, प्रत्येक मीट्रिक के लिए हमें तीन पंक्तियाँ मिलती हैं।
पहली पंक्ति - संकेत का प्रतिनिधित्व करती है और postgres_exporter में मीट्रिक का नाम होता है, एक विवरण (pg_settings के कॉलम short_desc) और यदि प्रकार को आधार प्रकार में परिवर्तित किया गया था, तो यह इंगित किया गया है कि कौन सा (वर्ग कोष्ठक में मान) है।
दूसरी पंक्ति प्रोमेथियस के संदर्भ में मूल्य के प्रकार को इंगित करती है। और तीसरी पंक्ति, लेबल के एक सेट और एक निर्धारित मूल्य के साथ एक मीट्रिक।

शेयर्ड_बफर्स ​​के लिए मान लौटाएँ।

 # HELP pg_settings_shared_buffers_bytes Sets the number of shared memory buffers used by the server. [Units converted to bytes.] # TYPE pg_settings_shared_buffers_bytes gauge pg_settings_shared_buffers_bytes{server="127.0.0.1:5432"} 1.34217728e+08 

pg_settings_shared_buffers_bytes - मीट्रिक का नाम। यह, अच्छे रूप के नियमों के अनुसार, तालिका के नाम, मीट्रिक के नाम और माप की इकाई से बना है। इसके बाद pg_settings तालिका से एक संक्षिप्त विवरण आता है। और अंत में, एक संकेत है कि मीट्रिक मूल्य को बाइट्स की इकाई में बदल दिया गया है (यूनिट बाइट्स में परिवर्तित हो गया है)। यह उत्तरार्द्ध पर ध्यान देने योग्य क्यों है, क्योंकि सीधे डेटाबेस में मूल्य थोड़ा अलग दिखता है, अर्थात्:

  name | setting | unit | short_desc ----------------+---------+------+-------------------------------------------------------------- shared_buffers | 16384 | 8kB | Sets the number of shared memory buffers used by the server. 

हमारे पास मीट्रिक का प्रकार GAUGE है, जिसका अर्थ है कि यह समय के साथ मनमाना मान ले सकता है। हमारे मामले में, ठीक-ट्यूनिंग होने पर बफ़र्स की संख्या, दोनों दिशाओं में बदल सकती है।
आप प्रोमेथियस प्रलेखन में मैट्रिक्स के प्रकार और उनके अंतर के बारे में अधिक जान सकते हैं।

निम्नलिखित मीट्रिक wal_sender_timeout है। सूचना क्षेत्रों को उसी सिद्धांत के अनुसार एकत्र किया जाता है जैसा कि ऊपर वर्णित है। केवल इस मामले में मीट्रिक मूल्य सेकंड में बदल जाता है, और डेटाबेस मिलीसेकंड में संग्रहीत होता है। इस सुविधा के साथ, आपको सावधानी बरतने और चार्ट तैयार करते समय विचार करने की आवश्यकता है।

 # HELP pg_settings_wal_sender_timeout_seconds Sets the maximum time to wait for WAL replication. [Units converted to seconds.] # TYPE pg_settings_wal_sender_timeout_seconds gauge pg_settings_wal_sender_timeout_seconds{server="127.0.0.1:5432"} 60 

डेटाबेस में संग्रहीत मूल्य:

 demo=# SELECT name, setting, COALESCE(unit, ''), short_desc, vartype FROM pg_settings WHERE name='wal_sender_timeout'; name | setting | coalesce | short_desc | vartype --------------------+---------+----------+----------------------------------------------------+--------- wal_sender_timeout | 60000 | ms | Sets the maximum time to wait for WAL replication. | integer 

यूनिट वाले सभी मान दो प्रकार तक कम हो जाते हैं: वॉल्यूम मेट्रिक्स बाइट्स; सेकंड के लिए समय मैट्रिक्स।

कस्टम मेट्रिक्स सेट

डिफ़ॉल्ट मीट्रिक के स्थान पर या इसके अलावा, आप अपने स्वयं के उपयोग कर सकते हैं। ऐसा करने के लिए, बस फ़ाइल पथ सेट करें, उपयोगकर्ता प्रश्नों के साथ, तर्क के साथ --extend.query-path = query.yaml या पर्यावरण चर PG_EXPORTER_EXTEND_QUERY_PATH के माध्यम से।
प्रोजेक्ट रिपॉजिटरी में उदाहरण के साथ एक YAML फ़ाइल है: क्वेरीज़ ।yaml

मैं ध्यान देता हूं कि पिछले संस्करण की तुलना में, 0.8.0 नए मास्टर और कैश_ सेकंड में जोड़े गए थे। नीचे दिए गए उदाहरण में, हम रिकॉर्डिंग प्रारूप और क्षेत्र असाइनमेंट का विश्लेषण करते हैं।

प्रश्नों की नमूना सामग्री ।yaml फ़ाइल

 pg_database: query: "SELECT pg_database.datname, pg_database_size(pg_database.datname) as size_bytes FROM pg_database" master: true cache_seconds: 30 metrics: - datname: usage: "LABEL" description: "Name of the database" - size_bytes: usage: "GAUGE" description: "Disk space used by the database" 

उपरोक्त उदाहरण से कुंजी और मान:

• pg_database - अनुरोध (आवश्यक) द्वारा लौटाए गए मीट्रिक के लिए एक मनमाना उपसर्ग;
• query - इसमें SQL क्वेरी (आवश्यक) है;
• master - URI (मास्टर डेटाबेस) से कनेक्ट करते समय निर्दिष्ट डेटाबेस में केवल अनुरोध को निष्पादित करें। निर्यातक को ध्वज के साथ शुरू करने के लिए आवश्यक है - ऑटो-खोज-डेटाबेस। सही या गलत को स्वीकार करता है। डिफ़ॉल्ट रूप से गलत। (आवश्यक नहीं);
• cache_seconds - वह समय जिसके दौरान कैश डेटा वापस किया जाएगा। यह सेकंड में सेट है;
• metrics - टैग और मैट्रिक्स की एक सूची होती है;
• datname , size_bytes - सूची आइटम। सूची आइटम का नाम क्वेरी में कॉलम के नाम से मेल खाना चाहिए;
• usage - मूल्य का प्रकार। COUNTER, GAUGE, LABLE (प्रोमेथियस प्रलेखन में अधिक)
• description - कस्टम मीट्रिक विवरण

उदाहरण रिटर्न मैट्रिक्स:

 # HELP pg_database_size_bytes Disk space used by the database # TYPE pg_database_size_bytes gauge pg_database_size_bytes{datname="dbtest1",server="localhost:5432"} 1.0105503e+07 pg_database_size_bytes{datname="demo",server="localhost:5432"} 2.813719199e+09 pg_database_size_bytes{datname="postgres",server="localhost:5432"} 4.735491e+06 pg_database_size_bytes{datname="template0",server="localhost:5432"} 7.758339e+06 pg_database_size_bytes{datname="template1",server="localhost:5432"} 7.758339e+06 

सारांश

खैर, हम संक्षेप में बताते हैं कि हमारे पास पोस्टग्रेज_एक्सपोर्टर्स का नवीनतम संस्करण 0.8.0 है। मूल रूप से, सभी सुधार एक उदाहरण में कई उदाहरणों और / या कई डेटाबेसों की निगरानी से संबंधित हैं।

• बहिष्करण-डेटाबेस तर्क (0.6.0 में प्रकट हुआ) आपको डेटाबेस की सूची से डेटाबेस को बाहर करने की अनुमति देता है जिसके लिए मैट्रिक्स एकत्र किए जाएंगे। लेकिन आप उस डेटाबेस को बाहर नहीं कर सकते जो यूआरआई कनेक्शन में निर्दिष्ट है, क्योंकि यह मास्टर बेस है;
• अब आप ऑटो-खोज-डेटाबेस तर्क के साथ कस्टम प्रश्नों का उपयोग वैश्विक दृश्यों (pg_stat_activity, pg_stat_database, आदि) के लिए कर सकते हैं। ऐसा करने के लिए, एक अतिरिक्त मास्टर फ़ील्ड जोड़ा गया था, यह दर्शाता है कि अनुरोध केवल मास्टर डेटाबेस में निष्पादित किया जाना चाहिए;
• अब आप तर्क ऑटो-खोज-डेटाबेस के साथ डिफ़ॉल्ट मैट्रिक्स का उपयोग कर सकते हैं;
• उपयोगकर्ता अनुरोधों के लिए, cache_seconds फ़ील्ड को जोड़ा गया है, जो आपको समय (सेकंड में) सेट करने की अनुमति देता है जिसके द्वारा संबंधित अनुरोध के लिए सर्वर की प्रतिक्रिया बंद हो जाएगी।

सूत्रों का कहना है

• प्रोमेथियस [ 1 ] एक खुला स्रोत अनुप्रयोग है जिसका उपयोग घटनाओं की निगरानी और सतर्क करने के लिए किया जाता है। यह लचीले प्रश्नों और वास्तविक समय अलर्ट के साथ HTTP अनुरोध मॉडल का उपयोग करके निर्मित एक समय श्रृंखला डेटाबेस के लिए वास्तविक समय के मैट्रिक्स लिखता है।
• Postgres_exporter Prometheus के लिए PostgreSQL मैट्रिक्स का निर्यातक है।
  संस्करण, लेखन के समय, वी 0.5.1। PostgreSQL 9.4+ के समर्थित संस्करण (लेकिन जैसा कि अभ्यास ने दिखाया है, यह 9.3 पर काम करता है)।