PG12: पोस्टग्रेज प्रोफेशनल का एक डोजेन पैच

आधिकारिक PostgreSQL 12 रिलीज की Acknowledgements सूची पर परिचित नामों को देखना अच्छा है। हमने इनोवेशन और कुछ बग फिक्स को एक साथ लाने का फैसला किया जो हमारे डेवलपर्स ने काम किया था।

1. JSONPath समर्थन

( रिलीज नोट्स में, यह SQL / JSON पथ भाषा (निकिता ग्लूखोव, टियोडोर सिगाव, अलेक्जेंडर कोरोटकोव, ओलेग बार्टुनोव, लियुडमिला मंट्रोवा के लिए समर्थन जोड़ें) की तरह लगता है

यह पैच ही, JSONPath सुविधाओं और मुद्दे के इतिहास पर यहां एक अलग लेख में विस्तार से चर्चा की गई थी JSONPath, Postgres Professional की एक प्रमुख उपलब्धि है और सामान्य रूप से PostgreSQL 12 के मुख्य नवाचारों में से एक है।

2014 में, ए। कोरोटकोव, ओ। बार्टुनोव और एफ। सिगेव ने jsquery एक्सटेंशन विकसित किया, जिसे पोस्टग्रेज प्रो स्टैंडर्ड 9.5 (और स्टैंडर्ड और एंटरप्राइज के बाद के संस्करणों में) के परिणामस्वरूप शामिल किया गया था। यह json (b) के साथ काम करने के लिए अतिरिक्त, बहुत व्यापक सुविधाएँ प्रदान करता है।

जब मानक SQL: 2016 दिखाई दिया, तो यह पता चला कि इसके शब्दार्थ हमारे jsquery एक्सटेंशन में इतने भिन्न नहीं हैं। यह संभव है कि मानक के लेखकों ने भी jsquery पर नज़र डाली, JSONPath का आविष्कार किया। हमारी टीम को थोड़ा अलग तरीके से लागू करना था जो हमारे पास पहले से था और निश्चित रूप से, बहुत सी नई चीजें भी।

हालांकि फ़ंक्शंस के साथ एक विशेष पैच अभी तक प्रतिबद्ध नहीं है, JSONPath पैच में पहले से ही JSON (B) के साथ काम करने के लिए प्रमुख कार्य हैं, उदाहरण के लिए:

jsonb_path_query('{"a": [1,2,3,4,5]}', '$.a[*] ? (@ > 2)')  3, 4, 5 jsonb_path_query('{"a": [1,2,3,4,5]}', '$.a[*] ? (@ > 5)')  0  

इसके अलावा, कुछ कार्य जो पहले JSON के साथ काम कर चुके थे, उन्हें अनुकूलित किया गया था । यह निकिता ग्लूखोव द्वारा सफलतापूर्वक किया गया था।

उदाहरण के लिए, jsonb_each_text() और jsonb_array_elements_text() फ़ंक्शन के अनुरूप ऑपरेटर #>> , जल्दी से JsonbValue को पाठ में परिवर्तित करने के लिए उपयोग किया जाता है, लेकिन धीरे-धीरे अन्य प्रकारों के साथ काम किया। अब सब कुछ तेजी से काम कर रहा है।

2. एसपी-जीएसटी (केएनएन) सूचकांक में निकटतम पड़ोसियों की त्वरित खोज के लिए समर्थन

(SP-GiST इंडेक्स की निकटतम-पड़ोसी (KNN) खोजों के लिए समर्थन जोड़ें। निकिता ग्लुखोव, अलेक्जेंडर कोरोटकोव, व्लाद स्टरझानोव)

हमारी कंपनी से निकिता ग्लुखोव और अलेक्जेंडर कोरोटकोव ने मिन्स्क (उर्फ क्वाड्यूब्यूब) से व्लाद स्टरझानोव द्वारा शुरू किए गए काम को जारी रखा। Postgres अपने निकटतम पड़ोसियों के लिए खोज करने वाला पहला DBMS था - पूर्व में ओरेकल और एमएस, और बहुत अधिक प्रत्यक्ष और सुविधाजनक तरीके से - और यह ओलेग बार्टुनोव और उनकी टीम की योग्यता थी। इस खोज का विचार मूल ट्री ट्रैवर्सल एल्गोरिथ्म में है, जो ज्यादातर मामलों में बहुत बड़ा लाभ देता है। निकटतम पड़ोसियों की खोज का उपयोग बहुत कुछ किया जाता है, लेकिन जीआईएस में यह विशेष रूप से आम है।

व्लाद ने क्वांट-ट्री के लिए स्थानिक अनुक्रमित एसपी-जीएसटी के साथ काम करने के लिए केएनएन खोज पैच बनाया, जब विमान को एक निश्चित आकार के वर्गों में विभाजित किया जाता है, और केडी-पेड़ों के लिए, यानी के-आयामी पेड़।

अलेक्जेंडर कोरोटकोव, व्लाद के जीएसओसी संरक्षक (कोड के Google समर), पोस्टग्रेज प्रोफेशनल निकिता ग्लुखोव के एक सहयोगी के साथ विकास जारी रखा। कार्यक्षमता को गंभीरता से समृद्ध किया गया था: पेड़ से टकराने पर आंतरिक डेटा कैशिंग में सुधार हुआ था, दूरी द्वारा आदेश देने के साथ हलकों और बहुभुज के लिए ऑपरेटर वर्ग जोड़े गए थे।

निकटतम पड़ोसी खोज एल्गोरिथ्म का उपयोग करने के लिए, बस ORDER BY [, ] लिखें, और फिर ऑप्टिमाइज़र स्वचालित रूप से इस एल्गोरिथ्म को कनेक्ट करेगा। उदाहरण के लिए

 SELECT * FROM polygons ORDER BY poly <-> point '(0,0)'; 

निकिता ग्लुखोव द्वारा पैच को गीथूब पर देखा जा सकता है।

3. बी-ट्री सूचकांकों में सम्मिलन में तेजी लाने के लिए तालों का अनुकूलन

( रिलीज नोट्स में, लॉकिंग ओवरहेड को कम करके btree सूचकांक सम्मिलन की गति में सुधार है। अलेक्जेंडर कोरोटकोव)

अलेक्जेंडर कोरोटकोव, पोस्टग्रेज प्रोफेशनल के प्रमुख सिस्टम आर्किटेक्ट, बी-ट्री इंडेक्स में डालने पर अधिक उचित लॉकिंग एल्गोरिदम के साथ आने में कामयाब रहे। इस पैच को लागू करने के बाद लाभ उन मामलों में ध्यान देने योग्य है जहां सम्मिलन "एक पंक्ति में" कम या ज्यादा होता है। 72-कोर सर्वर पर माप से पता चला है कि इस मामले में लाभ 50% तक पहुंच जाता है। एक अराजक सम्मिलन के साथ, लाभ इतना ध्यान देने योग्य नहीं है।

4. किफायती वाल

(जीएएसटी, जीआईएन और एसपी-जीईएसटी सूचकांक निर्माण के वाल राइट को ओवरहेड करें। अनास्तासिया लुबेनिकोवा, एंड्री वी। लेपिकोव)

पैच की यह श्रृंखला GiST, GIN और SP-GiST इंडेक्स बनाते समय उत्पन्न होने वाले वाल ट्रैफ़िक को कम करती है । अब आप केवल एक बार ही ऐसे इंडेक्स के पेज लॉग कर सकते हैं - अंत में, जब इंडेक्स पहले से बना हो। और जब वाल में प्रविष्टियों के सूचकांक का निर्माण करते समय एक त्रुटि की स्थिति में, असफल प्रयास बिल्कुल नहीं दिखाई देंगे। पहले, यह केवल बी-ट्री और आरयूएम बनाते समय ही संभव था। पैच जेनेरिक वाल तंत्र का उपयोग करते हैं।

xlog आकार की जांच करने के लिए लिपियों को xlog गया है। IMDB डेटाबेस (JSON फॉर्मेट) पर परीक्षण, जिसमें 4M + रिकॉर्ड्स में 4GB का कब्जा है, दिखाया गया है:

 CREATE INDEX ON imdb USING gin(jb jsonb_path_ops); 

पुराने तरीके ने 205 सेकंड, वाल 3.2 जीबी, और नए एल्गोरिथ्म ने 133 सेकंड और वाल 0.4 जीबी को निष्पादित किया।

5. कई स्तंभों के मामले में सूचकांक-केवल स्कैनिंग का अनुकूलन।

(इंडेक्स-ओनली स्कैन को कई कॉलम वाले इंडेक्स पर अधिक कुशल बनाने की अनुमति दें। कॉन्स्टेंटिन नाइज़ानिक)

जब हमारी कंपनी के ग्राहकों में से एक के डेटाबेस के संचालन का विश्लेषण करते हैं, तो यह पाया गया कि कुछ मामलों में अनुक्रमणिका स्कैन (enable_indexonlyscan = off) की तुलना में केवल स्कैन के साथ सूचकांक द्वारा 25% लंबे समय तक निष्पादित किया जाता है।
यह तब हुआ जब कई क्षेत्रों पर SELECT का प्रदर्शन किया गया, जो ज्यादातर bytea प्रकार के थे, और उनके bytea को कैश नहीं किया गया था, क्योंकि ऐसे फ़ील्ड में एक निश्चित ऑफसेट नहीं होता है (निकोलाई शापलोव की रिपोर्ट भी देखें "व्हाट्स इनसाइड इट" )। K-th विशेषता को अनपैक करने के लिए, आपको पिछले k-1 को अनपैक करना होगा। एक विशेषता द्वारा रिकॉर्ड को अनपैक करने के लिए ओ (एन * एन) समय की आवश्यकता होती है, जहां एन फ़ील्ड की संख्या है। ये 25% पहले से ही 10 क्षेत्रों में हुआ था।

कोन्स्टेंटिन निझानिक ने कूल्हे के साथ काम करते समय उपयोग किए जाने वाले एल्गोरिदम का उपयोग किया: के-वें विशेषता तक पहुंचने पर, पिछले के -1 को लिया जाता है और याद किया जाता है, समय खेतों की संख्या के साथ रैखिक रूप से बढ़ता है। पैच लगाने के बाद, इंडेक्स स्कैन और इंडेक्स केवल स्कैन के साथ रनटाइम व्यावहारिक रूप से समान है।

6. नियंत्रण डंपिंग डिस्क के लिए सेगमेंट डिस्क

(वाल सेगमेंट के fsync के लिए प्रतीक्षा घटना जोड़ें। कॉन्स्टेंटिन नाइज़ानिक)

PostgreSQL कर्नेल वाल पर लिखने की निगरानी करता है, लेकिन मेमोरी से डिस्क, यानी fsync तक वाल सेगमेंट के फ्लशिंग की निगरानी नहीं करता है। के। नाइज़ानिक ने एक पैच बनाया जो एक नए प्रकार का ईवेंट बनाता है, इसे अब WALSync कहा जाता है (वैरिएबल का आंतरिक नाम WAIT_EVENT_WAL_SYNC है)। आप इसे पीजी ईवेंट लेबल में "भरोसेमंद स्टोरेज के लिए वील फ़ाइल की प्रतीक्षा कर रहे हैं" स्पष्टीकरण के साथ देख सकते हैं। इस मुद्दे पर हैकर्स मेलिंग सूची पर चर्चा की गई थी।

रीसेट कितना समय लेता है यह आमतौर पर अज्ञात है: मानक PostgreSQL को पता नहीं है कि इस तरह के आंकड़ों को कैसे एकत्र किया जाए। लेकिन Postgres Professional में एक pg_wait_sampling एक्सटेंशन लिखा है। यह इस बारे में बात कर सकता है कि पोस्टग्रेट्स किन घटनाओं पर समय बिताते हैं। अब जब ईवेंट जोड़ दिया गया है, तो आप fsync का अनुसरण कर सकते हैं।

7. स्टेम शब्दकोशों में नई भाषाओं के लिए समर्थन

(अपडेट स्नोबॉल स्टेमर नई भाषाओं के समर्थन के साथ शब्दकोश। आर्थर जकीरोव)

चूंकि नेपाल में पोस्टग्रेज सम्मेलन आयोजित किए जा रहे हैं, इसलिए डेटाबेस में नेपाली को जोड़ना कहीं अधिक स्वाभाविक है! यह किया गया था। आर्थर जकीरोव के प्रयासों के लिए धन्यवाद, अब आप स्नोबॉल पर नेपाली शब्द का उपयोग कर सकते हैं।

8. कार्य to_timestamp () / to_date () डेटा के अधिक सहिष्णु हो गए हैं

(To_timestamp () / to_date () टेम्पलेट मिसमैच के अधिक क्षमाशील होने के लिए कार्य करता है, अर्तुर जकीरोव, अलेक्जेंडर कोरोटकोव, लियुडमिला मंट्रोवा)

यदि स्वरूप स्ट्रिंग अतिरिक्त रिक्त स्थान के साथ संसाधित किया गया था तो to_timestamp() फ़ंक्शन काम नहीं करता था। to_timestamp() में बग की चर्चा के परिणामस्वरूप एक लंबी चर्चा हुई कि किस कार्य के लिए to_timestamp() और, एक ही समय में, to_date() सही माना to_date() । सभी के लाभ के लिए, दोनों फ़ंक्शन स्वरूप रेखा और इनपुट लाइन में अतिरिक्त रिक्त स्थान के लिए अधिक सहिष्णु बन गए हैं।

9. लॉग को pg_ctl के माध्यम से घुमाया जा सकता है

(Pg_ctl के माध्यम से लॉग फ़ाइल रोटेशन के नियंत्रण की अनुमति दें। Kyotaro Horiguchi, अलेक्जेंडर कुज़मेनकोव, अलेक्जेंडर कोरोटकोव)

दूसरे शब्दों में, pg_ctl उपयोगिता ने एक नया विकल्प हासिल कर लिया है:

 pg_ctl logrotate [-D _] [-s] 

जब इस कमांड को निष्पादित किया जाता है, तो सर्वर या तो एक नई लॉग फ़ाइल पर स्विच करता है या लॉगिंग कॉन्फ़िगरेशन के आधार पर मौजूदा एक को फिर से खोल देता है । यह आपातकालीन स्थितियों में आवश्यक हो सकता है, खासकर जब विशाल, तेजी से बढ़ती लॉग फ़ाइलों की आवश्यकता होती है, कहते हैं, निदान के लिए स्थानांतरित किया जाना चाहिए।

10. नए प्रकार की तालिकाओं को बनाने की क्षमता (प्लग करने योग्य भंडारण)

(नई तालिका प्रकार बनाने के लिए CREATE ACCESS METHOD कमांड जोड़ें। Andres Freund, Haribabu Kommi, errlvaro Herrera, Alexander Korotkov, Dmitry Dolgov)

यह महत्वपूर्ण पैच प्लगगेबल स्टोरेज एपीआई इन्फ्रास्ट्रक्चर का एक अनिवार्य हिस्सा है, इसलिए पैच डेवलपर्स की अंतर्राष्ट्रीय रचना है। क्रेट एक्टेस मेथोड कमांड संस्करण 9.6 के बाद से पोस्टग्रेज पर चल रहा है। लेकिन 12 वीं तक, आप केवल इंडेक्स एक्सेस के तरीके बना सकते थे। यहाँ 11 वें संस्करण के लिए प्रलेखन है :

 CREATE ACCESS METHOD  TYPE __ HANDLER _ < ... > __       .      INDEX. 

और 12 वीं के लिए प्रलेखन में पहले से ही पढ़ा गया है : वर्तमान में केवल TABLE और INDEX समर्थित हैं। संयोग से, 11 वीं क्रिएट एसीसी मेथोड कमांड में पोस्टग्रैस प्रो एक्सटेंशन द्वारा प्रदान किया गया था, और 12 वीं में पहले से ही पोस्टग्रेक्यूएल।

ऑपरेशन का निष्पादन एक्सेस विधि के प्रकार पर निर्भर करता है; यदि यह एक TABLE प्रकार है, तो table_am_handler इसे table_am_handler , और यदि यह एक INDEX प्रकार है, तो index_am_handler (पहले: प्रकार INDEX के एक्सेस के तरीकों के लिए इसे index_am_handler होना चाहिए)। तालिका विधियों पर प्रलेखन में एक पूरा अध्याय दिखाई दिया है ।

तालिका बनाते समय, अब आप इसका प्रकार निर्दिष्ट कर सकते हैं:

 CREATE [ [ GLOBAL | LOCAL ] { TEMPORARY | TEMP } | UNLOGGED ] TABLE [ IF NOT EXISTS ] _ ( [ < ... > [ USING  ] 

विधि टाइप टेबल की है - यह प्लग करने योग्य भंडारण के लिए एक संदर्भ है। अब यह डिफ़ॉल्ट रूप से heap है, और दूसरे से पहले, वास्तव में, यह नहीं था। ऑपरेटर कक्षाओं के बारे में यहाँ

default_table_access_method (string)

यह पैरामीटर डिफ़ॉल्ट तालिका पहुंच विधि सेट करता है जिसका उपयोग तालिकाओं या भौतिक विचारों को बनाते समय किया जाएगा यदि पहुंच विधि स्पष्ट रूप से CREATE कमांड में निर्दिष्ट नहीं है, या जब SELECT ... INTO कमांड निष्पादित करते हैं, जिसमें पहुंच विधि स्पष्ट रूप से सेट नहीं की जा सकती है। डिफ़ॉल्ट मान heap । हैकर्स की बड़ी चर्चा से विवरण निकालने में मदद मिलती है।

इस क्षण तक, हमने नवाचारों के बारे में बात की। लेकिन बग फिक्स प्रोग्रामर्स के समय के संसाधनों को दूर कर देता है। मुख्य हैं:

11. बग: संरचनाओं में से एक में एक त्रुटि

_DumpOptions में अतिरिक्त quot_all_identifiers। आर्थर ज़ाकिरोव)

सामान्य तौर पर, कुछ विशेष नहीं, एक संरचना में एक त्रुटि पाई गई जो pg_dump का उपयोग करती है - यह संकलक द्वारा चूक गई थी। लेकिन ब्रूस मोम्ज्यान ने खुद को ढूंढने के लिए प्रशंसा की ।

DumpOptions साथ अन्य मुद्दों को यहां पाया जा सकता है ।

12. प्रतिकृति में बग:

(xlogreader: एक फ़ाइल ब्लॉक को दो बार न पढ़ें। आर्थर जकीरोव)

हमारी कंपनी के एक अन्य कर्मचारी, pg_probackup डेवलपर ग्रिगरी स्मोलकिन ने पाया कि जब xlogreader zlib अभिलेखागार पढ़ता है, तो हमारी उपयोगिताओं में से एक को धीमा कर दिया जाता है। यह पता चला कि कभी-कभी वह वाल फाइल ब्लॉक को दो बार पढ़ता है।

यदि अभिलेखों को असंगत रूप से पढ़ा जाता है, तो प्रदर्शन खराब है। ब्लॉक का बार-बार पढ़ना हमेशा असंगत है, क्योंकि आपको gzseek() फ़ंक्शन को कॉल करके पास की स्थिति में वापस लौटना होगा। अब अनावश्यक री-रीडिंग नहीं होती है।

पुनश्च मैं भंग नहीं होगा: एक दर्जन पैच (कड़ाई से एक दर्जन श्रृंखलाओं को बोलते हुए) पोस्टग्रेज के संस्करण संख्या के साथ सिर्फ एक आकस्मिक संयोग नहीं हैं। सूची अच्छी तरह से एक दर्जन या एक दर्जन से अधिक हो सकती है। मैंने सोचा था कि यह अधिक सुंदर होगा, और सुंदरता आंशिक रूप से प्रोग्रामिंग का इंजन है, न कि मानव गतिविधि के अन्य क्षेत्रों का उल्लेख करने के लिए।