"के बारे में, हाँ एक क्लस्टर नहीं" या जैसा कि हमने DBMS आयात किया है

(c) यांडेक्स.चित्र

सभी वर्ण काल्पनिक हैं, ट्रेडमार्क उनके मालिकों के हैं, कोई भी संयोग यादृच्छिक और सामान्य रूप से है, यह मेरा "व्यक्तिपरक मूल्य निर्णय है, कृपया दरवाजा न तोड़ें ..."।

डेटाबेस में तर्क के साथ सूचना प्रणाली का एक DBMS से दूसरे में अनुवाद करने में हमारे पास काफी अनुभव है। 11/16/2016 को सरकारी डिक्री संख्या 1236 के संदर्भ में, यह अक्सर Oracle से Postgresql में स्थानांतरण होता है। प्रक्रिया को यथासंभव कुशलतापूर्वक और दर्द रहित तरीके से कैसे व्यवस्थित करें - हम आपको अलग से बता सकते हैं, आज हम एक क्लस्टर का उपयोग करने की सुविधाओं के बारे में बात करेंगे और प्रक्रियाओं और कार्यों में जटिल तर्क के साथ अत्यधिक भरी हुई वितरित प्रणालियों का निर्माण करते समय आपको किन समस्याओं का सामना करना पड़ सकता है।

स्पॉयलर - हां कैप, आरएसी और पीजी मल्टीमास्टर बहुत अलग समाधान हैं।

मान लीजिए कि आपने पहले ही सभी तर्क को pl \ sql से pg \ sql में स्थानांतरित कर दिया है। और आपके प्रतिगमन परीक्षण काफी ठीक हैं, अब आप निश्चित रूप से स्केलिंग के बारे में सोच रहे हैं, क्योंकि लोड परीक्षण आपको बहुत भाता नहीं है, विशेषकर उस हार्डवेयर पर जो शुरू में प्रोजेक्ट में निर्धारित किया गया था, उसी भिन्न DBMS के तहत। मान लीजिए कि आपने "मल्टीमास्टर" नामक एक विकल्प के साथ घरेलू विक्रेता "पोस्टग्रेज प्रोफेशनल" से एक समाधान पाया, जो केवल "पोस्टग्रैस प्रो एंटरप्राइज" के "अधिकतम" संस्करण में उपलब्ध है और विवरण के अनुसार - यह बहुत ही समान है, जिसकी आवश्यकता है और पहले सतह के अध्ययन पर यह आएगा। मेरे सिर में सोचा: "ओह! आरएसी के बजाय, फिर! हाँ, और मातृभूमि में तकनीकी पाइपलाइन के साथ! "

लेकिन आनन्दित होने के लिए जल्दी मत करो, और आगे हम वर्णन करेंगे कि आपको इन बारीकियों को जानने की आवश्यकता क्यों है, क्योंकि वे अच्छी तरह से उत्पाद प्रलेखन पढ़ने के बाद भी परिकल्पना करना मुश्किल है। मूल्यांकन करें कि क्या आप औद्योगिक साइट पर सीधे DBMS संस्करण को अपडेट करने के लिए तैयार होंगे, जैसे कुछ दोष औद्योगिक संचालन के अनुकूल नहीं हैं और परीक्षण में पता लगाना मुश्किल है।
निर्माता की वेबसाइट पर "मल्टीमास्टर" - "प्रतिबंध" अनुभाग को ध्यान से पढ़ना शुरू करें।

पहली चीज जो आप सामना कर सकते हैं, वह लेनदेन के संचालन की विशेषताएं हैं, तथाकथित "दो-चरण" मोड, और कभी-कभी, आपकी प्रक्रिया के पूरे तर्क को फिर से लिखने के अलावा, यह तय नहीं किया जा सकता है। यहाँ एक सरल उदाहरण है:

create table test1 (id integer, id1 integer); insert into test1 values (1, 1),(1, 2); ALTER TABLE test1 ADD CONSTRAINT test1_uk UNIQUE (id,id1) DEFERRABLE INITIALLY DEFERRED; update test1 set id1 = case id1 when 1 then 2 else id1 - sign(2 - 1) end where id1 between 1 and 2; 

एक त्रुटि होती है:

 : [MTM] Transaction MTM-1-2435-10-605783555137701 (10654) is aborted on node 3. Check its log to see error details. 

फिर आप 10.5, 10.6 के संस्करणों में लंबे समय तक डेड लॉक से लड़ सकते हैं और क्लस्टर के पूरे सार को मारने वाले एकमात्र ज्ञात उद्धार को क्लस्टर से "समस्या" तालिकाओं को हटाने के लिए है, अर्थात्। make_table_local करते हैं, लेकिन कम से कम यह आपको काम करने की अनुमति देगा, और प्रतिबद्ध लेनदेन की अपेक्षाओं को लटकाए जाने के कारण सब कुछ "दांव" नहीं लगाएगा। खैर, या संस्करण 11.2 के लिए एक अपडेट डालें, जिसे मदद करनी चाहिए, या शायद नहीं, जांचना न भूलें।

कुछ संस्करणों में, आप एक और भी रहस्यमय ताला प्राप्त कर सकते हैं:

 username= mtm  backend_type = background worker 

और इस स्थिति में, केवल DBMS संस्करण को 11.2 पर अद्यतन करने और उच्चतर आपकी मदद करेगा, या यह मदद नहीं कर सकता है।

अनुक्रमित के साथ कुछ संचालन त्रुटियों को जन्म दे सकते हैं जहां यह स्पष्ट रूप से इंगित किया जाता है कि समस्या द्वि-दिशात्मक प्रतिकृति में है, एमटीएम लॉग में आप सीधे बीडीआर देखेंगे। सच में 2ndQuadrant? अरे नहीं ... हमने एक मल्टीमास्टर खरीदा, यह सिर्फ एक संयोग है, यह तकनीक का नाम है।

 [MTM] bdr doesn't support index rechecks [MTM] 12124: REMOTE begin abort transaction 4083 [MTM] 12124: send ABORT notification for transaction (5467) local xid=4083 to coordinator 3 [MTM] Receive ABORT_PREPARED logical message for transaction MTM-3-25030-83-605694076627780 from node 3 [MTM] Abort prepared transaction MTM-3-25030-83-605694076627780 status InProgress from node 3 originId=3 [MTM] MtmLogAbortLogicalMessage node=3 transaction=MTM-3-25030-83-605694076627780 lsn=9fff448 

यदि आप आश्वासनों के बावजूद, अस्थायी तालिकाओं का उपयोग करते हैं: “मल्टीमास्टर एक्सटेंशन डेटा को पूरी तरह से स्वचालित तरीके से दोहराता है। "आप एक साथ लेनदेन लिख सकते हैं और क्लस्टर में किसी भी नोड पर अस्थायी तालिकाओं के साथ काम कर सकते हैं।"

फिर, वास्तव में, आप पाएंगे कि प्रतिकृति प्रक्रिया में उपयोग किए जाने वाले सभी तालिकाओं के लिए काम नहीं करती है, यदि कोड में एक अस्थायी तालिका का निर्माण होता है, और यहां तक ​​कि मल्टीमास्टर का उपयोग करके भी। मदद नहीं करता है, तो आपको प्रक्रिया में अपने तर्क को अपडेट या फिर से लिखना होगा। यदि आपको Postgres Pro Enterprise v 10.5 के भाग के रूप में एक ही समय में दो एक्सटेंशन मल्टीमास्टर और pg_pathman का उपयोग करने की आवश्यकता है, तो इसे इस सरल उदाहरण के साथ जांचें:

 CREATE TABLE measurement ( city_id int not null, logdate date not null, peaktemp int, unitsales int ) PARTITION BY RANGE (logdate); CREATE TABLE measurement_y2019m06 PARTITION OF measurement FOR VALUES FROM ('2019-06-01') TO ('2019-07-01'); insert into measurement values (1, to_date('27.06.2019', 'dd.mm.yyyy'), 1, 1); insert into measurement values (2, to_date('28.06.2019', 'dd.mm.yyyy'), 1, 1); insert into measurement values (3, to_date('29.06.2019', 'dd.mm.yyyy'), 1, 1); insert into measurement values (4, to_date('30.06.2019', 'dd.mm.yyyy'), 1, 1); 

निम्नलिखित त्रुटि DBMS नोड्स पर लॉग में डालना शुरू करते हैं:

 … PATHMAN_CONFIG doesn't contain relation 23245 > find_in_dynamic_libpath: trying "/opt/…/ent-10/lib/pg_pathman" > find_in_dynamic_libpath: trying "/opt//…/ent-10/lib/pg_pathman.so" > : find_in_dynamic_libpath: trying "/opt/…/ent-10/lib/pg_pathman" > find_in_dynamic_libpath: trying "/opt/…/ent-10/lib/pg_pathman.so" > PrepareTransaction(1) name: unnamed; blockState: PREPARE; state: INPROGR, xid/subid/cid: 6919/1/40 > StartTransaction(1) name: unnamed; blockState: DEFAULT; state: INPROGR, xid/subid/cid: 0/1/0 > switched to timeline 1 valid until 0/0 … Transaction MTM-1-13604-7-612438856339841 (6919) is aborted on node 2. Check its log to see error details. ... [MTM] 28295: REMOTE begin abort transaction 7017 … [MTM] 28295: send ABORT notification for transaction (6919) local xid=7017 to coordinator 1 

आप यह जान सकते हैं कि ये त्रुटियां तकनीकी सहायता में क्या हैं, यह कुछ भी नहीं है जो आपने इसे खरीदा था।

क्या करें? यह सही है! V 11.2 पर प्रो एंटरप्राइज़ को पोस्टग्रेज करने के लिए अपग्रेड करें

यह अलग से जानना आवश्यक है कि, एक प्रतिकृति डेटाबेस की एक वस्तु होने के नाते, यह पूरे क्लस्टर में क्रॉस-कटिंग मान नहीं है, प्रत्येक अनुक्रम प्रत्येक नोड के लिए स्थानीय है और यदि आपके पास अद्वितीय प्रतिबंध और उपयोग अनुक्रम वाले फ़ील्ड हैं, तो आप केवल नोड संख्या में वृद्धि कर सकते हैं। क्लस्टर, क्योंकि क्लस्टर में कितने नोड्स इतनी तेजी से हैं कि अनुक्रम बढ़ेगा, और int आपकी अपेक्षा से अधिक तेजी से समाप्त हो जाएगा। उत्पाद में अनुक्रम के साथ काम करने को सरल बनाने के लिए, आपको यहां तक ​​कि change_fterences फ़ंक्शन मिलेगा, जो सभी नोड्स पर प्रत्येक सेकुनस के लिए आवश्यक वेतन वृद्धि करेगा, लेकिन तैयार रहें कि फ़ंक्शन सभी संस्करणों में काम नहीं करेगा। बेशक, आप इसे स्वयं लिख सकते हैं, जीथब से कोड को आधार के रूप में ले सकते हैं या खुद को सीधे डीबीएमएस में सही कर सकते हैं। एक ही समय में, टाइप सीरियल \ bigserial वाले फ़ील्ड अधिक सही ढंग से काम करेंगे, लेकिन उनका उपयोग करने के लिए, सबसे अधिक संभावना है कि आपको अपनी प्रक्रियाओं और कार्यों के कोड को फिर से लिखना होगा। हो सकता है कि किसी को मोनोटोनिक_ परिणाम फ़ंक्शन उपयोगी लगेगा।

पोस्टग्रेज प्रो एंटरप्राइज के संस्करण 11.2 से पहले, प्रतिकृति केवल तभी काम करेगी जब अद्वितीय प्राथमिक कुंजी हों, डिजाइन करते समय इसे ध्यान में रखें।

मैं क्लस्टर समाधान में npgsql की विशेषताओं का भी उल्लेख करना चाहूंगा, ये समस्याएं एक नोड पर नहीं होती हैं, लेकिन वे मल्टीमास्टर में काफी मौजूद हैं।
कुछ संस्करणों में आप एक त्रुटि का सामना कर सकते हैं:

 Exception Details: Npgsql.PostgresException: 25001:  SET TRANSACTION ISOLATION LEVEL Description: An unhandled exception occurred during the execution of the current web request. Please review the stack trace for more information about the error and where it originated in the code. 

क्या किया जा सकता है? बस कुछ संस्करणों का उपयोग न करें। आपको उन्हें जानने की जरूरत है, क्योंकि त्रुटि एक संस्करण में प्रकट नहीं होती है, और इसके पहले सुधार के बाद भी, आप बाद में इसका सामना कर सकते हैं। आपको इसके लिए भी तैयार रहना होगा और निर्माता द्वारा तय किए गए सभी डीबीएमएस दोषों की पहचान करना और उन्हें अलग-अलग प्रतिगमन परीक्षणों के साथ कवर करना सबसे अच्छा होगा। भरोसा है, इसलिए बोलना है, लेकिन सत्यापित करें।

यदि अनुप्रयोग npgsql का उपयोग करता है और नोड्स के बीच स्विच करता है यह सोचकर कि वे सभी समान हैं, तो आपको एक त्रुटि मिल सकती है:

 EXCEPTION:Npgsql.PostgresException (0x80004005): XX000: cache lookup failed for type ... 

इस तरह की त्रुटि इस तथ्य के कारण होगी कि बाध्यकारी

 (NpgsqlConnection.GlobalTypeMapper.MapComposite<SomeType>("some_composite_type");) 

सभी कनेक्शनों के लिए एप्लिकेशन स्टार्टअप पर मिश्रित प्रकार। नतीजतन, हमें एक नोड से पहचानकर्ता मिलता है, और जब दूसरे नोड पर अनुरोध किया जाता है, तो यह मेल नहीं खाता है, जिसके परिणामस्वरूप एक त्रुटि वापस आ जाती है, अर्थात्। पारदर्शी रूप से कुछ अनुप्रयोगों के लिए एक समूह में समग्र प्रकार के साथ काम करना आवेदन पक्ष पर अतिरिक्त पुनर्लेखन के बिना असंभव होगा (यदि आप ऐसा करने में सफल होते हैं)।

जैसा कि हम सभी जानते हैं, कार्य करते समय निदान और परिचालन उपायों के लिए क्लस्टर की स्थिति का एक सामान्य मूल्यांकन बहुत महत्वपूर्ण है, उत्पाद में आप कुछ ऐसे कार्य पा सकते हैं जो आपके जीवन को आसान बना दें, लेकिन कभी-कभी वे बिल्कुल भी उत्पादन नहीं कर सकते हैं जो आप और यहां तक ​​कि निर्माता खुद उनके लिए करते हैं। आप उम्मीद करते हैं।

उदाहरण के लिए:

 select mtm.collect_cluster_info();      : (1,Online,0,0,0,2,3,0,0,0,1,0,0,1,1,3,7,0,0,0,"2018-10-31 05:33:06") (2,Online,0,0,0,2,3,0,0,0,1,0,0,1,1,3,7,0,0,0,"2018-10-31 05:33:06") (3,Online,0,0,0,2,3,0,0,0,1,0,0,1,1,3,7,0,0,0,"2018-10-31 05:33:09") 

LiveNodes फ़ील्ड में हर जगह नंबर 2 क्यों है, हालांकि मल्टीमास्टर के काम के वर्णन के अनुसार, यह संख्या AllNodes = 3 के अनुरूप होना चाहिए? उत्तर: आपको डीबीएमएस संस्करण को अपडेट करने की आवश्यकता है।

और सभी नोड्स पर लॉग एकत्र करने के लिए तैयार रहें, जैसा कि आमतौर पर आप देखेंगे "त्रुटि दूसरे नोड के लॉग में है।" TechSupport सभी पहचाने गए दोषों को स्वीकार करेगा और आपको सूचित करेगा कि अगला संस्करण तैयार है, जिसे कभी-कभी बंद की गई सेवा के साथ, कभी-कभी लंबे समय तक (आपके DBMS की मात्रा के आधार पर) स्थापित करने की आवश्यकता होगी। यह उम्मीद करने योग्य नहीं है कि ऑपरेशन की समस्याएं विक्रेता को बहुत परेशान करेंगी, और पहचाने गए दोषों के कारण अद्यतन को विक्रेता के प्रतिनिधियों की भागीदारी के साथ किया जाएगा, या इसके बजाय, विक्रेता के प्रतिनिधियों को शामिल करना भी आवश्यक नहीं है, क्योंकि अंत में आपको उत्पाद पर बैकअप के बिना एक अव्यवस्थित क्लस्टर मिल सकता है।

दरअसल, किसी व्यावसायिक उत्पाद के लिए लाइसेंस में, निर्माता ईमानदारी से चेतावनी देता है: "यह सॉफ्टवेयर" जैसा है "आधार पर प्रदान किया गया है और समर्थन, समर्थन, अपडेट, एक्सटेंशन या परिवर्तन प्रदान करने के लिए व्यावसायिक सीमित देयता कंपनी की आवश्यकता नहीं है।"

यदि आपने अनुमान नहीं लगाया है कि हम किस प्रकार के उत्पाद के बारे में बात कर रहे हैं, तो यह सब अनुभव पोस्टग्रैस प्रो एंटरप्राइज बेस के वार्षिक संचालन के परिणामस्वरूप प्राप्त हुआ था। आप खुद एक निष्कर्ष निकाल सकते हैं, ऐसी नमी जो मशरूम उगाते हैं।

लेकिन यह आधी परेशानी होगी, अगर इसे समय पर पूरा किया जाए और तुरंत होने वाली समस्याओं को तुरंत खत्म किया जाए।

लेकिन यह सिर्फ हो नहीं रहा है। जाहिर है, निर्माता के संसाधन पहचान किए गए बग को जल्दी से ठीक करने के लिए पर्याप्त नहीं हैं।