सिस्टम के विकास में एक काफी विशिष्ट योजना, जब मुख्य प्रसंस्करण तर्क अनुप्रयोग (हमारे मामले में, एरलंग) में केंद्रित है, और डेटाबेस में इस एप्लिकेशन (सेटिंग्स, उपयोगकर्ता प्रोफाइल, आदि) के लिए डेटा (पोस्टग्रेक्यूएल)। Erlang एप्लिकेशन ईटीएस में सेटिंग्स को संसाधित करता है ताकि प्रसंस्करण में तेजी आए और लगातार अनुरोधों को खारिज करके डेटाबेस पर लोड को कम किया जा सके। इस मामले में, इस डेटा में परिवर्तन एक अलग (संभवतः बाहरी) सेवा के माध्यम से होता है।

ऐसी स्थितियों में, कैश्ड डेटा को अद्यतन रखने की चुनौती उत्पन्न होती है। इस समस्या को हल करने के लिए अलग-अलग दृष्टिकोण हैं। उनमें से एक PostgreSQL तार्किक प्रतिकृति है। इसके बारे में और नीचे चर्चा की जाएगी।

स्ट्रीम तार्किक प्रतिकृति प्रोटोकॉल

तार्किक प्रतिकृति PostgreSQL स्ट्रीमिंग डेटा का उपयोग करने के लिए PostgreSQL तालिकाओं में डेटा परिवर्तन प्राप्त करने के लिए Wal Logs पढ़ता है, आपके द्वारा आवश्यक तालिकाओं को फ़िल्टर करके और इन परिवर्तनों को ग्राहक को भेज रहा है। यह तंत्र एक भौतिक डेटाबेस के लिए स्टैंडबाय डेटाबेस बनाने के लिए उपयोग किए जाने के समान है।

तार्किक प्रतिकृति निम्नलिखित लाभ प्रदान करती है:

• वास्तविक समय में देरी के बिना परिवर्तन प्राप्त करना;
• तालिकाओं और संचालन (INSERT / DELETE / UPDATE) द्वारा फ़िल्टरिंग परिवर्तन;
• ग्राहक द्वारा प्राप्त डेटा की पूर्णता और अखंडता। ग्राहक को उसी क्रम में परिवर्तन प्राप्त होते हैं जैसे वे डेटाबेस में होते थे;
• ग्राहक के अस्थायी स्टॉप के मामले में कोई डेटा हानि नहीं। PostgreSQL याद है जहां प्रतिकृति बंद हो गई;

डेटाबेस तैयारी

तार्किक प्रतिकृति के साथ काम करने के लिए, आपको एक प्लगइन की आवश्यकता होती है जो सर्वर से वाल रिकॉर्ड्स को अधिक सुविधाजनक प्रारूप में डिकोड करता है।
PostgreSQL 10 से पहले, आप / एक्सटेंशन pglogical_output प्लगइन का उपयोग कर सकते हैं।
PostgreSQL 10 pgoutput प्लगइन के साथ शुरू।
यह लेख pgoutput प्लगइन को कवर करेगा।

PostgreSQL की तरफ, आपको निम्न चरणों को पूरा करना होगा:

• में तार्किक प्रतिकृति का समर्थन करने के लिए पैरामीटर सेट करें
  postgresql.conf

  
  

  wal_level = 'logical' max_replication_slots = 5 max_wal_senders = 5 

  
  

• प्रतिकृति के लिए उपयोग की जाने वाली भूमिका बनाएँ। भूमिका की REPLICATION या समर्थन SUPERUSER होनी चाहिए।

  
  

   CREATE USER epgl_test WITH REPLICATION PASSWORD 'epgl_test'; 

  
  

• database = replication साथ pg_hba.conf में इस भूमिका के लिए अनुमति दें

  
  

   host replication epgl_test 127.0.0.1/32 trust 

  
  

• एक प्रकाशन बनाएँ। एक प्रकाशन बनाते समय, हम उन तालिकाओं को इंगित करते हैं जिन्हें हम एरलंग एप्लिकेशन में प्राप्त करने की योजना बनाते हैं

  
  

   CREATE PUBLICATION epgl_test FOR TABLE public.test_table1, public.test_table3; ALTER PUBLICATION epgl_test ADD TABLE public.test_table2; --       

  
  

एरलंग भाग

अभी कुछ समय पहले , पोस्टग्रेएसक्यूएल EPGSQL के साथ काम करने के लिए लोकप्रिय एर्लांग लाइब्रेरी में प्रतिकृति प्रतिकृति प्रोटोकॉल समर्थन जोड़ा गया था। इस लाइब्रेरी के आधार पर, हम एरलांग में परिवर्तन प्राप्त करने के लिए तर्क का निर्माण करेंगे।
चूंकि प्रोटोकॉल के XlogData संदेश में डेटा का प्रारूप सीधे निर्भर करता है कि प्रतिकृति स्लॉट के लिए किस प्लग-इन का उपयोग किया जाता है, EPGSQL लाइब्रेरी डेटा को डीकोड नहीं EPGSQL , लेकिन कॉलबैक विधि को कॉल करता है या संदेश को अतुल्यकालिक रूप से प्रक्रिया को भेजता है।

DB कनेक्शन

डेटाबेस के लिए एक विशेष प्रतिकृति कनेक्शन बनाया जाना चाहिए, इसके लिए आपको replication ध्वज को पास करना होगा।
एक प्रतिकृति डेटाबेस कनेक्शन के भीतर, केवल प्रतिकृति आदेश निष्पादित किया जा सकता है (उदाहरण के लिए, DROP_REPLICATION_SLOT, CREATE_REPLICATION_SLOT)।
आप इस कनेक्शन के माध्यम से एक नियमित अनुरोध नहीं चला सकते हैं।

एक प्रतिकृति स्लॉट बनाएँ

प्रतिकृति स्लॉट का उपयोग स्थानांतरित वाल लॉग की वर्तमान स्थिति को ट्रैक करने के लिए किया जाता है।
प्रतिकृति स्लॉट बनाते समय, डिकोडिंग के लिए एक प्लग-इन निर्दिष्ट किया जाता है।

PostgreSQL 10 अस्थायी प्रतिकृति स्लॉट्स बनाने की क्षमता का परिचय देता है जो प्रतिकृति कनेक्शन बंद होने पर स्वचालित रूप से हटा दिए जाते हैं।

यदि एप्लिकेशन हर बार शुरू होने वाली तालिकाओं की प्रारंभिक स्थिति को पढ़ता है, तो मैं अस्थायी प्रतिकृति स्लॉट्स का उपयोग करने की सलाह देता हूं, जिस स्थिति में आपको बनाए गए प्रतिकृति स्लॉट्स (DROP_REPLICATION_SLOT) को हटाने के बारे में चिंता नहीं करनी होगी। पुराने / अप्रयुक्त प्रतिकृति स्लॉट्स को हटाना बेहद महत्वपूर्ण है क्योंकि PostgreSQL वाल लॉग को तब तक नहीं हटाता है जब तक कि सभी प्रतिकृति स्लॉट के ग्राहक परिवर्तन प्राप्त नहीं करते हैं। यदि कोई निष्क्रिय प्रतिकृति स्लॉट रहता है, तो वाल लॉग्स जमा होने लगेंगे और जल्द ही या बाद में फाइल सिस्टम ओवरफ्लो हो जाएगा।

तालिकाओं की प्रारंभिक स्थिति प्राप्त करना

प्रतिकृति स्लॉट बनाते समय (पिछले चरण को देखें), एक स्नैपशॉट स्वचालित रूप से बनाया जाता है जो स्लॉट बनाए जाने के समय डेटाबेस की स्थिति को दिखाता है। इस स्नैपशॉट का उपयोग तालिकाओं की प्रारंभिक स्थिति को लोड करने के लिए किया जा सकता है, जो प्रतिकृति की शुरुआत में था।

स्नैपशॉट केवल तब तक उपलब्ध होता है जब तक कि प्रतिकृति कनेक्शन जिसमें CREATE_REPLICATION_SLOT कमांड निष्पादित नहीं हो जाती।

प्रारंभिक डेटा लोड करने के लिए, डेटाबेस में एक नया नियमित / गैर-प्रतिकृति कनेक्शन बनाया जाना चाहिए, क्योंकि प्रतिकृति कनेक्शन पर SELECT नहीं किया जा सकता है। इस संबंध में, स्नैपशॉट SET TRANSACTION SNAPSHOT SnapshotName परिवहन स्नैपशॉट स्नैपशॉट नाम SET TRANSACTION SNAPSHOT SnapshotName और आवश्यक डेटा निकालें।

प्रतिकृति शुरू करें

हम निर्मित प्रतिकृति स्लॉट के लिए प्रतिकृति शुरू करते हैं। प्रतिकृति शुरू करते समय, हम प्लगइन के लिए अतिरिक्त पैरामीटर पास करते हैं, pgoutput के लिए यह निर्मित प्रकाशन का नाम है।

सभी कदम एक साथ

 start_replication() -> %%    {ok, ReplConn} = epgsql:connect(Host, User, Password, [{database, DBName}, {port, Port}, {replication, "database"}]), %%    {ok, _, [{_, _, SnapshotName}|_]} = epgsql:squery(ReplConn, "CREATE_REPLICATION_SLOT epgl_repl_slot TEMPORARY LOGICAL pgoutput"). %%     {ok, NormalConn} = epgsql:connect(Host, User, Password, [{database, DBName}, {port, Port}]), {ok, _, _} = epgsql:squery(NormalConn, "BEGIN TRANSACTION ISOLATION LEVEL REPEATABLE READ"), {ok, _, _} = epgsql:squery(NormalConn, ["SET TRANSACTION SNAPSHOT '", SnapshotName, "'"]), %% select/load data epgsql:equery(NormalConn,... epgsql:close(NormalConn), %%   ReplSlot = "epgl_repl_slot", Callback = ?MODULE, CbInitState = #{}, WALPosition = "0/0", PluginOpts = "proto_version '1', publication_names '\"epgl_test\"'", ok = epgsql:start_replication(ReplConn, ReplSlot, Callback, CbInitState, WALPosition, PluginOpts). handle_x_log_data(StartLSN, EndLSN, Data, CbState) -> io:format("~p~n", [{StartLSN, EndLSN, Data}]), {ok, EndLSN, EndLSN, CbState}. 

EPGSQL लाइब्रेरी के साथ बातचीत करने के लिए दो विकल्प हैं:

• तुल्यकालिक। मॉड्यूल का नाम कॉलबैक के रूप में पारित किया गया है। प्राप्त डेटा के लिए लाइब्रेरी CallbackModule:handle_x_log_data फ़ंक्शन को कॉल करेगी CallbackModule:handle_x_log_data । फ़ंक्शन को LastFlushedLSN, LastAppliedLSN को वापस करना चाहिए, जो प्रतिकृति स्लॉट की वर्तमान स्थिति को ट्रैक करने के लिए PostgreSQL प्रतिक्रिया में भेजा गया है। हमारी परियोजनाओं में हम केवल इस विकल्प का उपयोग करते हैं;

  
  

• अतुल्यकालिक। कॉलबैक प्रक्रिया की {epgsql, self(), {x_log_data, StartLSN, EndLSN, WALRecord}} जिसमें फॉर्म {epgsql, self(), {x_log_data, StartLSN, EndLSN, WALRecord}} संदेश प्राप्त होंगे। प्रसंस्करण के बाद, प्रक्रिया को एक epgsql:standby_status_update(Conn, FlushedLSN, AppliedLSN) कॉल के माध्यम से संसाधित LSN की रिपोर्ट करनी चाहिए epgsql:standby_status_update(Conn, FlushedLSN, AppliedLSN) ;

  
  

एक निष्कर्ष के बजाय

इसके अतिरिक्त, वर्णित दृष्टिकोण का उपयोग करने के लिए, प्रतिकृति स्लॉट प्लग-इन प्रारूप से एरलांग के अधिक परिचित संरचनाओं में संदेशों के डिकोडिंग को लागू करना आवश्यक है। या GitHub के साथ पुस्तकालय का उपयोग करें, जो दो प्लग-इन के लिए डिकोडिंग को लागू करता है और प्रतिकृति कमांड के निष्पादन को सरल करता है।