Pgbackrest के साथ Postgresql वृद्धिशील बैकअप - डेवलपर से एक युवा लड़ाकू पाठ्यक्रम

त्याग

मैं एक डेवलपर हूं। मैं कोड लिखता हूं, मैं केवल एक उपयोगकर्ता के रूप में डेटाबेस के साथ बातचीत करता हूं। किसी भी मामले में मैं सिस्टम प्रशासक होने का दिखावा नहीं करता और, विशेष रूप से, डीबीए। लेकिन ...

ऐसा हुआ कि मुझे पोस्टग्रैसक्ल डेटाबेस का बैकअप व्यवस्थित करने की आवश्यकता थी। कोई बादल नहीं - एसएसएच रखें और इसे काम करें और पैसे न मांगें। ऐसे मामलों में हम क्या करते हैं? यह सही है, हम pgdump को cron में धकेलते हैं, हर दिन हम आर्काइव में सब कुछ बैकअप करते हैं, और यदि हम पूरी तरह से फैल गए हैं, तो हम इस संग्रह को कहीं नर्क में भेज देते हैं।

इस बार, कठिनाई यह थी कि योजनाओं के अनुसार, आधार को प्रति दिन लगभग + - 100 एमबी तक बढ़ना था। बेशक, कुछ हफ्तों में, pgdump के साथ सब कुछ बैकअप करने की इच्छा गायब हो जाएगी। यहाँ वृद्धिशील बैकअप बचाव के लिए आते हैं।

रुचि रखते हैं? बिल्ली में आपका स्वागत है।

वृद्धिशील बैकअप एक प्रकार का बैकअप है जब सभी स्रोत फ़ाइलों का बैकअप नहीं होता है, लेकिन पिछले बैकअप के बाद से केवल नया और बदला हुआ।

किसी भी डेवलपर की तरह, कुल मिलाकर (उस समय) पोस्टग्रेज की पेचीदगियों को समझना नहीं चाहते थे, मैं एक हरे बटन को ढूंढना चाहता था। ठीक है, आप जानते हैं, जैसा कि एडब्ल्यूएस, डिजिटल ऑइन में: एक बटन पर क्लिक किया गया - प्रतिकृति मिली, दूसरे - सेट बैकअप पर क्लिक किया, तीसरा - यह कुछ घंटे पहले वापस लुढ़का। बटन और एक सुंदर जीयूआई उपकरण मुझे नहीं मिला है। यदि आप यह जानते हैं (मुफ्त या सस्ता) - टिप्पणियों में इसके बारे में लिखें।

Googling, मुझे दो उपकरण pgbarman और pgbackrest मिले । मेरे पास पहले वाले के साथ कोई समस्या नहीं है (बहुत अल्प दस्तावेज़ीकरण, मैंने पुरानी पुस्तिकाओं के अनुसार सब कुछ जुटाने की कोशिश की), लेकिन दूसरा एक स्तर पर निकला, लेकिन खामियों के बिना नहीं। उन लोगों के लिए काम को आसान बनाने के लिए जो एक समान कार्य के साथ सामना कर रहे हैं और यह लेख लिखा गया है।

इस लेख को पढ़ने के बाद, आप सीखेंगे कि वृद्धिशील बैकअप कैसे बनाएं, उन्हें एक दूरस्थ सर्वर (बैकअप के साथ भंडार) में सहेजें और मुख्य सर्वर पर डेटा हानि या अन्य समस्याओं के मामले में उन्हें पुनर्स्थापित करें।

ट्रेनिंग

मैनुअल खेलने के लिए आपको दो वीपीएस की आवश्यकता होगी। पहला होगा रिपॉजिटरी (रिपॉजिटरी जिस पर बैकअप स्थित होगा), और दूसरा, वास्तव में, सर्वर स्वयं पोस्टग्रेज के साथ (मेरे मामले में, पोस्ट 11 के संस्करण 11)।

यह माना जाता है कि पोस्टग्रेज वाले सर्वर पर आपके पास रूट, sudo उपयोगकर्ता है, उपयोगकर्ता को पोस्टग्रेज करता है, और पोस्टग्रेज स्वयं स्थापित होता है (पोस्टग्रैस्कल स्थापित होने पर उपयोगकर्ता स्वचालित रूप से बनाया जाता है), और रिपॉजिटरी पर रूट और sudo उपयोगकर्ता है (उपयोगकर्ता नाम pgbackrest मैन्युअल में उपयोग किया जाएगा) ।

ताकि निर्देशों को पुन: पेश करते समय आपको कम समस्याएं हों - इटैलिक में मैं लिखता हूं कि कहां, किस उपयोगकर्ता और किन अधिकारों के साथ मैंने लेख लिखते और जांचते समय कमांड को निष्पादित किया है ।

Pgbackrest स्थापित करें

रिपोजिटरी (उपयोगकर्ता pgbackrest):

1. संग्रह को pgbackrest के साथ डाउनलोड करें और उसकी सामग्री को / बिल्ड फ़ोल्डर में स्थानांतरित करें:

sudo mkdir /build sudo wget -q -O - \ https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | \ sudo tar zx -C /build 

2. विधानसभा के लिए आवश्यक निर्भरताएं स्थापित करें:

 sudo apt-get update sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev \ libpq-dev 

3. हम इकट्ठा pgbackrest:

 cd /build/pgbackrest-release-2.18/src && sudo ./configure sudo make -s -C /build/pgbackrest-release-2.18/src 

4. निष्पादन योग्य फ़ाइल को / usr / bin निर्देशिका में कॉपी करें:

 sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin sudo chmod 755 /usr/bin/pgbackrest 

5. Pgbackrest को perl की आवश्यकता होती है। सेट करें:

 sudo apt-get install perl 

6. लॉग के लिए निर्देशिका बनाएं, उन्हें विशिष्ट अधिकार दें:

 sudo mkdir -p -m 770 /var/log/pgbackrest sudo chown pgbackrest:pgbackrest /var/log/pgbackrest sudo mkdir -p /etc/pgbackrest sudo mkdir -p /etc/pgbackrest/conf.d sudo touch /etc/pgbackrest/pgbackrest.conf sudo chmod 640 /etc/pgbackrest/pgbackrest.conf sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf 

7. जाँच करें:

 pgbackrest version 

सर्वर (sudo उपयोगकर्ता या रूट) पोस्टग्रेज करता है:

पोस्टग्रेज के साथ सर्वर पर pgbackrest स्थापित करने की प्रक्रिया एक रिपॉजिटरी (हाँ, pgbackrest दोनों सर्वरों पर होनी चाहिए) पर स्थापित करने की प्रक्रिया के समान है, लेकिन 6 वें पैराग्राफ में, दूसरी और आखिरी कमांड:

 sudo chown pgbackrest:pgbackrest /var/log/pgbackrest sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf 

इसके साथ बदलें:

 sudo chown postgres:postgres /var/log/pgbackrest sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf 

पासवर्ड रहित SSH के माध्यम से सर्वर के बीच संचार का विन्यास

Pgbackrest को सही ढंग से काम करने के लिए, आपको पोस्ट सर्वर और रिपॉजिटरी के बीच कुंजी फ़ाइल का उपयोग करके इंटरैक्शन को कॉन्फ़िगर करने की आवश्यकता है।

रिपोजिटरी (उपयोगकर्ता pgbackrest):

एक मुख्य जोड़ी बनाएँ:

 mkdir -m 750 /home/pgbackrest/.ssh ssh-keygen -f /home/pgbackrest/.ssh/id_rsa \ -t rsa -b 4096 -N "" 

चेतावनी! हम sudo के बिना उपरोक्त आदेशों को निष्पादित करते हैं।

सर्वर (sudo उपयोगकर्ता या रूट) पोस्टग्रेज करता है:

एक मुख्य जोड़ी बनाएँ:

 sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa \ -t rsa -b 4096 -N "" 

रिपोजिटरी (sudo उपयोगकर्ता):

पोस्ट सर्वर के सार्वजनिक कुंजी को रिपॉजिटरी सर्वर पर कॉपी करें:

 (echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && \ echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && \ sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | \ sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys 

इस चरण पर, रूट उपयोगकर्ता से पासवर्ड मांगेगा। आपको पोस्टग्रेज सर्वर यूजर का रूट पासवर्ड डालना होगा!

सर्वर (sudo उपयोगकर्ता) पोस्ट करता है:

डाक के साथ सर्वर पर रिपॉजिटरी की सार्वजनिक कुंजी की प्रतिलिपि बनाएँ:

 (echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && \ echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && \ sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | \ sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys 

इस चरण पर, रूट उपयोगकर्ता से पासवर्ड मांगेगा। आपको रिपॉजिटरी उपयोगकर्ता के रूट पासवर्ड दर्ज करने की आवश्यकता है!

हम जाँच करते हैं:

रिपॉजिटरी (मूल उपयोगकर्ता, प्रयोग की शुद्धता के लिए):

 sudo -u pgbackrest ssh postgres@<postgres_server_ip> 

सर्वर (रूट उपयोगकर्ता, प्रयोग की शुद्धता के लिए) पोस्टग्रैजेस:

 sudo -u postgres ssh pgbackrest@<repository_server_ip> 

हम यह सुनिश्चित करते हैं कि हम समस्याओं के बिना पहुँच प्राप्त करें।

पोस्टग्रेज सर्वर की स्थापना

सर्वर (sudo उपयोगकर्ता या रूट) पोस्टग्रेज करता है:

1. आइए बाहरी आई पी से पोस्टग्रेज सर्वर पर "दस्तक" दें। ऐसा करने के लिए, postgresql.conf फ़ाइल (/ / / / postgresql / 11 / main फ़ोल्डर में स्थित) को संपादित करें, इसमें लाइन जोड़कर:

 listen_addresses = '*' 

यदि ऐसी कोई रेखा पहले से मौजूद है, तो इसे अनसुना कर दें या पैरामीटर मान को '*' पर सेट करें।

Pg_hba.conf फ़ाइल में ( / etc / postgresql / 11 / main फ़ोल्डर में स्थित), निम्नलिखित पंक्तियाँ जोड़ें:

 hostssl all all 0.0.0.0/0 md5 host all all 0.0.0.0/0 md5 

जहां:

 hostssl/host -   SSL ( ) all -      all -  ,    () 0.0.0.0/0 -       md5 -    

2. काम करने के लिए pgbackrest के लिए postgresql.conf (यह फ़ोल्डर में स्थित है / etc / postgresql / 11 / main ) आवश्यक सेटिंग्स करें:

 archive_command = 'pgbackrest --stanza=main archive-push %p' #  main -  .   postgres    main. archive_mode = on max_wal_senders = 3 wal_level = replica 

3. pgbackrest कॉन्फ़िगरेशन फ़ाइल (/etc/pgbackrest/pgbackrest.conf) में आवश्यक सेटिंग्स करें:

 [main] pg1-path=/var/lib/postgresql/11/main [global] log-level-file=detail repo1-host=<repository_server_ip> 

4. postgresql को पुनरारंभ करें:

 sudo service postgresql restart 

एक रिपॉजिटरी सर्वर को कॉन्फ़िगर करना

रिपोजिटरी (pgbackrest उपयोगकर्ता):

Pgbackrest कॉन्फ़िगरेशन फ़ाइल में आवश्यक सेटिंग्स करें
( /etc/pgbackrest/pgbackrest.conf ):

 [main] pg1-host=<postgres_server_ip> pg1-path=/var/lib/postgresql/11/main [global] repo1-path=/var/lib/pgbackrest repo1-retention-full=2 # ,     . ..            -       . start-fast=y #    ,       https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving 

भंडारण सृजन

रिपोजिटरी (pgbackrest उपयोगकर्ता):

मुख्य क्लस्टर के लिए एक नया संग्रहण बनाएं:

 sudo mkdir -m 770 /var/lib/pgbackrest sudo chown -R pgbackrest /var/lib/pgbackrest/ sudo -u pgbackrest pgbackrest --stanza=main stanza-create 

निरीक्षण

सर्वर (sudo उपयोगकर्ता या रूट) पोस्टग्रेज करता है:

पोस्टग्रेज सर्वर पर जाँच करें:

 sudo -u postgres pgbackrest --stanza=main --log-level-console=info check 

रिपोजिटरी (pgbackrest उपयोगकर्ता):

रिपॉजिटरी सर्वर पर जाँच करें:

 sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check 

हम यह सुनिश्चित करते हैं कि आउटपुट में हम "कमांड कमांड को देखें: सफलतापूर्वक पूरा हुआ"।

क्या आप थके हुए हैं? हम सबसे दिलचस्प से गुजरते हैं।

बैकअप बनायें

रिपोजिटरी (pgbackrest उपयोगकर्ता):


1. हम बैकअप ले:

 sudo -u pgbackrest pgbackrest --stanza=main backup 

2. हम सुनिश्चित करते हैं कि बैकअप बनाया गया था:

 ls /var/lib/pgbackrest/backup/main/ 

Pgbackrest पहला पूर्ण बैकअप बनाएगा। यदि आप चाहें, तो आप बैकअप कमांड को फिर से चला सकते हैं और सुनिश्चित कर सकते हैं कि सिस्टम एक वृद्धिशील बैकअप बनाता है।

यदि आप फिर से पूर्ण बैकअप बनाना चाहते हैं, तो एक अतिरिक्त ध्वज निर्दिष्ट करें:

 sudo -u pgbackrest pgbackrest --stanza=main --type=full backup 

यदि आप कंसोल के लिए विस्तृत आउटपुट चाहते हैं, तो यह भी निर्दिष्ट करें:

 sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup 

बैकअप पुनर्स्थापित करें

सर्वर (sudo उपयोगकर्ता या रूट) पोस्टग्रेज करता है:

1. काम कर रहे क्लस्टर बंद करो:

 sudo pg_ctlcluster 11 main stop 

2. हम बैकअप से उबरते हैं:

 sudo -u postgres pgbackrest --stanza=main --delta restore 

3. क्लस्टर चलाएँ:

 sudo pg_ctlcluster 11 main start 

बैकअप को पुनर्स्थापित करने के बाद, हमें दूसरा बैकअप करने की आवश्यकता है:

रिपोजिटरी (pgbackrest उपयोगकर्ता):

 sudo pgbackrest --stanza=main backup 

वह सब है। अंत में, मैं आपको याद दिलाना चाहता हूं कि किसी भी स्थिति में मैं खुद को एक वरिष्ठ डीबीए बनाने की कोशिश नहीं कर रहा हूं और थोड़े से अवसर पर, मैं बादलों का उपयोग करूंगा। वर्तमान में, मैं स्वयं विभिन्न विषयों जैसे बैकअप, प्रतिकृति, निगरानी आदि का अध्ययन करने लगा हूं। और मैं समुदाय के लिए एक छोटा सा योगदान करने के लिए परिणामों पर छोटी रिपोर्ट लिखता हूं और अपने लिए छोटे cribs छोड़ता हूं।

निम्नलिखित लेखों में मैं अतिरिक्त विशेषताओं के बारे में बात करने की कोशिश करूंगा - एक स्वच्छ क्लस्टर पर डेटा रिकवरी, बैकअप का एन्क्रिप्शन और S3 पर प्रकाशन, rsync के माध्यम से बैकअप।