यह सिर्फ इतना हुआ कि समस्या को सेट करने के समय मेरे पास अकेले इस समाधान को विकसित करने और चलाने के लिए पर्याप्त डिग्री का अनुभव नहीं था। और फिर मैं गुगली करने लगा।

मुझे नहीं पता कि पकड़ क्या है, लेकिन umpteenth समय के लिए मुझे इस तथ्य का सामना करना पड़ा है कि भले ही आप ट्यूटोरियल के रूप में कदम से कदम सब कुछ करते हैं, लेखक के रूप में एक ही एनवायरमेंट तैयार करें, फिर कुछ भी काम नहीं करता है। मुझे नहीं पता कि यह किस बारे में है, लेकिन जब मैं इस बारे में फिर से आया, तो मैंने फैसला किया - और मैं अपना ट्यूटोरियल लिखूंगा जब सब कुछ काम करेगा। एक जो निश्चित रूप से काम करेगा।

ऑनलाइन मार्गदर्शिकाएँ

यह सिर्फ इतना हुआ कि इंटरनेट विभिन्न गाइड, ट्यूटोरियल, चरण-दर-चरण, और इस तरह की कमी से ग्रस्त नहीं है। यह सिर्फ इतना हुआ कि मुझे सुविधाजनक संगठन के लिए एक समाधान विकसित करने और एक असफल-सुरक्षित पोस्टग्रेसीक्यूएल क्लस्टर के निर्माण का काम सौंपा गया था, जिसकी मुख्य आवश्यकताएं मास्टर सर्वर से सभी प्रतिकृति और रिज़र्व के स्वचालित इनपुट के लिए मास्टर सर्वर के विफल होने पर प्रतिकृति की स्ट्रीमिंग कर रही थीं।

इस स्तर पर, उपयोग की जाने वाली प्रौद्योगिकियों के ढेर को परिभाषित किया गया था:

• एक DBMS के रूप में PostgreSQL
• एक क्लस्टरिंग समाधान के रूप में पेट्रोनी
• Patroni के लिए वितरित भंडारण के रूप में etcd
• डेटाबेस का उपयोग करने वाले अनुप्रयोगों के लिए एकल प्रविष्टि बिंदु के आयोजन के लिए HAproxy

स्थापना

आपका ध्यान - Patroni, etcd, HAProxy का उपयोग करते हुए एक उच्च उपलब्धता PostgreSQL क्लस्टर का निर्माण।

सभी कार्यों को डेबियन 10 स्थापित के साथ आभासी मशीनों पर किया गया था।

etcd

मैं उसी मशीनों पर etcd स्थापित करने की सलाह नहीं देता जहाँ patroni और postgresql स्थित होंगे, क्योंकि डिस्क लोड etcd के लिए बहुत महत्वपूर्ण है। लेकिन प्रशिक्षण के उद्देश्यों के लिए, हम बस यही करेंगे।
आदि स्थापित करें।

#!/bin/bash apt-get update apt-get install etcd 

कमांड चलाएं

 systemctl restart etcd 

PostgreSQL 9.6 + संरक्षक

पहली बात यह है कि उन पर आवश्यक सॉफ़्टवेयर स्थापित करने के लिए तीन वर्चुअल मशीन स्थापित करें। मशीनों को स्थापित करने के बाद, यदि आप मेरे ट्यूटोरियल का अनुसरण करते हैं, तो आप इस सरल स्क्रिप्ट को चला सकते हैं जो (लगभग) आपके लिए सब कुछ करता है। रूट के रूप में चलाएं।

कृपया ध्यान दें कि स्क्रिप्ट PostgreSQL संस्करण 9.6 का उपयोग करती है, यह हमारी कंपनी की आंतरिक आवश्यकताओं के कारण है। समाधान PostgreSQL के अन्य संस्करणों पर परीक्षण नहीं किया गया था।

 #!/bin/bash apt-get install gnupg -y echo "deb http://apt.postgresql.org/pub/repos/apt/ buster-pgdg main" >> /etc/apt/sources.list wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add - apt-get update apt-get install postgresql-9.6 python3-pip python3-dev libpq-dev -y systemctl stop postgresql pip3 install --upgrade pip pip install psycopg2 pip install patroni[etcd] echo "\ [Unit] Description=Runners to orchestrate a high-availability PostgreSQL After=syslog.target network.target [Service] Type=simple User=postgres Group=postgres ExecStart=/usr/local/bin/patroni /etc/patroni.yml KillMode=process TimeoutSec=30 Restart=no [Install] WantedBy=multi-user.targ\ " > /etc/systemd/system/patroni.service mkdir -p /data/patroni chown postgres:postgres /data/patroni chmod 700 /data/patroni touch /etc/patroni.yml 

अगला, बस बनाई गई /etc/patroni.yml फ़ाइल में, आपको निम्नलिखित सामग्री डालने की आवश्यकता है, निश्चित रूप से आपके द्वारा उपयोग किए जाने वाले पते के लिए सभी स्थानों में आईपी पते को बदलना।
इस याम में टिप्पणियों पर ध्यान दें। क्लस्टर में प्रत्येक मशीन पर अपने खुद के पते बदलें।

 scope: pgsql #       namespace: /cluster/ #       name: postgres1 #       restapi: listen: 192.168.0.143:8008 #   ,      connect_address: 192.168.0.143:8008 #   ,      etcd: hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 #     ,      etcd    # this section (bootstrap) will be written into Etcd:/<namespace>/<scope>/config after initializing new cluster # and all other cluster members will use it as a `global configuration` bootstrap: dcs: ttl: 100 loop_wait: 10 retry_timeout: 10 maximum_lag_on_failover: 1048576 postgresql: use_pg_rewind: true use_slots: true parameters: wal_level: replica hot_standby: "on" wal_keep_segments: 5120 max_wal_senders: 5 max_replication_slots: 5 checkpoint_timeout: 30 initdb: - encoding: UTF8 - data-checksums - locale: en_US.UTF8 # init pg_hba.conf     ,    pg_hba: - host replication postgres ::1/128 md5 - host replication postgres 127.0.0.1/8 md5 - host replication postgres 192.168.0.143/24 md5 - host replication postgres 192.168.0.144/24 md5 - host replication postgres 192.168.0.145/24 md5 - host all all 0.0.0.0/0 md5 users: admin: password: admin options: - createrole - createdb postgresql: listen: 192.168.0.143:5432 #   ,      connect_address: 192.168.0.143:5432 #   ,      data_dir: /data/patroni #    ,       bin_dir: /usr/lib/postgresql/9.6/bin #       postgresql pgpass: /tmp/pgpass authentication: replication: username: postgres password: postgres superuser: username: postgres password: postgres create_replica_methods: basebackup: checkpoint: 'fast' parameters: unix_socket_directories: '.' tags: nofailover: false noloadbalance: false clonefrom: false nosync: false 

स्क्रिप्ट को क्लस्टर के सभी तीन मशीनों पर चलाया जाना चाहिए, जैसे आपको सभी मशीनों पर फ़ाइल /etc/patroni.yml में कॉन्फ़िगरेशन डालने की आवश्यकता है।

जब आप क्लस्टर में सभी मशीनों पर ये कार्य करते हैं, तो उनमें से किसी पर निम्न आदेश चलाएँ

 systemctl start patroni systemctl start postgresql 

लगभग 30 सेकंड प्रतीक्षा करें, फिर बाकी क्लस्टर मशीनों पर इस कमांड को चलाएं।

HAProxy

हम एकल प्रविष्टि बिंदु प्रदान करने के लिए अद्भुत HAproxy का उपयोग करते हैं। मास्टर सर्वर हमेशा उस मशीन के पते पर उपलब्ध होगा जिस पर HAproxy तैनात है।

HAproxy मशीन को विफलता का एक बिंदु नहीं बनाने के लिए, इसे डॉकटर कंटेनर में चलाएं, बाद में इसे K8 के क्लस्टर में चलाना संभव होगा और हमारे फेलओवर क्लस्टर को और भी विश्वसनीय बना देगा।

एक निर्देशिका बनाएँ जहाँ आप दो फ़ाइलों को स्टोर कर सकते हैं - Dockerfile और haproxy.cfg। इसके पास जाओ।

 FROM ubuntu:latest RUN apt-get update \ && apt-get install -y haproxy rsyslog \ && rm -rf /var/lib/apt/lists/* RUN mkdir /run/haproxy COPY haproxy.cfg /etc/haproxy/haproxy.cfg CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.log 

सावधान रहें, haproxy.cfg फ़ाइल की अंतिम तीन पंक्तियों को आपके मशीनों के पते सूचीबद्ध करने चाहिए। HAproxy पेट्रोनी से संपर्क करेगा, HTTP हेडर में मास्टर सर्वर हमेशा 200 वापस आ जाएगा, और प्रतिकृति 503 वापस आ जाएगी।

 global maxconn 100 defaults log global mode tcp retries 2 timeout client 30m timeout connect 4s timeout server 30m timeout check 5s listen stats mode http bind *:7000 stats enable stats uri / listen postgres bind *:5000 option httpchk http-check expect status 200 default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008 server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008 server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008 

उस निर्देशिका में होने के नाते, जिसमें हमारी दोनों फाइलें "झूठ" हैं, हम क्रमिक रूप से कंटेनर पैकिंग कमांड को निष्पादित करेंगे, साथ ही आवश्यक बंदरगाहों को अग्रेषित करने के साथ इसकी लॉन्चिंग करेंगे:

 docker build -t my-haproxy . docker run -d -p5000:5000 -p7000:7000 my-haproxy 

अब, Haproxy के साथ अपनी मशीन का ब्राउज़र पता खोलना और पोर्ट 7000 निर्दिष्ट करना, आपको अपने क्लस्टर पर आंकड़े दिखाई देंगे।

यूपी राज्य में, सर्वर जो मास्टर है वह स्थित होगा, और DOWN राज्य में प्रतिकृतियां। यह सामान्य है, वास्तव में वे काम करते हैं, लेकिन इस रूप में इस तथ्य के कारण प्रदर्शित होते हैं कि वे HAproxy से अनुरोध करने के लिए 503 लौटाते हैं। यह हमें हमेशा यह जानने की अनुमति देता है कि वर्तमान में कौन से तीन सर्वर मास्टर हैं।

निष्कर्ष

आप अद्भुत हैं! केवल 30 मिनट में, आपने स्ट्रीमिंग प्रतिकृति और स्वचालित प्रावधान के साथ एक उत्कृष्ट विफल-सुरक्षित और उत्पादक डेटाबेस क्लस्टर को तैनात किया है। यदि आप इस समाधान का उपयोग करने की योजना बनाते हैं, तो आधिकारिक पेट्रोनी प्रलेखन और विशेष रूप से संरक्षक उपयोगिता के बारे में इसका हिस्सा देखें, जो आपके क्लस्टर का प्रबंधन करने के लिए सुविधाजनक पहुंच प्रदान करता है।

बधाई!