क्लस्टर भंडारण पेसमेकर + DRBD (दोहरी प्राथमिक) + सांबा

"पेसमेकर कलस्टर स्टोरेज + DRBD (ड्यूल प्राइमरी) + ctdb" लेख की निरंतरता में, मैं हाओ क्लस्टर फाइल बॉल्स का पूरी तरह से तैयार और वर्किंग वर्जन प्रस्तुत करता हूं, जो सेंटोस 6 और सेंटो के लिए 2-4 नोड्स के लिए है। 7. यदि आप इसे लागू करना चाहते हैं, तो आप एक बिगाड़ने वाले हैं या आप उन्होंने कोई विकल्प नहीं दिया, और इसे किसी भी तरह से लागू करना आवश्यक है।

मैं केवल हमारे द्वारा एकत्रित कश केक का वर्णन करूंगा:

ब्लॉक डिवाइस पर, टेबल gpt => lvm के तहत पूरे स्पेस के लिए एक पार्टीशन बनाएं => संपूर्ण उपलब्ध स्पेस के लिए lvm वॉल्यूम का समूह => संपूर्ण उपलब्ध स्पेस के लिए lvm वॉल्यूम => drbd डिवाइस => ddm => इसे पूरे उपलब्ध स्पेस के लिए lvm के भौतिक आयतन के रूप में चिह्नित करें। => इस पर lvm वॉल्यूम का क्लस्टर समूह => सभी उपलब्ध स्थान पर lvm वॉल्यूम => fs gfs2 => माउंट बिंदु से कनेक्ट करें।
और यह सब पेसमेकर द्वारा एक आभासी आईपी पते के साथ संचालित किया जाएगा।


यदि आप अभी भी जारी रखना चाहते हैं, तो कट के नीचे पढ़ें।


शर्तों के तहत हमें 2 वर्चुअल मशीनें दी गईं और यह सब है। सेफ़ को 6 नोड्स पर सही संचालन के लिए रखना बेहतर है, कम से कम 4, इसके साथ ही इसके साथ कुछ अनुभव होना अच्छा होगा, अन्यथा यह क्लाउडहाउस की तरह काम करेगा। प्रदर्शन के संदर्भ में सैकड़ों हजारों छोटी फाइलों के लिए चमक काम नहीं करेगी, यह कई बार हैबे की विशालता में दुर्बल है। ipfs, चमक और जैसी की ceph या उससे भी अधिक की आवश्यकताएं हैं।

चलो लड़ाई शुरू करते हैं! मेरे पास दो डिस्क के साथ CentOS 7 पर दो वर्चुअल मशीनें थीं।

1) पेसमेकर संस्करण 1.1 आईपी के साथ सही ढंग से काम नहीं करता है, इसलिए विश्वसनीयता के लिए हम / आदि / मेजबानों में प्रविष्टियां जोड़ते हैं:

192.168.0.1 node1 192.168.0.2 node2 

2) मानक रिपॉजिटरी में कोई DRBD नहीं है, इसलिए आपको तीसरे पक्ष को कनेक्ट करने की आवश्यकता है।

 rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org yum localinstall -y http://ftp.nluug.nl/os/Linux/distr/elrepo/elrepo/el7/x86_64/RPMS/$(curl -s http://ftp.nluug.nl/os/Linux/distr/elrepo/elrepo/el7/x86_64/RPMS/ | grep -oP ">elrepo-release.*rpm" | cut -c 2-) 

3) ड्रब संस्करण स्थापित करें 8.4

 yum install -y kmod-drbd84 drbd84-utils 

4) स्टार्टअप में ड्रब कर्नेल मॉड्यूल को सक्रिय और सक्षम करें

 modprobe drbd echo drbd > /etc/modules-load.d/drbd.conf 

5) एक डिस्क विभाजन बनाएँ और lvm कॉन्फ़िगर करें

 echo -e "g\nn\n\n\n\nt\n8e\nw\n" | fdisk /dev/sdb vgcreate drbd_vg /dev/sdb1 lvcreate -l +100%FREE --name r0 drbd_vg 

6) संसाधन drbd /etc/drbd.d/r0.res के लिए कॉन्फ़िगरेशन फ़ाइल बनाएं

 resource r0 { protocol C; device /dev/drbd1; meta-disk internal; disk /dev/mapper/drbd_vg-r0; net { allow-two-primaries; } disk { fencing resource-and-stonith; } handlers { fence-peer "/usr/lib/drbd/crm-fence-peer.sh"; after-resync-target "/usr/lib/drbd/crm-unfence-peer.sh"; } startup { become-primary-on both; } on node1 { address 192.168.0.1:7788; } on node2 { address 192.168.0.2:7788; } 

7) हम ऑटोलैड से ड्रबड सेवा को हटाते हैं (बाद में पेसमेकर इसके लिए जिम्मेदार होगा), ड्रबड डिस्क के लिए मेटाडेटा बनाएं, संसाधन बढ़ाएं

 systemctl disable drbd drbdadm create-md r0 drbdadm up r0 

8) पहले नोड पर, संसाधन को प्राथमिक बनाएं

 drbdadm primary --force r0 

9) पेसमेकर लगाएं

 yum install -y pacemaker corosync pcs resource-agents fence-agents-all 

10) नोड्स पर प्राधिकरण के लिए उपयोगकर्ता हैक्स्टर के लिए एक पासवर्ड सेट करें

 echo CHANGEME | passwd --stdin hacluster 

11) दोनों नोड्स पर पीसीएसडी चलाएं

 systemctl enable pcsd systemctl start pcsd 

12) क्लस्टर में लॉग इन करें। इस चरण से हम सब कुछ एक नोड पर करते हैं

 pcs cluster auth node1 node2 -u hacluster -p CHANGEME --force 

13) samba_cluster नाम का एक क्लस्टर बनाएं

 pcs cluster setup --force --name samba_cluster node1 node2 

14) नोड्स को सक्रिय करें और स्टार्टअप में सेवाएं जोड़ें और उन्हें शुरू करें

 pcs cluster enable --all pcs cluster start --all systemctl start corosync pcsd pacemaker systemctl enable corosync pcsd pacemaker 

15) चूंकि हमारे पास वर्चुअल मशीनें सर्वर के रूप में हैं, इसलिए हम STONITH तंत्र को बंद कर देते हैं, क्योंकि हमारे पास उनके प्रबंधन के लिए कोई तंत्र नहीं है। हमारे पास केवल 2 कारें हैं, इसलिए हम कोरम को भी अक्षम करते हैं, यह केवल 3 या अधिक मशीनों के साथ काम करता है।

 pcs property set stonith-enabled=false pcs property set no-quorum-policy=ignore 

16) VIP बनाएं

 pcs resource create virtual_ip ocf:heartbeat:IPaddr2 ip=192.168.0.10 cidr_netmask=32 nic=eth0 clusterip_hash=sourceip-sourceport op monitor interval=1s 

17) एक ड्रब संसाधन बनाएँ

 pcs resource create DRBD1 ocf:linbit:drbd drbd_resource=r0 op monitor interval=60s master master-max=2 master-node-max=1 clone-node-max=1 clone-max=2 notify=true op start interval=0s timeout=240 promote interval=0s timeout=130 monitor interval=150s role=Master monitor interval=155s role=Slave 

18) clvm के लिए आवश्यक संकुल स्थापित करें और clvm तैयार करें

 yum install -y lvm2-cluster gfs2-utils /sbin/lvmconf --enable-cluster 

19) पेसमेकर में dlm और clvd संसाधन जोड़ें

 pcs resource create dlm ocf:pacemaker:controld allow_stonith_disabled=true clone meta interleave=true pcs resource create clvmd ocf:heartbeat:clvm clone meta interleave=true 

20) हम LVM को कैश लिखने से रोकते हैं और उसे साफ़ करते हैं। दोनों नोड्स पर

 sed -i 's/write_cache_state = 1/write_cache_state = 0/' /etc/lvm/lvm.conf rm /etc/lvm/cache/* 

21) एक CLVM पार्टीशन बनाएं। हम केवल एक नोट पर बनाते हैं

 vgcreate -A y -cy cl_vg /dev/drbd1 lvcreate -l 100%FREE -n r0 cl_vg 

22) हम gfs2 में अनुभाग को चिह्नित करते हैं, यहां यह महत्वपूर्ण है कि ताला तालिका का शांतिदूत में हमारे क्लस्टर के समान नाम है। हम केवल एक नोट पर बनाते हैं

 mkfs.gfs2 -j 2 -p lock_dlm -t samba_cluster:r0 /dev/cl_vg/r0 

23) अगला, पेसमेकर में इस अनुभाग का माउंट जोड़ें और इसे clvmd के बाद बूट करने के लिए कहें

 pcs resource create fs ocf:heartbeat:Filesystem device="/dev/cl_vg/r0" directory="/mnt" fstype="gfs2" clone interleave=true 

24) अब यह ctdb की बारी है जो साम्बा चलाएगा

 yum install -y samba ctdb cifs-utils 

25) config /etc/ctdb/ctdbd.conf संपादित करें

 CTDB_RECOVERY_LOCK="/mnt/ctdb/.ctdb.lock" CTDB_NODES=/etc/ctdb/nodes CTDB_MANAGES_SAMBA=yes CTDB_LOGGING=file:/var/log/ctdb.log CTDB_DEBUGLEVEL=NOTICE 

26) नोड्स / etc / ctdb / नोड्स की सूची के साथ एक फ़ाइल बनाएँ
चेतावनी! सूची में प्रत्येक पते के बाद एक पंक्ति फ़ीड होनी चाहिए। अन्यथा, प्रारंभ के दौरान नोड चालू नहीं होगा।

 192.168.0.1 192.168.0.2 

27) अंत में, ctdb संसाधन बनाएं

 pcs resource create samba systemd:ctdb clone meta interleave=true 

28) हम चलाने के लिए लोड कतार और संसाधन निर्भरता निर्धारित करते हैं

 pcs constraint colocation add dlm-clone with DRBD1-master pcs constraint colocation add clvmd-clone with dlm-clone pcs constraint colocation add fs-clone with clvmd-clone pcs constraint colocation add samba-clone with fs-clone pcs constraint colocation add virtual_ip with samba-clone pcs constraint order promote DRBD1-master then dlm-clone pcs constraint order start dlm-clone then clvmd-clone pcs constraint order start clvmd-clone then fs-clone pcs constraint order start fs-clone then samba-clone 

29) हम संसाधनों को रोकने के लिए कतार लगाते हैं, इसके बिना शटडाउन के समय आपकी मशीन फ्रीज हो सकती है

 pcs constraint order stop fs-clone then stop clvmd-clone pcs constraint order stop clvmd-clone then stop dlm-clone pcs constraint order stop dlm-clone then stop DRBD1-master pcs constraint order stop samba-clone then stop fs-clone 

पुनश्च

गेंद खुद nfs पर हो सकती है, और सांबा पर, लेकिन उन्हें कनेक्ट करना IP द्वारा विफल-ओवर होता है, हालांकि हा स्टोरेज स्वयं। यदि आप पूर्ण हा चाहते हैं, तो सांबा और nfs के बजाय आपको iSCSI स्थापित करने और मल्टीपाथ के माध्यम से कनेक्ट करने की आवश्यकता है। इसके अलावा, यदि आप नोड्स में से किसी एक की मृत्यु हो जाती है, तो आप विभाजित हो सकते हैं, और जब मास्टर उठता है, तो यह नहीं होगा। मैंने जाँच की कि यदि ओएस सही तरीके से बंद हो जाता है, तो नोड को बढ़ाने के बाद जब कोई मास्टर नहीं है, तो यह आउट-ऑफ-डेट मोड में चला जाता है और विभाजित दिमाग से बचने के लिए मास्टर नहीं बन जाता है। कोरम वेरिएंट (DRBD और / या पेसमेकर) और आपके कॉन्फ़िगरेशन के बाद कैस्केडिंग DRBD कंस्ट्रक्शन से किसी भी तरह की विकृतियां उनके उच्च जटिलता के कारण अस्थिर हैं, एक और व्यवस्थापक को पता लगाने में लंबा समय लगेगा। हालाँकि मैंने जो लिखा है वह बेहतर नहीं है, ऐसा न करें।

संदर्भ:

पेसमेकर 1.0 के लिए सिंटैक्स के साथ एक समान निर्देश है।