👩🏻‍⚕️ ⛽️ 🏴‍☠️ S3, NFS का उपयोग करके क्लाइंट के साथ संगत लियोफ़् स वितरित विफल-सुरक्षित संग्रहण सुविधा स्थापित करना ⚒️ 👉🏾 ↘️

मैं लक्सॉफ्ट से हूं।
ओपेनेट के अनुसार: लियोफ़्स लियोएफएस वस्तुओं के लिए एक वितरित दोष-सहिष्णु भंडारण सुविधा है, जो अमेज़ॅन एस 3 एपीआई और रीस्ट -एपीआई का उपयोग करने वाले ग्राहकों के साथ संगत है, साथ ही एनएफएस सर्वर के रूप में ऑपरेशन के मोड का समर्थन करता है। छोटी और बहुत बड़ी दोनों वस्तुओं के भंडारण के लिए अनुकूलन हैं, एक अंतर्निहित कैशिंग तंत्र है, डेटा केंद्रों के बीच भंडारण की प्रतिकृति संभव है। डुप्लिकेट की अत्यधिक प्रतिकृति और विफलता के एक बिंदु के उन्मूलन के कारण परियोजना के उद्देश्यों में 99.9999999% विश्वसनीयता की उपलब्धि है। प्रोजेक्ट कोड Erlang में लिखा गया है।

LeoFS में तीन घटक होते हैं:

लियोफ़्स स्टोरेज - वस्तुओं और मेटाडेटा को जोड़ने, पुनर्प्राप्त करने और हटाने के कार्यों की सेवा है, जो प्रतिकृति, पुनर्प्राप्ति और ग्राहक अनुरोधों को निष्पादित करने के लिए जिम्मेदार है।
LeoFS गेटवे - HTTP अनुरोधों का कार्य करता है और REST-API या S3-API का उपयोग करके ग्राहकों को प्रतिक्रियाओं को रीडायरेक्ट करता है, मेमोरी और डिस्क में सबसे अनुरोधित डेटा का कैशिंग प्रदान करता है।
लियोफ़्स प्रबंधक - लियोफ़स गेटवे और लियोफ़्स स्टोरेज नोड्स के संचालन की निगरानी करता है, नोड्स और चेकसम की स्थिति की निगरानी करता है। डेटा अखंडता और उच्च भंडारण उपलब्धता सुनिश्चित करता है।

इस पोस्ट में, Ansible-playbook, S3, NFS का उपयोग करके Leofs स्थापित करें।

यदि आप आधिकारिक प्लेबुक का उपयोग करके लियोफ़्स को स्थापित करने का प्रयास करते हैं, तो विभिन्न त्रुटियां आपकी प्रतीक्षा कर रही हैं: 1 , 2 । इस पोस्ट में मैं लिखूंगा कि इन त्रुटियों से बचने के लिए क्या करने की आवश्यकता है।

जहां आप ansible-playbook चलाएंगे, आपको netcat इंस्टॉल करना होगा।

इन्वेंटरी उदाहरण

उदाहरण इन्वेंट्री (होस्टेस सैंपल रिपॉजिटरी में):

# Please check roles/common/vars/leofs_releases for available versions [all:vars] leofs_version=1.4.3 build_temp_path="/tmp/leofs_builder" build_install_path="/tmp/" build_branch="master" source="package" #[builder] #172.26.9.177 # nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all [leo_manager_0] 172.26.9.176 # nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all [leo_manager_1] 172.26.9.178 [leo_storage] 172.26.9.179 leofs_module_nodename=S0@172.26.9.179 172.26.9.181 leofs_module_nodename=S0@172.26.9.181 172.26.9.182 leofs_module_nodename=S0@172.26.9.182 172.26.9.183 leofs_module_nodename=S0@172.26.9.183 [leo_gateway] 172.26.9.180 leofs_module_nodename=G0@172.26.9.180 172.26.9.184 leofs_module_nodename=G0@172.26.9.184 [leofs_nodes:children] leo_manager_0 leo_manager_1 leo_gateway leo_storage

सर्वर की तैयारी

सेलिनक्स को अक्षम करना। मुझे उम्मीद है कि समुदाय LeoFS के लिए सेलिनक्स नीतियां बनाता है।

  - name: Install libselinux as prerequisite for SELinux Ansible module yum: name: "{{item}}" state: latest with_items: - libselinux-python - libsemanage-python - name: Disable SELinux at next reboot selinux: state: disabled - name: Set SELinux in permissive mode until the machine is rebooted command: setenforce 0 ignore_errors: true changed_when: false

netcat और redhat-lsb-core स्थापित करें। netcat ज़रूरत leofs-adm , यहाँ OS संस्करण को निर्धारित करने के लिए redhat-lsb-core आवश्यकता होती है ।

  - name: Install Packages yum: name={{ item }} state=present with_items: - nmap-ncat - redhat-lsb-core

एक उपयोगकर्ता का निर्माण करना और इसे पहिया समूह में जोड़ना

  - name: Create user leofs group: name: leofs state: present - name: Allow 'wheel' group to have passwordless sudo lineinfile: dest: /etc/sudoers state: present regexp: '^%wheel' line: '%wheel ALL=(ALL) NOPASSWD: ALL' validate: 'visudo -cf %s' - name: Add the user 'leofs' to group 'wheel' user: name: leofs groups: wheel append: yes

एर्लांग को स्थापित करें

  - name: Remote erlang-20.3.8.23-1.el7.x86_64.rpm install with yum yum: name=https://github.com/rabbitmq/erlang-rpm/releases/download/v20.3.8.23/erlang-20.3.8.23-1.el7.x86_64.rpm

सुधारे हुए अनूसिबल प्लेबुक का पूरा संस्करण यहाँ पाया जा सकता है: https://github.com/patsevanton/leofh_mible

स्थापना, कॉन्फ़िगरेशन, प्रारंभ

इसके बाद, जैसा कि build_leofs.nl के बिना https://github.com/leo-project/leofs_ansible में लिखा है, निष्पादित करें

 ## Install LeoFS $ ansible-playbook -i hosts install_leofs.yml ## Config LeoFS $ ansible-playbook -i hosts config_leofs.yml ## Start LeoFS $ ansible-playbook -i hosts start_leofs.yml

प्राथमिक लियोमेनेगर पर क्लस्टर की स्थिति की जाँच

 leofs-adm status

प्राइमरी और सेकेंडरी को एंसिबल-प्लेबुक लॉग में देखा जा सकता है

निष्कर्ष कुछ इस तरह होगा

  [System Confiuration] -----------------------------------+---------- Item | Value -----------------------------------+---------- Basic/Consistency level -----------------------------------+---------- system version | 1.4.3 cluster Id | leofs_1 DC Id | dc_1 Total replicas | 2 number of successes of R | 1 number of successes of W | 1 number of successes of D | 1 number of rack-awareness replicas | 0 ring size | 2^128 -----------------------------------+---------- Multi DC replication settings -----------------------------------+---------- [mdcr] max number of joinable DCs | 2 [mdcr] total replicas per a DC | 1 [mdcr] number of successes of R | 1 [mdcr] number of successes of W | 1 [mdcr] number of successes of D | 1 -----------------------------------+---------- Manager RING hash -----------------------------------+---------- current ring-hash | a0314afb previous ring-hash | a0314afb -----------------------------------+---------- [State of Node(s)] -------+----------------------+--------------+---------+----------------+----------------+---------------------------- type | node | state | rack id | current ring | prev ring | updated at -------+----------------------+--------------+---------+----------------+----------------+---------------------------- S | S0@172.26.9.179 | running | | a0314afb | a0314afb | 2019-12-05 10:33:47 +0000 S | S0@172.26.9.181 | running | | a0314afb | a0314afb | 2019-12-05 10:33:47 +0000 S | S0@172.26.9.182 | running | | a0314afb | a0314afb | 2019-12-05 10:33:47 +0000 S | S0@172.26.9.183 | attached | | | | 2019-12-05 10:33:58 +0000 G | G0@172.26.9.180 | running | | a0314afb | a0314afb | 2019-12-05 10:33:49 +0000 G | G0@172.26.9.184 | running | | a0314afb | a0314afb | 2019-12-05 10:33:49 +0000 -------+----------------------+--------------+---------+----------------+----------------+----------------------------

एक उपयोगकर्ता बनाएँ

उपयोक्ता शब्द बनाएं:

 leofs-adm create-user leofs leofs access-key-id: 9c2615f32e81e6a1caf5 secret-access-key: 8aaaa35c1ad78a2cbfa1a6cd49ba8aaeb3ba39eb

उपयोगकर्ताओं की सूची:

 leofs-adm get-users user_id | role_id | access_key_id | created_at ------------+---------+------------------------+--------------------------- _test_leofs | 9 | 05236 | 2019-12-02 06:56:49 +0000 leofs | 1 | 9c2615f32e81e6a1caf5 | 2019-12-02 10:43:29 +0000

एक बाल्टी बनाएँ

एक बाल्टी बनाई

 leofs-adm add-bucket leofs 9c2615f32e81e6a1caf5 OK

बाल्टी सूची:

  leofs-adm get-buckets cluster id | bucket | owner | permissions | created at -------------+----------+--------+------------------+--------------------------- leofs_1 | leofs | leofs | Me(full_control) | 2019-12-02 10:44:02 +0000

S3cmd को कॉन्फ़िगर करना

HTTP Proxy server name फ़ील्ड में, गेटवे सर्वर आईपी निर्दिष्ट करें

 s3cmd --configure Enter new values or accept defaults in brackets with Enter. Refer to user manual for detailed description of all options. Access key and Secret key are your identifiers for Amazon S3. Leave them empty for using the env variables. Access Key [9c2615f32e81e6a1caf5]: Secret Key [8aaaa35c1ad78a2cbfa1a6cd49ba8aaeb3ba39eb]: Default Region [US]: Use "s3.amazonaws.com" for S3 Endpoint and not modify it to the target Amazon S3. S3 Endpoint [s3.amazonaws.com]: Use "%(bucket)s.s3.amazonaws.com" to the target Amazon S3. "%(bucket)s" and "%(location)s" vars can be used if the target S3 system supports dns based buckets. DNS-style bucket+hostname:port template for accessing a bucket [%(bucket)s.s3.amazonaws.com]: leofs Encryption password is used to protect your files from reading by unauthorized persons while in transfer to S3 Encryption password: Path to GPG program [/usr/bin/gpg]: When using secure HTTPS protocol all communication with Amazon S3 servers is protected from 3rd party eavesdropping. This method is slower than plain HTTP, and can only be proxied with Python 2.7 or newer Use HTTPS protocol [No]: On some networks all internet access must go through a HTTP proxy. Try setting it here if you can't connect to S3 directly HTTP Proxy server name [172.26.9.180]: HTTP Proxy server port [8080]: New settings: Access Key: 9c2615f32e81e6a1caf5 Secret Key: 8aaaa35c1ad78a2cbfa1a6cd49ba8aaeb3ba39eb Default Region: US S3 Endpoint: s3.amazonaws.com DNS-style bucket+hostname:port template for accessing a bucket: leofs Encryption password: Path to GPG program: /usr/bin/gpg Use HTTPS protocol: False HTTP Proxy server name: 172.26.9.180 HTTP Proxy server port: 8080 Test access with supplied credentials? [Y/n] Y Please wait, attempting to list all buckets... Success. Your access key and secret key worked fine :-) Now verifying that encryption works... Not configured. Never mind. Save settings? [y/N] y Configuration saved to '/home/user/.s3cfg'

यदि आपको त्रुटि मिलती है त्रुटि: S3 त्रुटि: 403 (AccessDenied): प्रवेश निषेध:

 s3cmd put test.py s3://leofs/ upload: 'test.py' -> 's3://leofs/test.py' [1 of 1] 382 of 382 100% in 0s 3.40 kB/s done ERROR: S3 error: 403 (AccessDenied): Access Denied

फिर आपको True s3cmd कॉन्फिगरेशन में signature_v2 को सही करना होगा। इस अंक में विवरण।

यदि हस्ताक्षर_v2 गलत है, तो ऐसी त्रुटि होगी:

 WARNING: Retrying failed request: /?delimiter=%2F (getaddrinfo() argument 2 must be integer or string) WARNING: Waiting 3 sec... WARNING: Retrying failed request: /?delimiter=%2F (getaddrinfo() argument 2 must be integer or string) WARNING: Waiting 6 sec... ERROR: Test failed: Request failed for: /?delimiter=%2F

बूट परीक्षण

1GB फ़ाइल बनाएँ

 fallocate -l 1GB 1gb

इसे Leofs पर अपलोड करें

 time s3cmd put 1gb s3://leofs/ real 0m19.099s user 0m7.855s sys 0m1.620s

आंकड़े

1 नोड के लिए leofs-adm du:

 leofs-adm du S0@172.26.9.179 active number of objects: 156 total number of objects: 156 active size of objects: 602954495 total size of objects: 602954495 ratio of active size: 100.0% last compaction start: ____-__-__ __:__:__ last compaction end: ____-__-__ __:__:__

हम देखते हैं कि निष्कर्ष बहुत जानकारीपूर्ण नहीं है।

आइए देखें कि यह फ़ाइल कहाँ स्थित है।
leofs- प्रवेश, जिसमें leofs / 1gb है

 leofs-adm whereis leofs/1gb -------+----------------------+--------------------------------------+------------+--------------+----------------+----------------+----------------+---------------------------- del? | node | ring address | size | checksum | has children | total chunks | clock | when -------+----------------------+--------------------------------------+------------+--------------+----------------+----------------+----------------+---------------------------- | S0@172.26.9.181 | 657a9f3a3db822a7f1f5050925b26270 | 976563K | a4634eea55 | true | 64 | 598f2aa976a4f | 2019-12-05 10:48:15 +0000 | S0@172.26.9.182 | 657a9f3a3db822a7f1f5050925b26270 | 976563K | a4634eea55 | true | 64 | 598f2aa976a4f | 2019-12-05 10:48:15 +0000

NFS को सक्रिय करें

हम लियो गेटवे 172.26.9.184 सर्वर पर एनएफएस को सक्रिय करते हैं।

सर्वर और क्लाइंट पर, nfs-utils इंस्टॉल करें

 sudo yum install nfs-utils

निर्देशों के अनुसार, हम कॉन्फ़िगरेशन फ़ाइल /usr/local/leofs/current/leo_gateway/etc/leo_gateway.conf ठीक करेंगे

 protocol = nfs

सर्वर 172.26.9.184 पर, rpcbind और leofs-Gateway चलाएं

 sudo service rpcbind start sudo service leofs-gateway restart

सर्वर पर जहां leo_manager चल रहा है, NFS के लिए एक बाल्टी बनाएं और NFS से कनेक्ट करने के लिए एक कुंजी बनाएं

 leofs-adm add-bucket test 05236 leofs-adm gen-nfs-mnt-key test 05236 ip--nfs-

NFS से कनेक्ट करें

 sudo mkdir /mnt/leofs ## for Linux - "sudo mount -t nfs -o nolock <host>:/<bucket>/<token> <dir>" sudo mount -t nfs -o nolock ip--nfs-------gateway:/bucket/access_key_id/---gen-nfs-mnt-key /mnt/leofs sudo mount -t nfs -o nolock 172.26.9.184:/test/05236/bb5034f0c740148a346ed663ca0cf5157efb439f /mnt/leofs

NFS क्लाइंट के माध्यम से डिस्क स्थान देखें

डिस्क स्थान पर विचार करते हुए कि प्रत्येक भंडारण नोड में 40GB डिस्क (3 चलने वाले नोड्स, 1 संलग्न नोड) हैं:

 df -hP Filesystem Size Used Avail Use% Mounted on 172.26.9.184:/test/05236/e7298032e78749149dd83a1e366afb328811c95b 60G 3.6G 57G 6% /mnt/leofs

6 स्टोरेज नोड्स के साथ लियोएफएस स्थापित करें।

इन्वेंटरी (बिल्डर के बिना):

 # Please check roles/common/vars/leofs_releases for available versions [all:vars] leofs_version=1.4.3 build_temp_path="/tmp/leofs_builder" build_install_path="/tmp/" build_branch="master" source="package" # nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all [leo_manager_0] 172.26.9.177 # nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all [leo_manager_1] 172.26.9.176 [leo_storage] 172.26.9.178 leofs_module_nodename=S0@172.26.9.178 172.26.9.179 leofs_module_nodename=S0@172.26.9.179 172.26.9.181 leofs_module_nodename=S0@172.26.9.181 172.26.9.182 leofs_module_nodename=S0@172.26.9.182 172.26.9.183 leofs_module_nodename=S0@172.26.9.183 172.26.9.185 leofs_module_nodename=S0@172.26.9.185 [leo_gateway] 172.26.9.180 leofs_module_nodename=G0@172.26.9.180 172.26.9.184 leofs_module_nodename=G0@172.26.9.184 [leofs_nodes:children] leo_manager_0 leo_manager_1 leo_gateway leo_storage

Leofs- प्रवेश स्थिति उत्पादन

Leofs- प्रवेश स्थिति उत्पादन

  [System Confiuration] -----------------------------------+---------- Item | Value -----------------------------------+---------- Basic/Consistency level -----------------------------------+---------- system version | 1.4.3 cluster Id | leofs_1 DC Id | dc_1 Total replicas | 2 number of successes of R | 1 number of successes of W | 1 number of successes of D | 1 number of rack-awareness replicas | 0 ring size | 2^128 -----------------------------------+---------- Multi DC replication settings -----------------------------------+---------- [mdcr] max number of joinable DCs | 2 [mdcr] total replicas per a DC | 1 [mdcr] number of successes of R | 1 [mdcr] number of successes of W | 1 [mdcr] number of successes of D | 1 -----------------------------------+---------- Manager RING hash -----------------------------------+---------- current ring-hash | d8ff465e previous ring-hash | d8ff465e -----------------------------------+---------- [State of Node(s)] -------+----------------------+--------------+---------+----------------+----------------+---------------------------- type | node | state | rack id | current ring | prev ring | updated at -------+----------------------+--------------+---------+----------------+----------------+---------------------------- S | S0@172.26.9.178 | running | | d8ff465e | d8ff465e | 2019-12-06 05:18:29 +0000 S | S0@172.26.9.179 | running | | d8ff465e | d8ff465e | 2019-12-06 05:18:29 +0000 S | S0@172.26.9.181 | running | | d8ff465e | d8ff465e | 2019-12-06 05:18:30 +0000 S | S0@172.26.9.182 | running | | d8ff465e | d8ff465e | 2019-12-06 05:18:29 +0000 S | S0@172.26.9.183 | running | | d8ff465e | d8ff465e | 2019-12-06 05:18:29 +0000 S | S0@172.26.9.185 | running | | d8ff465e | d8ff465e | 2019-12-06 05:18:29 +0000 G | G0@172.26.9.180 | running | | d8ff465e | d8ff465e | 2019-12-06 05:18:31 +0000 G | G0@172.26.9.184 | running | | d8ff465e | d8ff465e | 2019-12-06 05:18:31 +0000 -------+----------------------+--------------+---------+----------------+----------------+----------------------------

डिस्क स्थान, यह ध्यान में रखते हुए कि प्रत्येक स्टोरेज नोड में 40GB डिस्क (6 रनिंग नोड्स) हैं:

 df -hP Filesystem Size Used Avail Use% Mounted on 172.26.9.184:/test/05236/e7298032e78749149dd83a1e366afb328811c95b 120G 3.6G 117G 3% /mnt/leofs

यदि 5 स्टोरेज नोड्स का उपयोग किया जाता है

 [leo_storage] 172.26.9.178 leofs_module_nodename=S0@172.26.9.178 172.26.9.179 leofs_module_nodename=S1@172.26.9.179 172.26.9.181 leofs_module_nodename=S2@172.26.9.181 172.26.9.182 leofs_module_nodename=S3@172.26.9.182 172.26.9.183 leofs_module_nodename=S4@172.26.9.183

 df -hP 172.26.9.184:/test/05236/e7298032e78749149dd83a1e366afb328811c95b 100G 3.0G 97G 3% /mnt/leofs

लॉग

लॉग निर्देशिका /usr/local/leofs/current/*/log

यदि आप मैन्युअल रूप से Leofs को स्थापित / कॉन्फ़िगर करते हैं, तो आप निम्न त्रुटियों का सामना कर सकते हैं।

[ERROR] मनेसिया उपलब्ध नहीं है

Systemctl सेवा शुरू करना leofs-manager-master शुरू करें

 leofs-adm status [ERROR] Mnesia is not available

Leo_manager_1 पर leofs-manager-slave को systemctl शुरू करने की आवश्यकता है

Leofs-Storage प्रारंभ नहीं होता है।

यह स्थिति दिखाने के लिए चलने के लिए leofs-manager-master और leofs-manager-slave और leofs-adm की स्थिति के लिए आवश्यक है।

प्रतिकृति के # से कम नोड संलग्न

जब आप लफ़्ज़-प्रशंसा शुरू करते हैं, तो आपको यह त्रुटि मिलती है:

 leofs-adm start [ERROR] Attached nodes less than # of replicas

पर्याप्त भंडारण नोड्स नहीं। leofs-adm की स्थिति आपको 2 से कम संग्रहण नोड दिखाएगी। स्टोरेज नोड्स की न्यूनतम आवश्यक संख्या 2।

leofs-adm की स्थिति जुड़ी हुई है, बाकी भाग रहा है।

नोड्स को पुनर्संतुलित करने की आवश्यकता है

 leofs-adm rebalance

लेओफ़्स-गेटवे शुरू करने के बाद, आप गेटवे नोड को लेओफ़्स-प्रवेश स्थिति में नहीं देखते हैं

लफ्ज़-दाखिला शुरू करने की जरूरत है

 leofs-adm start

दास नोड पर लियोफ़्स प्रबंधक से जुड़ नहीं सका

(डिफ़ॉल्ट रूप से, leofs-adm दास नोड पर काम नहीं कर रहा है!] ( Https://leo-project.net/leofs/docs/issues/documentation-issues/ )

लोड परीक्षण

कॉन्फ़िगरेशन के साथ 2 नोड्स पर परीक्षण होता है:

 CPU: Single Core Intel Core (Broadwell) (-MCP-) speed: 2295 MHz Kernel: 3.10.0-862.3.2.el7.x86_64 x86_64 Up: 1h 08m Mem: 1023.8/1999.6 MiB (51.2%) Storage: 10.00 GiB (43.5% used) Procs: 98 Shell: bash 4.2.46 inxi: 3.0.37

परीक्षण के लिए, एक छोटी सी डिस्क लें
दोनों नोड्स पर हम एक 9.4G और 5.9G फ्री स्पेस डिस्क देखते हैं।

 df -hP Filesystem Size Used Avail Use% Mounted on /dev/vda1 9.4G 5.9G 3.1G 66% /

टेलीग्राम चैनल: एसडीएस और क्लस्टर एफएस

S3, NFS का उपयोग करके क्लाइंट के साथ संगत लियोफ़् स वितरित विफल-सुरक्षित संग्रहण सुविधा स्थापित करना