(यहां पहला भाग: https://habr.com/en/post/456446/ )

CEPH

परिचय

चूंकि नेटवर्क सेफ के प्रमुख तत्वों में से एक है, और यह हमारी कंपनी में थोड़ा विशिष्ट है, हम पहले आपको इसके बारे में थोड़ा बताएंगे।
इसमें सिफ का बहुत ही कम वर्णन होगा, मुख्य रूप से एक नेटवर्क इन्फ्रास्ट्रक्चर। केवल सिफ सर्वर और Proxmox वर्चुअलाइजेशन सर्वर की कुछ विशेषताओं का वर्णन किया जाएगा।

तो: नेटवर्क टोपोलॉजी को लीफ-स्पाइन के रूप में बनाया गया है । क्लासिक थ्री-टियर आर्किटेक्चर एक ऐसा नेटवर्क है जहां कोर (कोर राउटर), एग्रीगेशन (एकत्रीकरण राउटर) हैं और सीधे एक्सेस क्लाइंट (एक्सेस राउटर) के साथ जुड़ा हुआ है:

तीन स्तरीय योजना

लीफ-स्पाइन टोपोलॉजी में दो स्तर होते हैं: स्पाइन (मोटे तौर पर मुख्य राउटर बोलते हैं) और लीफ (शाखाएं)।

दो स्तरीय योजना

सभी आंतरिक और बाहरी रूटिंग बीजीपी पर बनाई गई है। मुख्य प्रणाली जो एक्सेस कंट्रोल, घोषणाओं और अधिक से संबंधित है, वह XCloud है।
चैनल आरक्षण के लिए सर्वर (और इसके विस्तार के लिए भी) दो L3 स्विच से जुड़े होते हैं (अधिकांश सर्वर लीफ स्विच से जुड़े होते हैं, लेकिन नेटवर्क लोड के साथ कुछ सर्वर सीधे स्विच के स्पाइन से जुड़े होते हैं), और बीजीपी के माध्यम से अपने यूनिकस्ट पते की घोषणा करते हैं कई सर्वर सेवा ट्रैफ़िक की सेवा करते हैं और ECMP संतुलन उनके लिए पर्याप्त होता है, तो सेवा के लिए किसी भी प्रकार का पता। इस योजना की एक अलग विशेषता, जिसने हमें पतों पर बचत करने की अनुमति दी, लेकिन साथ ही इंजीनियरों को IPv6 की दुनिया से परिचित होने के लिए आवश्यक था, RFC 5549 पर आधारित BGP अनावश्यक मानक का उपयोग था। कुछ समय के लिए, इस योजना के लिए सर्वर और समय-समय पर BGP में सर्वर के लिए Quagga का उपयोग किया गया था। दावतों और कनेक्टिविटी के नुकसान के साथ समस्याएं थीं। लेकिन FRRout पर स्विच करने के बाद (जिनके सक्रिय योगदानकर्ता हमारे नेटवर्क उपकरण विक्रेता हैं: क्यूम्यलस और XCloudNetworks), हमने इनमें से अधिक समस्याओं को नहीं देखा है।

सुविधा के लिए, हम इस संपूर्ण सामान्य योजना को "कारखाना" कहते हैं।

रास्ता खोजो

क्लस्टर नेटवर्क कॉन्फ़िगरेशन विकल्प:

1) बीजीपी पर दूसरा नेटवर्क

2) LACP के साथ दो अलग-अलग स्टैक्ड स्विच पर दूसरा नेटवर्क

3) ओएसपीएफ के साथ दो अलग-अलग पृथक स्विच पर दूसरा नेटवर्क

परीक्षण

परीक्षण दो प्रकार से किए गए:

a) iperf, qperf, nuttcp उपयोगिताओं का उपयोग कर नेटवर्क

b) आंतरिक परीक्षण सिफ ceph-gobench, राडोस बेंच, rbd बनाया और उन पर एक या कई थ्रेड्स में dd का उपयोग करके परीक्षण किया, fio का उपयोग कर

सभी परीक्षण एसएएस डिस्क के साथ परीक्षण मशीनों पर किए गए थे। आरबीडी प्रदर्शन में आंकड़े बहुत अधिक नहीं देखे गए थे, उनका उपयोग केवल तुलना के लिए किया गया था। कनेक्शन के प्रकार के आधार पर परिवर्तनों में रुचि।

पहला विकल्प

नेटवर्क कार्ड कारखाने से जुड़े हैं, बीजीपी कॉन्फ़िगर किए गए हैं।

आंतरिक नेटवर्क के लिए इस योजना का उपयोग करना सबसे अच्छा विकल्प नहीं माना गया था:

सबसे पहले, अतिरिक्त विलंबता देने वाले स्विच के रूप में मध्यवर्ती तत्वों की अधिक संख्या (यह मुख्य कारण था)।
दूसरे, शुरू में, एस 3 के माध्यम से स्टैटिक्स कास्ट करने के लिए, उन्होंने रेडोसगेटवे के साथ कई मशीनों पर उठाए गए किसी भी एड्रेस का इस्तेमाल किया। यह इस तथ्य के परिणामस्वरूप था कि आरजीडब्ल्यू के लिए फ्रंट-एंड मशीनों से यातायात समान रूप से वितरित नहीं किया गया था, लेकिन सबसे छोटे मार्ग के साथ गुजरता है - अर्थात, फ्रंट-एंड निग्नेक्स हमेशा आरजीडब्ल्यू के साथ एक ही नोड में बदल गया जो कि इसके साथ साझा किए गए पत्ते से जुड़ा था (यह, ज़ाहिर है, था) मुख्य तर्क नहीं - हमने बाद में स्थैतिक वापस लौटने के लिए किसी भी पतों से इनकार कर दिया)। लेकिन प्रयोग की शुद्धता के लिए, उन्होंने तुलना के लिए डेटा रखने के लिए इस तरह की योजना पर परीक्षण करने का फैसला किया।

हम पूरे बैंडविड्थ के लिए परीक्षण चलाने से डरते थे, क्योंकि कारखाने का उपयोग ठेस सर्वर द्वारा किया जाता है, और अगर हमने पत्ती और रीढ़ के बीच के लिंक को अवरुद्ध किया है, तो इससे बिक्री में कुछ नुकसान होगा।
दरअसल, इस तरह की योजना को खारिज करने का एक और कारण था।
अन्य योजनाओं के साथ तुलना के लिए 1, 10 और 100 धाराओं के बीडब्ल्यू सीमा के साथ Iperf परीक्षणों का उपयोग किया गया था।
टेस्ट में निम्न परिणाम दिखाई दिए:

1 स्ट्रीम में, लगभग 9.30 - 9.43 Gbits / sec (इस मामले में, रिट्रांसमिशन की संख्या दृढ़ता से 39148 तक बढ़ जाती है )। यह आंकड़ा एक इंटरफ़ेस के अधिकतम के करीब निकला यह बताता है कि दोनों में से एक का उपयोग किया जाता है। रिट्रांसमिशन की संख्या लगभग 500-600 है।
प्रति इंटरफ़ेस 9.63 Gbits / sec की 10 स्ट्रीम, जबकि रिट्रांसमिट्स की संख्या बढ़कर 17045 के औसत पर पहुंच गई।
100 थ्रेड्स में, परिणाम 10 की तुलना में खराब था, जबकि रिट्रांसमिट की संख्या कम है: औसत मूल्य 3354 है

दूसरा विकल्प

LACP

दो जुनिपर EX4500 स्विच थे। उन्होंने उन्हें स्टैक पर एकत्र किया, पहले लिंक के साथ सर्वर को एक स्विच से जोड़ा, दूसरे से दूसरे को।
प्रारंभिक संबंध सेटअप निम्नानुसार था:

root@ceph01-test:~# cat /etc/network/interfaces auto ens3f0 iface ens3f0 inet manual bond-master bond0 post-up /sbin/ethtool -G ens3f0 rx 8192 post-up /sbin/ethtool -G ens3f0 tx 8192 post-up /sbin/ethtool -L ens3f0 combined 32 post-up /sbin/ip link set ens3f0 txqueuelen 10000 mtu 9000 auto ens3f1 iface ens3f1 inet manual bond-master bond0 post-up /sbin/ethtool -G ens3f1 rx 8192 post-up /sbin/ethtool -G ens3f1 tx 8192 post-up /sbin/ethtool -L ens3f1 combined 32 post-up /sbin/ip link set ens3f1 txqueuelen 10000 mtu 9000 auto bond0 iface bond0 inet static address 10.10.10.1 netmask 255.255.255.0 slaves none bond_mode 802.3ad bond_miimon 100 bond_downdelay 200 bond_xmit_hash_policy 3 #(layer3+4 ) mtu 9000

Iperf और qperf परीक्षणों ने Bw को 16Gbits / sec तक दिखाया । हमने विभिन्न प्रकार के मॉड की तुलना करने का निर्णय लिया:
आरआर, बैलेंस- xor और 802.3ad। हमने हैशिंग लेयर 2 + 3 और लेयर 3 + 4 के विभिन्न प्रकारों की तुलना की (हैश कंप्यूटिंग पर लाभ पाने की उम्मीद)।
हमने चर net.ipv4.fib_multipath_hash_policy के अलग-अलग sysctl मानों के परिणामों की तुलना की , (ठीक है, हमने net.ipv4.tcp_congestion -control के साथ थोड़ा सा खेला, हालांकि इसका संबंध से कोई लेना-देना नहीं है। इस चर के लिए ValdikSS पर एक अच्छा लेख है )

लेकिन सभी परीक्षणों में, यह 18Gbits / sec की सीमा को पार करने के लिए काम नहीं आया (यह आंकड़ा संतुलन-एक्सोर और 802.3ad का उपयोग करके हासिल किया गया था, परीक्षण के परिणामों के बीच बहुत अंतर नहीं था) और यह मान "कूदने के बाद" फटने के बाद हासिल किया गया था।

तीसरा विकल्प

ओएसपीएफ

इस विकल्प को कॉन्फ़िगर करने के लिए, एलएसीपी को स्विच से हटा दिया गया था (स्टैकिंग को छोड़ दिया गया था, लेकिन इसका उपयोग केवल प्रबंधन के लिए किया गया था)। प्रत्येक स्विच पर, उन्होंने बंदरगाहों के एक समूह के लिए एक अलग वलान एकत्र किया (भविष्य के लिए एक आंख के साथ कि क्यूए और पीआरडी दोनों सर्वर एक ही स्विच में फंस जाएंगे)।

प्रत्येक वलान (एक इंटरफ़ेस प्रति स्विच) के लिए दो फ्लैट निजी नेटवर्क का विन्यास किया। इन पतों के शीर्ष पर तीसरे निजी नेटवर्क से एक और पते की घोषणा है, जो CEPH के लिए क्लस्टर नेटवर्क है।

चूंकि सार्वजनिक नेटवर्क (जिसके माध्यम से हम एसएसएच का उपयोग करते हैं) बीजीपी पर काम करता है, हमने ओएसपीएफ को कॉन्फ़िगर करने के लिए एफआरआर का उपयोग किया, जो पहले से ही सिस्टम पर है।

10.10.10.0/24 और 20.20.20.0/24 - स्विच पर दो फ्लैट नेटवर्क

172.16.1.0/24 - घोषणा के लिए नेटवर्क

मशीन सेटअप:
इंटरफेस निजी नेटवर्क पर दिखते हैं
पब्लिक नेटवर्क पर इंटरफेस 4f0 ens4f1 दिखते हैं

मशीन पर नेटवर्क कॉन्फिग इस तरह दिखता है:

 oot@ceph01-test:~# cat /etc/network/interfaces # This file describes the network interfaces available on your system # and how to activate them. For more information, see interfaces(5). source /etc/network/interfaces.d/* # The loopback network interface auto lo iface lo inet loopback auto ens1f0 iface ens1f0 inet static post-up /sbin/ethtool -G ens1f0 rx 8192 post-up /sbin/ethtool -G ens1f0 tx 8192 post-up /sbin/ethtool -L ens1f0 combined 32 post-up /sbin/ip link set ens1f0 txqueuelen 10000 mtu 9000 address 10.10.10.1/24 auto ens1f1 iface ens1f1 inet static post-up /sbin/ethtool -G ens1f1 rx 8192 post-up /sbin/ethtool -G ens1f1 tx 8192 post-up /sbin/ethtool -L ens1f1 combined 32 post-up /sbin/ip link set ens1f1 txqueuelen 10000 mtu 9000 address 20.20.20.1/24 auto ens4f0 iface ens4f0 inet manual post-up /sbin/ethtool -G ens4f0 rx 8192 post-up /sbin/ethtool -G ens4f0 tx 8192 post-up /sbin/ethtool -L ens4f0 combined 32 post-up /sbin/ip link set ens4f0 txqueuelen 10000 mtu 9000 auto ens4f1 iface ens4f1 inet manual post-up /sbin/ethtool -G ens4f1 rx 8192 post-up /sbin/ethtool -G ens4f1 tx 8192 post-up /sbin/ethtool -L ens4f1 combined 32 post-up /sbin/ip link set ens4f1 txqueuelen 10000 mtu 9000 #     loopback-: auto lo:0 iface lo:0 inet static address 55.66.77.88/32 dns-nameservers 55.66.77.88 auto lo:1 iface lo:1 inet static address 172.16.1.1/32

Frr config इस तरह दिखते हैं:

 root@ceph01-test:~# cat /etc/frr/frr.conf frr version 6.0 frr defaults traditional hostname ceph01-prod log file /var/log/frr/bgpd.log log timestamp precision 6 no ipv6 forwarding service integrated-vtysh-config username cumulus nopassword ! interface ens4f0 ipv6 nd ra-interval 10 ! interface ens4f1 ipv6 nd ra-interval 10 ! router bgp 65500 bgp router-id 55.66.77.88 # ,       timers bgp 10 30 neighbor ens4f0 interface remote-as 65001 neighbor ens4f0 bfd neighbor ens4f1 interface remote-as 65001 neighbor ens4f1 bfd ! address-family ipv4 unicast redistribute connected route-map redis-default exit-address-family ! router ospf ospf router-id 172.16.0.1 redistribute connected route-map ceph-loopbacks network 10.10.10.0/24 area 0.0.0.0 network 20.20.20.0/24 area 0.0.0.0 ! ip prefix-list ceph-loopbacks seq 10 permit 172.16.1.0/24 ge 32 ip prefix-list default-out seq 5 permit 0.0.0.0/0 ge 32 ! route-map ceph-loopbacks permit 10 match ip address prefix-list ceph-loopbacks ! route-map redis-default permit 10 match ip address prefix-list default-out ! line vty !

इन सेटिंग्स पर, नेटवर्क परीक्षण iperf, qperf, आदि। दोनों चैनलों का अधिकतम उपयोग 19.8 Gbit / sec में दिखाया गया , जबकि विलंबता 20us तक गिर गई

बीजीपी राउटर-आईडी फ़ील्ड : रूटिंग जानकारी और बिल्डिंग मार्गों को संसाधित करते समय नोड की पहचान करने के लिए उपयोग किया जाता है। यदि कॉन्फ़िगरेशन में निर्दिष्ट नहीं है, तो होस्ट आईपी पते में से एक का चयन किया जाता है। हार्डवेयर और सॉफ़्टवेयर के विभिन्न निर्माताओं में अलग-अलग एल्गोरिदम हो सकते हैं, हमारे मामले में एफआरआर ने सबसे बड़े लूपबैक आईपी पते का उपयोग किया था। इससे दो समस्याएं हुईं:
1) यदि हमने वर्तमान पते की तुलना में एक और पता (उदाहरण के लिए, नेटवर्क 172.16.0.0 से निजी) को लटका देने की कोशिश की, तो इससे राउटर-आईडी में बदलाव हुआ और, तदनुसार, वर्तमान सत्रों को पुन: स्थापित करने के लिए। इसका मतलब है नेटवर्क कनेक्टिविटी का कम विराम और नुकसान।
2) यदि हमने कई मशीनों द्वारा साझा किए गए किसी भी एड्रेस को लटकाने की कोशिश की और इसे राउटर-आईडी के रूप में चुना गया, तो एक ही राउटर-आईडी के साथ दो नोड्स नेटवर्क पर दिखाई दिए ।

भाग २

क्यूए के लिए परीक्षण के बाद, हमने मुकाबला सेफ को अपग्रेड करना शुरू किया।

नेटवर्क

एक नेटवर्क से दो की ओर बढ़ना

क्लस्टर नेटवर्क पैरामीटर उन लोगों में से एक है जो ओएसडी को ceph osd के माध्यम से निर्दिष्ट करके मक्खी पर नहीं बदला जा सकता है । * Injectargs। इसे विन्यास में बदलना और पूरे क्लस्टर को फिर से शुरू करना एक सहनीय समाधान है, लेकिन मैं वास्तव में एक छोटा डाउनटाइम भी नहीं चाहता था। नए नेटवर्क पैरामीटर के साथ एक ओएसडी को फिर से शुरू करना असंभव है - कुछ बिंदु पर हमारे पास पुराने नेटवर्क पर दो आधे-पुराने क्लस्टर होंगे - नए पर नए ओएसडी। सौभाग्य से, क्लस्टर नेटवर्क पैरामीटर (साथ ही public_network, वैसे) एक सूची है, अर्थात, आप कई मान निर्दिष्ट कर सकते हैं। हमने धीरे-धीरे आगे बढ़ने का फैसला किया - पहले कॉन्फ़िगरेशन में एक नया नेटवर्क जोड़ें, फिर पुराने को हटा दें। सीएफएच नेटवर्क की सूची के माध्यम से क्रमिक रूप से जाता है - ओएसडी पहले सूचीबद्ध नेटवर्क के साथ काम करना शुरू करता है।

मुश्किल यह थी कि पहला नेटवर्क bgp के माध्यम से काम करता था और एक स्विच से जुड़ा था, और दूसरा - ओस्पफ और दूसरों से जुड़ा हुआ था जो शारीरिक रूप से पहले से जुड़े नहीं थे। संक्रमण के समय, दो नेटवर्क के बीच अस्थायी रूप से नेटवर्क एक्सेस होना आवश्यक था। हमारे कारखाने की स्थापना की ख़ासियत यह थी कि ACL को नेटवर्क पर कॉन्फ़िगर नहीं किया जा सकता है यदि यह विज्ञापित लोगों की सूची में नहीं है (इस मामले में यह "बाहरी" है और इसके लिए ACL केवल बाहरी रूप से बनाया जा सकता है। यह स्पेंस पर बनाया गया था, लेकिन नहीं पहुंचा। लीक पर)।

समाधान एक बैसाखी, जटिल था, लेकिन यह काम किया: आंतरिक नेटवर्क का विज्ञापन करने के लिए bgp के माध्यम से, एक साथ ospf के साथ।

संक्रमण क्रम निम्नानुसार है:

1) दो नेटवर्क पर ceph के लिए क्लस्टर नेटवर्क कॉन्फ़िगर करें: bgp के माध्यम से और ospf के माध्यम से
Frr configs में कुछ भी बदलना जरूरी नहीं था, एक लाइन

 ip prefix-list default-out seq 5 permit 0.0.0.0/0 ge 32

यह हमें घोषित पतों में सीमित नहीं करता है, आंतरिक नेटवर्क के लिए पता स्वयं लूपबैक इंटरफ़ेस पर उठाया गया था, यह राउटर पर इस पते की घोषणा के रिसेप्शन को कॉन्फ़िगर करने के लिए पर्याप्त था।

2) ceph.conf config में एक नया नेटवर्क जोड़ें

 cluster network = 172.16.1.0/24, 55.66.77.88/27

और ओएसडी को एक बार फिर से शुरू करना शुरू करें जब तक कि सभी 172.16.1.0/24 नेटवर्क पर स्विच न कर दें।

 root@ceph01-prod:~#ceph osd set noout # -          OSD #     .  ,     #  , OSD      30 . root@ceph01-prod:~#for i in $(ps ax | grep osd | grep -v grep| awk '{ print $10}'); \ root@ceph01-prod:~# do systemctl restart ceph-osd@$i; sleep 30; done

3) फिर हम कॉन्फ़िगरेशन से अतिरिक्त नेटवर्क को हटा देते हैं

 cluster network = 172.16.1.0/24

और प्रक्रिया को दोहराएं।

बस इतना ही, हम आसानी से एक नए नेटवर्क में चले गए।

संदर्भ:
https://shalaginov.com/2016/03/26/--leaf-spine/
https://www.xcloudnetworks.com/case-studies/innova-case-study/
https://github.com/rumanzo/ceph-gobench

सेफ - "घुटने पर" से "उत्पादन" भाग 2 तक