Pembuatan infrastruktur TI yang toleran terhadap kesalahan. Bagian 1 - bersiap untuk menyebarkan kluster oVirt 4.3

Pembaca diundang untuk membiasakan diri dengan prinsip-prinsip membangun infrastruktur toleran-kesalahan dari perusahaan kecil dalam satu pusat data, yang akan diperiksa secara rinci dalam serangkaian artikel pendek.

Pendahuluan

Di bawah DPC (Pusat Pemrosesan Data) dapat dipahami:

• memiliki rak di “ruang server” di wilayah perusahaan yang memenuhi persyaratan minimum untuk menyediakan daya dan peralatan pendingin, serta memiliki akses Internet melalui dua penyedia independen;
• rak sewaan dengan peralatannya sendiri yang terletak di pusat data ini - yang disebut kolokasi, yang memenuhi standar Tier III atau IV, dan yang menjamin catu daya yang andal, mendinginkan, dan menyediakan akses Internet yang toleran terhadap kesalahan;
• peralatan sewaan penuh di pusat data Tier III atau IV.

Pilihan akomodasi mana yang dipilih - dalam setiap kasus, semuanya bersifat individual, dan biasanya tergantung pada beberapa faktor utama:

• mengapa perusahaan memiliki infrastruktur TI sendiri;
• apa sebenarnya yang diinginkan perusahaan dari infrastruktur TI (keandalan, skalabilitas, pengelolaan, dll.);
• jumlah investasi awal dalam infrastruktur TI, serta jenis biaya apa itu - modal (yang berarti Anda membeli peralatan Anda), atau operasi (peralatan biasanya disewa);
• Merencanakan cakrawala perusahaan itu sendiri.

Banyak yang dapat ditulis tentang faktor-faktor yang memengaruhi keputusan perusahaan untuk membuat dan menggunakan infrastruktur TI-nya, tetapi tujuan kami adalah untuk menunjukkan dalam praktiknya cara membuat infrastruktur ini sehingga keduanya toleran terhadap kesalahan dan memungkinkan untuk menghemat uang. - mengurangi biaya untuk memperoleh perangkat lunak komersial, atau bahkan menghindarinya.

Seperti yang ditunjukkan oleh latihan yang lama, tidak ada gunanya menghemat perangkat keras, karena keserakahan membayar dua kali, dan bahkan lebih. Tapi sekali lagi - perangkat keras yang baik, ini hanya rekomendasi, dan pada akhirnya apa yang harus dibeli dan untuk berapa banyak tergantung pada kemampuan perusahaan, dan "keserakahan" manajemennya. Selain itu, kata "rakus" harus dipahami dalam arti kata yang baik, karena lebih baik berinvestasi pada besi pada tahap awal, sehingga nantinya tidak ada masalah serius dalam dukungan dan penskalaan lebih lanjut, karena pada awalnya perencanaan yang salah dan penghematan yang berlebihan dapat mengarah ke masa depan. lebih mahal daripada saat memulai proyek.

Jadi, data awal untuk proyek:

• ada perusahaan yang memutuskan untuk membuat portal web sendiri dan menempatkan kegiatannya di Internet;
• perusahaan memutuskan untuk menyewa rak untuk menempatkan peralatannya di pusat data yang baik yang disertifikasi sesuai dengan standar Tier III;
• perusahaan memutuskan untuk tidak menghemat banyak pada perangkat keras, dan karena itu membeli peralatan berikut dengan jaminan dan dukungan yang diperpanjang:

Seperti yang dapat kita lihat, peralatan yang ada memiliki prospek yang baik untuk penskalaan horizontal dan vertikal, jika perusahaan dapat bersaing dengan perusahaan lain yang memiliki profil serupa di Internet, dan mulai menghasilkan keuntungan yang dapat diinvestasikan dalam mengembangkan sumber daya untuk persaingan lebih lanjut dan pertumbuhan laba.

Peralatan apa yang dapat kita tambahkan jika perusahaan memutuskan untuk meningkatkan kinerja cluster komputasi kami:

• kami memiliki cadangan besar untuk jumlah port pada switch 2960X, yang berarti Anda dapat menambahkan lebih banyak server perangkat keras;
• membeli dua sakelar FC untuk menghubungkan sistem penyimpanan dan server tambahan ke sana;
• server yang sudah ada dapat ditingkatkan - tambahkan memori, ganti prosesor dengan yang lebih efisien, sambungkan adapter jaringan yang ada ke jaringan 10G;
• Anda dapat menambahkan rak disk tambahan ke penyimpanan dengan jenis disk yang diperlukan - SAS, SATA atau SSD, tergantung pada beban yang direncanakan;
• setelah menambahkan switch FC, Anda dapat membeli sistem penyimpanan lain untuk menambah lebih banyak kapasitas disk, dan jika Anda membeli opsi Replikasi Jarak Jauh khusus untuk itu, Anda dapat mengonfigurasi replikasi data antara sistem penyimpanan baik di dalam pusat data yang sama maupun di antara pusat data (tetapi ini sudah di luar ruang lingkup artikel);
• ada juga switch tingkat ketiga - Cisco 3850, yang dapat digunakan sebagai inti toleran-kesalahan jaringan untuk perutean berkecepatan tinggi antar jaringan internal. Ini akan sangat membantu di masa depan, seiring dengan pertumbuhan infrastruktur internal. 3850 juga memiliki port 10G yang dapat diaktifkan kemudian ketika meningkatkan peralatan jaringan ke 10G.

Karena sekarang tidak ada tempat tanpa virtualisasi, maka tentu saja kita akan menjadi tren, lebih-lebih ini adalah cara terbaik untuk mengurangi biaya pembelian server mahal untuk elemen infrastruktur tertentu (server web, database, dll.), Yang tidak selalu optimal digunakan jika beban rendah, dan itulah tepatnya yang akan terjadi pada awal peluncuran proyek.

Selain itu, virtualisasi memiliki banyak keuntungan lain yang dapat sangat berguna bagi kami: Toleransi kesalahan VM dari kegagalan server perangkat keras, migrasi langsung antar node perangkat keras dari cluster untuk pemeliharaannya, penyeimbangan beban manual atau otomatis antara node cluster, dll.

Untuk perangkat keras yang diakuisisi oleh perusahaan, penyebaran kluster VMware vSphere yang sangat mudah diakses menunjukkan sendiri, tetapi karena perangkat lunak apa pun dari VMware dikenal dengan label harga menunggangnya, kami akan menggunakan perangkat lunak manajemen virtualisasi yang benar-benar gratis - oVirt , dengan dasar yang terkenal tetapi sudah menjadi produk komersial - RHEV .

Perangkat lunak oVirt diperlukan untuk menggabungkan semua elemen infrastruktur agar dapat bekerja dengan nyaman dengan mesin virtual yang sangat mudah diakses - ini adalah basis data, aplikasi web, proksi, penyeimbang, server untuk mengumpulkan log dan analitik, dll. n., yaitu, apa portal web perusahaan kami terdiri dari.

Merangkum pengantar ini, artikel-artikel berikut menunggu kami, yang dalam praktiknya akan menunjukkan cara mengerahkan seluruh infrastruktur perangkat keras dan perangkat lunak perusahaan:

Bagian 1. Bersiap untuk menggunakan kluster oVirt 4.3

Konfigurasi host dasar

Menginstal dan mengonfigurasi OS adalah langkah termudah. Ada banyak artikel tentang cara menginstal dan mengkonfigurasi OS dengan benar, sehingga tidak masuk akal untuk mencoba memberikan sesuatu yang eksklusif tentang ini.

Jadi, kami memiliki dua host Dell PowerEdge R640, yang Anda perlukan untuk menginstal OS dan melakukan pra-konfigurasi, untuk menggunakannya sebagai hypervisor untuk menjalankan mesin virtual di oVirt 4.3 cluster.

Karena kami berencana untuk menggunakan perangkat lunak bebas-komersial oVirt, CentOS 7.7 dipilih untuk penyebaran host, meskipun OS lain juga dapat diinstal pada host untuk oVirt:

• membangun khusus berdasarkan RHEL, yang disebut oVirt Node ;
• OS Oracle Linux, pada musim panas 2019, dukungan untuk pengoperasian oVirt diumumkan .

Sebelum menginstal OS, disarankan:

• Konfigurasikan antarmuka jaringan iDRAC di kedua host
• memperbarui firmware untuk BIOS dan iDRAC ke versi terbaru;
• diinginkan untuk mengkonfigurasi Server Profil Sistem dalam mode Kinerja;
• konfigurasikan RAID dari disk lokal (disarankan RAID1) untuk menginstal OS di server.

Kemudian kami menginstal OS pada disk yang dibuat sebelumnya melalui iDRAC - proses instalasi normal, tidak ada momen khusus di dalamnya. Akses ke konsol server untuk mulai menginstal OS juga dapat diperoleh melalui iDRAC, meskipun tidak ada yang menghentikan Anda untuk menghubungkan monitor, keyboard, dan mouse langsung ke server dan menginstal OS dari flash drive.

Setelah menginstal OS, lakukan pengaturan awal:

systemctl enable network.service systemctl start network.service systemctl status network.service 

 systemctl stop NetworkManager systemctl disable NetworkManager systemctl status NetworkManager 

 yum install -y ntp systemctl enable ntpd.service systemctl start ntpd.service 

 cat /etc/sysconfig/selinux SELINUX=disabled SELINUXTYPE=targeted 

 cat /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 

 cat /etc/sysctl.conf vm.max_map_count = 262144 vm.swappiness = 1 

Instal perangkat lunak dasar

Untuk pengaturan OS awal, Anda perlu mengkonfigurasi antarmuka jaringan apa pun di server sehingga Anda dapat mengakses Internet, memperbarui OS dan menginstal paket perangkat lunak yang diperlukan. Ini dapat dilakukan selama instalasi OS dan setelahnya.

 yum -y install epel-release yum update yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet 

Semua pengaturan di atas dan satu set perangkat lunak adalah masalah preferensi pribadi, dan set ini hanya rekomendasi.

Karena tuan rumah kami akan memainkan peran sebagai hypervisor, kami akan mengaktifkan profil kinerja yang diinginkan:

 systemctl enable tuned systemctl start tuned systemctl status tuned 

 tuned-adm profile tuned-adm profile virtual-host 

Anda dapat membaca lebih lanjut tentang profil kinerja di sini: " Bab 4. tuned and tuned-adm ".

Setelah menginstal OS, kita beralih ke bagian berikutnya - mengkonfigurasi antarmuka jaringan pada host, dan switch stack Cisco 2960X.

Mengkonfigurasi Stack Switch Cisco 2960X

Proyek kami akan menggunakan jumlah VLAN berikut - atau menyiarkan domain yang diisolasi satu sama lain, untuk memisahkan berbagai jenis lalu lintas:

VLAN 10 - Internet
VLAN 17 - Manajemen (iDRAC, penyimpanan, manajemen switch)
VLAN 32 - jaringan produksi VM
VLAN 33 - jaringan interkoneksi (ke kontraktor eksternal)
VLAN 34 - jaringan uji VM
VLAN 35 - jaringan pengembang VM
VLAN 40 - Jaringan pemantauan

Sebelum mulai bekerja, kami menyajikan diagram di tingkat L2, yang akhirnya harus kita bahas:

Untuk interaksi jaringan antara host oVirt dan mesin virtual satu sama lain, serta untuk mengelola penyimpanan kami, Anda perlu mengkonfigurasi stack switch Cisco 2960X.

Host Dell memiliki kartu jaringan 4-port bawaan, oleh karena itu, disarankan untuk mengatur koneksi mereka ke Cisco 2960X menggunakan koneksi jaringan toleran-kesalahan, menggunakan pengelompokan port jaringan fisik ke dalam antarmuka logis dan protokol LACP (802.3ad):

• dua port pertama pada host dikonfigurasikan dalam mode ikatan dan terhubung ke switch 2960X - pada antarmuka logis ini, sebuah jembatan dengan alamat untuk mengelola host, pemantauan, komunikasi dengan host lain di cluster oVirt akan dikonfigurasi, itu juga akan digunakan untuk migrasi langsung mesin virtual;
• dua port kedua pada host juga dikonfigurasi dalam mode ikatan dan terhubung ke 2960X - pada antarmuka logis ini menggunakan oVirt, nantinya jembatan akan dibuat (dalam VLAN yang sesuai) di mana mesin virtual akan terhubung.
• kedua port jaringan, dalam antarmuka logis yang sama, akan aktif, mis. Lalu lintas pada mereka dapat ditransmisikan secara bersamaan, dalam mode balancing.
• pengaturan jaringan pada node cluster harus benar-benar SAMA, dengan pengecualian alamat IP.

Konfigurasi dasar stack switch 2960X dan port-portnya

Sebelumnya, sakelar kami harus:

• dipasang di rak;
• dihubungkan oleh dua kabel khusus dengan panjang yang diinginkan, misalnya, CAB-STK-E-1M;
• terhubung ke catu daya;
• terhubung ke workstation administrator melalui port konsol, untuk konfigurasi awal mereka.

Panduan yang diperlukan untuk ini tersedia di halaman resmi pabrikan.

Setelah melakukan langkah-langkah di atas, konfigurasikan sakelar.
Apa artinya setiap tim tidak seharusnya didekripsi dalam kerangka artikel ini, jika perlu, semua informasi dapat ditemukan secara independen.
Tujuan kami adalah mengonfigurasi switch stack secepat mungkin dan menghubungkan host dan antarmuka manajemen penyimpanan.

1) Sambungkan ke sakelar utama, masuk ke mode istimewa, lalu masuk ke mode konfigurasi dan buat pengaturan dasar.

  enable configure terminal hostname 2960X no service pad service timestamps debug datetime msec service timestamps log datetime localtime show-timezone msec no service password-encryption service sequence-numbers switch 1 priority 15 switch 2 priority 14 stack-mac persistent timer 0 clock timezone MSK 3 vtp mode transparent ip subnet-zero vlan 17 name Management vlan 32 name PROD vlan 33 name Interconnect vlan 34 name Test vlan 35 name Dev vlan 40 name Monitoring spanning-tree mode rapid-pvst spanning-tree etherchannel guard misconfig spanning-tree portfast bpduguard default spanning-tree extend system-id spanning-tree vlan 1-40 root primary spanning-tree loopguard default vlan internal allocation policy ascending port-channel load-balance src-dst-ip errdisable recovery cause loopback errdisable recovery cause bpduguard errdisable recovery interval 60 line con 0 session-timeout 60 exec-timeout 60 0 logging synchronous line vty 5 15 session-timeout 60 exec-timeout 60 0 logging synchronous ip http server ip http secure-server no vstack interface Vlan1 no ip address shutdown exit 

Kami menyimpan konfigurasi dengan perintah wr mem dan memuat kembali switch stack dengan perintah reload pada master switch 1.

2) Mengkonfigurasi port jaringan switch dalam mode akses di VLAN 17, untuk menghubungkan antarmuka manajemen penyimpanan dan server iDRAC.

 interface GigabitEthernet1/0/5 description iDRAC - host1 switchport access vlan 17 switchport mode access spanning-tree portfast edge interface GigabitEthernet1/0/6 description Storage1 - Cntr0/Eth0 switchport access vlan 17 switchport mode access spanning-tree portfast edge interface GigabitEthernet2/0/5 description iDRAC - host2 switchport access vlan 17 switchport mode access spanning-tree portfast edge interface GigabitEthernet2/0/6 description Storage1 – Cntr1/Eth0 switchport access vlan 17 switchport mode access spanning-tree portfast edge exit 

3) Setelah me-reboot tumpukan, periksa apakah ia berfungsi dengan benar:

 2960X#show switch stack-ring speed Stack Ring Speed : 20G Stack Ring Configuration: Full Stack Ring Protocol : FlexStack 2960X#show switch stack-ports Switch # Port 1 Port 2 -------- ------ ------ 1 Ok Ok 2 Ok Ok 2960X#show switch neighbors Switch # Port 1 Port 2 -------- ------ ------ 1 2 2 2 1 1 2960X#show switch detail Switch/Stack Mac Address : 0cd0.f8e4. Mac persistency wait time: Indefinite H/W Current Switch# Role Mac Address Priority Version State ---------------------------------------------------------- *1 Master 0cd0.f8e4. 15 4 Ready 2 Member 0029.c251. 14 4 Ready Stack Port Status Neighbors Switch# Port 1 Port 2 Port 1 Port 2 -------------------------------------------------------- 1 Ok Ok 2 2 2 Ok Ok 1 1 

4) Mengkonfigurasi Akses SSH ke Stack 2960X

Untuk manajemen tumpukan jarak jauh melalui SSH, kami akan menggunakan IP 172.20.1.10 yang dikonfigurasi pada SVI (switch virtual interface) VLAN17 .

Meskipun disarankan untuk menggunakan port khusus pada sakelar untuk tujuan manajemen, ini adalah masalah preferensi dan peluang pribadi.

 ip default-gateway 172.20.1.2 interface vlan 17 ip address 172.20.1.10 255.255.255.0 hostname 2960X ip domain-name hw.home-lab.ru no ip domain-lookup clock set 12:47:04 06 Dec 2019 crypto key generate rsa ip ssh version 2 ip ssh time-out 90 line vty 0 4 session-timeout 60 exec-timeout 60 0 privilege level 15 logging synchronous transport input ssh line vty 5 15 session-timeout 60 exec-timeout 60 0 privilege level 15 logging synchronous transport input ssh aaa new-model aaa authentication login default local username cisco privilege 15 secret my_ssh_password 

Konfigurasikan kata sandi untuk masuk ke mode istimewa:

 enable secret *myenablepassword* service password-encryption 

Konfigurasikan NTP:

 ntp server 85.21.78.8 prefer ntp server 89.221.207.113 ntp server 185.22.60.71 ntp server 192.36.143.130 ntp server 185.209.85.222 show ntp status show ntp associations show clock detail 

5) Mengkonfigurasi antarmuka logis Etherchannel dan port fisik yang terhubung ke host. Untuk kemudahan konfigurasi, semua VLAN yang tersedia akan diizinkan pada semua antarmuka logis, tetapi biasanya disarankan untuk mengonfigurasi hanya yang Anda butuhkan:

 interface Port-channel1 description EtherChannel with Host1-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface Port-channel2 description EtherChannel with Host2-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface Port-channel3 description EtherChannel with Host1-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface Port-channel4 description EtherChannel with Host2-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface GigabitEthernet1/0/1 description Host1-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 1 mode active interface GigabitEthernet1/0/2 description Host2-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 2 mode active interface GigabitEthernet1/0/3 description Host1-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 3 mode active interface GigabitEthernet1/0/4 description Host2-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 4 mode active interface GigabitEthernet2/0/1 description Host1-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 1 mode active interface GigabitEthernet2/0/2 description Host2-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 2 mode active interface GigabitEthernet2/0/3 description Host1-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 3 mode active interface GigabitEthernet2/0/4 description Host2-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 4 mode active 

Konfigurasi awal antarmuka jaringan untuk mesin virtual pada Host1 dan Host2

Kami memeriksa ketersediaan modul yang diperlukan untuk ikatan dalam sistem, memasang modul untuk mengelola jembatan:

 modinfo bonding modinfo 8021q yum install bridge-utils 

 cat /etc/sysconfig/network-scripts/ifcfg-bond1 #DESCRIPTION - management DEVICE=bond1 NAME=bond1 TYPE=Bond IPV6INIT=no ONBOOT=yes USERCTL=no NM_CONTROLLED=no BOOTPROTO=none BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2' cat /etc/sysconfig/network-scripts/ifcfg-em2 #DESCRIPTION - management DEVICE=em2 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond1 SLAVE=yes USERCTL=no NM_CONTROLLED=no cat /etc/sysconfig/network-scripts/ifcfg-em3 #DESCRIPTION - management DEVICE=em3 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond1 SLAVE=yes USERCTL=no NM_CONTROLLED=no 

Setelah menyelesaikan pengaturan pada tumpukan dan host 2960X , kami me-restart jaringan pada host dan memeriksa antarmuka logis.

• di tuan rumah:

 systemctl restart network cat /proc/net/bonding/bond1 Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) Bonding Mode: IEEE 802.3ad Dynamic link aggregation Transmit Hash Policy: layer2+3 (2) MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 ... 802.3ad info LACP rate: fast Min links: 0 Aggregator selection policy (ad_select): stable System priority: 65535 ... Slave Interface: em2 MII Status: up Speed: 1000 Mbps Duplex: full ... Slave Interface: em3 MII Status: up Speed: 1000 Mbps Duplex: full 

• pada tumpukan switch 2960X :

 2960X#show lacp internal Flags: S - Device is requesting Slow LACPDUs F - Device is requesting Fast LACPDUs A - Device is in Active mode P - Device is in Passive mode Channel group 1 LACP port Admin Oper Port Port Port Flags State Priority Key Key Number State Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D 2960X#sh etherchannel summary Flags: D - down P - bundled in port-channel I - stand-alone s - suspended H - Hot-standby (LACP only) R - Layer3 S - Layer2 U - in use N - not in use, no aggregation f - failed to allocate aggregator M - not in use, minimum links not met m - not in use, port not aggregated due to minimum links not met u - unsuitable for bundling w - waiting to be aggregated d - default port A - formed by Auto LAG Number of channel-groups in use: 11 Number of aggregators: 11 Group Port-channel Protocol Ports ------+-------------+-----------+----------------------------------------------- 1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P) 

Konfigurasi awal antarmuka jaringan untuk mengelola sumber daya cluster di Host1 dan Host2

 cat /etc/sysconfig/network-scripts/ifcfg-bond0 #DESCRIPTION - management DEVICE=bond0 NAME=bond0 TYPE=Bond BONDING_MASTER=yes IPV6INIT=no ONBOOT=yes USERCTL=no NM_CONTROLLED=no BOOTPROTO=none BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2' cat /etc/sysconfig/network-scripts/ifcfg-em0 #DESCRIPTION - management DEVICE=em0 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond0 SLAVE=yes USERCTL=no NM_CONTROLLED=no cat /etc/sysconfig/network-scripts/ifcfg-em1 #DESCRIPTION - management DEVICE=em1 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond0 SLAVE=yes USERCTL=no NM_CONTROLLED=no 

Setelah menyelesaikan pengaturan pada tumpukan dan host 2960X , kami me-restart jaringan pada host dan memeriksa antarmuka logis.

 systemctl restart network cat /proc/net/bonding/bond1 2960X#show lacp internal 2960X#sh etherchannel summary 

Kami mengkonfigurasi antarmuka jaringan kontrol pada setiap host di VLAN 17 , dan mengikatnya ke antarmuka logis BOND1:

 cat /etc/sysconfig/network-scripts/ifcfg-bond1.17 DEVICE=bond1.17 NAME=bond1-vlan17 BOOTPROTO=none ONBOOT=yes USERCTL=no NM_CONTROLLED=no VLAN=yes MTU=1500 IPV4_FAILURE_FATAL=yes IPV6INIT=no IPADDR=172.20.1.163 NETMASK=255.255.255.0 GATEWAY=172.20.1.2 DEFROUTE=yes DNS1=172.20.1.8 DNS2=172.20.1.9 ZONE=public 

 cat /etc/sysconfig/network-scripts/ifcfg-bond1.17 DEVICE=bond1.17 NAME=bond1-vlan17 BOOTPROTO=none ONBOOT=yes USERCTL=no NM_CONTROLLED=no VLAN=yes MTU=1500 IPV4_FAILURE_FATAL=yes IPV6INIT=no IPADDR=172.20.1.164 NETMASK=255.255.255.0 GATEWAY=172.20.1.2 DEFROUTE=yes DNS1=172.20.1.8 DNS2=172.20.1.9 ZONE=public 

Kami me-restart jaringan pada host dan memeriksa visibilitas mereka di antara mereka sendiri.

Ini melengkapi pengaturan dari switch switch Cisco 2960X, dan jika semuanya dilakukan dengan benar, sekarang kita memiliki koneksi jaringan dari semua elemen infrastruktur satu sama lain pada level L2.

Konfigurasikan Penyimpanan Dell MD3820f

Sebelum mulai bekerja pada pengaturan sistem penyimpanan, itu harus sudah terhubung ke switch Cisco 2960X oleh antarmuka manajemen, serta ke host Host1 dan Host2 melalui FC.

Skema umum tentang bagaimana penyimpanan harus dihubungkan ke switch stack diberikan pada bab sebelumnya.

Skema menghubungkan penyimpanan pada FC ke host harus terlihat seperti ini:

Selama koneksi, perlu untuk mencatat alamat WWPN untuk host FC HBA yang terhubung ke port FC pada sistem penyimpanan - ini akan diperlukan untuk konfigurasi selanjutnya dari pengikatan host ke LUN pada sistem penyimpanan.

Pada workstation administrator, unduh dan instal utilitas manajemen penyimpanan Dell MD3820f - PowerVault Modular Disk Storage Manager ( MDSM ).
Kami terhubung dengannya melalui alamat IP default-nya, dan kemudian mengkonfigurasi alamat kami dari VLAN17 untuk mengontrol pengontrol melalui TCP / IP:

Storage1 :

 ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2 ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2 

Setelah mengatur alamat, pergi ke antarmuka manajemen penyimpanan dan atur kata sandi, atur waktu, perbarui firmware untuk pengontrol dan disk, jika perlu, dll.
Cara ini dilakukan dijelaskan dalam panduan administrasi penyimpanan.

Setelah menyelesaikan pengaturan di atas, kita perlu melakukan beberapa tindakan:

1. Konfigurasikan Pengidentifikasi FC Host .
2. Buat grup host - Grup host dan tambahkan dua host Dell kami ke dalamnya.
3. Buat grup disk dan disk virtual (atau LUN) di dalamnya, yang akan disajikan kepada host.
4. Konfigurasikan presentasi disk virtual (atau LUN) untuk host.

Menambahkan host baru dan pengidentifikasi yang mengikat port host FC ke mereka dilakukan melalui menu - Host Mappings -> Define -> Hosts ...
Alamat WWPN host FC HBA dapat ditemukan, misalnya, di server iDRAC.

Akibatnya, kita harus mendapatkan sesuatu seperti ini:

Menambahkan grup host baru dan mengikat host untuk itu dilakukan melalui menu - Host Mappings -> Define -> Host Group ...
Untuk host, pilih jenis OS - Linux (DM-MP) .

Setelah membuat grup host, melalui tab Storage & Copy Services , buat grup disk - Grup Disk , dengan tipe tergantung pada persyaratan toleransi kesalahan, misalnya, RAID10, dan di dalamnya disk virtual dengan ukuran yang tepat:

Dan akhirnya, tahap terakhir adalah presentasi disk virtual (atau LUN) untuk host.
Untuk melakukan ini, melalui menu - Pemetaan Host -> Pemetaan Lun -> Tambah ... kami membuat pengikatan disk virtual ke host, menetapkan nomor-nomor tersebut.

Semuanya akan berubah seperti di tangkapan layar ini:

Kami selesai dengan konfigurasi sistem penyimpanan, dan jika semuanya dilakukan dengan benar, maka tuan rumah akan melihat LUN disajikan kepada mereka melalui FC HBA mereka.
Buat sistem memperbarui informasi tentang drive yang dipetakan:

 ls -la /sys/class/scsi_host/ echo "- - -" > /sys/class/scsi_host/host[0-9]/scan 

 cat /proc/scsi/scsi Attached devices: Host: scsi0 Channel: 02 Id: 00 Lun: 00 Vendor: DELL Model: PERC H330 Mini Rev: 4.29 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 00 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 01 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 04 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 11 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 31 Vendor: DELL Model: Universal Xport Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 00 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 01 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 04 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 11 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 31 Vendor: DELL Model: Universal Xport Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 lsscsi [0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda [15:0:0:0] disk DELL MD38xxf 0825 - [15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb [15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc [15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd [15:0:0:31] disk DELL Universal Xport 0825 - [18:0:0:0] disk DELL MD38xxf 0825 - [18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi [18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj [18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk [18:0:0:31] disk DELL Universal Xport 0825 - 

Anda juga dapat mengonfigurasi multipath pada host, dan meskipun saat menginstal oVirt ia dapat melakukannya sendiri, lebih baik untuk memeriksa MP sendiri terlebih dahulu.

Instal dan konfigurasikan DM Multipath

 yum install device-mapper-multipath mpathconf --enable --user_friendly_names y cat /etc/multipath.conf | egrep -v "^\s*(#|$)" defaults { user_friendly_names yes find_multipaths yes } blacklist { wwid 26353900f02796769 devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^hd[az]" } 

Instal layanan MP di mulai otomatis dan jalankan:

 systemctl enable multipathd && systemctl restart multipathd 

 lsmod | grep dm_multipath dm_multipath 27792 6 dm_service_time dm_mod 124407 139 dm_multipath,dm_log,dm_mirror modinfo dm_multipath filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz license: GPL author: Sistina Software <dm-devel@redhat.com> description: device-mapper multipath target retpoline: Y rhelversion: 7.6 srcversion: 985A03DCAF053D4910E53EE depends: dm-mod intree: Y vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions signer: CentOS Linux kernel signing key sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45 sig_hashalgo: sha256 

Lihat ringkasan konfigurasi multipath yang ada:

 mpathconf multipath is enabled find_multipaths is disabled user_friendly_names is disabled dm_multipath module is loaded multipathd is running 

Setelah menambahkan LUN baru ke penyimpanan dan menyajikannya ke host, perlu untuk memindai itu terhubung ke host HBA.

 systemctl reload multipathd multipath -v2 

Dan akhirnya, kami memeriksa untuk melihat apakah semua LUN disajikan pada penyimpanan untuk host, dan apakah semua memiliki dua jalur.

 multipath -ll 3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw |-+- policy='service-time 0' prio=14 status=active | `- 15:0:0:1 sdb 8:16 active ready running `-+- policy='service-time 0' prio=9 status=enabled `- 18:0:0:1 sdi 8:128 active ready running 3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw |-+- policy='service-time 0' prio=14 status=active | `- 18:0:0:11 sdk 8:160 active ready running `-+- policy='service-time 0' prio=9 status=enabled `- 15:0:0:11 sdd 8:48 active ready running 3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw |-+- policy='service-time 0' prio=14 status=active | `- 15:0:0:4 sdc 8:32 active ready running `-+- policy='service-time 0' prio=9 status=enabled `- 18:0:0:4 sdj 8:144 active ready running 

Seperti yang Anda lihat, ketiga disk virtual pada sistem penyimpanan terlihat dalam dua cara. Dengan demikian, semua pekerjaan persiapan telah selesai, yang berarti bahwa kita dapat melanjutkan ke bagian utama - menyiapkan kluster oVirt, yang akan dibahas pada artikel berikutnya.