Geekly articles weekly

创建容错IT基础架构。 第1部分-准备部署oVirt 4.3集群

邀请读者熟悉在一个数据中心内构建小型企业的容错基础架构的原理，将在简短的系列文章中对其进行详细研究。


引言


在DPC （数据处理中心）下可以理解：


  • 在企业区域内的“服务器机房”中拥有自己的机架，该机架满足提供电源和冷却设备以及通过两个独立提供商进行Internet访问的最低要求；
  • 在此数据中心中拥有自己设备的租用机架-所谓的 符合Tier III或IV标准的配置，可确保可靠的电源，冷却并提供容错的Internet访问；
  • 在Tier III或IV数据中心中完全租用的设备。

选择哪种住宿选择-在每种情况下，一切都是个别的，通常取决于几个主要因素：


  • 企业为何拥有自己的IT基础架构；
  • 企业从IT基础架构中到底需要什么（可靠性，可伸缩性，可管理性等）；
  • 对IT基础架构的初始投资金额，以及它的成本类型-资本（这意味着购买设备）或运营（通常是租用设备）；
  • 企业本身的计划范围。

关于影响企业决定创建和使用其IT基础结构的决定的​​因素很多，但我们的目标是在实践中展示如何创建这种基础结构，以便既容错又可以节省金钱。 -减少获取商业软件的成本，甚至避免使用它们。


长期的实践表明，不值得在硬件上节省成本，因为杂费支付了两倍甚至更多。 但是再说一遍-好的硬件，这只是一个建议，最终要买的是什么，以及购买多少取决于企业的能力及其管理的“贪婪”。 此外，“贪婪”一词应该有一个很好的理解，因为在初期阶段最好投资于铁，这样以后在进一步的支持和扩展方面就不会出现严重的问题，因为最初错误的计划和过多的储蓄会导致未来的发展。比开始项目时要贵。


因此，该项目的初始数据：


  • 有一家企业决定创建自己的Web门户并将其活动放到Internet上。
  • 该公司决定租用机架，以将其设备放置在经过Tier III标准认证的良好数据中心中；
  • 该公司决定不节省太多硬件成本，因此购买了以下具有长期保证和支持的设备：

设备清单
  • 两台物理Dell PowerEdge R640服务器，如下所示：
  • 两个Intel Xeon Gold 5120处理器
  • 512 Gb内存
  • RAID1中的两个SAS磁盘，用于操作系统安装
  • 内置4端口1G网卡
  • 两个2端口10G网卡
  • 1个2端口FC HBA 16G。
  • 2控制器存储系统Dell MD3820f，通过FC 16G直接连接到Dell主机；
  • 第二级的两个交换机-Cisco WS-C2960RX-48FPS-L堆叠；
  • 两个三层交换机-Cisco WS-C3850-24T-E，堆叠；
  • 机架，UPS，PDU，控制台服务器-由数据中心提供。


如我们所见，如果该公司可以与Internet上具有类似配置文件的其他公司竞争，并且可以开始赚取可用于扩展资源以进一步竞争和增长的利润，则现有设备在水平和垂直扩展方面都具有良好的前景。


如果企业决定提高计算集群的性能，我们可以添加哪些设备：


  • 我们为2960X交换机上的端口数量预留了大量空间，这意味着您可以添加更多的硬件服务器；
  • 购买两个光纤通道交换机以将存储系统和其他服务器连接到它们；
  • 可以升级现有服务器-添加内存，用更高效的服务器替换处理器，将现有网络适配器连接到10G网络；
  • 您可以根据计划的负载，使用必要的磁盘类型（SAS，SATA或SSD）将其他磁盘架添加到存储中。
  • 添加FC交换机后，您可以购买另一个存储系统以增加更多的磁盘容量，如果购买了特殊的远程复制选件，则可以在同一数据中心内和数据中心之间配置存储系统之间的数据复制（但是，这已经超出了范围）文章的范围）；
  • 还有三级交换机-Cisco 3850，可以用作网络的容错核心，以在内部网络之间进行高速路由。 随着内部基础设施的发展，这将在将来极大地帮助您。 3850还具有10G端口，可在以后将网络设备升级到10G时激活。

既然现在没有虚拟化的地方，那么我们当然会处于趋势之中，而且这是降低购买某些基础架构元素（Web服务器，数据库等）的昂贵服务器的成本的好方法，而这并非总是最佳的在低负载的情况下使用，这恰好是项目启动之初的样子。


此外，虚拟化还有许多其他优势，对我们可能非常有用：虚拟机对硬件服务器故障的容错能力，集群硬件节点之间的实时迁移以进行维护，集群节点之间的手动或自动负载平衡等。


对于企业所购置的硬件，高度可访问的VMware vSphere集群的部署可以说明问题，但是由于VMware的任何软件都以其高昂的价格而闻名，因此，我们将使用绝对免费的虚拟化管理软件-oVirt ，在此基础上众所周知的已经商业化的产品-RHEV 。


oVirt软件是将所有基础架构元素组合在一起所必需的，以便能够方便地与高度可访问的虚拟机一起使用-这些虚拟机是数据库，Web应用程序，代理，平衡器，用于收集日志和分析的服务器等。 n。即我们企业的Web门户由什么组成。


总结此介绍，以下文章等待着我们，这些文章实际上将显示如何部署企业的整个硬件和软件基础结构：


文章清单
  • 第1部分。准备部署oVirt群集4.3。
  • 第2部分。安装和配置oVirt群集4.3。
  • 第3部分。在VyOS虚拟路由器上组织容错路由。
  • 第4部分。配置Cisco 3850堆栈，组织内部网路由。

第1部分。准备部署oVirt 4.3集群


基本主机配置


安装和配置操作系统是最简单的步骤。 关于如何正确安装和配置操作系统的文章很多，因此尝试给出一些排他的内容是没有意义的。


因此，我们有两台Dell PowerEdge R640主机，您需要在它们上安装操作系统并执行预配置，以将它们用作管理程序来在oVirt 4.3群集中运行虚拟机。


由于我们计划使用免费的非商业软件oVirt， 因此选择CentOS 7.7来部署主机，尽管也可以在oVirt的主机上安装其他操作系统：


  • 基于RHEL的特殊构建，即所谓的 oVirt节点 ;
  • OS Oracle Linux将于2019年夏季宣布支持oVirt的运行。

在安装操作系统之前，建议：


  • 在两台主机上配置iDRAC网络接口
  • 将BIOS和iDRAC的固件更新到最新版本；
  • 最好将系统配置文件服务器配置为性能模式；
  • 从本地磁盘配置RAID（建议使用RAID1）以在服务器上安装OS。

然后，我们将操作系统安装在通过iDRAC先前创建的磁盘上-安装过程是正常的，其中没有特殊的时刻。 也可以通过iDRAC访问服务器控制台以开始安装操作系统，尽管没有什么阻止您将显示器，键盘和鼠标直接连接到服务器以及从闪存驱动器安装操作系统。


安装操作系统后，执行其初始设置：


systemctl enable network.service systemctl start network.service systemctl status network.service 

 systemctl stop NetworkManager systemctl disable NetworkManager systemctl status NetworkManager 

 yum install -y ntp systemctl enable ntpd.service systemctl start ntpd.service 

 cat /etc/sysconfig/selinux SELINUX=disabled SELINUXTYPE=targeted 

 cat /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 

 cat /etc/sysctl.conf vm.max_map_count = 262144 vm.swappiness = 1

安装基本软件


对于初始操作系统设置，您需要在服务器上配置任何网络接口，以便可以访问Internet，更新操作系统并安装必要的软件包。 这既可以在安装OS期间也可以在安装OS之后进行。


 yum -y install epel-release yum update yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

以上所有设置和一套软件都是个人喜好的问题，这套软件仅供参考。


由于我们的主机将扮演虚拟机监控程序的角色，因此我们将启用所需的性能配置文件：


 systemctl enable tuned systemctl start tuned systemctl status tuned 

 tuned-adm profile tuned-adm profile virtual-host

您可以在此处阅读有关性能概要文件的更多信息：“ 第4章。tuned and tuned-adm ”。


安装完操作系统后，我们继续进行下一部分-在主机和Cisco 2960X交换机堆栈上配置网络接口。


配置Cisco 2960X交换机堆栈


我们的项目将使用以下数量的VLAN-或彼此隔离的广播域，以分离不同类型的流量：


VLAN 10-互联网
VLAN 17-管理（iDRAC，存储，交换机管理）
VLAN 32 -VM生产网络
VLAN 33-互连网络（到外部承包商）
VLAN 34-虚拟机测试网络
VLAN 35 -VM开发人员网络
VLAN 40-监控网络


在开始工作之前，我们在L2级别上提供一个图表，我们最终应该得出以下图表：



为了oVirt主机和虚拟机之间的网络交互以及管理我们的存储，您需要配置Cisco 2960X交换机堆栈。


Dell主机具有内置的4端口网卡，因此，建议使用容错网络连接来组织它们与Cisco 2960X的连接，并使用将物理网络端口分组为逻辑接口和LACP协议（802.3ad）：


  • 主机上的前两个端口被配置为绑定模式并连接到2960X交换机-在此逻辑接口上，将配置一个具有用于管理主机，监视，与oVirt集群中其他主机进行通信的地址的网桥 ，还将用于虚拟机的实时迁移;
  • 主机上的后两个端口也配置为绑定模式，并连接到2960X-使用oVirt在此逻辑接口上，将在以后的网桥中（在相应的VLAN中）创建将虚拟机连接到的网桥。
  • 同一逻辑接口内的两个网络端口都将处于活动状态，即 它们之间的流量可以以平衡模式同时传输。
  • 群集节点上的网络设置必须完全相同，但IP地址除外。

2960X交换机堆栈及其端口的基本配置


以前，我们的开关应为：


  • 安装在机架中；
  • 通过两条所需长度的特殊电缆连接，例如CAB-STK-E-1M；
  • 连接电源；
  • 通过控制台端口连接到管理员的工作站，以进行初始配置。

有关此问题的必要指南，请参见制造商的官方页面 。


完成上述步骤后，配置交换机。
每个团队的含义都不应在本文的框架内解密；如有必要，可以独立找到所有信息。
我们的目标是尽快配置交换机堆栈，并将主机和存储管理接口连接到该堆栈。


1）连接到主交换机，进入特权模式，然后进入配置模式并进行基本设置。


基本开关配置：
  enable configure terminal hostname 2960X no service pad service timestamps debug datetime msec service timestamps log datetime localtime show-timezone msec no service password-encryption service sequence-numbers switch 1 priority 15 switch 2 priority 14 stack-mac persistent timer 0 clock timezone MSK 3 vtp mode transparent ip subnet-zero vlan 17 name Management vlan 32 name PROD vlan 33 name Interconnect vlan 34 name Test vlan 35 name Dev vlan 40 name Monitoring spanning-tree mode rapid-pvst spanning-tree etherchannel guard misconfig spanning-tree portfast bpduguard default spanning-tree extend system-id spanning-tree vlan 1-40 root primary spanning-tree loopguard default vlan internal allocation policy ascending port-channel load-balance src-dst-ip errdisable recovery cause loopback errdisable recovery cause bpduguard errdisable recovery interval 60 line con 0 session-timeout 60 exec-timeout 60 0 logging synchronous line vty 5 15 session-timeout 60 exec-timeout 60 0 logging synchronous ip http server ip http secure-server no vstack interface Vlan1 no ip address shutdown exit

我们使用wr mem命令保存配置，并使用主交换机1上的reload命令重新加载交换机堆栈。


2）在VLAN 17中以访问模式配置交换机的网络端口，以连接存储和iDRAC服务器的管理接口。


管理端口设置：
 interface GigabitEthernet1/0/5 description iDRAC - host1 switchport access vlan 17 switchport mode access spanning-tree portfast edge interface GigabitEthernet1/0/6 description Storage1 - Cntr0/Eth0 switchport access vlan 17 switchport mode access spanning-tree portfast edge interface GigabitEthernet2/0/5 description iDRAC - host2 switchport access vlan 17 switchport mode access spanning-tree portfast edge interface GigabitEthernet2/0/6 description Storage1 – Cntr1/Eth0 switchport access vlan 17 switchport mode access spanning-tree portfast edge exit

3）重新启动堆栈后，检查其是否正常运行：


检查堆栈操作：
 2960X#show switch stack-ring speed Stack Ring Speed : 20G Stack Ring Configuration: Full Stack Ring Protocol : FlexStack 2960X#show switch stack-ports Switch # Port 1 Port 2 -------- ------ ------ 1 Ok Ok 2 Ok Ok 2960X#show switch neighbors Switch # Port 1 Port 2 -------- ------ ------ 1 2 2 2 1 1 2960X#show switch detail Switch/Stack Mac Address : 0cd0.f8e4. Mac persistency wait time: Indefinite H/W Current Switch# Role Mac Address Priority Version State ---------------------------------------------------------- *1 Master 0cd0.f8e4. 15 4 Ready 2 Member 0029.c251. 14 4 Ready Stack Port Status Neighbors Switch# Port 1 Port 2 Port 1 Port 2 -------------------------------------------------------- 1 Ok Ok 2 2 2 Ok Ok 1 1

4）配置对2960X堆栈的SSH访问


对于通过SSH进行的远程堆栈管理，我们将使用在SVI（交换机虚拟接口） VLAN17上配置的IP 172.20.1.10。


尽管出于管理目的，建议在交换机上使用特殊的专用端口，但这是个人喜好和机会的问题。


配置对交换机堆栈的SSH访问：
 ip default-gateway 172.20.1.2 interface vlan 17 ip address 172.20.1.10 255.255.255.0 hostname 2960X ip domain-name hw.home-lab.ru no ip domain-lookup clock set 12:47:04 06 Dec 2019 crypto key generate rsa ip ssh version 2 ip ssh time-out 90 line vty 0 4 session-timeout 60 exec-timeout 60 0 privilege level 15 logging synchronous transport input ssh line vty 5 15 session-timeout 60 exec-timeout 60 0 privilege level 15 logging synchronous transport input ssh aaa new-model aaa authentication login default local username cisco privilege 15 secret my_ssh_password

配置密码以进入特权模式：


 enable secret *myenablepassword* service password-encryption

配置NTP：


 ntp server 85.21.78.8 prefer ntp server 89.221.207.113 ntp server 185.22.60.71 ntp server 192.36.143.130 ntp server 185.209.85.222 show ntp status show ntp associations show clock detail

5）配置以太通道逻辑接口和连接到主机的物理端口。 为了简化配置，所有逻辑接口上都将允许所有可用的VLAN，但是通常建议仅配置所需的VLAN：


配置以太通道接口：
 interface Port-channel1 description EtherChannel with Host1-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface Port-channel2 description EtherChannel with Host2-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface Port-channel3 description EtherChannel with Host1-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface Port-channel4 description EtherChannel with Host2-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface GigabitEthernet1/0/1 description Host1-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 1 mode active interface GigabitEthernet1/0/2 description Host2-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 2 mode active interface GigabitEthernet1/0/3 description Host1-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 3 mode active interface GigabitEthernet1/0/4 description Host2-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 4 mode active interface GigabitEthernet2/0/1 description Host1-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 1 mode active interface GigabitEthernet2/0/2 description Host2-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 2 mode active interface GigabitEthernet2/0/3 description Host1-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 3 mode active interface GigabitEthernet2/0/4 description Host2-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 4 mode active

主机1和主机2上虚拟机的网络接口的初始配置


我们检查系统中用于绑定的必要模块的可用性，安装用于管理网桥的模块：


 modinfo bonding modinfo 8021q yum install bridge-utils

为主机上的虚拟机及其物理接口配置BOND1逻辑接口：
 cat /etc/sysconfig/network-scripts/ifcfg-bond1 #DESCRIPTION - management DEVICE=bond1 NAME=bond1 TYPE=Bond IPV6INIT=no ONBOOT=yes USERCTL=no NM_CONTROLLED=no BOOTPROTO=none BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2' cat /etc/sysconfig/network-scripts/ifcfg-em2 #DESCRIPTION - management DEVICE=em2 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond1 SLAVE=yes USERCTL=no NM_CONTROLLED=no cat /etc/sysconfig/network-scripts/ifcfg-em3 #DESCRIPTION - management DEVICE=em3 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond1 SLAVE=yes USERCTL=no NM_CONTROLLED=no

在2960X堆栈和主机上完成设置之后，我们在主机上重新启动网络并检查逻辑接口。


  • 在主机上：

 systemctl restart network cat /proc/net/bonding/bond1 Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) Bonding Mode: IEEE 802.3ad Dynamic link aggregation Transmit Hash Policy: layer2+3 (2) MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 ... 802.3ad info LACP rate: fast Min links: 0 Aggregator selection policy (ad_select): stable System priority: 65535 ... Slave Interface: em2 MII Status: up Speed: 1000 Mbps Duplex: full ... Slave Interface: em3 MII Status: up Speed: 1000 Mbps Duplex: full

  • 在2960X交换机堆栈上 ：

 2960X#show lacp internal Flags: S - Device is requesting Slow LACPDUs F - Device is requesting Fast LACPDUs A - Device is in Active mode P - Device is in Passive mode Channel group 1 LACP port Admin Oper Port Port Port Flags State Priority Key Key Number State Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D 2960X#sh etherchannel summary Flags: D - down P - bundled in port-channel I - stand-alone s - suspended H - Hot-standby (LACP only) R - Layer3 S - Layer2 U - in use N - not in use, no aggregation f - failed to allocate aggregator M - not in use, minimum links not met m - not in use, port not aggregated due to minimum links not met u - unsuitable for bundling w - waiting to be aggregated d - default port A - formed by Auto LAG Number of channel-groups in use: 11 Number of aggregators: 11 Group Port-channel Protocol Ports ------+-------------+-----------+----------------------------------------------- 1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P)

用于管理Host1和Host2上的群集资源的网络接口的初始配置


在主机上配置用于管理的BOND1逻辑接口及其物理接口：
 cat /etc/sysconfig/network-scripts/ifcfg-bond0 #DESCRIPTION - management DEVICE=bond0 NAME=bond0 TYPE=Bond BONDING_MASTER=yes IPV6INIT=no ONBOOT=yes USERCTL=no NM_CONTROLLED=no BOOTPROTO=none BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2' cat /etc/sysconfig/network-scripts/ifcfg-em0 #DESCRIPTION - management DEVICE=em0 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond0 SLAVE=yes USERCTL=no NM_CONTROLLED=no cat /etc/sysconfig/network-scripts/ifcfg-em1 #DESCRIPTION - management DEVICE=em1 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond0 SLAVE=yes USERCTL=no NM_CONTROLLED=no

在2960X堆栈和主机上完成设置之后，我们在主机上重新启动网络并检查逻辑接口。


 systemctl restart network cat /proc/net/bonding/bond1 2960X#show lacp internal 2960X#sh etherchannel summary

我们在VLAN 17中的每个主机上配置控制网络接口，并将其绑定到逻辑接口BOND1：


在Host1上配置VLAN17：
 cat /etc/sysconfig/network-scripts/ifcfg-bond1.17 DEVICE=bond1.17 NAME=bond1-vlan17 BOOTPROTO=none ONBOOT=yes USERCTL=no NM_CONTROLLED=no VLAN=yes MTU=1500 IPV4_FAILURE_FATAL=yes IPV6INIT=no IPADDR=172.20.1.163 NETMASK=255.255.255.0 GATEWAY=172.20.1.2 DEFROUTE=yes DNS1=172.20.1.8 DNS2=172.20.1.9 ZONE=public

在Host2上配置VLAN17：
 cat /etc/sysconfig/network-scripts/ifcfg-bond1.17 DEVICE=bond1.17 NAME=bond1-vlan17 BOOTPROTO=none ONBOOT=yes USERCTL=no NM_CONTROLLED=no VLAN=yes MTU=1500 IPV4_FAILURE_FATAL=yes IPV6INIT=no IPADDR=172.20.1.164 NETMASK=255.255.255.0 GATEWAY=172.20.1.2 DEFROUTE=yes DNS1=172.20.1.8 DNS2=172.20.1.9 ZONE=public

我们在主机上重新启动网络，并检查它们之间的可见性。


这样就完成了Cisco 2960X交换机堆栈的设置，如果一切都正确完成，现在我们可以在L2级别将所有基础架构元素相互连接起来。


配置Dell MD3820f存储


在开始设置存储系统之前，它应该已经通过管理接口连接到Cisco 2960X交换机堆栈，并且已经通过FC连接到Host1和Host2主机 。


上一章中给出了如何将存储连接到交换机堆栈的一般方案。


将FC上的存储连接到主机的方案应如下所示：



在连接期间，必须记录连接到存储系统上FC端口的FC HBA主机的WWPN地址-这对于后续配置主机到存储系统上LUN的绑定将是必需的。


在管理员的工作站上，下载并安装Dell MD3820f存储管理实用程序-PowerVault 模块化磁盘存储管理器 （ MDSM ）。
我们通过其默认IP地址连接到它，然后配置VLAN17中的地址以通过TCP / IP控制控制器：


存储1 ：


 ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2 ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

设置地址后，进入存储管理界面并设置密码，设置时间，如有必要，更新控制器和磁盘的固件等。
存储管理指南中介绍了如何完成此操作。


完成上述设置后，我们将只需要执行一些操作：


  1. 配置主机 FC 标识符 。
  2. 创建一个主机组- 主机组，然后将我们的两个Dell主机添加到其中。
  3. 创建一个磁盘组和其中的虚拟磁盘（或LUN），这些磁盘组将显示给主机。
  4. 为主机配置虚拟磁盘（或LUN）的表示。

通过菜单- 主机映射 -> 定义 -> 主机...向其添加新主机和主机FC端口的绑定标识符。
例如，可以在iDRAC服务器中找到FC HBA主机的WWPN地址。


结果，我们应该得到这样的东西：



通过菜单- 主机映射 -> 定义 -> 主机组...添加新的主机组并将主机绑定到主机。
对于主机，选择OS- Linux（DM-MP）的类型 。


创建主机组后，通过“ 存储和复制服务”选项卡，创建一个磁盘组-Disk Group ，其类型取决于容错要求（例如RAID10），并且在其中具有正确大小的虚拟磁盘：



最后，最后一步是为主机提供虚拟磁盘（或LUN）。
为此，通过菜单- 主机映射 -> Lun映射 -> 添加...，我们将虚拟磁盘绑定到主机，并为其分配编号。


一切应如下图所示：



我们已经完成了存储系统的配置，如果一切都正确完成，则主机应该可以通过其FC HBA看到提供给它们的LUN。
使系统更新有关映射驱动器的信息：


 ls -la /sys/class/scsi_host/ echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

让我们看看哪些设备在我们的服务器上可见：
 cat /proc/scsi/scsi Attached devices: Host: scsi0 Channel: 02 Id: 00 Lun: 00 Vendor: DELL Model: PERC H330 Mini Rev: 4.29 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 00 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 01 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 04 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 11 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 31 Vendor: DELL Model: Universal Xport Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 00 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 01 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 04 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 11 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 31 Vendor: DELL Model: Universal Xport Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 lsscsi [0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda [15:0:0:0] disk DELL MD38xxf 0825 - [15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb [15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc [15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd [15:0:0:31] disk DELL Universal Xport 0825 - [18:0:0:0] disk DELL MD38xxf 0825 - [18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi [18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj [18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk [18:0:0:31] disk DELL Universal Xport 0825 -

您还可以在主机上配置多路径 ，尽管安装oVirt时他可以自己进行，但是最好事先自己检查MP。


安装和配置DM Multipath


 yum install device-mapper-multipath mpathconf --enable --user_friendly_names y cat /etc/multipath.conf | egrep -v "^\s*(#|$)" defaults { user_friendly_names yes find_multipaths yes } blacklist { wwid 26353900f02796769 devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^hd[az]" }

以自动启动方式安装MP服务并运行它：


 systemctl enable multipathd && systemctl restart multipathd

检查有关用于MP操作的已加载模块的信息：
 lsmod | grep dm_multipath dm_multipath 27792 6 dm_service_time dm_mod 124407 139 dm_multipath,dm_log,dm_mirror modinfo dm_multipath filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz license: GPL author: Sistina Software <dm-devel@redhat.com> description: device-mapper multipath target retpoline: Y rhelversion: 7.6 srcversion: 985A03DCAF053D4910E53EE depends: dm-mod intree: Y vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions signer: CentOS Linux kernel signing key sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45 sig_hashalgo: sha256

请参阅现有多路径配置摘要：


 mpathconf multipath is enabled find_multipaths is disabled user_friendly_names is disabled dm_multipath module is loaded multipathd is running

将新的LUN添加到存储并将其呈现给主机后，有必要对其连接到HBA主机的磁盘进行扫描。


 systemctl reload multipathd multipath -v2

最后，我们检查是否所有LUN都出现在主机的存储中，以及是否都有两条路径。


检查MP操作：
 multipath -ll 3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw |-+- policy='service-time 0' prio=14 status=active | `- 15:0:0:1 sdb 8:16 active ready running `-+- policy='service-time 0' prio=9 status=enabled `- 18:0:0:1 sdi 8:128 active ready running 3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw |-+- policy='service-time 0' prio=14 status=active | `- 18:0:0:11 sdk 8:160 active ready running `-+- policy='service-time 0' prio=9 status=enabled `- 15:0:0:11 sdd 8:48 active ready running 3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw |-+- policy='service-time 0' prio=14 status=active | `- 15:0:0:4 sdc 8:32 active ready running `-+- policy='service-time 0' prio=9 status=enabled `- 18:0:0:4 sdj 8:144 active ready running

如您所见，存储系统上的所有三个虚拟磁盘都以两种方式可见。 至此，所有准备工作已经完成，这意味着我们可以继续进行主要部分-设置oVirt集群，将在下一篇文章中进行讨论。

Source: https://habr.com/ru/post/zh-CN483980/

More articles:


All Articles