Creación de infraestructura de TI tolerante a fallas. Parte 1: preparación para implementar el clúster oVirt 4.3

Se invita a los lectores a familiarizarse con los principios de construir una infraestructura tolerante a fallas de una pequeña empresa dentro de un centro de datos, que se examinará en detalle en una breve serie de artículos.

Introduccion

Bajo el DPC (Centro de procesamiento de datos) se puede entender:

• propio bastidor en su "sala de servidores" en el territorio de la empresa que cumple con los requisitos mínimos para proporcionar equipos de alimentación y refrigeración, así como tener acceso a Internet a través de dos proveedores independientes;
• bastidor alquilado con su propio equipo ubicado en este centro de datos, el llamado colocación, que cumple con el estándar Tier III o IV, y que garantiza un suministro de energía confiable, enfriamiento y proporciona acceso a Internet tolerante a fallas;
• equipo totalmente alquilado en un centro de datos de nivel III o IV.

Qué opción de alojamiento elegir: en cada caso, todo es individual y generalmente depende de varios factores principales:

• ¿Por qué la empresa tiene su propia infraestructura de TI?
• qué quiere exactamente la empresa de la infraestructura de TI (confiabilidad, escalabilidad, capacidad de administración, etc.);
• la cantidad de inversión inicial en infraestructura de TI, así como qué tipo de costos es: capital (que significa comprar su equipo) u operativo (el equipo generalmente se alquila);
• Planificación del horizonte de la propia empresa.

Se puede escribir mucho sobre los factores que influyen en la decisión de la empresa de crear y usar su infraestructura de TI, pero nuestro objetivo es mostrar en la práctica cómo crear esta infraestructura para que sea tolerante a fallas y sea posible ahorrar dinero. - Reduzca el costo de adquirir software comercial, o incluso evítelos.

Como muestra la práctica, no vale la pena ahorrar en hardware, ya que los avaros pagan dos veces, e incluso mucho más. Pero, de nuevo, buen hardware, esto es solo una recomendación y, en última instancia, qué comprar exactamente y cuánto depende de las capacidades de la empresa y la "codicia" de su gestión. Además, la palabra "avaricia" debe entenderse en el buen sentido de la palabra, ya que es mejor invertir en hierro en la etapa inicial, para que luego no haya problemas serios en su mayor apoyo y escala, ya que inicialmente una planificación incorrecta y un ahorro excesivo pueden conducir al futuro más caro que al comenzar un proyecto.

Entonces, los datos iniciales para el proyecto:

• hay una empresa que decidió crear su propio portal web y poner sus actividades en Internet;
• la compañía decidió alquilar un bastidor para colocar su equipo en un buen centro de datos certificado de acuerdo con el estándar Tier III;
• la compañía decidió no ahorrar mucho en hardware y, por lo tanto, compró el siguiente equipo con garantías y soporte extendidos:

Como podemos ver, el equipo existente tiene buenas perspectivas de escalamiento horizontal y vertical, si la compañía puede competir con otras compañías de un perfil similar en Internet, y comienza a obtener ganancias que pueden invertirse en la expansión de recursos para una mayor competencia y crecimiento de ganancias.

Qué equipo podemos agregar si la empresa decide aumentar el rendimiento de nuestro clúster informático:

• tenemos una gran reserva para la cantidad de puertos en los conmutadores 2960X, lo que significa que puede agregar más servidores de hardware;
• compre dos conmutadores FC para conectar sistemas de almacenamiento y servidores adicionales a ellos;
• los servidores ya existentes pueden actualizarse: agregue memoria, reemplace los procesadores por otros más eficientes, conecte los adaptadores de red existentes a una red 10G;
• Puede agregar estantes de disco adicionales al almacenamiento con el tipo de discos necesarios: SAS, SATA o SSD, según la carga planificada;
• después de agregar conmutadores FC, puede comprar otro sistema de almacenamiento para agregar aún más capacidad de disco, y si compra la opción especial de Replicación remota, puede configurar la replicación de datos entre sistemas de almacenamiento tanto dentro del mismo centro de datos como entre centros de datos (pero esto ya está más allá el alcance del artículo);
• también hay conmutadores de tercer nivel: el Cisco 3850, que puede usarse como núcleo de la red tolerante a fallas para el enrutamiento de alta velocidad entre redes internas. Esto será de gran ayuda en el futuro, a medida que la infraestructura interna crezca. El 3850 también tiene puertos 10G que se pueden activar más tarde al actualizar el equipo de red a 10G.

Como ahora no hay ningún lugar sin virtualización, entonces, por supuesto, estaremos en tendencia, más aún, esta es una excelente manera de reducir el costo de comprar servidores caros para ciertos elementos de infraestructura (servidores web, bases de datos, etc.), que no siempre son óptimos usado en caso de baja carga, y eso es exactamente lo que será al comienzo del lanzamiento del proyecto.

Además, la virtualización tiene muchas otras ventajas que pueden ser muy útiles para nosotros: tolerancia a fallas de VM por fallas del servidor de hardware, migración en vivo entre nodos de hardware del clúster para su mantenimiento, equilibrio de carga manual o automático entre nodos de clúster, etc.

Para el hardware adquirido por la empresa, se sugiere la implementación del clúster VMware vSphere altamente accesible, pero dado que cualquier software de VMware es conocido por sus precios a caballo, usaremos un software de administración de virtualización absolutamente gratuito, oVirt , sobre la base de lo cual es bien conocido pero Producto ya comercial - RHEV .

El software oVirt es necesario para combinar todos los elementos de infraestructura para poder trabajar cómodamente con máquinas virtuales altamente accesibles: bases de datos, aplicaciones web, servidores proxy, equilibradores, servidores para recopilar registros y análisis, etc. n., es decir, en qué consiste el portal web de nuestra empresa.

Resumiendo esta introducción, nos esperan los siguientes artículos, que en la práctica mostrarán cómo implementar toda la infraestructura de hardware y software de la empresa:

Parte 1. Preparación para implementar el clúster oVirt 4.3

Configuración básica del host

Instalar y configurar el sistema operativo es el paso más fácil. Hay muchos artículos sobre cómo instalar y configurar correctamente el sistema operativo, por lo que no tiene sentido tratar de dar algo exclusivo sobre esto.

Por lo tanto, tenemos dos hosts Dell PowerEdge R640, en los que necesita instalar el sistema operativo y realizar configuraciones previas, para usarlos como hipervisores para ejecutar máquinas virtuales en el clúster oVirt 4.3.

Dado que planeamos utilizar el software gratuito no comercial oVirt, se eligió CentOS 7.7 para la implementación de hosts, aunque también se pueden instalar otros sistemas operativos en hosts para oVirt:

• construcción especial basada en RHEL, el llamado oVirt Node ;
• OS Oracle Linux, en el verano de 2019, se anunció el soporte para la operación de oVirt en él.

Antes de instalar el sistema operativo, se recomienda:

• Configure la interfaz de red de iDRAC en ambos hosts
• actualizar el firmware para BIOS e iDRAC a las últimas versiones;
• es deseable configurar el servidor de Perfil del sistema en modo Rendimiento;
• configurar RAID desde discos locales (se recomienda RAID1) para instalar el sistema operativo en el servidor.

Luego instalamos el sistema operativo en el disco creado anteriormente a través de iDRAC: el proceso de instalación es normal, no hay momentos especiales en él. El acceso a la consola del servidor para comenzar a instalar el sistema operativo también se puede obtener a través de iDRAC, aunque no hay nada que le impida conectar el monitor, el teclado y el mouse directamente al servidor e instalar el sistema operativo desde una unidad flash.

Después de instalar el sistema operativo, realice su configuración inicial:

systemctl enable network.service systemctl start network.service systemctl status network.service 

 systemctl stop NetworkManager systemctl disable NetworkManager systemctl status NetworkManager 

 yum install -y ntp systemctl enable ntpd.service systemctl start ntpd.service 

 cat /etc/sysconfig/selinux SELINUX=disabled SELINUXTYPE=targeted 

 cat /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 

 cat /etc/sysctl.conf vm.max_map_count = 262144 vm.swappiness = 1 

Instale el conjunto básico de software

Para la configuración inicial del sistema operativo, debe configurar cualquier interfaz de red en el servidor para que pueda acceder a Internet, actualizar el sistema operativo e instalar los paquetes de software necesarios. Esto se puede hacer tanto durante la instalación del sistema operativo como después.

 yum -y install epel-release yum update yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet 

Todas las configuraciones anteriores y un conjunto de software es una cuestión de preferencia personal, y este conjunto es solo una recomendación.

Dado que nuestro host desempeñará el papel de un hipervisor, habilitaremos el perfil de rendimiento deseado:

 systemctl enable tuned systemctl start tuned systemctl status tuned 

 tuned-adm profile tuned-adm profile virtual-host 

Puede leer más sobre el perfil de rendimiento aquí: " Capítulo 4. tuned and tuned-adm ".

Después de instalar el sistema operativo, pasamos a la siguiente parte: configurar las interfaces de red en los hosts y la pila de conmutadores Cisco 2960X.

Configuración de la pila del switch Cisco 2960X

Nuestro proyecto utilizará los siguientes números de VLAN, o dominios de difusión aislados entre sí, para separar diferentes tipos de tráfico:

VLAN 10 - Internet
VLAN 17 - Administración (iDRAC, almacenamiento, administración de conmutadores)
VLAN 32 : red de producción de VM
VLAN 33 - red de interconexión (a contratistas externos)
VLAN 34 : red de prueba de VM
VLAN 35 : red de desarrolladores de VM
VLAN 40 - Red de monitoreo

Antes de comenzar a trabajar, presentamos un diagrama en el nivel L2, al que finalmente deberíamos llegar:

Para la interacción de red entre los hosts oVirt y las máquinas virtuales entre sí, así como para administrar nuestro almacenamiento, debe configurar la pila de conmutadores Cisco 2960X.

Los hosts Dell tienen tarjetas de red de 4 puertos incorporadas, por lo tanto, es aconsejable organizar su conexión al Cisco 2960X utilizando una conexión de red tolerante a fallas, utilizando la agrupación de puertos de red físicos en una interfaz lógica y el protocolo LACP (802.3ad):

• los primeros dos puertos en el host se configuran en modo de enlace y se conectan al conmutador 2960X: en esta interfaz lógica, se configurará un puente con una dirección para administrar el host, monitorear, comunicarse con otros hosts en el clúster oVirt, también se usará para la migración en vivo de máquinas virtuales;
• los dos segundos puertos en el host también se configuran en modo de enlace y se conectan al 2960X; en esta interfaz lógica que usa oVirt, se crearán puentes posteriores (en las VLAN correspondientes) a los que se conectarán las máquinas virtuales.
• ambos puertos de red, dentro de la misma interfaz lógica, estarán activos, es decir El tráfico en ellos se puede transmitir simultáneamente, en modo de equilibrio.
• la configuración de red en los nodos del clúster debe ser absolutamente IGUAL, con la excepción de las direcciones IP.

Configuración básica de la pila de conmutadores 2960X y sus puertos

Anteriormente, nuestros interruptores deberían ser:

• montado en un estante;
• conectado por dos cables especiales de la longitud deseada, por ejemplo, CAB-STK-E-1M;
• conectado a la fuente de alimentación;
• conectado a la estación de trabajo del administrador a través del puerto de la consola, para su configuración inicial.

La guía necesaria para esto está disponible en la página oficial del fabricante.

Después de realizar los pasos anteriores, configure los interruptores.
No se debe descifrar lo que significa cada equipo en el marco de este artículo; si es necesario, toda la información se puede encontrar de forma independiente.
Nuestro objetivo es configurar la pila de conmutadores lo más rápido posible y conectarle los hosts y las interfaces de administración de almacenamiento.

1) Conéctese al interruptor maestro, entre en modo privilegiado, luego entre en modo de configuración y realice ajustes básicos.

  enable configure terminal hostname 2960X no service pad service timestamps debug datetime msec service timestamps log datetime localtime show-timezone msec no service password-encryption service sequence-numbers switch 1 priority 15 switch 2 priority 14 stack-mac persistent timer 0 clock timezone MSK 3 vtp mode transparent ip subnet-zero vlan 17 name Management vlan 32 name PROD vlan 33 name Interconnect vlan 34 name Test vlan 35 name Dev vlan 40 name Monitoring spanning-tree mode rapid-pvst spanning-tree etherchannel guard misconfig spanning-tree portfast bpduguard default spanning-tree extend system-id spanning-tree vlan 1-40 root primary spanning-tree loopguard default vlan internal allocation policy ascending port-channel load-balance src-dst-ip errdisable recovery cause loopback errdisable recovery cause bpduguard errdisable recovery interval 60 line con 0 session-timeout 60 exec-timeout 60 0 logging synchronous line vty 5 15 session-timeout 60 exec-timeout 60 0 logging synchronous ip http server ip http secure-server no vstack interface Vlan1 no ip address shutdown exit 

Guardamos la configuración con el comando wr mem y recargamos la pila del switch con el comando reload en el switch maestro 1.

2) Configure los puertos de red del conmutador en modo de acceso en la VLAN 17, para conectar las interfaces de administración de los servidores de almacenamiento e iDRAC.

 interface GigabitEthernet1/0/5 description iDRAC - host1 switchport access vlan 17 switchport mode access spanning-tree portfast edge interface GigabitEthernet1/0/6 description Storage1 - Cntr0/Eth0 switchport access vlan 17 switchport mode access spanning-tree portfast edge interface GigabitEthernet2/0/5 description iDRAC - host2 switchport access vlan 17 switchport mode access spanning-tree portfast edge interface GigabitEthernet2/0/6 description Storage1 – Cntr1/Eth0 switchport access vlan 17 switchport mode access spanning-tree portfast edge exit 

3) Después de reiniciar la pila, verifique que funcione correctamente:

 2960X#show switch stack-ring speed Stack Ring Speed : 20G Stack Ring Configuration: Full Stack Ring Protocol : FlexStack 2960X#show switch stack-ports Switch # Port 1 Port 2 -------- ------ ------ 1 Ok Ok 2 Ok Ok 2960X#show switch neighbors Switch # Port 1 Port 2 -------- ------ ------ 1 2 2 2 1 1 2960X#show switch detail Switch/Stack Mac Address : 0cd0.f8e4. Mac persistency wait time: Indefinite H/W Current Switch# Role Mac Address Priority Version State ---------------------------------------------------------- *1 Master 0cd0.f8e4. 15 4 Ready 2 Member 0029.c251. 14 4 Ready Stack Port Status Neighbors Switch# Port 1 Port 2 Port 1 Port 2 -------------------------------------------------------- 1 Ok Ok 2 2 2 Ok Ok 1 1 

4) Configuración del acceso SSH a la pila 2960X

Para la administración remota de la pila a través de SSH, utilizaremos IP 172.20.1.10 configurado en SVI (interfaz virtual de conmutación) VLAN17 .

Aunque para fines de administración es aconsejable utilizar un puerto dedicado especial en el conmutador, pero esto es una cuestión de preferencia personal y oportunidad.

 ip default-gateway 172.20.1.2 interface vlan 17 ip address 172.20.1.10 255.255.255.0 hostname 2960X ip domain-name hw.home-lab.ru no ip domain-lookup clock set 12:47:04 06 Dec 2019 crypto key generate rsa ip ssh version 2 ip ssh time-out 90 line vty 0 4 session-timeout 60 exec-timeout 60 0 privilege level 15 logging synchronous transport input ssh line vty 5 15 session-timeout 60 exec-timeout 60 0 privilege level 15 logging synchronous transport input ssh aaa new-model aaa authentication login default local username cisco privilege 15 secret my_ssh_password 

Configure una contraseña para ingresar al modo privilegiado:

 enable secret *myenablepassword* service password-encryption 

Configurar NTP:

 ntp server 85.21.78.8 prefer ntp server 89.221.207.113 ntp server 185.22.60.71 ntp server 192.36.143.130 ntp server 185.209.85.222 show ntp status show ntp associations show clock detail 

5) Configure las interfaces lógicas Etherchannel y los puertos físicos conectados a los hosts. Para facilitar la configuración, se permitirán todas las VLAN disponibles en todas las interfaces lógicas, pero generalmente se recomienda configurar solo lo que necesita:

 interface Port-channel1 description EtherChannel with Host1-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface Port-channel2 description EtherChannel with Host2-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface Port-channel3 description EtherChannel with Host1-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface Port-channel4 description EtherChannel with Host2-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk spanning-tree portfast edge trunk interface GigabitEthernet1/0/1 description Host1-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 1 mode active interface GigabitEthernet1/0/2 description Host2-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 2 mode active interface GigabitEthernet1/0/3 description Host1-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 3 mode active interface GigabitEthernet1/0/4 description Host2-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 4 mode active interface GigabitEthernet2/0/1 description Host1-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 1 mode active interface GigabitEthernet2/0/2 description Host2-management switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 2 mode active interface GigabitEthernet2/0/3 description Host1-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 3 mode active interface GigabitEthernet2/0/4 description Host2-VM switchport trunk allowed vlan 10,17,30-40 switchport mode trunk channel-protocol lacp channel-group 4 mode active 

Configuración inicial de interfaces de red para máquinas virtuales en Host1 y Host2

Verificamos la disponibilidad de los módulos necesarios para la unión en el sistema, instalamos el módulo para gestionar puentes:

 modinfo bonding modinfo 8021q yum install bridge-utils 

 cat /etc/sysconfig/network-scripts/ifcfg-bond1 #DESCRIPTION - management DEVICE=bond1 NAME=bond1 TYPE=Bond IPV6INIT=no ONBOOT=yes USERCTL=no NM_CONTROLLED=no BOOTPROTO=none BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2' cat /etc/sysconfig/network-scripts/ifcfg-em2 #DESCRIPTION - management DEVICE=em2 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond1 SLAVE=yes USERCTL=no NM_CONTROLLED=no cat /etc/sysconfig/network-scripts/ifcfg-em3 #DESCRIPTION - management DEVICE=em3 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond1 SLAVE=yes USERCTL=no NM_CONTROLLED=no 

Después de completar la configuración en la pila 2960X y los hosts, reiniciamos la red en los hosts y verificamos la interfaz lógica.

• en el host:

 systemctl restart network cat /proc/net/bonding/bond1 Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) Bonding Mode: IEEE 802.3ad Dynamic link aggregation Transmit Hash Policy: layer2+3 (2) MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 ... 802.3ad info LACP rate: fast Min links: 0 Aggregator selection policy (ad_select): stable System priority: 65535 ... Slave Interface: em2 MII Status: up Speed: 1000 Mbps Duplex: full ... Slave Interface: em3 MII Status: up Speed: 1000 Mbps Duplex: full 

• en la pila de conmutadores 2960X :

 2960X#show lacp internal Flags: S - Device is requesting Slow LACPDUs F - Device is requesting Fast LACPDUs A - Device is in Active mode P - Device is in Passive mode Channel group 1 LACP port Admin Oper Port Port Port Flags State Priority Key Key Number State Gi1/0/1 SA bndl 32768 0x1 0x1 0x102 0x3D Gi2/0/1 SA bndl 32768 0x1 0x1 0x202 0x3D 2960X#sh etherchannel summary Flags: D - down P - bundled in port-channel I - stand-alone s - suspended H - Hot-standby (LACP only) R - Layer3 S - Layer2 U - in use N - not in use, no aggregation f - failed to allocate aggregator M - not in use, minimum links not met m - not in use, port not aggregated due to minimum links not met u - unsuitable for bundling w - waiting to be aggregated d - default port A - formed by Auto LAG Number of channel-groups in use: 11 Number of aggregators: 11 Group Port-channel Protocol Ports ------+-------------+-----------+----------------------------------------------- 1 Po1(SU) LACP Gi1/0/1(P) Gi2/0/1(P) 

Configuración inicial de interfaces de red para administrar recursos de clúster en Host1 y Host2

 cat /etc/sysconfig/network-scripts/ifcfg-bond0 #DESCRIPTION - management DEVICE=bond0 NAME=bond0 TYPE=Bond BONDING_MASTER=yes IPV6INIT=no ONBOOT=yes USERCTL=no NM_CONTROLLED=no BOOTPROTO=none BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2' cat /etc/sysconfig/network-scripts/ifcfg-em0 #DESCRIPTION - management DEVICE=em0 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond0 SLAVE=yes USERCTL=no NM_CONTROLLED=no cat /etc/sysconfig/network-scripts/ifcfg-em1 #DESCRIPTION - management DEVICE=em1 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond0 SLAVE=yes USERCTL=no NM_CONTROLLED=no 

Después de completar la configuración en la pila 2960X y los hosts, reiniciamos la red en los hosts y verificamos la interfaz lógica.

 systemctl restart network cat /proc/net/bonding/bond1 2960X#show lacp internal 2960X#sh etherchannel summary 

Configuramos la interfaz de red de control en cada host en la VLAN 17 y la vinculamos a la interfaz lógica BOND1:

 cat /etc/sysconfig/network-scripts/ifcfg-bond1.17 DEVICE=bond1.17 NAME=bond1-vlan17 BOOTPROTO=none ONBOOT=yes USERCTL=no NM_CONTROLLED=no VLAN=yes MTU=1500 IPV4_FAILURE_FATAL=yes IPV6INIT=no IPADDR=172.20.1.163 NETMASK=255.255.255.0 GATEWAY=172.20.1.2 DEFROUTE=yes DNS1=172.20.1.8 DNS2=172.20.1.9 ZONE=public 

 cat /etc/sysconfig/network-scripts/ifcfg-bond1.17 DEVICE=bond1.17 NAME=bond1-vlan17 BOOTPROTO=none ONBOOT=yes USERCTL=no NM_CONTROLLED=no VLAN=yes MTU=1500 IPV4_FAILURE_FATAL=yes IPV6INIT=no IPADDR=172.20.1.164 NETMASK=255.255.255.0 GATEWAY=172.20.1.2 DEFROUTE=yes DNS1=172.20.1.8 DNS2=172.20.1.9 ZONE=public 

Reiniciamos la red en los hosts y verificamos su visibilidad entre ellos.

Esto completa la configuración de la pila de conmutadores Cisco 2960X, y si todo se hizo correctamente, ahora tenemos la conectividad de red de todos los elementos de infraestructura entre sí en el nivel L2.

Configurar el almacenamiento Dell MD3820f

Antes de comenzar a trabajar en la configuración del sistema de almacenamiento, ya debe estar conectado a la pila de conmutadores Cisco 2960X mediante las interfaces de administración, así como a los hosts Host1 y Host2 a través de FC.

El esquema general de cómo se debe conectar el almacenamiento a la pila de conmutadores se dio en el capítulo anterior.

El esquema de conexión de almacenamiento en FC a hosts debería verse así:

Durante la conexión, es necesario registrar direcciones WWPN para hosts FC HBA conectados a puertos FC en el sistema de almacenamiento; esto será necesario para la configuración posterior de la vinculación de hosts a LUN en el sistema de almacenamiento.

En la estación de trabajo del administrador, descargue e instale la utilidad de administración de almacenamiento Dell MD3820f: PowerVault Modular Disk Storage Manager ( MDSM ).
Nos conectamos a él a través de sus direcciones IP predeterminadas y luego configuramos nuestras direcciones desde VLAN17 para controlar los controladores a través de TCP / IP:

Almacenamiento1 :

 ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2 ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2 

Después de configurar las direcciones, vaya a la interfaz de administración de almacenamiento y establezca una contraseña, establezca la hora, actualice el firmware de los controladores y discos, si es necesario, etc.
Cómo se hace esto se describe en la guía de administración de almacenamiento.

Después de completar la configuración anterior, necesitaremos realizar algunas acciones:

1. Configurar identificadores de host FC.
2. Cree un grupo de host: grupo de host y agregue nuestros dos hosts de Dell.
3. Cree un grupo de discos y discos virtuales (o LUN) en él, que se presentarán a los hosts.
4. Configure la presentación de discos virtuales (o LUN) para hosts.

La adición de nuevos hosts e identificadores de enlace de los puertos FC del host a ellos se realiza a través del menú - Asignaciones de host -> Definir -> Hosts ...
Las direcciones WWPN de los hosts FC HBA se pueden encontrar, por ejemplo, en un servidor iDRAC.

Como resultado, deberíamos obtener algo como esto:

Agregar un nuevo grupo de hosts y vincular hosts se realiza a través del menú - Asignaciones de host -> Definir -> Grupo de host ...
Para los hosts, seleccione el tipo de sistema operativo: Linux (DM-MP) .

Después de crear el grupo host, a través de la pestaña Servicios de almacenamiento y copia , cree un grupo de discos: Grupo de discos , cuyo tipo dependerá de los requisitos de tolerancia a fallas, por ejemplo, RAID10, y en él discos virtuales del tamaño correcto:

Y finalmente, la etapa final es la presentación de discos virtuales (o LUN) para los hosts.
Para hacer esto, a través del menú - Mapeos de host -> Mapeo Lun -> Agregar ... hacemos el enlace de discos virtuales a los hosts, asignándoles números.

Todo debería salir como en esta captura de pantalla:

Hemos terminado con la configuración de los sistemas de almacenamiento, y si todo se hizo correctamente, los hosts deberían ver los LUN que se les presentan a través de sus HBA FC.
Haga que el sistema actualice la información sobre las unidades asignadas:

 ls -la /sys/class/scsi_host/ echo "- - -" > /sys/class/scsi_host/host[0-9]/scan 

 cat /proc/scsi/scsi Attached devices: Host: scsi0 Channel: 02 Id: 00 Lun: 00 Vendor: DELL Model: PERC H330 Mini Rev: 4.29 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 00 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 01 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 04 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 11 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi15 Channel: 00 Id: 00 Lun: 31 Vendor: DELL Model: Universal Xport Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 00 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 01 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 04 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 11 Vendor: DELL Model: MD38xxf Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi18 Channel: 00 Id: 00 Lun: 31 Vendor: DELL Model: Universal Xport Rev: 0825 Type: Direct-Access ANSI SCSI revision: 05 lsscsi [0:2:0:0] disk DELL PERC H330 Mini 4.29 /dev/sda [15:0:0:0] disk DELL MD38xxf 0825 - [15:0:0:1] disk DELL MD38xxf 0825 /dev/sdb [15:0:0:4] disk DELL MD38xxf 0825 /dev/sdc [15:0:0:11] disk DELL MD38xxf 0825 /dev/sdd [15:0:0:31] disk DELL Universal Xport 0825 - [18:0:0:0] disk DELL MD38xxf 0825 - [18:0:0:1] disk DELL MD38xxf 0825 /dev/sdi [18:0:0:4] disk DELL MD38xxf 0825 /dev/sdj [18:0:0:11] disk DELL MD38xxf 0825 /dev/sdk [18:0:0:31] disk DELL Universal Xport 0825 - 

También puede configurar rutas múltiples en los hosts, y aunque al instalar oVirt puede hacerlo él mismo, es mejor verificar el MP por sí mismo con anticipación.

Instalar y configurar DM Multipath

 yum install device-mapper-multipath mpathconf --enable --user_friendly_names y cat /etc/multipath.conf | egrep -v "^\s*(#|$)" defaults { user_friendly_names yes find_multipaths yes } blacklist { wwid 26353900f02796769 devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^hd[az]" } 

Instale el servicio MP en inicio automático y ejecútelo:

 systemctl enable multipathd && systemctl restart multipathd 

 lsmod | grep dm_multipath dm_multipath 27792 6 dm_service_time dm_mod 124407 139 dm_multipath,dm_log,dm_mirror modinfo dm_multipath filename: /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz license: GPL author: Sistina Software <dm-devel@redhat.com> description: device-mapper multipath target retpoline: Y rhelversion: 7.6 srcversion: 985A03DCAF053D4910E53EE depends: dm-mod intree: Y vermagic: 3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions signer: CentOS Linux kernel signing key sig_key: A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45 sig_hashalgo: sha256 

Consulte el resumen de la configuración de rutas múltiples existente:

 mpathconf multipath is enabled find_multipaths is disabled user_friendly_names is disabled dm_multipath module is loaded multipathd is running 

Después de agregar un nuevo LUN al almacenamiento y presentarlo al host, es necesario escanearlo conectado al host HBA.

 systemctl reload multipathd multipath -v2 

Y, por último, verificamos si todos los LUN se presentaron en el almacenamiento para hosts y si todos tienen dos rutas.

 multipath -ll 3600a098000e4b4b3000003175cec1840 dm-2 DELL ,MD38xxf size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw |-+- policy='service-time 0' prio=14 status=active | `- 15:0:0:1 sdb 8:16 active ready running `-+- policy='service-time 0' prio=9 status=enabled `- 18:0:0:1 sdi 8:128 active ready running 3600a098000e4b48f000002ab5cec1921 dm-6 DELL ,MD38xxf size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw |-+- policy='service-time 0' prio=14 status=active | `- 18:0:0:11 sdk 8:160 active ready running `-+- policy='service-time 0' prio=9 status=enabled `- 15:0:0:11 sdd 8:48 active ready running 3600a098000e4b4b3000003c95d171065 dm-3 DELL ,MD38xxf size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw |-+- policy='service-time 0' prio=14 status=active | `- 15:0:0:4 sdc 8:32 active ready running `-+- policy='service-time 0' prio=9 status=enabled `- 18:0:0:4 sdj 8:144 active ready running 

Como puede ver, los tres discos virtuales en el sistema de almacenamiento son visibles de dos maneras. Por lo tanto, todo el trabajo preparatorio se ha completado, lo que significa que podemos pasar a la parte principal: configurar el clúster oVirt, que se discutirá en el próximo artículo.