LINBIT lanzó recientemente su nueva solución para orquestar y administrar múltiples matrices DRBD.
Por ejemplo, puede tener varios nodos y cada uno tendrá su propio grupo LVM o ZFS en el que LINSTOR creará automáticamente nuevos volúmenes y los replicará entre nodos utilizando el protocolo DRBD.
LINSTOR admite aprovisionamiento delgado, instantáneas y muchas otras cosas interesantes.
Esta solución es adecuada para máquinas virtuales y contenedores.
Satélites LINSTOR
Creo que ya tiene un clúster Proxmox, tengo tres nodos pve1 , pve2 y pve3 .
Entonces, el primer paso es instalar drbd-utils y construir un módulo de kernel en cada nodo.
Agregue el repositorio de linstor e instale los encabezados del núcleo , así como todos los paquetes necesarios:
wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add - echo "deb http://packages.linbit.com/proxmox/ proxmox-5 drbd-9.0" \ > /etc/apt/sources.list.d/linbit.list apt-get update apt-get -y install pve-headers apt-get -y install drbd-dkms drbdtop
Después de la instalación, verifiquemos su versión del módulo del núcleo:
modprobe drbd cat /proc/drbd
Si ve la versión 8, entonces algo salió mal y el módulo del árbol del núcleo se ha cargado, verifique el dkms status para obtener más información sobre cómo construir el módulo dkms directamente.
Para LINSTOR debes usar DRBD versión 9.
A continuación, en cada nodo, instale los paquetes linstor-proxmox y linstor-satellite :
apt-get -y install linstor-proxmox linstor-satellite systemctl start linstor-satellite.service systemctl enable linstor-satellite.service
Controlador LINSTOR
Implementaremos el controlador dentro del contenedor LXC.
Descargue la plantilla de Debian:
wget http://download.proxmox.com/images/system/debian-9.0-standard_9.3-1_amd64.tar.gz -P /var/lib/vz/template/cache/
Ahora cree un contenedor para el controlador:
pct create 100 local:vztmpl/debian-9.0-standard_9.3-1_amd64.tar.gz \ --hostname=linstor-controller \ --net0=name=eth0,bridge=vmbr0,gw=10.1.0.1,ip=10.1.0.123/16
Ejecute el contenedor e ingréselo:
pct start 100 pct exec 100 bash
Instalar actualizaciones:
apt-get update apt-get -y upgrade
Agregue el repositorio linstor e instale linstor-controller y linstor-client :
wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add - echo "deb http://packages.linbit.com/proxmox/ proxmox-5 drbd-9.0" \ > /etc/apt/sources.list.d/linbit.list apt-get update && apt-get install -y linstor-controller linstor-client systemctl start linstor-controller.service systemctl enable linstor-controller.service
Linstor requiere una configuración regional configurada. Configurar configuración regional:
sed -i '/en_US.UTF-8 UTF-8/ s/^# //' /etc/locale.gen locale-gen
Configuremos la zona horaria de inmediato:
dpkg-reconfigure tzdata
Configuración de bóveda
Crear nodos:
linstor node create pve1 10.1.0.11 linstor node create pve2 10.1.0.12 linstor node create pve3 10.1.0.13
Para cada nodo, describimos una interfaz adicional que se utilizará para la replicación DRBD:
linstor node interface create pve1 data 10.2.0.11 linstor node interface create pve2 data 10.2.0.12 linstor node interface create pve3 data 10.2.0.13
Ejemplo de salida del comando de linstor node list :
╭──────────────────────────────────────────────────────────────╮ ┊ Node ┊ NodeType ┊ Addresses ┊ State ┊ ╞┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄╡ ┊ pve1 ┊ SATELLITE ┊ 10.0.1.11,10.0.2.11:3366 (PLAIN) ┊ Online ┊ ┊ pve2 ┊ SATELLITE ┊ 10.0.1.12,10.0.2.12:3366 (PLAIN) ┊ Online ┊ ┊ pve3 ┊ SATELLITE ┊ 10.0.1.13,10.0.2.13:3366 (PLAIN) ┊ Online ┊ ╰──────────────────────────────────────────────────────────────╯
Crear piscinas:
En cada nodo, debe preparar lvm thin-pool para drbd:
lvcreate -L 800G --thinpool drbdpool pve
Ahora puedes agregarlos a linstor:
linstor storage-pool create lvmthin pve1 drbdpool pve/drbdpool linstor storage-pool create lvmthin pve2 drbdpool pve/drbdpool linstor storage-pool create lvmthin pve3 drbdpool pve/drbdpool
Configuremos los pools para usar la interfaz de data :
linstor storage-pool set-property pve1 drbdpool PrefNic data linstor storage-pool set-property pve2 drbdpool PrefNic data linstor storage-pool set-property pve3 drbdpool PrefNic data
Ejemplo de salida del comando de linstor storage-pool list :
╭─────────────────────────────────────────────────────────────────────────────────────────── ┊ StoragePool ┊ Node ┊ Driver ┊ PoolName ┊ FreeCapacity ┊ TotalCapacity ┊ Support ╞┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┊ drbdpool ┊ pve1 ┊ LvmThinDriver ┊ hv1/drbdpool ┊ 800 GiB ┊ 800 GiB ┊ true ┊ drbdpool ┊ pve1 ┊ LvmThinDriver ┊ hv1/drbdpool ┊ 800 GiB ┊ 800 GiB ┊ true ┊ drbdpool ┊ pve3 ┊ LvmThinDriver ┊ hv3/drbdpool ┊ 800 GiB ┊ 800 GiB ┊ true ╰───────────────────────────────────────────────────────────────────────────────────────────
Ahora podemos agregar nuestro nuevo almacenamiento a la configuración de Proxmox:
cat >> /etc/pve/storage.cfg <<EOF drbd: drbdpool content rootdir,images controller 10.1.0.123 controllervm 100 redundancy 3 EOF
Configuración de HA para el controlador
Ahora transferiremos nuestro contenedor linstor al almacenamiento linstor.
Primero necesitamos crear un disco virtual para ello:
pct exec 100 bash linstor resource-definition create vm-100-disk-0 linstor volume-definition create vm-100-disk-0 4G linstor resource create vm-100-disk-0 --auto-place 3 -s drbdpool
Ejemplo de salida del comando linstor resource list :
╭──────────────────────────────────────────╮ ┊ ResourceName ┊ Node ┊ Port ┊ State ┊ ╞┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄╡ ┊ vm-100-disk-0 ┊ pve1 ┊ 7000 ┊ UpToDate ┊ ┊ vm-100-disk-0 ┊ pve2 ┊ 7000 ┊ UpToDate ┊ ┊ vm-100-disk-0 ┊ pve3 ┊ 7000 ┊ UpToDate ┊ ╰──────────────────────────────────────────╯
De forma predeterminada, linstor-satellite elimina las configuraciones de todos los recursos en el momento en que se inicia el servicio, luego espera una nueva configuración de linstor-controller , pero si mantenemos linstor-controller en el mismo lugar que los datos, debemos hacer una excepción para su recurso agregando una opción --keep-res=vm-100 para linstor-satellite en todos los nodos:
echo -e "[Service]\nExecStart=\nExecStart=/usr/share/linstor-server/bin/Satellite --logs=/var/log/linstor-satellite --config-directory=/etc/linstor --keep-res=vm-100" | SYSTEMD_EDITOR=tee systemctl edit linstor-satellite.service
Esta acción debería evitar que el recurso vm-100-disk-0 se elimine cada vez que se inicia.
Ahora detenemos el contenedor del controlador linstor y transferimos todos los datos del disco local al disco drbd.
pct shutdown 100 dd if=/var/lib/vz/images/100/vm-100-disk-0.raw of=/dev/drbd/by-res/vm-100-disk-0/0 bs=8M status=progress e2fsck -f /dev/drbd/by-res/vm-100-disk-0/0 resize2fs /dev/drbd/by-res/vm-100-disk-0/0
Actualice la configuración del contenedor:
sed -i '/^rootfs:/d' /etc/pve/lxc/100.conf echo 'rootfs: drbdpool:vm-100-disk-0,size=4G' >> /etc/pve/lxc/100.conf
Ejecute el contenedor y, si todo está bien, elimine el disco anterior:
pct start 100 rm -f /var/lib/vz/images/100/vm-100-disk-0.raw
Ahora solo necesitamos agregar nuestro contenedor a proxmox ha-manager :
ha-manager add ct:100 --max_relocate=3 --max_restart=3
BENEFICIO
Rendimiento y puesta a punto
En este momento, para cambiar la configuración global del controlador, deberá deshabilitar la autenticación en el controlador:
Para resolver automáticamente situaciones de cerebro dividido, agregue las siguientes opciones para el controlador:
linstor controller drbd-options \ --after-sb-0pri=discard-zero-changes \ --after-sb-1pri=discard-secondary \ --after-sb-2pri=disconnect
Para mi red 10G, encontré la siguiente configuración más óptima para una sincronización rápida:
linstor controller drbd-options \ --max-buffers=36864 \ --rcvbuf-size=2097152 \ --sndbuf-size=1048576 linstor controller drbd-options \ --c-fill-target=10240 \ --c-max-rate=737280 \ --c-min-rate=20480 \ --c-plan-ahead=10