Estoy seguro de que todos los lectores de Habr al menos una vez ordenaron productos en tiendas en línea en el extranjero y luego fueron a recibir paquetes en la oficina de correos rusa. ¿Te imaginas a qué escala es esta tarea desde el punto de vista de la organización logística? Multiplique la cantidad de clientes por la cantidad de sus compras, imagine un mapa de nuestro vasto país, y hay más de 40 mil oficinas de correos ... Por cierto, en 2018 Russian Post procesó 345 millones de paquetes internacionales.
En este artículo, le diremos a qué problemas se enfrentó Mail y cómo fueron abordados por el equipo de integración de LANIT, creando una nueva infraestructura de TI para centros de datos.
Uno de los modernos centros logísticos del Correo ruso.Antes del proyecto
Debido al fuerte aumento en el número de paquetes de tiendas en el extranjero en China, Europa occidental y América del Norte, la carga en las instalaciones logísticas de Russian Post ha aumentado. Por lo tanto, se construyeron centros logísticos de nueva generación que utilizan máquinas de clasificación de alta capacidad. Requieren soporte de la infraestructura informática.
La infraestructura del centro de datos estaba desactualizada y no proporcionaba el rendimiento y la confiabilidad necesarios en la operación de los sistemas de información empresariales. Además, Russian Post experimentó una falta de potencia informática para lanzar nuevos servicios.
Centros de datos de clientes y sus problemas.
Los centros de datos de Russian Post atienden a más de 40,000 objetos y 85 departamentos territoriales. Hay docenas de servicios comerciales las 24 horas en los centros de datos, incluidos los servicios de comercio electrónico.
Hoy en día, la compañía utiliza sistemas para almacenar, analizar y procesar grandes datos. Para tales sistemas, el uso de algoritmos de inteligencia artificial y aprendizaje automático juega un papel importante. Hoy, uno de los casos más importantes para la empresa es optimizar la gestión de los flujos logísticos y acelerar el servicio al cliente en las oficinas de correos.
Antes del inicio del proyecto de modernización, había alrededor de 3.000 máquinas virtuales en los centros de datos primarios y de respaldo, la cantidad de información almacenada superó los 2 petabytes. Los centros de datos tenían una estructura de enrutamiento de tráfico compleja asociada con la separación en diferentes segmentos según los niveles de seguridad.
Con el desarrollo de aplicaciones y la introducción de nuevos servicios, el ancho de banda existente de los equipos de red en los centros de datos se ha vuelto insuficiente. Se requería la transición a interfaces con nuevas velocidades: 10 Gbit / s, en lugar de 1 Gbit / s en el acceso y 40 Gbit / s en el nivel central, con redundancia total de equipos y canales de comunicación.
El Departamento de Seguridad de la Información recibió una solicitud para dividir la infraestructura en segmentos con un alto nivel de seguridad de la información de tráfico y aplicaciones (PN - Red privada y DMZ - Zona desmilitarizada). El tráfico pasó a través de los firewalls (ITU), que no era necesario filtrar. VRF en los conmutadores no se utilizó para dicho tráfico. Las reglas en la UIT eran subóptimas (decenas de miles de reglas en cada centro de datos).
La migración perfecta de máquinas virtuales (VM) entre centros de datos con la preservación de la dirección IP y la ruta óptima de tráfico entre segmentos, incluida la red de datos corporativos (KSPD), era imposible.
Para la copia de seguridad, se utilizó MSTP, algunos de los puertos estaban bloqueados (espera activa). El kernel y los conmutadores de acceso no se combinaron en un clúster de conmutación por error, no se utilizó la agregación de interfaz (LAG).
Con la llegada del tercer centro de datos, se necesitaba una nueva arquitectura y configuración de equipos para operar el anillo entre los centros de datos (se propuso EVPN).
No existía un concepto único para el desarrollo de centros de datos, documentado en forma de proyecto y acordado con todos los departamentos del cliente. La documentación actual para operar la red estaba incompleta y desactualizada.
Expectativas del cliente
El equipo del proyecto tuvo las siguientes tareas:
- preparar el concepto de arquitectura y desarrollo para construir la infraestructura de red y servidor del tercer centro de datos;
- realizar una auditoría operativa de la red de clientes existente;
- expandir la capacidad del núcleo de la red en más de 1500 puertos Ethernet de 10/40 Gbit / s en cada centro de datos (total de 4500 puertos);
- garantizar el funcionamiento del anillo entre los tres centros de datos con la posibilidad de aumentar la velocidad de hasta 80 Gb / s en cada uno de los segmentos para combinar los recursos informáticos del cliente de diferentes centros de datos en un solo sistema de TI;
- proporcionar una reserva doble del 100% de todos los elementos de la red para lograr el tiempo de actividad objetivo al nivel del 99.995%;
- minimizar los retrasos de tráfico entre máquinas virtuales para acelerar las aplicaciones comerciales;
- recopilar estadísticas, hacer análisis y llevar a cabo la optimización posterior de las reglas de filtrado de tráfico en los centros de datos (inicialmente había alrededor de 80,000 reglas);
- Desarrolle una arquitectura específica para migrar sin problemas las aplicaciones comerciales críticas de los clientes a cualquiera de los tres centros de datos.
Por lo tanto, teníamos algo en qué trabajar.
Equipo
Detengámonos en más detalle sobre qué equipo usamos en el proyecto.
Cortafuegos (NGWF) USG9560:- división en VSYS;
- hasta 720 Gbps;
- hasta 720 millones de sesiones concurrentes;
- 8 ranuras
Router NE40E-X8:- capacidad de conmutación de hasta 7.08 Tbit / s;
- Rendimiento de reenvío de hasta 2.880 Mpps;
- 8 ranuras para tarjetas de línea (LPU);
- hasta 10 millones de rutas BGP IPv4 por MPU;
- hasta 1500K rutas OSPF IPv4 por MPU;
- hasta 3000K - FIB IPv4 (depende de LPU).
Interruptores de la serie CE12800:- Virtualización del dispositivo: VS (virtualización 1:16), Sistema de conmutación de clúster (CSS), Super Virtual Fabric (SVF);
- Virtualización de red: M-LAG, TRILL, VXLAN y VXLAN bridging, QinQ en VXLAN, EVN (red virtual Ethernet);
- Comenzando con VRP V2, se incluye soporte EVPN.
- M-LAG: un análogo de vPC (canal de puerto virtual) en Cisco Nexus;
- Protocolo de árbol de expansión virtual (VSTP): compatible con Cisco PVST.
CE12804CE12808Software
En el proyecto utilizamos:
- convertidor de archivos de configuración de cortafuegos de otros proveedores en el formato de comando para nuevos equipos;
- secuencias de comandos patentadas para optimizar y convertir configuraciones de firewall.
Aspecto del convertidor para convertir archivos de configuraciónEl esquema de organización de la comunicación entre el centro de datos (EVPN VXLAN)Matices de la configuración del equipo
CE12808- EVPN (estándar) en lugar de EVN (propiedad de Huawei) para la comunicación entre centros de datos:
○ L2 encima de L3 usando iBGP en el plano de Control;
○ Entrenamiento MAC y su anuncio a través de la familia iBGP EVPN (rutas MAC, tipo 2);
○ construcción automática de túneles VXLAN para tráfico de difusión única / desconocida (Rutas inclusivas de difusión múltiple, tipo 3). - Dos modos de división en VS:
○ basado en puertos (puerto de modo de puerto) o basado en ASIC (grupo de modo de puerto, mapa de puertos del dispositivo de visualización);
○ La interfaz de dimensión dividida de puerto 40GE funciona SOLO en Admin VS (independientemente del modo de puerto).
USG9560- la posibilidad de dividir en VSYS,
- ¡El enrutamiento dinámico es imposible entre VSYS y la fuga de ruta!
CE12804All Active GW (VRRP Master / Master / Master) con filtrado MAC VRRP entre centros de datos
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outboundEsquema de interacción de recursos entre centros de datos (VXLAN EVPN y All Active GW)Desafíos del proyecto
La principal dificultad era la necesidad de reservar aplicaciones existentes utilizando infraestructura informática. El cliente tenía más de 100 aplicaciones diferentes, algunas de las cuales fueron escritas hace casi 10 años. Por ejemplo, si para Yandex puede apagar fácilmente varios cientos de máquinas virtuales sin dañar a los usuarios finales, entonces, en Russian Post, este enfoque requeriría el desarrollo de una serie de aplicaciones desde cero y cambios en la arquitectura de los sistemas de información empresariales. Resolvimos los problemas que surgen en el proceso de migración y optimización en la etapa de una auditoría conjunta de la infraestructura informática. Todas las nuevas tecnologías de red para la empresa (como EVPN) se han probado previamente en el laboratorio.
Resumen del proyecto
El equipo del proyecto incluyó especialistas de
LANIT-Integration , el cliente y sus socios en la operación de la infraestructura informática. También se formaron equipos de soporte dedicados de proveedores (Check Point y Huawei). El proyecto tomó dos años. Esto es lo que se ha hecho durante este tiempo.
- Se desarrolló y acordó con todos los departamentos de clientes una estrategia para el desarrollo de una red de centros de datos, una red de datos corporativos (KSPD) y un anillo entre los centros de datos.
- La disponibilidad de servicios ha aumentado. Esto fue notado por el negocio del cliente y condujo a un crecimiento de tráfico aún mayor debido a la introducción de nuevos servicios.
- Se han migrado y optimizado más de 40,000 reglas de FWSM / ASA a USG 9560. Los diferentes contextos de ASA en UGG 9560 se combinan en una sola política de seguridad.
- El rendimiento del puerto del centro de datos aumentó de 1G a 10 / 40G mediante el uso de CE12800 / CE6850. Esto eliminó la congestión de la interfaz y la pérdida de paquetes.
- Los enrutadores de clase portadora NE40E-X8 cubrieron completamente las necesidades del centro de datos del cliente y KSPD teniendo en cuenta el desarrollo comercial futuro.
- Se solicitaron ocho solicitudes de funciones nuevas para USG 9560. De ellas, siete ya se han implementado y están incluidas en la versión actual de VRP. 1 FR - a la venta en I + D Huawei. Este es un grupo de ocho chasis con la capacidad de configurar la funcionalidad necesaria para sincronizar la configuración sin sincronizar sesiones. Se requiere si el retraso del tráfico a uno de los centros de datos es demasiado grande (Adler - Moscú 1300 km en la carretera principal y 2800 km en la carretera de respaldo).
El proyecto no tiene análogos en comparación con otras compañías postales rusas.
La modernización de la infraestructura de red del centro de datos ha abierto nuevas oportunidades para que la empresa desarrolle servicios digitales.
- Proporcionar una cuenta personal y una aplicación móvil para personas físicas y jurídicas.
- Integración con tiendas electrónicas para proporcionar servicios de entrega de bienes.
- Cumplimiento - almacenamiento de bienes, la formación y entrega de pedidos de tiendas de electrónica.
- Expansión de puntos de entrega de pedidos, incluido el uso de redes afiliadas.
- Flujo de trabajo legalmente significativo con contrapartes. Esto le permitirá abandonar la transferencia lenta y costosa de documentos en papel.
- Aceptación de cartas registradas en formato electrónico con entrega tanto en formato electrónico como en papel (con el sello de los envíos lo más cerca posible del destinatario final). Servicio de cartas electrónicas registradas en el portal de servicios públicos.
- Plataforma para la prestación de servicios de telemedicina.
- Recepción simplificada y entrega simplificada de correo certificado utilizando una firma electrónica simple.
- Digitalización de la red de correos.
- Procesamiento de servicios de autoservicio (terminales y oficinas de correos).
- Creación de una plataforma digital para gestionar un servicio de mensajería y una nueva aplicación móvil para clientes de servicios de mensajería.
Ven a nosotros a trabajar!