Nouvelle infrastructure informatique pour le centre de données de la poste russe

Je suis sûr que tous les lecteurs de Habr ont commandé au moins une fois des marchandises dans des magasins en ligne à l'étranger, puis sont allés recevoir des colis à la poste russe. Pouvez-vous imaginer l'ampleur de cette tâche du point de vue de l'organisation logistique? Multipliez le nombre de clients par le nombre de leurs achats, imaginez une carte de notre vaste pays, et il y a plus de 40000 bureaux de poste dessus ... Au fait, en 2018, la poste russe a traité 345 millions de colis internationaux.

Dans cet article, nous vous expliquerons les problèmes rencontrés par Mail et comment ils ont été résolus par l'équipe LANIT-Integration, créant une nouvelle infrastructure informatique pour les centres de données.

L'un des centres logistiques modernes de la poste russe

Avant le projet

En raison de la forte augmentation du nombre de colis provenant de magasins à l'étranger en Chine, en Europe occidentale et en Amérique du Nord, la charge sur les installations logistiques de la poste russe a augmenté. Par conséquent, des centres logistiques de nouvelle génération ont été construits qui utilisent des machines de tri de grande capacité. Ils nécessitent le support de l'infrastructure informatique.

L'infrastructure du centre de données était obsolète et ne fournissait pas les performances et la fiabilité nécessaires au fonctionnement des systèmes d'information d'entreprise. De plus, la poste russe a connu un manque de puissance de calcul pour lancer de nouveaux services.

Les centres de données clients et leurs problèmes

Les centres de données de la poste russe desservent plus de 40 000 objets et 85 départements territoriaux. Il existe des dizaines de services commerciaux 24h / 24 dans les centres de données, y compris des services de commerce électronique.

Aujourd'hui encore, l'entreprise utilise des systèmes de stockage, d'analyse et de traitement des mégadonnées. Pour de tels systèmes, l'utilisation de l'intelligence artificielle et des algorithmes d'apprentissage automatique joue un rôle important. Aujourd'hui, l'un des cas les plus importants pour l'entreprise est d'optimiser la gestion des flux logistiques et d'accélérer le service client dans les bureaux de poste.

Avant le début du projet de modernisation, il y avait environ 3 000 machines virtuelles dans les centres de données principaux et de sauvegarde, la quantité d'informations stockées dépassait 2 pétaoctets. Les centres de données avaient une structure d'acheminement du trafic complexe associée à la séparation en différents segments en fonction des niveaux de sécurité.

Avec le développement d'applications et l'introduction de nouveaux services, la bande passante existante des équipements de réseau dans les centres de données est devenue insuffisante. La transition vers des interfaces avec de nouvelles vitesses était nécessaire: 10 Gbit / s, au lieu de 1 Gbit / s à l'accès et 40 Gbit / s au niveau du cœur, avec une redondance complète des équipements et des canaux de communication.

Le département de la sécurité de l'information a reçu une demande de division de l'infrastructure en segments avec un haut niveau de sécurité de l'information pour le trafic et les applications (PN - Réseau privé et DMZ - Zone démilitarisée). Le trafic passait par les pare-feu (UIT), ce qui n'était pas nécessaire pour filtrer. VRF sur les commutateurs n'a pas été utilisé pour un tel trafic. Les règles de l'UIT n'étaient pas optimales (des dizaines de milliers de règles dans chaque centre de données).

La migration transparente des machines virtuelles (VM) entre les centres de données avec la préservation de l'adresse IP et le chemin optimal du trafic entre les segments, y compris le réseau de données d'entreprise (KSPD), était impossible.

Pour la sauvegarde, MSTP a été utilisé, certains ports ont été bloqués (redondance d'UC). Le noyau et les commutateurs d'accès n'ont pas été combinés en un cluster de basculement, l'agrégation d'interface (LAG) n'a pas été utilisée.

Avec l'avènement du troisième centre de données, une nouvelle architecture et configuration des équipements étaient nécessaires pour faire fonctionner l'anneau entre les centres de données (EVPN a été proposé).

Il n'y avait pas de concept unique pour le développement des centres de données, documenté sous forme de projet et convenu avec tous les services du client. La documentation actuelle pour l'exploitation du réseau était incomplète et obsolète.

Attentes des clients

L'équipe de projet avait les tâches suivantes:

• préparer l'architecture et le concept de développement pour la construction de l'infrastructure réseau et serveur du troisième centre de données;
• effectuer un audit opérationnel du réseau client existant;
• étendre la capacité du cœur de réseau de plus de 1 500 ports Ethernet à 10/40 Gbit / s dans chaque centre de données (4 500 ports au total);
• assurer le fonctionnement de l'anneau entre les trois centres de données avec la possibilité d'augmenter la vitesse jusqu'à 80 Gb / s dans chacun des segments afin de combiner les ressources informatiques du client de différents centres de données en un seul système informatique;
• fournir une double réserve de 100% de tous les éléments du réseau pour atteindre le temps de disponibilité cible au niveau de 99,995%;
• minimiser les retards de trafic entre les machines virtuelles pour accélérer les applications métier;
• collecter des statistiques, effectuer des analyses et effectuer ensuite l'optimisation des règles de filtrage du trafic dans les centres de données (il y avait initialement environ 80 000 règles);
• Développez une architecture ciblée pour migrer en toute transparence les applications métier critiques des clients vers l'un des trois centres de données.

Ainsi, nous avions quelque chose à travailler.

Équipement

Arrêtons-nous plus en détail sur les équipements que nous avons utilisés dans le projet.

Pare-feu (NGWF) USG9560:

• division en VSYS;
• jusqu'à 720 Gbps;
• jusqu'à 720 millions de sessions simultanées;
• 8 emplacements.

Routeur NE40E-X8:

• jusqu'à 7,08 Tbit / s de capacité de commutation;
• jusqu'à 2 880 Mpps de performances de transmission;
• 8 emplacements pour cartes de ligne (LPU);
• jusqu'à 10 millions de routes BGP IPv4 par MPU;
• jusqu'à 1500 000 routes IPv4 OSPF par MPU;
• jusqu'à 3000K - IPv4 FIB (dépend de LPU).

Commutateurs de la série CE12800:

• Virtualisation des périphériques: VS (virtualisation 1:16), système de commutation de cluster (CSS), Super Virtual Fabric (SVF);
• Virtualisation de réseau: M-LAG, TRILL, pontage VXLAN et VXLAN, QinQ dans VXLAN, EVN (Ethernet Virtual Network);
• À partir de VRP V2, le support EVPN est inclus.
• M-LAG - un analogue de vPC (Virtual Port Channel) chez Cisco Nexus;
• Protocole Virtual Spanning Tree (VSTP) - Compatible avec Cisco PVST.

CE12804


CE12808

Logiciels

Dans le projet, nous avons utilisé:

• convertisseur des fichiers de configuration des pare-feu d'autres fournisseurs au format de commande pour le nouvel équipement;
• des scripts propriétaires pour optimiser et convertir les configurations de pare-feu.

Apparence du convertisseur pour convertir les fichiers de configuration

Le schéma d'organisation de la communication entre le datacenter (EVPN VXLAN)

Nuances de configuration de l'équipement

CE12808

• EVPN (standard) au lieu d'EVN (propriétaire de Huawei) pour la communication entre les centres de données:
  
  ○ L2 au-dessus de L3 en utilisant iBGP dans le plan de contrôle;
  ○ la formation MAC et son annonce via la famille iBGP EVPN (routes MAC, type 2);
  ○ construction automatique de tunnels VXLAN pour le trafic unicast diffusé / inconnu (routes de multidiffusion inclusives, type 3).
• Deux modes de division sur VS:
  
  ○ basé sur les ports (port en mode port) ou basé sur ASIC (groupe en mode port, carte de port du périphérique d'affichage);
  ○ L'interface de dimension divisée de port 40GE fonctionne UNIQUEMENT dans Admin VS (indépendamment du mode de port).

USG9560

• la possibilité de se diviser en VSYS,
• le routage dynamique est impossible entre VSYS et la fuite de route!

CE12804

All Active GW (VRRP Master / Master / Master) avec filtrage MAC VRRP entre les centres de données

acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit

interface Eth-Trunk1
traffic-filter acl 4000 outbound

Schéma d'interaction des ressources entre les centres de données (VXLAN EVPN et All Active GW)

Défis du projet

La principale difficulté résidait dans la nécessité de réserver les applications existantes à l'aide d'une infrastructure informatique. Le client avait plus de 100 applications différentes, dont certaines ont été écrites il y a près de 10 ans. Par exemple, si pour Yandex vous pouvez facilement éteindre plusieurs centaines de machines virtuelles sans nuire aux utilisateurs finaux, alors dans Russian Post, cette approche nécessiterait le développement d'un certain nombre d'applications à partir de zéro et des changements dans l'architecture des systèmes d'information d'entreprise. Nous avons résolu les problèmes survenant dans le processus de migration et d'optimisation au stade d'un audit conjoint de l'infrastructure informatique. Toutes les nouvelles technologies de réseau pour l'entreprise (comme EVPN) ont été prétestées en laboratoire.

Résumé du projet

L'équipe de projet comprenait des spécialistes de LANIT-Integration , le client et ses partenaires dans le fonctionnement de l'infrastructure informatique. Des équipes d'assistance dédiées de fournisseurs (Check Point et Huawei) ont également été constituées. Le projet a duré deux ans. Voici ce qui a été fait pendant cette période.

• Une stratégie pour le développement d'un réseau de centres de données, d'un réseau de données d'entreprise (KSPD) et d'un anneau entre les centres de données a été élaborée et convenue avec tous les services clients.
• La disponibilité des services a augmenté. Cela a été noté par l'activité du client et a conduit à une croissance du trafic encore plus importante en raison de l'introduction de nouveaux services.
• Plus de 40 000 règles ont été migrées et optimisées de FWSM / ASA vers USG 9560. Différents contextes ASA sur UGG 9560 sont combinés en une seule politique de sécurité.
• Le débit du port du centre de données est passé de 1G à 10 / 40G grâce à l'utilisation de CE12800 / CE6850. Cela a éliminé la congestion de l'interface et la perte de paquets.
  
• Les routeurs de classe opérateur NE40E-X8 ont entièrement couvert les besoins du centre de données du client et de KSPD en tenant compte du développement commercial futur.
• Huit nouvelles demandes de fonctionnalités ont été demandées pour USG 9560. Parmi celles-ci, sept ont déjà été implémentées et sont incluses dans la version actuelle de VRP. 1 FR - en vente chez R&D Huawei. Il s'agit d'un cluster de huit châssis avec la possibilité de configurer les fonctionnalités nécessaires pour synchroniser la configuration sans synchroniser les sessions. Il est nécessaire si le retard de circulation vers l'un des centres de données est trop important (Adler - Moscou 1300 km sur l'autoroute principale et 2800 km sur l'autoroute de secours).

Le projet n'a pas d'analogues par rapport à d'autres sociétés postales russes.

La modernisation de l'infrastructure réseau du centre de données a ouvert de nouvelles opportunités pour l'entreprise de développer des services numériques.

• Fournir un compte personnel et une application mobile pour les particuliers et les personnes morales.
• Intégration avec les magasins électroniques pour fournir des services de livraison de marchandises.
• Exécution - stockage de marchandises, formation et livraison de commandes de magasins électroniques.
• Extension des points de livraison des commandes, notamment via les réseaux d'affiliation.
• Flux de travail juridiquement significatif avec les contreparties. Cela vous permettra d'abandonner le transfert lent et coûteux de documents papier.
• Acceptation des lettres recommandées sous forme électronique avec livraison à la fois sous forme électronique et sur papier (avec le cachet des envois aussi proche que possible du destinataire final). Service de lettres recommandées électroniques sur le portail des services publics.
• Plateforme de fourniture de services de télémédecine.
• Réception et livraison simplifiées du courrier recommandé à l'aide d'une simple signature électronique.
• Numérisation du réseau postal.
• Traitement des services en libre-service (terminaux et bureaux de poste).
• Création d'une plateforme numérique pour la gestion d'un service de messagerie et d'une nouvelle application mobile pour les clients du service de messagerie.