Neue IT-Infrastruktur für das Russian Post Data Center

Ich bin mir sicher, dass alle Habr-Leser mindestens einmal Waren in Online-Shops im Ausland bestellt und dann Pakete bei der russischen Post abgeholt haben. Können Sie sich vorstellen, welchen Umfang diese Aufgabe aus Sicht der Logistikorganisation hat? Multiplizieren Sie die Anzahl der Kunden mit der Anzahl ihrer Einkäufe, stellen Sie sich eine Karte unseres riesigen Landes vor, auf der sich mehr als 40.000 Postämter befinden ... Im Jahr 2018 hat die Russische Post übrigens 345 Millionen internationale Pakete bearbeitet.

In diesem Artikel erfahren Sie, mit welchen Problemen Mail konfrontiert war und wie sie vom LANIT-Integrationsteam behandelt wurden, um eine neue IT-Infrastruktur für Rechenzentren zu schaffen.

Eines der modernen Logistikzentren der russischen Post

Vor dem Projekt

Aufgrund der stark gestiegenen Anzahl von Paketen aus Übersee-Filialen in China, Westeuropa und Nordamerika hat die Belastung der Logistikeinrichtungen der Russischen Post zugenommen. Daher wurden Logistikzentren der neuen Generation gebaut, die Sortiermaschinen mit hoher Kapazität verwenden. Sie benötigen Unterstützung von der Computerinfrastruktur.

Die Rechenzentrumsinfrastruktur war veraltet und bot nicht die erforderliche Leistung und Zuverlässigkeit für den Betrieb von Unternehmensinformationssystemen. Außerdem mangelte es der russischen Post an Rechenleistung für die Einführung neuer Dienste.

Kundendatenzentren und ihre Probleme

Rechenzentren der Russischen Post bedienen mehr als 40.000 Objekte und 85 Gebietsabteilungen. In den Rechenzentren gibt es Dutzende von Business-Services rund um die Uhr, einschließlich E-Commerce-Services.

Bereits heute nutzt das Unternehmen Systeme zur Speicherung, Analyse und Verarbeitung von Big Data. Für solche Systeme spielt die Verwendung von Algorithmen für künstliche Intelligenz und maschinelles Lernen eine wichtige Rolle. Heute ist es eines der wichtigsten Anliegen des Unternehmens, die Steuerung der Logistikabläufe zu optimieren und den Kundenservice in den Postämtern zu beschleunigen.

Vor dem Start des Modernisierungsprojekts befanden sich ca. 3.000 virtuelle Maschinen in den primären und Backup-Rechenzentren. Die Menge der gespeicherten Informationen überschritt 2 Petabyte. Die Rechenzentren hatten eine komplexe Verkehrslenkungsstruktur, die mit der Unterteilung in verschiedene Segmente nach Sicherheitsstufen verbunden war.

Mit der Entwicklung von Anwendungen und der Einführung neuer Dienste ist die vorhandene Bandbreite von Netzwerkgeräten in Rechenzentren unzureichend geworden. Der Übergang zu Schnittstellen mit neuen Geschwindigkeiten war erforderlich: 10 Gbit / s anstelle von 1 Gbit / s beim Zugriff und 40 Gbit / s auf der Kernebene bei vollständiger Redundanz von Geräten und Kommunikationskanälen.

Die Abteilung Informationssicherheit erhielt den Auftrag, die Infrastruktur in Segmente mit einem hohen Maß an Informationssicherheit für Verkehr und Anwendungen (PN - Private Network und DMZ - Demilitarized Zone) zu unterteilen. Der Datenverkehr wurde durch die Firewalls (ITU) geleitet, die nicht gefiltert werden mussten. VRF auf den Switches wurde für diesen Verkehr nicht verwendet. Die Regeln an der ITU waren suboptimal (Zehntausende von Regeln in jedem Rechenzentrum).

Eine nahtlose Migration von virtuellen Maschinen (VMs) zwischen Rechenzentren unter Beibehaltung der IP-Adresse und des optimalen Datenverkehrs zwischen den Segmenten, einschließlich des Unternehmensdatennetzwerks (KSPD), war nicht möglich.

Für die Sicherung wurde MSTP verwendet, einige der Ports wurden gesperrt (Hot Standby). Kernel und Zugriffsschalter wurden nicht zu einem Failovercluster zusammengefasst, und es wurde keine Schnittstellenaggregation (LAG) verwendet.

Mit dem Aufkommen des dritten Rechenzentrums war eine neue Architektur und Konfiguration der Geräte erforderlich, um den Ring zwischen den Rechenzentren zu betreiben (EVPN wurde vorgeschlagen).

Es gab kein einheitliches Konzept für die Entwicklung von Rechenzentren, das in Form eines Projekts dokumentiert und mit allen Abteilungen des Kunden abgestimmt wurde. Die aktuelle Dokumentation zum Betrieb des Netzwerks war unvollständig und veraltet.

Kundenerwartungen

Das Projektteam hatte folgende Aufgaben:

• Vorbereitung des Architektur- und Entwicklungskonzepts für den Aufbau der Netzwerk- und Serverinfrastruktur des dritten Rechenzentrums;
• eine Betriebsprüfung des bestehenden Kundennetzwerks durchführen;
• Erweiterung der Kapazität des Netzwerkkerns um mehr als 1500 Ethernet-Ports mit 10/40 Gbit / s in jedem Rechenzentrum (insgesamt 4500 Ports);
• Gewährleistung des Ringbetriebs zwischen den drei Rechenzentren mit der Möglichkeit, die Geschwindigkeit in jedem der Segmente auf bis zu 80 Gbit / s zu erhöhen, um die Rechenressourcen des Kunden aus verschiedenen Rechenzentren in einem einzigen IT-System zu kombinieren.
• Bereitstellung einer 100% igen doppelten Reserve aller Netzwerkelemente, um die Zielbetriebszeit auf dem Niveau von 99,995% zu erreichen;
• Minimieren Sie Verzögerungen beim Datenverkehr zwischen virtuellen Maschinen, um die Geschäftsanwendungen zu beschleunigen.
• Sammeln von Statistiken, Analysieren und anschließende Optimierung von Verkehrsfilterregeln in Rechenzentren (ursprünglich gab es etwa 80.000 Regeln);
• Entwickeln Sie eine zielgerichtete Architektur, um kundenkritische Geschäftsanwendungen nahtlos in eines der drei Rechenzentren zu migrieren.

So hatten wir etwas zu arbeiten.

Ausstattung

Lassen Sie uns näher darauf eingehen, welche Ausrüstung wir im Projekt verwendet haben.

Firewall (NGWF) USG9560:

• Aufteilung in VSYS;
• bis zu 720 Gbit / s;
• bis zu 720 Millionen gleichzeitige Sitzungen;
• 8 Steckplätze.

Router NE40E-X8:

• bis zu 7,08 Tbit / s Schaltleistung;
• bis zu 2.880 Mpps Weiterleitungsleistung;
• 8 Steckplätze für Line Cards (LPU);
• bis zu 10 Mio. BGP IPv4-Routen pro MPU;
• bis zu 1500K OSPF IPv4-Routen pro MPU;
• bis zu 3000K - IPv4 FIB (abhängig von der LPU).

Schalter der Serie CE12800:

• Gerätevirtualisierung: VS (1:16 Virtualisierung), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
• Netzwerkvirtualisierung: M-LAG-, TRILL-, VXLAN- und VXLAN-Bridging, QinQ in VXLAN, EVN (Ethernet Virtual Network);
• Ab VRP V2 ist die EVPN-Unterstützung enthalten.
• M-LAG - ein Analogon von vPC (Virtual Port Channel) bei Cisco Nexus;
• Virtual Spanning Tree Protocol (VSTP) - Kompatibel mit Cisco PVST.

CE12804


CE12808

Software

In dem Projekt verwendeten wir:

• Konvertierung von Konfigurationsdateien von Firewalls anderer Hersteller in das Befehlsformat für neue Geräte;
• proprietäre Skripte zur Optimierung und Konvertierung von Firewall-Konfigurationen.

Konverter-Darstellung zum Konvertieren von Konfigurationsdateien

Das Schema der Organisation der Kommunikation zwischen dem Rechenzentrum (EVPN VXLAN)

Nuancen der Geräteeinstellung

CE12808

• EVPN (Standard) anstelle von EVN (Huawei proprietary) für die Kommunikation zwischen Rechenzentren:
  
  ○ L2 über L3 mit iBGP in der Kontrollebene;
  ○ MAC-Training und deren Ankündigung durch die iBGP EVPN-Familie (MAC-Routen, Typ 2);
  ○ Automatischer Aufbau von VXLAN-Tunneln für Broadcast- / unbekannten Unicast-Verkehr (Inclusive Multicast Routes, Typ 3).
• Zwei Unterteilungsmodi bei VS:
  
  ○ basierend auf Ports (Port-Mode-Port) oder basierend auf ASIC (Port-Mode-Group, Display Device Port-Map);
  ○ Port Split Dimension-Schnittstelle 40GE funktioniert NUR in Admin VS (unabhängig vom Portmodus).

USG9560

• die Möglichkeit der Aufteilung in VSYS,
• Dynamisches Routing ist zwischen VSYS und Route Leaking nicht möglich!

CE12804

Alle aktiven GW (VRRP-Master / Master / Master) mit MAC-VRRP-Filterung zwischen Rechenzentren

acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit

interface Eth-Trunk1
traffic-filter acl 4000 outbound

Schema der Ressourceninteraktion zwischen Rechenzentren (VXLAN EVPN und All Active GW)

Projektherausforderungen

Die Hauptschwierigkeit bestand in der Notwendigkeit, vorhandene Anwendungen mithilfe der Computerinfrastruktur zu reservieren. Der Kunde hatte mehr als 100 verschiedene Anwendungen, von denen einige vor fast 10 Jahren geschrieben wurden. Wenn Sie beispielsweise für Yandex problemlos mehrere hundert virtuelle Maschinen ausschalten können, ohne den Endbenutzern Schaden zuzufügen, müssten bei diesem Ansatz in Russian Post eine Reihe von Anwendungen von Grund auf neu entwickelt und die Architektur von Unternehmensinformationssystemen geändert werden. Die bei der Migration und Optimierung auftretenden Probleme haben wir im Rahmen eines gemeinsamen Audits der Rechnerinfrastruktur gelöst. Alle neuen Netzwerktechnologien für das Unternehmen (wie EVPN) wurden im Labor vorab getestet.

Projektzusammenfassung

Das Projektteam bestand aus Spezialisten von LANIT-Integration , dem Kunden und seinen Partnern für den Betrieb der Computerinfrastruktur. Außerdem wurden spezielle Support-Teams von Anbietern (Check Point und Huawei) gebildet. Das Projekt dauerte zwei Jahre. Folgendes wurde in dieser Zeit getan.

• Eine Strategie für den Aufbau eines Netzwerks von Rechenzentren, eines Unternehmensdatennetzwerks (KSPD) und eines Rings zwischen den Rechenzentren wurde entwickelt und mit allen Kundenabteilungen abgestimmt.
• Die Verfügbarkeit von Diensten hat zugenommen. Dies wurde vom Kundengeschäft wahrgenommen und führte durch die Einführung neuer Dienste zu einem noch stärkeren Verkehrswachstum.
• Mehr als 40.000 Regeln wurden von FWSM / ASA nach USG 9560 migriert und optimiert. Verschiedene ASA-Kontexte in UGG 9560 sind in einer einzigen Sicherheitsrichtlinie zusammengefasst.
• Durch die Verwendung von CE12800 / CE6850 wurde der Datendurchsatz für Rechenzentrumsports von 1G auf 10 / 40G erhöht. Dies beseitigt Schnittstellenüberlastung und Paketverlust.
  
• Carrier-Class-Router NE40E-X8 deckten die Anforderungen des Rechenzentrums und der KSPD des Kunden unter Berücksichtigung der zukünftigen Geschäftsentwicklung vollständig ab.
• Für USG 9560 wurden acht neue Feature Requests angefordert. Davon wurden sieben bereits implementiert und sind in der aktuellen Version von VRP enthalten. 1 FR - zum Verkauf in R & D Huawei. Dies ist ein Cluster von acht Gehäusen mit der Möglichkeit, die erforderlichen Funktionen zum Synchronisieren der Konfiguration ohne Synchronisieren von Sitzungen zu konfigurieren. Dies ist erforderlich, wenn die Verkehrsverzögerung zu einem der Rechenzentren zu groß ist (Adler - Moskau 1300 km auf der Hauptautobahn und 2800 km auf der Ersatzautobahn).

Das Projekt weist im Vergleich zu anderen russischen Postunternehmen keine Analoga auf.

Die Modernisierung der Rechenzentrumsnetzinfrastruktur eröffnet dem Unternehmen neue Möglichkeiten für die Entwicklung digitaler Dienste.

• Bereitstellung eines persönlichen Kontos und einer mobilen Anwendung für natürliche und juristische Personen.
• Integration mit elektronischen Geschäften zur Bereitstellung von Warenlieferdiensten.
• Erfüllung - Lagerung von Waren, Bildung und Lieferung von Bestellungen von elektronischen Geschäften.
• Erweiterung der Lieferpunkte für Bestellungen, einschließlich der Nutzung von Partnernetzwerken.
• Rechtswirksamer Workflow mit Kontrahenten. Auf diese Weise können Sie auf die langsame und kostspielige Übertragung von Papierdokumenten verzichten.
• Annahme von Einschreibebriefen in elektronischer Form mit Zustellung sowohl in elektronischer als auch in Papierform (mit dem Siegel der Sendungen so nah wie möglich am Endempfänger). Service von elektronischen Einschreibebriefen auf dem Portal der öffentlichen Dienste.
• Plattform für die Bereitstellung von Telemedizin-Diensten.
• Vereinfachter Empfang und vereinfachte Zustellung von Einschreiben mit einer einfachen elektronischen Signatur.
• Digitalisierung des Poststellennetzes.
• Abwicklung von Selbstbedienungsdiensten (Terminals und Postämter).
• Schaffung einer digitalen Plattform zur Verwaltung eines Kurierdienstes und einer neuen mobilen Anwendung für Kurierdienstkunden.