俄罗斯邮政数据中心的新IT基础架构

我敢肯定，所有哈勃（Habr）的读者至少一次在国外的在线商店订购了商品，然后又去了俄罗斯邮局收货。 您能从物流组织的角度想象这项任务的规模吗？ 将客户数量乘以购买数量，想象一下我们这个广阔国家的地图，上面有4万多个邮局...顺便说一下，俄罗斯邮政在2018年处理了3.45亿个国际包裹。

在本文中，我们将告诉您Mail面临的问题以及LANIT集成团队如何解决它们，从而为数据中心创建了一个新的IT基础结构。

俄罗斯邮政的现代物流中心之一

项目前

由于来自中国，西欧和北美的海外商店的包裹数量急剧增加，俄罗斯邮政物流设施的负担增加了。 因此，建立了使用大容量分拣机的新一代物流中心。 他们需要计算基础架构的支持。

数据中心基础架构已过时，并且无法在企业信息系统的运行中提供必要的性能和可靠性。 此外，《俄罗斯邮政》也缺乏启动新服务的计算能力。

客户数据中心及其问题

俄罗斯邮政数据中心为40,000多个对象和85个地区部门提供服务。 数据中心有数十种全天候的业务服务，包括电子商务服务。

今天，该公司已使用用于存储，分析和处理大数据的系统。 对于此类系统，人工智能和机器学习算法的使用起着重要作用。 如今，对于公司而言，最重要的案例之一是优化物流流程的管理并加快邮局的客户服务。

在现代化项目开始之前，主数据中心和备份数据中心中大约有3,000个虚拟机，存储的信息量超过2 PB。 数据中心具有复杂的流量路由结构，根据安全级别将其分为不同的段。

随着应用的发展和新服务的引入，数据中心中网络设备的现有带宽已变得不足。 需要以新的速度过渡到接口：10 Gbit / s，而不是访问时的1 Gbit / s和核心级别的40 Gbit / s，并具有设备和通信通道的完全冗余。

信息安全部收到了将基础架构划分为具有高级别流量和应用程序信息安全性的部分的请求（PN-专用网络和DMZ-非军事区）。 通过防火墙（ITU）的流量，无需进行过滤。 交换机上的VRF未用于此类流量。 ITU的规则不是最佳的（每个数据中心成千上万的规则）。

不可能在数据中心之间无缝迁移虚拟机（VM），同时保留IP地址和段之间的最佳通信路径，包括公司数据网络（KSPD）。

为了进行备份，使用了MSTP，某些端口被阻止（热备用）。 内核和访问交换机未合并到故障转移群集中，未使用接口聚合（LAG）。

随着第三个数据中心的出现，需要一种新的架构和设备配置来操作数据中心之间的环网（提出了EVPN）。

数据中心的开发没有一个单一的概念，而是以项目的形式记录下来并与客户的所有部门达成一致。 当前用于操作网络的文档不完整且过时。

客户期望

项目团队具有以下任务：

• 准备用于构建第三个数据中心的网络和服务器基础结构的体系结构和开发概念；
• 对现有客户网络进行运营审核；
• 通过每个数据中心的1500个10/40 Gbit / s以太网端口扩展网络核心的容量（总共4500个端口）；
• 确保三个数据中心之间的环网运行，并可能将每个网段的速度提高到80 Gb / s，以便将来自不同数据中心的客户的计算资源合并到一个IT系统中；
• 提供所有网络元素的100％双重保留，以达到99.995％的目标正常运行时间；
• 最小化虚拟机之间的流量延迟，以加速业务应用程序；
• 收集统计数据，进行分析并随后对数据中心的流量过滤规则进行优化（最初大约有80,000条规则）；
• 开发目标架构，以将客户关键业务应用程序无缝迁移到三个数据中心中的任何一个。

因此，我们有一些工作要做。

配套设备

让我们详细介绍一下项目中使用的设备。

防火墙（NGWF）USG9560：

• 分为VSYS;
• 高达720 Gbps;
• 多达7.2亿个并发会话；
• 8个插槽。

路由器NE40E-X8：

• 高达7.08 Tbit / s的交换能力；
• 最高2,880 Mpps的转发性能；
• 8个用于线卡（LPU）的插槽；
• 每个MPU最多可达10M BGP IPv4路由；
• 每个MPU最多1500K OSPF IPv4路由;
• 高达3000K-IPv4 FIB（取决于LPU）。

CE12800系列交换机：

• 设备虚拟化：VS（1:16虚拟化），集群交换系统（CSS），超级虚拟结构（SVF）；
• 网络虚拟化：M-LAG，TRILL，VXLAN和VXLAN桥接，VXLAN中的QinQ，EVN（以太网虚拟网络）；
• 从VRP V2开始，包括EVPN支持。
• M-LAG-Cisco Nexus上的vPC（虚拟端口通道）的类似物；
• 虚拟生成树协议（VSTP）-与Cisco PVST兼容。

CE12804


CE12808

软体类

在项目中，我们使用了：

• 将其他厂商的防火墙的配置文件转换为新设备的命令格式；
• 专有脚本，用于优化和转换防火墙配置。

用于转换配置文件的转换器外观

数据中心之间的通信组织方案（EVPN VXLAN）

设备设置的细微差别

CE12808

• 数据中心之间的通信采用EVPN（标准）而不是EVN（华为专有）：
  
  ○在控制平面中使用iBGP在L3之上的L2；
  ○通过iBGP EVPN系列（MAC路由，类型2）进行MAC培训及其公告；
  ○自动构建用于广播/未知单播流量的VXLAN隧道（包括多播路由，类型3）。
• VS上的两种划分模式：
  
  ○基于端口（端口模式端口）或基于ASIC（端口模式组，显示设备端口映射）；
  ○端口拆分维度接口40GE仅在Admin VS中起作用（与端口模式无关）。

USG9560

• 划分为VSYS的可能性，
• VSYS和路由泄漏之间不可能进行动态路由！

CE12804

数据中心之间具有MAC VRRP过滤功能的所有活动GW（VRRP主站/主站/主站）

acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit

interface Eth-Trunk1
traffic-filter acl 4000 outbound

数据中心之间的资源交互方案（VXLAN EVPN和所有活动GW）

项目挑战

主要困难是需要使用计算基础结构来保留现有应用程序。 该客户拥有100多种不同的应用程序，其中一些是近10年前编写的。 例如，如果对于Yandex，您可以轻松关闭数百个虚拟机而又不损害最终用户，那么在《俄罗斯邮政》中，这种方法将需要从头开始开发许多应用程序，并需要更改企业信息系统的体系结构。 我们在计算基础架构的联合审核阶段解决了迁移和优化过程中出现的问题。 企业的所有新网络技术（例如EVPN）均已在实验室中进行了预测试。

项目总结

该项目团队包括来自LANIT-Integration的专家，客户及其合作伙伴在计算基础架构运营方面的专家。 还成立了来自供应商（Check Point和华为）的专用支持团队。 该项目耗时两年。 这是这段时间所做的。

• 制定了开发数据中心网络，公司数据网络（KSPD）以及在数据中心之间建立环网的战略，并与所有客户部门达成了一致。
• 服务的可用性已经增加。 客户的业务注意到了这一点，并由于引入了新服务而导致了更大的流量增长。
• 从FWSM / ASA到USG 9560已迁移并优化了40,000多个规则。UGG9560上的不同ASA上下文已组合到一个安全策略中。
• 通过使用CE12800 / CE6850，数据中心端口吞吐量从1G增加到10 / 40G。 这消除了接口拥塞和数据包丢失。
  
• 考虑到未来的业务发展，运营商级路由器NE40E-X8可以完全满足客户数据中心和KSPD的需求。
• USG 9560提出了八项新的功能请求。其中七项已经实施，并已包含在当前版本的VRP中。 1 FR-在华为研发部门销售。 这是一个由八个机箱组成的集群，能够配置必要的功能以同步配置而不同步会话。 如果到其中一个数据中心的流量延迟过大（Adler-Moscow在主要高速公路上为1300公里，在备用高速公路上为2800公里），则需要这样做。

与其他俄罗斯邮政公司相比，该项目没有类似物。

数据中心网络基础设施的现代化为企业开发数字服务开辟了新的机遇。

• 为个人和法人实体提供个人帐户和移动应用程序。
• 与电子商店整合以提供货物运送服务。
• 履行-货物存储，电子商店订单的形成和交付。
• 扩展订单的交付点，包括使用会员网络。
• 与交易对手具有法律意义的工作流程。 这样一来，您就可以放弃纸质文档的缓慢且昂贵的传输。
• 以电子形式和纸质形式接受电子形式的挂号信（交付时的印章应尽可能靠近最终收件人）。 在公共服务门户网站上提供电子挂号信的服务。
• 提供远程医疗服务的平台。
• 使用简单的电子签名简化了接收邮件并简化了投递邮件的发送。
• 邮局网络的数字化。
• 处理自助服务（终端和邮局）。
• 创建用于管理快递服务的数字平台和面向快递服务客户的新移动应用程序。