Tenho certeza de que todos os leitores de Habr pelo menos uma vez encomendaram mercadorias em lojas on-line no exterior e depois foram receber encomendas nos correios da Rússia. Você pode imaginar qual é a escala dessa tarefa do ponto de vista da organização logística? Multiplique o número de clientes pelo número de compras, imagine um mapa do nosso vasto país e existem mais de 40 mil agências postais ... Aliás, em 2018, o Russian Post processou 345 milhões de encomendas internacionais.
Neste artigo, mostraremos quais problemas o Mail enfrentou e como eles foram abordados pela equipe de integração da LANIT, criando uma nova infraestrutura de TI para os data centers.
Um dos modernos centros de logística do Correio RussoAntes do projeto
Devido ao forte aumento no número de encomendas de lojas no exterior na China, Europa Ocidental e América do Norte, a carga nas instalações de logística do Russian Post aumentou. Portanto, foram construídos centros logísticos de nova geração que utilizam máquinas de triagem de alta capacidade. Eles exigem suporte da infraestrutura de computação.
A infraestrutura do data center estava desatualizada e não fornecia o desempenho e a confiabilidade necessários na operação dos sistemas de informações corporativos. Além disso, o Russian Post experimentou uma falta de poder computacional para lançar novos serviços.
Data centers de clientes e seus problemas
Os data centers do Russian Post atendem a mais de 40.000 objetos e 85 departamentos territoriais. Existem dezenas de serviços de negócios 24 horas nos data centers, incluindo serviços de comércio eletrônico.
Atualmente, a empresa utiliza sistemas para armazenar, analisar e processar big data. Para esses sistemas, o uso de inteligência artificial e algoritmos de aprendizado de máquina desempenha um papel importante. Hoje, um dos casos mais importantes para a empresa é otimizar o gerenciamento dos fluxos logísticos e acelerar o atendimento ao cliente nas agências postais.
Antes do início do projeto de modernização, havia cerca de 3.000 máquinas virtuais nos data centers principais e de backup, a quantidade de informações armazenadas excedia 2 petabytes. Os data centers tinham uma estrutura complexa de roteamento de tráfego associada à separação em diferentes segmentos, de acordo com os níveis de segurança.
Com o desenvolvimento de aplicativos e a introdução de novos serviços, a largura de banda existente dos equipamentos de rede nos data centers se tornou insuficiente. Foi necessária a transição para interfaces com novas velocidades: 10 Gbit / s, em vez de 1 Gbit / s no acesso e 40 Gbit / s no nível principal, com redundância total de equipamentos e canais de comunicação.
O Departamento de Segurança da Informação recebeu uma solicitação para dividir a infraestrutura em segmentos com alto nível de segurança da informação do tráfego e aplicativos (PN - Rede Privada e DMZ - Zona Desmilitarizada). O tráfego passou pelos firewalls (ITU), que não foram necessários para filtrar. O VRF nos comutadores não foi usado para esse tráfego. As regras na ITU eram abaixo do ideal (dezenas de milhares de regras em cada data center).
A migração perfeita de máquinas virtuais (VMs) entre data centers com a preservação do endereço IP e o caminho ideal de tráfego entre segmentos, incluindo a rede de dados corporativos (KSPD), era impossível.
Para backup, foi utilizado o MSTP, algumas das portas foram bloqueadas (hot standby). Os switches do kernel e de acesso não foram combinados em um cluster de failover, a agregação de interface (LAG) não foi usada.
Com o advento do terceiro data center, foi necessária uma nova arquitetura e configuração de equipamentos para operar o anel entre os data centers (a EVPN foi proposta).
Não havia um conceito único para o desenvolvimento de data centers, documentado na forma de um projeto e acordado com todos os departamentos do cliente. A documentação atual para operação da rede estava incompleta e desatualizada.
Expectativas do cliente
A equipe do projeto teve as seguintes tarefas:
- preparar o conceito de arquitetura e desenvolvimento para a construção da infraestrutura de rede e servidor do terceiro data center;
- realizar uma auditoria operacional da rede de clientes existente;
- expandir a capacidade do núcleo da rede em mais de 1500 portas Ethernet 10/40 Gbit / s em cada data center (4500 portas no total);
- garantir a operação do anel entre os três centros de dados com a possibilidade de aumentar a velocidade de até 80 Gb / s em cada um dos segmentos, a fim de combinar os recursos de computação do cliente de diferentes centros de dados em um único sistema de TI;
- fornecer 100% de reserva dupla de todos os elementos da rede para atingir o objetivo de tempo de atividade no nível de 99,999%;
- minimizar atrasos de tráfego entre máquinas virtuais para acelerar aplicativos de negócios;
- coletar estatísticas, analisar e conduzir a otimização subsequente das regras de filtragem de tráfego nos data centers (inicialmente havia cerca de 80.000 regras);
- Desenvolva uma arquitetura direcionada para migrar perfeitamente os aplicativos de negócios críticos do cliente para qualquer um dos três datacenters.
Assim, tínhamos algo para trabalhar.
Equipamento
Vamos nos debruçar com mais detalhes sobre quais equipamentos usamos no projeto.
Firewall (NGWF) USG9560:- divisão em VSYS;
- até 720 Gbps;
- até 720 milhões de sessões simultâneas;
- 8 slots.
Roteador NE40E-X8:- capacidade de comutação de até 7,08 Tbit / s;
- desempenho de encaminhamento de até 2.880 Mpps;
- 8 slots para placas de linha (LPU);
- até 10M de rotas IPv4 BGP por MPU;
- até 1500K rotas IPv4 OSPF por MPU;
- até 3000K - IPv4 FIB (depende da LPU).
Comutadores da série CE12800:- Virtualização de dispositivo: VS (virtualização 1:16), CSS (Sistema de comutação de cluster), Super Virtual Fabric (SVF);
- Virtualização de rede: ponte M-LAG, TRILL, VXLAN e VXLAN, QinQ em VXLAN, EVN (rede virtual Ethernet);
- A partir do VRP V2, o suporte a EVPN está incluído.
- M-LAG - um análogo do vPC (Virtual Port Channel) no Cisco Nexus;
- Protocolo Virtual Spanning Tree (VSTP) - Compatível com Cisco PVST.
CE12804CE12808De software
No projeto, usamos:
- conversor de arquivos de configuração de firewalls de outros fornecedores no formato de comando para novos equipamentos;
- scripts proprietários para otimizar e converter configurações de firewall.
Aparência do conversor para converter arquivos de configuraçãoO esquema de organização da comunicação entre o data center (EVPN VXLAN)Nuances da configuração do equipamento
CE12808- EVPN (padrão) em vez de EVN (proprietário da Huawei) para comunicação entre data centers:
○ L2 em cima de L3 usando o iBGP no plano de controle;
○ Treinamento MAC e seu anúncio através da família iBGP EVPN (rotas MAC, tipo 2);
○ construção automática de túneis VXLAN para tráfego de difusão / unicast desconhecido (rotas multicast inclusivas, tipo 3). - Dois modos de divisão no VS:
○ baseado em portas (porta de modo de porta) ou baseado em ASIC (grupo de modo de porta, mapa de porta do dispositivo de exibição);
○ a interface de dimensão de divisão de porta 40GE funciona SOMENTE no Admin VS (independentemente do modo de porta).
USG9560- a possibilidade de dividir em VSYS,
- o roteamento dinâmico é impossível entre o VSYS e o vazamento da rota!
CE12804Todo GW ativo (VRRP Master / Master / Master) com filtragem MAC VRRP entre data centers
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outboundEsquema de interação de recursos entre data centers (VXLAN EVPN e All Active GW)Desafios do projeto
A principal dificuldade foi a necessidade de reservar aplicativos existentes usando a infraestrutura de computação. O cliente tinha mais de 100 aplicativos diferentes, alguns dos quais foram escritos há quase 10 anos. Por exemplo, se para o Yandex você pode facilmente desativar várias centenas de máquinas virtuais sem prejudicar os usuários finais, no Post russo, essa abordagem exigiria o desenvolvimento de vários aplicativos a partir do zero e alterações na arquitetura dos sistemas de informações corporativos. Resolvemos os problemas que surgem no processo de migração e otimização no estágio de uma auditoria conjunta da infraestrutura de computação. Todas as novas tecnologias de rede para a empresa (como EVPN) foram pré-testadas em laboratório.
Resumo do Projeto
A equipe do projeto incluiu especialistas da
LANIT-Integration , o cliente e seus parceiros na operação da infraestrutura de computação. Também foram formadas equipes de suporte dedicadas de fornecedores (Check Point e Huawei). O projeto levou dois anos. Aqui está o que foi feito durante esse período.
- Uma estratégia para o desenvolvimento de uma rede de data centers, uma rede corporativa de dados (KSPD) e um anel entre os data centers foi desenvolvida e acordada com todos os departamentos do cliente.
- A disponibilidade de serviços aumentou. Isso foi observado pelos negócios do cliente e levou a um crescimento ainda maior do tráfego devido à introdução de novos serviços.
- Mais de 40.000 regras foram migradas e otimizadas do FWSM / ASA para USG 9560. Diferentes contextos ASA no UGG 9560 são combinados em uma única política de segurança.
- A taxa de transferência da porta do data center aumentou de 1G para 10 / 40G com o uso do CE12800 / CE6850. Isso eliminou o congestionamento da interface e a perda de pacotes.
- Os roteadores de classe de operadora NE40E-X8 cobriram totalmente as necessidades do data center e do KSPD do cliente, levando em consideração o desenvolvimento futuro dos negócios.
- Oito novas solicitações de recursos foram solicitadas para o USG 9560. Destas, sete já foram implementadas e estão incluídas na versão atual do VRP. 1 FR - à venda em P&D Huawei. Este é um cluster de oito chassis com a capacidade de configurar a funcionalidade necessária para sincronizar a configuração sem sincronizar as sessões. É necessário se o atraso do tráfego em um dos data centers for muito grande (Adler - Moscou, 1300 km na estrada principal e 2800 km na estrada de backup).
O projeto não tem análogos em comparação com outras empresas postais russas.
A modernização da infraestrutura de rede do data center abriu novas oportunidades para a empresa desenvolver serviços digitais.
- Fornecer uma conta pessoal e aplicativo móvel para indivíduos e entidades legais.
- Integração com lojas eletrônicas para prestação de serviços de entrega de mercadorias.
- Atendimento - armazenagem de mercadorias, formação e entrega de pedidos de lojas eletrônicas.
- Expansão dos pontos de entrega de pedidos, incluindo o uso de redes afiliadas.
- Fluxo de trabalho legalmente significativo com contrapartes. Isso permitirá que você abandone a transferência lenta e dispendiosa de documentos em papel.
- Aceitação de cartas registradas em formato eletrônico, com entrega tanto em formato eletrônico quanto em papel (com o selo de remessa o mais próximo possível do destinatário final). Serviço de cartas registradas eletrônicas no portal de serviços públicos.
- Plataforma para a prestação de serviços de telemedicina.
- Recepção simplificada e entrega simplificada de correio registrado usando uma assinatura eletrônica simples.
- Digitalização da rede de correios.
- Processamento de serviços de autoatendimento (terminais e correios).
- Criação de uma plataforma digital para gerenciar um serviço de courier e um novo aplicativo móvel para clientes de serviços de courier.