Como projetamos e implementamos a nova rede na Huawei no escritório de Moscou, parte 3: fábrica de servidores

Nas duas partes anteriores ( uma , duas ), examinamos os princípios com base nos quais uma nova fábrica de usuários foi construída e conversamos sobre a migração de todos os trabalhos. Agora é hora de falar sobre a fábrica de servidores.

Anteriormente, não tínhamos uma infraestrutura de servidor separada: os comutadores de servidor eram conectados ao mesmo núcleo que os comutadores de distribuição do usuário. O controle de acesso foi realizado usando redes virtuais (VLAN), o roteamento de VLAN foi realizado em um ponto - no núcleo (de acordo com o princípio Collapsed Backbone ).


Infra-estrutura de rede antiga

Juntamente com a nova rede de escritórios, decidimos construir uma nova sala de servidores e, para ela - uma nova fábrica separada. Acabou sendo pequeno (três gabinetes de servidor), mas seguindo todos os cânones: um núcleo separado nos comutadores CE8850, uma topologia totalmente conectada (coluna vertebral), comutadores na parte superior do rack (ToR) CE6870, um par separado de comutadores para interface com o restante da rede (borda folhas). Em suma, recheio completo.


Rede da nova fábrica de servidores

Decidimos abandonar o servidor SCS em favor da conexão direta dos servidores aos comutadores ToR. Porque Já temos duas salas de servidores criadas usando o SCS baseado em servidor e percebemos que isso é:

• inconveniente na operação (muita troca, você precisa atualizar cuidadosamente o log do cabo);
• caro em termos de espaço ocupado por patch panels;
• se necessário, aumente a velocidade da conexão de servidores (por exemplo, alterne de conexões de cobre de 1 Gbit / s para ópticas de 10 Gbit / s).

Ao mudar para uma nova fábrica de servidores, tentamos nos livrar da conexão de servidores a uma velocidade de 1 Gbit / s e nos limitamos a interfaces de 10 gigabit. Virtualizou quase todos os servidores antigos que não sabem como e o restante por meio de transceptores de gigabit conectados a portas de 10 gigabit. Calculamos e decidimos que seria mais barato do que instalar switches de gigabit separados para eles.


Chaves ToR

Também em nossa nova sala de servidores, instalamos comutadores de gerenciamento fora de banda (OOM) separados em 24 portas, uma por rack. Essa ideia acabou sendo muito boa, apenas as portas não eram suficientes; da próxima vez, instalaremos switches OOM para 48 portas.

Na rede OOM, conectamos interfaces de gerenciamento remoto para servidores como iLO ou iBMC, de acordo com a terminologia da Huawei. Se o servidor perdeu a conexão principal com a rede, você pode acessá-lo através desta interface. Os switches OOM também incluem interfaces de controle de switches ToR, sensores de temperatura, interfaces de controle do UPS e outros dispositivos similares. A rede OOM é acessível através de uma interface de firewall separada.


Conexão de rede OOM

Emparelhando redes de servidor e usuário

Em uma fábrica personalizada, VRFs separados são usados ​​para diferentes fins - para conectar estações de trabalho de usuários, sistemas de vigilância por vídeo, sistemas multimídia em salas de reunião, para organizar estandes e zonas de demonstração, etc.

Um conjunto diferente de VRFs foi criado na fábrica do servidor:

• Para conectar servidores convencionais nos quais os serviços corporativos são implantados.
• VRF separado, no qual os servidores são implantados com acesso da Internet.
• VRF separado para servidores de banco de dados que são acessados ​​apenas por outros servidores (por exemplo, servidores de aplicativos).
• VRF separado para o nosso sistema de correio (MS Exchange + Skype for Business).

Portanto, temos um conjunto de VRF do lado da fábrica do usuário e um conjunto de VRF do lado da fábrica do servidor. Ambos os conjuntos estão agrupados em firewalls corporativos (MEs). Os MEs estão conectados aos comutadores de borda da fábrica do servidor e da fábrica do usuário.


Interface de fábricas através de ME - física


Interface de fábricas através de ME - lógica

Como foi a migração

Durante a migração, conectamos as novas e antigas fábricas de servidores no nível do canal, através de troncos temporários. Para migrar servidores localizados em uma VLAN específica, criamos um domínio de ponte separado, que incluía a VLAN da antiga fábrica de servidores e a VXLAN da nova fábrica de servidores.

A configuração é mais ou menos assim, a chave são as duas últimas linhas:

bridge-domain 22 vxlan vni 600022 evpn route-distinguisher 10.xxx.xxx.xxx:60022 vpn-target 6xxxx:60022 export-extcommunity vpn-target 6xxxx:60022 import-extcommunity interface Eth-Trunk1 mode lacp-static dfs-group 1 m-lag 1 interface Eth-Trunk1.1022 mode l2 encapsulation dot1q vid 22 bridge-domain 22 

Migração de máquina virtual

Em seguida, usando o VMware vMotion, as máquinas virtuais nesta VLAN migraram dos hipervisores antigos (versão 5.5) para os novos (versão 6.5). Ao longo do caminho, os servidores de hardware foram virtualizados.


Na antiga rede de servidores, usamos o VMware vShield virtual ME. Como o VMware não oferece mais suporte a essa ferramenta, migramos do vShield para firewalls de hardware ao migrar para um novo farm virtual.

Depois que nenhum servidor foi deixado em uma VLAN específica na rede antiga, trocamos o roteamento. Anteriormente, ele era implementado em um núcleo antigo, construído na tecnologia Collapsed Backbone, e na nova fábrica de servidores usamos a tecnologia Anycast Gateway.


Interruptor de roteamento

Após alternar o roteamento para uma VLAN específica, ela se desconectou do domínio da ponte e foi excluída do tronco entre a rede antiga e a nova, ou seja, foi completamente transferida para a nova fábrica de servidores. Então, migramos cerca de 20 VLANs.

Por isso, criamos uma nova rede, um novo servidor e um novo farm de virtualização. Em um dos seguintes artigos, falaremos sobre o que fizemos com o Wi-Fi.

Maxim Klochkov
Consultor Sênior, Auditoria de Rede e Projetos Integrados
Centro de Soluções de Rede
Jet Infosystems