O artigo discute os princípios básicos da construção de redes em data centers, fornece exemplos de soluções de hardware da Juniper Networks. Ele não possui uma análise técnica profunda, mas provavelmente será útil para aqueles que vão organizar seu primeiro pequeno data center ou estão procurando soluções alternativas e novas oportunidades nos data centers existentes.
O tópico de construção de redes de comunicação em data centers está longe de ser novo hoje. Atualmente, esta área está passando por um rápido desenvolvimento, o que é justificado pelas crescentes necessidades de armazenamento de informações, bem como pela migração em massa de serviços e tecnologias para as "nuvens".
Nesse sentido, os requisitos para redes de dados no data center estão aumentando a cada dia. Isso força a humanidade a desenvolver novas tecnologias para gerenciamento de rede, processamento de tráfego e operação de equipamentos. Otimize as soluções existentes e, é claro, reduza a carga de recursos humanos, a fim de eliminar erros associados ao fator humano.
Uma mudança importante foi a direção do fluxo de tráfego no data center - se grandes fluxos de tráfego anteriores passavam de baixo para cima - verticalmente, de servidores para o mundo externo, agora a situação é completamente diferente e agora os servidores se comunicam entre si, transmitindo grandes fluxos de informações entre si, o que mudou as proporções de volumes tráfego a favor do intercâmbio "horizontal".
Em 1953, o matemático Charles Klose resolveu o problema de otimizar as conexões de rede para uso em redes telegráficas. O método de conexão “cada um com cada” era redundante e exigia grandes recursos para implementação. A ideia de Klose era construir uma rede de acordo com o esquema de três níveis. Entrada - Intermediário - Saída. Nesse esquema, o número de conexões físicas foi bastante reduzido, mas o desempenho geral da rede foi suficiente para a operação.
O mesmo princípio foi adotado como base para a construção de redes de transmissão de dados no data center. Com a única alteração, os níveis de "entrada" e "saída" foram combinados em um, uma vez que os servidores são uma fonte de informação e seu consumidor. No final, conseguimos um esquema de conexão de rede de acordo com o princípio do Spine - Leaf.
Spine - diagrama de conexão de rede em folhaO esquema é construído por analogia com as plantas da natureza. Folha - Folha. As folhas estão presas ao tronco. Coluna - tronco (ou crista). Como resultado, obtemos uma estrutura geral.
Folha. Equipamento de nível de acesso ao qual os servidores no data center se conectam. Estes são switches Top of Rack com alta densidade de portas. Como você pode ver na figura, todos os equipamentos Leaf são conectados em linhas separadas a cada comutador Spine. Isso permite alcançar um alto nível de redundância e tolerância a falhas.
Coluna O equipamento de nível de “agregação” geralmente é um equipamento de produção com uma alta densidade de portas de 25/40/50/100 Gbit / s. Uma característica distintiva deste equipamento é uma ampla gama de funcionalidades suportadas e maior desempenho em comparação com o nível da Leaf.
Como resultado, obtemos um esquema no qual o tráfego flui através de equipamentos no nível da coluna vertebral. Essa distribuição dos fluxos de tráfego pode não parecer ideal se os dois servidores, a fonte e o receptor estiverem conectados ao mesmo switch Leaf. E isso está correto, neste caso, o tráfego passa diretamente pelo comutador Leaf sem subir para um nível superior.
O QFX é uma série de switches para a construção de redes de datacenter.
A abreviação QFX não possui nenhum significado lógico, portanto, não entraremos no significado dessas três letras. Este equipamento foi desenvolvido e comercializado pela Juniper Networks, empresa líder no desenvolvimento e fabricação de equipamentos de telecomunicações.
Atualmente, qualquer fabricante que se preze de equipamentos de telecomunicações, seja Cisco, Arista, Extreme e outros, lida com problemas de comutação e roteamento em data centers.
Os fabricantes de software de rede, que podem ser usados em conjunto com equipamentos sem software pré-instalado ou diretamente em plataformas de servidor, assumem uma posição interessante. O desenvolvimento dessa direção ocorre em estreita cooperação com os fabricantes de equipamentos de telecomunicações, criando novos produtos e tecnologias.
Voltar ao hardware QFX da Juniper Networks. Toda a série foi projetada para atender às necessidades dos data centers. O software é escrito levando em consideração a funcionalidade necessária, a arquitetura do equipamento leva em consideração os requisitos de tolerância a falhas e redundância.
A linha de comutadores para data centers é representada pelas seguintes séries:
- Série QFX51xx - Equipamento de nível foliar.
- A série QFX52xx é um equipamento que pode ser usado no nível Leaf e no Spine.
- Série QFX10k - Equipamento de nível da coluna vertebral.
Dependendo da série, o equipamento é construído com chips Broadcom ou com os desenvolvimentos da Juniper. Tanto a opção quanto a outra têm seus prós e contras.
Considere o QFX51xx - o QFX5100 mais antigo, bem como a versão atualizada do QFX5110. Ambos os switches são baseados no Broadcom Trident 2+, mas em versões diferentes. Como resultado, não tivemos o mesmo comportamento do comutador em operação e, é claro, o suporte diferente para funções de software e capacidade de porta. Como observado anteriormente, este equipamento está posicionado principalmente como um dispositivo Leaf. É possível usar a série 51xx como um dispositivo Spine em pequenos data centers.
O QFX51xx suporta redundância de fontes de alimentação de acordo com o esquema CA / CC, CA / CA, CC / CC.
Software, equipamento é construído usando mecanismos de virtualização. Diferente de outras séries de switches da empresa, o sistema operacional Junos OS é executado como uma máquina virtual no hipervisor KVM que é executado no dispositivo. Graças a isso, a solução suporta a tecnologia de atualização de software - TISSU. Durante o processo de atualização, máquinas virtuais Junos OS adicionais são criadas e a alternância entre elas ocorre com interrupções mínimas de serviço.
O QFX5100 é construído sobre uma versão mais antiga do chip Trident 2+ e, na minha humilde opinião, já é digno de se aposentar, dando lugar ao seu irmão mais velho QFX5110.
O QFX5100 é feito em várias modificações:
- QFX5100-48S - Switch SFP + de 48 portas 6 portas QSFP +.
- O QFX5100-96S é um switch SFP + de 96 portas com 8 portas QSFP +.
- QFX5100-24Q - Switch QSFP + de 24 portas.
- QFX5100-48T - Switch 10G BASE-T de 48 portas 6 portas QSFP +.
QFX5110 é um modelo mais recente da série 51xx, construído em uma versão atualizada do chip Trident 2+. Na minha opinião, agora é a melhor solução Juniper disponível para trabalhar como dispositivos Leaf.
QFX5110 - um modelo mais recente da série 51xx, construído em uma versão atualizada do chip Trident 2+
QFX5110 é fabricado em várias versões
- QFX5110-48S - Switch SFP + 4 portas 48 portas QSFP28.
- O QFX5110-32Q é um comutador para 32 portas QSFP + ou 20 portas QSFP28.
Em geral, pode-se notar uma alta densidade de portas de 10 Gb / s para ligar dispositivos de terminal e portas de uplink "amplas" de 100 Gb / s, o que permite obter um nível de uplink de reinscrição para "1: 1,2" quando o comutador do modelo 5110 está totalmente carregado. Eu acho que esse é um bom indicador.
Uma pequena tabela de comparação:
Considere a série QFX52xx. O equipamento desta série é representado por dois modelos QFX5200 e QFX5210. Toda a série é construída sobre o chip Broadcom Tomahawk de primeira geração. Isso impõe suas limitações na funcionalidade e desempenho da solução. A série está posicionada como dispositivos Spine de pequenos data centers ou como dispositivos Leaf, se for necessário conectar equipamentos terminais de 25 Gb / s. Isso ocorre devido à alta densidade das portas QSFP28 e ao fato de o equipamento ser construído em um chip comercial da Broadcom, com funcionalidade limitada.
O QFX52xx suporta redundância de fontes de alimentação de acordo com o esquema CA / CC, CA / CA, CC / CC.
Todas as opções acima sobre a operação do software no equipamento QFX51xx também são válidas para a série QFX52xx. O sistema operacional Junos OS funciona como uma máquina virtual, com a capacidade de hospedar o TISSU.
O QFX5200 é representado por dois modelos, o QFX5200-32C mais antigo, construído no chip Broadcom Tomahawk, e o QFX5200-48Y mais recente, construído no chip Broadcom Tomahawk +:
- QFX5200-32C - comutador de 32 portas QSFP28.
- QFX5200-48Y - Switch SFP28 de 48 portas 6 portas QSFP28.
O QFX5210 é representado por um modelo, que é, de fato, dois comutadores QFX5200-32C, o que nos dá as mesmas limitações.
QFX5210-64C - QSFP28 comutador de 64 portas.
No final, obtemos uma alta densidade de portas de 100 Gb / s por relativamente pouco dinheiro, o que torna este equipamento uma boa solução Spine em data centers de pequeno e médio porte. Além disso, quero observar o momento em que o equipamento permite a migração do nível Leaf a uma velocidade de 25 Gb / s
Vamos para a série QFX10k. O equipamento desta série é construído no próprio desenvolvimento da Juniper, o chip Q5, com capacidade de 500 Gb / s. Este chipset tem a capacidade de conectar memória externa para armazenar informações de roteamento RIB / FIB. Isso permite que você construa equipamentos de alto desempenho e introduza novas funcionalidades como elas aparecem no mercado por meio de atualizações de software. A série de switches QFX10k foi projetada para atender a todas as necessidades modernas do mercado, para uso em grandes datacenters no nível Spine, bem como para a construção de links entre dois datacenters geograficamente espaçados - DCI - Data Center Interconnect.
Os switches QFX10k estão disponíveis em projetos fixos e modulares.
O QFX10002 é um comutador de modo fixo 2RU. A série inclui vários modelos:
- Switch QFX10002-36 / 72Q com suporte para 36/72 portas QSFP + ou 12/24 portas QSFP28.
- Comutador QFX10002-60C com suporte para 60 portas QSFP28.
O QFX100xx é um comutador modular. Estes são chassis grandes, com a capacidade de conectar vários tipos de placas de linha, fornecendo suporte para vários tipos de interfaces (SFP, SFP +, SFP28, QSFP +, QSFP28). O equipamento permite o uso de redundância de componentes em um chassi, como módulos de controle, placas de linha.
A série inclui um chassi com capacidade para incluir 8 ou 16 placas de linha.
Atualmente, o equipamento QFX10k ocupa uma posição de liderança no segmento "Dispositivos Spine" para redes de data center. Os switches estão em forte concorrência com equipamentos de outros fabricantes desse segmento.
Todo o equipamento suporta mecanismos de configuração remota NetConf, coleta de estatísticas e análises usando a Junos Telemetry.
Em geral, revisamos a topologia física da construção da rede - na versão de melhores práticas - de possíveis equipamentos da Juniper. Vale ressaltar que outros fabricantes de equipamentos possuem análogos a esses comutadores. Usando nossa análise, você sempre pode escolher o que melhor combina com você.
Em conclusão, proponho considerar as opções lógicas para a construção de redes de comunicação em data centers.
Até o momento, posso distinguir duas opções para a construção lógica da rede:
Baseado em algoritmos proprietários e protocolos de trabalho.
Baseado em algoritmos abertos e protocolos de trabalho.
Ainda estamos considerando o fabricante Juniper Networks.
No primeiro caso, existem duas soluções principais para construir redes em data centers:
Malha de chassi virtual
Junos Fusion Datacenter
Tela do chassi virtual. A solução é um desenvolvimento da tecnologia de chassi virtual da Juniper. O mesmo princípio é usado para combinar switches em um chassi comum usando o protocolo VCCP interno. O VCCP é baseado no protocolo IS-IS aberto e é uma versão revisada dele. Como resultado, o mecanismo do trabalho da solução fica oculto para o usuário final e é deixado para os desenvolvedores, o que dificulta a solução de problemas que surgem durante a operação, mas permite o uso do produto final.
- Ponto único de gerenciamento através do switch principal.
- Suporte para a arquitetura Spine - Leaf.
- O número máximo de dispositivos é de 20 peças (4 lombada e 16 folhas).
- Dimensionando até 1536 portas de acesso com suporte de 10 Gb / s - FCoE em uma fábrica.
- Sistema de Gerenciamento Espacial Junos.
Junos Fusion DataCenter. A solução é um novo produto da empresa, projetado especificamente para uso em data centers. Somente switches da série QFX-51xx / 10k são suportados. A solução é baseada nas tecnologias 802.1BR, netconf, json-rpc. Uma única estrutura lógica com a capacidade de controlar de um console. A solução está se desenvolvendo ativamente e funcionalidades adicionais estão sendo introduzidas.
- Baseado em IEEE802.1BR.
- Ponto único de gerenciamento.
- Suporte para a tecnologia Spine - Leaf.
- O número máximo de dispositivos é de 65 peças.
- Dimensionando até 6144 portas de 10 Gb / s -FCoE em uma única fábrica.
- Capacidade de usar 1 ou 2 dispositivos no nível da coluna vertebral.
- A camada Spine é representada por switches QFX10k.
- O nível da folha é representado pelos comutadores QFX51xx.
- Suporte para comutação local no nível Leaf.
- A capacidade de configurar automaticamente a vlan nas portas do nível Leaf.
- Sistema de Gerenciamento Espacial Junos.
- Suporte MC-LAG.
No caso em que a rede é construída em algoritmos abertos e protocolos de trabalho, existe apenas uma solução - IP Fabric. A solução permite o uso de equipamentos de qualquer fabricante. A malha IP é executada exclusivamente na camada 3 do OSI. Ele não possui pontos de gerenciamento comuns e um único console, mas as possibilidades de dimensionamento, bem como a solução de problemas, são bastante amplas.
Separação dos níveis Underlay e Overlay. Como tecnologia Underlay, usamos protocolos IGP conhecidos por nós, como OSPF / IS-IS, para pequenos data centers. Se o data center tiver muitos racks e um grande número de dispositivos de terminal conectados forem usados, todos gostarão do iBGP / eBGP. Na minha opinião, aqui, ao escolher uma solução subjacente, é uma questão de gosto e bom senso.
Como solução de sobreposição, é escolhido algo como VXLAN, suportado pela maioria dos fabricantes de soluções de rede, junto com as tecnologias MPLS ou EVPN. O equipamento Juniper pode ser usado para criar soluções semelhantes junto com outros fabricantes. Não penso em nenhuma particularidade aqui
- Grande variedade de opções de implantação.
- Suporte para a tecnologia Spine - Leaf.
- Uma seleção aberta de tecnologias e protocolos.
- Capacidade de usar soluções de vários fabricantes.
- Maior escalabilidade em comparação com outras soluções.
- Trabalhe apenas no terceiro nível do modelo OSI.
Neste artigo, dei uma visão geral dos princípios de construção de redes para data centers, bem como das possibilidades de uso de equipamentos e soluções da Juniper Networks para sua implementação.
Todos os materiais fotográficos foram gentilmente fornecidos pela Juniper Networks na pessoa do engenheiro Bugakov Evgeny. Por que agradecimentos especiais a ele.