Balanceamento de tráfego nas redes IP da operadora

Avisarei imediatamente que, se você quiser ler sobre a arquitetura moderna de soluções, é melhor começar do final do artigo.
Se você estiver interessado em ler sobre as dificuldades encontradas no design de uma parte da rede de uma operadora de telecomunicações, seja bem-vindo ao gato.

O artigo descreve um método de equilibrar o tráfego no limite da rede nas seguintes condições:

• protocolo de transporte: IPv4;
• Protocolo de roteamento dinâmico OSPFv2 [ 1 , 2 ];
• o tráfego de entrada e saída de um endereço IP de um usuário passa pelo mesmo gateway de serviço e pelo mesmo roteador NAT [ 3 ];
• o balanceamento de tráfego é realizado entre 2 gateways de serviço (BNG [ 4 ]);
• o balanceamento de tráfego é realizado entre 2 roteadores NAT que não usam roteamento dinâmico;

O segmento de rede do usuário conectado é considerado no exemplo de redes sem fio IEEE 802.11 [ 5 ] usando controladores.

Tarefas a serem resolvidas:

• equilibrar o tráfego no ponto de conexão dos dispositivos do usuário à rede;
• distribuição uniforme do tráfego do usuário entre BNGs;
• fornecendo roteamento simétrico do tráfego de entrada e saída ao usar o NAT.

O nível de distribuição é um componente de rede de borda que executa as seguintes funções principais:

• conexão de controladores de acesso sem fio;
• Roteamento e gerenciamento de tráfego de controladores de acesso sem fio;
• pareamento com outras redes.

O nível de controladores de acesso sem fio (UCBD) é um grupo de controladores que executam as seguintes funções básicas:

• ponto de agregação de tráfego de pontos de acesso e usuários sem fio;
• fornecer usuários de roaming sem fio entre controladores;
• gerenciamento de pontos de acesso.

Nível de cobertura do rádio - pontos de acesso localizados em objetos.

Service Center (CPU) - fornece a conexão dos controladores à rede de dados, gerenciamento e controle fornecido aos usuários, conexão à Internet, conversão de endereço IP.

Em termos de roteamento, a rede IP é dividida em vários segmentos de roteamento: segmento de usuário, segmento de ponto de acesso e segmento de gerenciamento. Este artigo descreve apenas o segmento de roteamento personalizado.

A solução proposta usa o protocolo de roteamento dinâmico OSPFv2 [ 1 ] e a extensão de várias instâncias [ 2 ]. Os principais parâmetros de configuração do protocolo OSPF usados ​​são mostrados nas Figuras 1-5.

Nível de distribuição VRF Uso

O uso de vários VRFs permite atribuir diferentes combinações de BNG primário / de backup para o tráfego do usuário.
Para esse propósito, no nível de distribuição, em cada um dos dois switches L3, as interfaces de usuário são definidas em diferentes tabelas de roteamento virtual ( VRF Lite [9]):
Cada VRF cria um processo OSPF.

Balanceamento de tráfego do usuário no ponto de conexão de rede

O balanceamento é feito através da distribuição de dispositivos do usuário entre redes virtuais (VLANs). Para esse fim, nos controladores de acesso sem fio, os pontos de acesso são divididos em grupos (até 10 a 15 pontos de acesso por grupo). Cada grupo deve alocar um ID de VLAN e uma sub-rede de endereços IP de usuários com capacidade de pelo menos 2-4 redes Classe C (com base em até 25 conexões ativas por ponto de acesso e capacidade adicional de contabilizar conexões de usuário inativas e recursos do uso do protocolo DHCP: “tempo de concessão” ( 6 )
Nos comutadores L3 do nível de distribuição ao qual os controladores estão conectados, as redes IP usadas são divididas em dois grandes grupos. Isso é necessário para somar mais as informações de roteamento e equilibrar o tráfego entre os BNGs no terceiro nível do modelo OSI.
Cada grupo é definido em um dos VRFs da chave de nível de distribuição.
No L3, a redundância é realizada usando o OSPF, conforme mostrado na figura.


A escolha do tipo de zona NSSA é determinada pelos seguintes fatores:
- Reduz o número de rotas no NSSA, somando as informações de roteamento das redes de usuários sem fio no ASBR.
- Oferece a capacidade de definir o valor de AD (Distância administrativa) para rotas OSPF "externas" no ABR.
- Fornece a capacidade de isolar e resumir facilmente as informações de roteamento de rotas redistribuídas para o ABR.
- Oferece a capacidade de definir o ABR como fonte de informações de roteamento ao enviar LSAs para a área 0 [ suprimir-fa 14 ]. Isso permite que você não envie para a Área 0 informações sobre a estrutura do endereçamento IP e fontes de rotas externas da zona NSSA.
- Permite dispensar a distribuição de duas rotas padrão dentro da zona NSSA [ sem resumo 14 ]. O equilíbrio do tráfego entre os ABRs é feito definindo o custo do canal entre ASBR e ABR na zona NSSA.
- Permite selecionar 2 tipos de rotas externas para filtragem e roteamento de controle de roteamento de segmento de usuário no ABR.

Este artigo não revelou a possibilidade de conectar segmentos de roteamento de usuário ao BNG por meio da rede MPLS; no entanto, algumas das soluções utilizadas são determinadas pelos requisitos para trabalhar nesse modo ([15] roteamento de backdoor de link simulado ).

A Figura 2 mostra exemplos de uso de VRF no nível de distribuição:
- WUsers1 - para usuários que usam o roteador da CPU SG-01 como gateway de serviço primário e o roteador da CPU SG-02 como gateway de serviço de backup;
- WUsers2 - para usuários que usam o roteador da CPU SG-02 como o gateway de serviço principal e o roteador da CPU SG-01 como o gateway do serviço de backup.


A escolha de um par de gateways de serviço primário / de backup nos VRUs WUsers1 e WUsers2 é implementada por meio de roteamento dinâmico e atribuição de custos diferentes aos canais de comunicação virtual.

Balanceamento de carga no nível de distribuição

As redes IP atribuídas aos canais virtuais (VLANs) dos usuários em cada um dos comutadores L3 do nível de distribuição são determinadas por dois VRFs. Assim, os usuários sem fio, dependendo do grupo de AP em que foram incluídos pelos controladores de acesso sem fio, se enquadram em VRFs diferentes e usam pares diferentes de gateways de serviço primário / de backup, fornecendo balanceamento de carga entre os gateways de serviço.

No caso de falha de um dos comutadores de nível de distribuição, todos os usuários serão comutados para o comutador restante, reconectando-se à rede sem fio e obtendo um endereço IP da nova rede IP. As redes IP dos usuários sem fio comutados também são distribuídas por dois VRFs. Assim, o balanceamento de carga entre os BNGs é mantido, independentemente do fato de que, em algum momento, apenas um comutador L3 do nível de distribuição esteja funcionando.

Uma reserva de uma conexão de gateway de serviço pode ser organizada usando canais de comunicação virtual duplicados localizados em diferentes sub-redes IP e finalizados em diferentes portas físicas do gateway de serviço.
O esquema físico e a topologia de rede, bem como o esquema correspondente para organizar canais de comunicação lógica, não são apresentados neste artigo. As soluções usadas nesses níveis também fornecem a organização de canais de comunicação físicos e lógicos redundantes.

O esquema de roteamento no nível de distribuição é mostrado nas Figuras 1 e 2.

Roteando o tráfego entre o nível de distribuição e a CPU

A organização da comunicação entre comutadores de UR e gateways de serviços da CPU é possível por um dos seguintes métodos:

No 2º nível do modelo OSI, sem o uso de um “L3-hop” intermediário.
Usando o intermediário "L3 hop".
A primeira solução requer mais recursos (VLAN ID, STP).
Ao usar o segundo método, a pilha de switches nos quais 2 VRFs são criados pode atuar como roteadores intermediários.

Esta solução pode reduzir significativamente o número de canais virtuais (VLANs) necessários para estabelecer a comunicação entre os gateways dos serviços de CPU e SD.

O esquema de comunicação entre os roteadores do UR e os gateways dos serviços da CPU é mostrado na Figura 3.

Métricas iguais de protocolo OSPF atribuídas a canais de comunicação virtual paralelos permitem a distribuição do tráfego de usuários sem fio entre canais de comunicação virtual e, como resultado, fornecem balanceamento de tráfego entre linhas de comunicação físicas.

NAT na CPU

Os roteadores NAT convertem (traduzem) endereços IP privados (Network Address Translation, NAT) em endereços IP públicos. Para implementar o mecanismo de conversão de endereço IP, é necessário alocar um pool de endereços IP públicos exclusivos. Grupos NAT correspondentes são formados para um par de roteadores, em cada um dos quais um roteador é selecionado como principal (ativo) e o outro como backup. Em caso de falha do roteador principal, o backup se torna ativo, continuando a atender as sessões do usuário.

Roteamento entre gateways de serviço e roteadores NAT

Ao usar roteadores NAT, as seguintes restrições são consideradas:

• Os roteadores NAT usam apenas rotas estáticas;
• duas redes virtuais (VLANs) são alocadas para cada grupo NAT: dentro da VLAN e fora da VLAN;

A VLAN interna é usada para se comunicar com os gateways de serviço da CPU. A VLAN externa é usada para se comunicar com os roteadores de borda BGP.

Para aumentar a tolerância a falhas, duas interfaces físicas são usadas para conectar cada BNG. Devido a vários recursos do equipamento, além da necessidade de vincular rigidamente o conjunto de endereços IP externos a um BNG específico, propõe-se o uso das seguintes restrições:
- Não use a tecnologia Etherchannel, mas organize o balanceamento de carga e redundância usando o roteamento L3;
- Para cada roteador NAT, use um canal físico para se comunicar com o BNG.

Portanto, é necessário estabelecer um "nó L3" intermediário (a seguir denominado CPU ASBR) entre os roteadores BNG e NAT. O nó intermediário executará as seguintes funções:
- OSPF ASBR para a área 0.
- Distribuição de rotas padrão para a área 0.
- Pacotes de roteamento provenientes de roteadores NAT em direção ao OSPF ABR.
- Roteamento estático de pacotes provenientes da área 0 do OSPF para roteadores NAT (gateways padrão).

O papel de um roteador intermediário pode ser desempenhado por uma pilha de comutadores L3, que fornece conexão de roteadores BNG e NAT, nos quais são criados 2 VRFs (VRF Lite [9]) para esse fim: Users1_out e Users2_out.

É importante usar a pilha de switches L3, porque isso permite que você:
- use as duas conexões BNG físicas para organizar canais de comunicação virtual com cada um dos roteadores NAT;
- fornecer balanceamento de carga entre as interfaces físicas do BNG;
- garantir que a conexão BNG ao comutador L3 da pilha seja preservada, no caso de falha de um dos comutadores L3 da pilha ou problemas com a operação de uma das interfaces físicas do BNG.

Outra característica da solução é o uso de dois VRFs na pilha de switches L3.
Isso é necessário para "vincular" rigidamente cada BNG a um ASBR específico (consulte a Figura 4) e, portanto, vincular o conjunto de endereços IP externos a um BNG específico.
Para cada um desses VRFs (Users1_out e Users2_out), processos OSPF independentes são iniciados na pilha de switches L3. Os canais de comunicação virtual entre o BNG e o VRF Users1_out e Users2_out da pilha de comutadores estão na 0a zona (principal) do OSPF.

Para roteamento entre roteadores ASBR e NAT, o roteamento estático é usado:

• no VRF Users1_out - a rota estática padrão através do endereço IP virtual NAT-group1;
• no VRF Users2_out, a rota estática padrão através do endereço IP virtual do NAT-group2;
• para o primeiro roteador NAT, rotas estáticas na rede IP de usuários sem fio através do endereço IP VRF Users1_out;
• para o segundo roteador NAT, rotas estáticas na rede IP de usuários sem fio através do endereço IP do VRF Users2_out.

Para distribuir a rota padrão nos processos OSPF, o ASBR VRF Users1_out e o ASBR Users2_out habilitam a função de origem da rota padrão.

O esquema que usa o intermediário "nó L3" é apresentado na Figura 4.
Métricas iguais de protocolo OSPF atribuídas a canais de comunicação virtual paralelos permitem a distribuição do tráfego do usuário sem fio entre os canais de comunicação virtual e, como resultado, o balanceamento do tráfego entre as linhas de comunicação física através das quais os gateways de serviço da CPU são conectados à pilha de comutadores.

A CPU do ASBR é um roteador de borda OSPF e é usada para redistribuir rotas de outros segmentos de roteamento, conjuntos de endereços IP NAT e Internet.

Roteamento e balanceamento de tráfego entre CPU ASBRs e roteadores NAT

Os canais de comunicação virtual são criados entre a CPU do ASBR e os roteadores NAT, como mostra a Figura 5. A tolerância a falhas padrão dos gateways nos roteadores NAT pode ser implementada usando o mecanismo HSRP (Hot Standby Router Protocol [11]).

As interfaces dos roteadores NAT usam dois grupos HSRP. O primeiro grupo HSRP é responsável pela operação do gateway padrão para o NAT-group1, o segundo grupo HSRP é responsável pela operação do gateway padrão para o NAT-group2, como mostra a Figura 5.

Roteamento entre roteadores NAT e roteadores de borda de rede

Na solução proposta, o roteamento foi realizado usando o roteamento estático e o protocolo HSRP em roteadores de borda de rede (roteador externo, veja a Figura 6). Esta decisão não é considerada em detalhes neste artigo.


Entre roteadores NAT e roteadores de borda, links virtuais são criados. A tolerância a falhas dos gateways padrão nos roteadores de borda pode ser implementada usando o mecanismo HSRP ou similar, dependendo dos recursos do equipamento usado. Dois grupos HSRP são usados ​​para esse fim.
O esquema de roteamento é mostrado na Figura 6.






Uma das dificuldades foi o design da solução, que incluiu um número significativo de nós, serviços e sistemas relacionados com os quais era necessário garantir a integração. Assim como os artistas responsáveis ​​pelo design de vários sistemas e serviços.

Várias conclusões baseadas nas lições aprendidas:
- Executar design de serviços de ponta a ponta, incluindo roteamento de tráfego;
- Separe componentes funcionais em nós IP separados (BNG, roteadores NAT, roteadores BGP de fronteira);
- Roteadores empilháveis ​​simplificam bastante a solução de design.
- ao usar canais P2P virtuais, não se esqueça de configurar o OSPF corretamente nas interfaces do roteador;)
ATUALIZAÇÃO: adicionada uma descrição muito detalhada da solução. Espero que tenha ficado mais claro.
Desenhos corrigidos.

Preparado a partir dos materiais de 2008.
Você pode aprender sobre o uso de BNG moderno nas redes de operadoras de telecomunicações no site do Learning Club ou nos recursos de informações dos fabricantes de equipamentos de telecomunicações.