Balanceo de tráfico en las redes IP del operador

Le advertiré de inmediato que si desea leer sobre la arquitectura moderna de soluciones, es mejor comenzar desde el final del artículo.
Si está interesado en leer sobre las dificultades encontradas en el diseño de una parte de la red de un operador de telecomunicaciones, bienvenido a cat.

El artículo describe un método para equilibrar el tráfico en el límite de la red en las siguientes condiciones:

• protocolo de transporte: IPv4;
• Protocolo de enrutamiento dinámico OSPFv2 [ 1 , 2 ];
• el tráfico saliente y entrante de la dirección IP de un usuario pasa a través de la misma puerta de enlace de servicio y a través del mismo enrutador NAT [ 3 ];
• el equilibrio del tráfico se realiza entre 2 puertas de enlace de servicio (BNG [ 4 ]);
• el equilibrio de tráfico se realiza entre 2 enrutadores NAT que no utilizan enrutamiento dinámico;

El segmento de red de usuario conectado se considera en el ejemplo de redes inalámbricas IEEE 802.11 [ 5 ] que utilizan controladores.

Tareas a resolver:

• equilibrar el tráfico en el punto de conectar dispositivos de usuario a la red;
• distribución uniforme del tráfico de usuarios entre BNG;
• Proporciona enrutamiento simétrico del tráfico entrante y saliente cuando se utiliza NAT.

El nivel de distribución es un componente de red perimetral que realiza las siguientes funciones principales:

• conexión de controladores de acceso inalámbricos;
• Enrutamiento y gestión del tráfico de controladores de acceso inalámbrico;
• emparejamiento con otras redes.

El nivel de los controladores de acceso inalámbrico (UCBD) es un grupo de controladores que realizan las siguientes funciones básicas:

• punto de agregación de tráfico desde puntos de acceso y usuarios inalámbricos;
• suministro de usuarios inalámbricos itinerantes entre controladores;
• gestión de puntos de acceso.

Nivel de cobertura de radio: puntos de acceso ubicados en objetos.

Centro de servicios (CPU): proporciona la conexión de los controladores a la red de datos, la administración y el control brindados a los usuarios, la conexión a Internet y la traducción de direcciones IP

En términos de enrutamiento, la red IP se divide en varios segmentos de enrutamiento: segmento de usuario, segmento de punto de acceso y segmento de administración. Este artículo solo trata el segmento de enrutamiento personalizado.

La solución propuesta utiliza el protocolo de enrutamiento dinámico OSPFv2 [ 1 ] y la extensión Multi-Instance [ 2 ]. Los principales parámetros de configuración del protocolo OSPF utilizados se muestran en las Figuras 1-5.

Uso del nivel de distribución VRF

El uso de múltiples VRF le permite asignar diferentes combinaciones BNG primarias / de respaldo para el tráfico de usuarios.
Para este propósito, en el nivel de distribución, en cada uno de los dos conmutadores L3, las interfaces de usuario se definen en diferentes tablas de enrutamiento virtual ( VRF Lite [9]):
Cada VRF crea un proceso OSPF.

Balance de tráfico de usuarios en el punto de conexión de red

El equilibrio se realiza mediante la distribución de dispositivos de usuario entre redes virtuales (VLAN). Para este propósito, en los controladores de acceso inalámbrico, los puntos de acceso se dividen en grupos (hasta 10-15 puntos de acceso por grupo). Cada grupo debe asignar una ID de VLAN y una subred de direcciones IP de usuarios con una capacidad de al menos 2-4 redes de Clase C (en función de hasta 25 conexiones activas por punto de acceso y capacidad adicional para dar cuenta de las conexiones inactivas de los usuarios y las características del uso del protocolo DHCP: "tiempo de arrendamiento" [ 6 ]).
En los conmutadores L3 del nivel de distribución al que están conectados los controladores, las redes IP utilizadas se dividen en dos grandes grupos. Esto es necesario para una mayor suma de información de enrutamiento y para equilibrar el tráfico entre BNG en el 3er nivel del modelo OSI.
Cada grupo se define en uno de los VRF del conmutador de nivel de distribución.
En L3, la redundancia se realiza utilizando OSPF, como se muestra en la figura.


La elección del tipo de zona NSSA está determinada por los siguientes factores:
- Reduce el número de rutas en NSSA al sumar la información de enrutamiento de las redes inalámbricas de usuarios en el ASBR.
- Proporciona la capacidad de establecer el valor AD (Distancia administrativa) para rutas OSPF "externas" en el ABR.
- Proporciona la capacidad de aislar y resumir fácilmente la información de enrutamiento de rutas redistribuidas a ABR.
- Proporciona la capacidad de establecer ABR como fuente de información de enrutamiento cuando se envían LSA al área 0 [ suppress-fa 14 ]. Esto le permite no enviar al Área 0 información sobre la estructura del direccionamiento IP y las fuentes de rutas externas desde la zona NSSA.
- Le permite prescindir de la distribución de dos rutas predeterminadas dentro de la zona NSSA [ sin resumen 14 ]. El equilibrio del tráfico entre ABR se realiza estableciendo el costo del canal entre ASBR y ABR dentro de la zona NSSA.
- Le permite seleccionar 2 tipos de rutas externas para el filtrado y el enrutamiento del segmento de usuario de control de enrutamiento en el ABR.

Este artículo no reveló la posibilidad de conectar segmentos de enrutamiento de usuarios al BNG a través de la red MPLS, sin embargo, algunas de las soluciones utilizadas están determinadas por los requisitos para trabajar en este modo ([15] enrutamiento de puerta trasera de enlace simulado ).

La Figura 2 muestra ejemplos de uso de VRF a nivel de distribución:
- WUsers1: para usuarios que utilizan el enrutador de CPU SG-01 como puerta de enlace de servicio principal y el enrutador de CPU SG-02 como puerta de enlace de servicio de respaldo;
- WUsers2: para usuarios que usan el enrutador de CPU SG-02 como la puerta de enlace de servicio principal y el enrutador de CPU SG-01 como la puerta de enlace de servicio de respaldo.


La elección de un par de puertas de enlace de servicio primario / de respaldo en VRF WUsers1 y WUsers2 se implementa a través del enrutamiento dinámico y la asignación de diferentes costos a los canales de comunicación virtual.

Balanceo de carga a nivel de distribución

Las redes IP asignadas a los canales virtuales (VLAN) de los usuarios dentro de cada uno de los conmutadores L3 del nivel de distribución están determinadas por dos VRF. Por lo tanto, los usuarios inalámbricos, según el grupo de AP en el que los controladores de acceso inalámbrico los incluyeron, se dividen en diferentes VRF y usan diferentes pares de puertas de enlace de servicios primarios / de respaldo, proporcionando un equilibrio de carga entre las puertas de enlace de servicios.

En caso de falla de uno de los conmutadores de nivel de distribución, todos los usuarios cambiarán al conmutador restante con la reconexión a la red inalámbrica y la obtención de una dirección IP de la nueva red IP. Las redes IP de los usuarios inalámbricos conmutados también se distribuyen en dos VRF. Por lo tanto, se mantiene el equilibrio de carga entre los BNG, independientemente del hecho de que en algún momento solo funciona un interruptor L3 del nivel de distribución.

Se puede organizar una reserva de una conexión de puerta de enlace de servicio utilizando canales de comunicación virtual duplicados ubicados en diferentes subredes IP y terminados en diferentes puertos físicos de la puerta de enlace de servicio.
El esquema físico y la topología de la red, así como el esquema correspondiente para organizar canales de comunicación lógicos, no se presentan en este artículo. Las soluciones utilizadas en estos niveles también proporcionan la organización de canales de comunicación físicos y lógicos redundantes.

El esquema de enrutamiento de distribución se muestra en las Figuras 1 y 2.

Enrutamiento de tráfico entre el nivel de distribución y la CPU

La organización de la comunicación entre los conmutadores de la UR y las puertas de enlace de los servicios de la CPU es posible utilizando uno de los siguientes métodos:

En el segundo nivel del modelo OSI, sin el uso de un "L3-hop" intermedio.
Usando el intermedio "L3 hop".
La primera solución requiere más recursos (ID de VLAN, STP).
Cuando se utiliza el segundo método, la pila de conmutadores en los que se crean 2 VRF puede actuar como enrutadores intermedios.

Esta solución puede reducir significativamente la cantidad de canales virtuales (VLAN) necesarios para establecer la comunicación entre las puertas de enlace de la CPU y los servicios SD.

El esquema de comunicación entre los enrutadores de la UR y las puertas de enlace de los servicios de la CPU se muestra en la Figura 3.

La métrica de protocolo OSPF igual asignada a canales de comunicación virtual paralelos permite la distribución del tráfico de usuarios inalámbricos entre canales de comunicación virtual y, como resultado, proporciona equilibrio de tráfico entre líneas de comunicación física.

NAT en la CPU

Los enrutadores NAT traducen (traducen) las direcciones IP privadas (traducción de direcciones de red, NAT) en direcciones IP públicas. Para implementar el mecanismo de traducción de direcciones IP, es necesario asignar un grupo de direcciones IP públicas únicas. Los grupos NAT correspondientes se forman para un par de enrutadores, en cada uno de los cuales se selecciona un enrutador como principal (activo) y el otro como respaldo. En caso de falla del enrutador principal, la copia de seguridad se activa y continúa atendiendo las sesiones de los usuarios.

Enrutamiento entre puertas de enlace de servicio y enrutadores NAT

Cuando se utilizan enrutadores NAT, se consideran las siguientes restricciones:

• Los enrutadores NAT usan solo rutas estáticas;
• se asignan dos redes virtuales (VLAN) para cada grupo NAT: dentro de VLAN y fuera de VLAN;

La VLAN interna se utiliza para comunicarse con las puertas de enlace de servicio de la CPU. La VLAN externa se utiliza para comunicarse con los enrutadores de borde BGP.

Para aumentar la tolerancia a fallas, se utilizan dos interfaces físicas para conectar cada BNG. Debido a varias características del equipo, así como a la necesidad de unir rígidamente el conjunto de direcciones IP externas a un BNG específico, se proponen las siguientes restricciones:
- No utilice la tecnología Etherchannel, pero organice el equilibrio de carga y la redundancia utilizando el enrutamiento L3;
- Para cada enrutador NAT, use un canal físico para comunicarse con el BNG.

Por lo tanto, existe la necesidad de un "nodo L3" intermedio (en adelante denominado CPU ASBR) entre los enrutadores BNG y NAT. El nodo intermedio realizará las siguientes funciones:
- OSPF ASBR para el área 0.
- Distribución de rutas predeterminadas para el área 0.
- Enrutamiento de paquetes procedentes de enrutadores NAT hacia OSPF ABR.
- Enrutamiento estático de paquetes que provienen del área 0 de OSPF a enrutadores NAT (puertas de enlace predeterminadas).

La función de un enrutador intermedio puede ser realizada por una pila de conmutadores L3 que proporcionan enrutadores BNG y NAT, en los que se crean 2 VRF (VRF Lite [9]) para este propósito: Users1_out y Users2_out.

Es importante usar la pila de interruptores L3, porque Esto le permite:
- utilice ambas conexiones BNG físicas para organizar canales de comunicación virtual con cada uno de los enrutadores NAT;
- proporcionar equilibrio de carga entre las interfaces físicas del BNG;
- asegúrese de que se conserva la conexión BNG al conmutador L3 de la pila, en caso de fallo de uno de los conmutadores L3 de la pila o problemas con el funcionamiento de una de las interfaces físicas del BNG.

Otra característica de la solución es el uso de dos VRF en la pila de conmutadores L3.
Esto es necesario para "vincular" rígidamente cada BNG a un ASBR específico (ver Figura 4) y, en consecuencia, vincular el conjunto de direcciones IP externas a un BNG específico.
Para cada uno de estos VRF (Users1_out y Users2_out), se inician procesos OSPF independientes en la pila de conmutadores L3. Los canales de comunicación virtual entre BNG y VRF Users1_out y Users2_out de la pila de conmutadores están en la zona 0 (principal) de OSPF.

Para el enrutamiento entre los enrutadores ASBR y NAT, se utiliza el enrutamiento estático:

• en VRF Users1_out: la ruta estática predeterminada a través de la dirección IP virtual NAT-group1;
• en VRF Users2_out, la ruta estática predeterminada a través de la dirección IP virtual de NAT-group2;
• para el primer enrutador NAT, rutas estáticas en la red IP de usuarios inalámbricos a través de la dirección IP VRF Users1_out;
• para el segundo enrutador NAT, rutas estáticas en la red IP de usuarios inalámbricos a través de la dirección IP de VRF Users2_out.

Para distribuir la ruta predeterminada en los procesos OSPF, ASBR VRF Users1_out y ASBR Users2_out habilitan la función de origen de ruta predeterminada.

El esquema que utiliza el "nodo L3 intermedio" se presenta en la Figura 4.
Las métricas de protocolo OSPF iguales asignadas a canales de comunicación virtual paralelos permiten la distribución del tráfico de usuarios inalámbricos entre canales de comunicación virtual y, como resultado, el equilibrio del tráfico entre las líneas de comunicación física a través de las cuales las puertas de enlace de servicio de la CPU están conectadas a la pila de conmutadores.

La CPU ASBR es un enrutador de borde OSPF y se utiliza para redistribuir rutas desde otros segmentos de enrutamiento, grupos de direcciones IP NAT e Internet.

Enrutamiento y equilibrio de tráfico entre CPU ASBR y enrutadores NAT

Los canales de comunicación virtual se crean entre la CPU ASBR y los enrutadores NAT como se muestra en la Figura 5. La tolerancia a fallas predeterminada de las puertas de enlace en los enrutadores NAT se puede implementar utilizando el mecanismo HSRP (Protocolo de enrutador en espera activo [11]).

Las interfaces de los enrutadores NAT utilizan dos grupos HSRP. El primer grupo HSRP es responsable del funcionamiento de la puerta de enlace predeterminada para NAT-group1, el segundo grupo HSRP es responsable de la operación de la puerta de enlace predeterminada para NAT-group2, como se muestra en la Figura 5.

Enrutamiento entre enrutadores NAT y enrutadores de borde de red

En la solución propuesta, el enrutamiento se realizó mediante enrutamiento estático y protocolo HSRP en enrutadores de borde de red (enrutador externo, consulte la Figura 6). Esta decisión no se considera en detalle en este artículo.


Entre los enrutadores NAT y los enrutadores de borde, se crean enlaces virtuales. La tolerancia a fallas de las puertas de enlace predeterminadas en los enrutadores de borde se puede implementar utilizando el mecanismo HSRP o similar, dependiendo de las capacidades del equipo utilizado. Se usan dos grupos HSRP para este propósito.
El esquema de enrutamiento se muestra en la Figura 6.






Una de las dificultades fue el diseño de la solución, que incluía un número significativo de nodos, servicios y sistemas relacionados con los que era necesario asegurar la integración. Además de los artistas responsables del diseño de diversos sistemas y servicios.

Varias conclusiones basadas en las lecciones aprendidas:
- Realizar el diseño de servicios de extremo a extremo, incluido el enrutamiento de tráfico;
- Componentes funcionales separados en nodos IP separados (enrutadores BNG, NAT, enrutadores BGP fronterizos);
- Los enrutadores apilables simplifican enormemente la solución de diseño.
- cuando use canales p2p virtuales, no olvide configurar ospf correctamente en las interfaces del enrutador;)
ACTUALIZACIÓN: se agregó una descripción muy detallada de la solución. Espero que se haya vuelto más claro.
Dibujos corregidos.

Preparado a partir de los materiales de 2008.
Puede obtener información sobre el uso de BNG moderno en las redes de operadores de telecomunicaciones en el sitio web de Learning Club o en los recursos de información de los fabricantes de equipos de telecomunicaciones.