Verkehrsausgleich in den IP-Netzen des Betreibers

Ich werde Sie sofort warnen, dass es besser ist, am Ende des Artikels zu beginnen, wenn Sie mehr über die moderne Architektur von Lösungen erfahren möchten.
Wenn Sie sich über die Schwierigkeiten beim Entwurf eines Teils des Netzes eines Telekommunikationsbetreibers informieren möchten, sind Sie bei cat willkommen.

Der Artikel beschreibt eine Methode zum Ausgleichen des Datenverkehrs an der Netzwerkgrenze unter den folgenden Bedingungen:

• Transportprotokoll: IPv4;
• Dynamisches OSPFv2-Routing-Protokoll [ 1 , 2 ];
• ausgehender und eingehender Verkehr einer Benutzer-IP-Adresse wird über dasselbe Service-Gateway und denselben NAT-Router geleitet [ 3 ];
• Der Verkehrsausgleich erfolgt zwischen 2 Service-Gateways (BNG [ 4 ]).
• Der Verkehrsausgleich wird zwischen zwei NAT-Routern durchgeführt, die kein dynamisches Routing verwenden.

Das verbundene Benutzernetzwerksegment wird am Beispiel von drahtlosen IEEE 802.11-Netzwerken [ 5 ] unter Verwendung von Controllern betrachtet.

Zu lösende Aufgaben:

• Ausgleich des Datenverkehrs an der Stelle, an der Benutzergeräte mit dem Netzwerk verbunden werden;
• gleichmäßige Verteilung des Benutzerverkehrs zwischen BNGs;
• Bereitstellung eines symmetrischen Routings für eingehenden und ausgehenden Datenverkehr bei Verwendung von NAT.

Die Verteilungsebene ist eine Edge-Netzwerkkomponente, die die folgenden Hauptfunktionen ausführt:

• Anschluss von drahtlosen Zugangskontrollern;
• Routing und Verkehrsmanagement von drahtlosen Zugangskontrollern;
• Pairing mit anderen Netzwerken.

Die Ebene der Wireless Access Controller (UCBD) ist eine Gruppe von Controllern, die die folgenden Grundfunktionen ausführen:

• Aggregationspunkt des Verkehrs von Zugangspunkten und drahtlosen Benutzern;
• Bereitstellung von drahtlosen Roaming-Benutzern zwischen Controllern;
• Access Point Management.

Funkabdeckungsgrad - Zugangspunkte auf Objekten.

Service Center (CPU) - Ermöglicht die Verbindung von Controllern mit dem Datennetzwerk, die Verwaltung und Steuerung der Benutzer, die Internetverbindung und die Übersetzung von IP-Adressen.

In Bezug auf das Routing ist das IP-Netzwerk in mehrere Routing-Segmente unterteilt: Benutzersegment, Access Point-Segment und Verwaltungssegment. Dieser Artikel beschreibt nur das benutzerdefinierte Routing-Segment.

Die vorgeschlagene Lösung verwendet das dynamische OSPFv2-Routing-Protokoll [ 1 ] und die Multi-Instance-Erweiterung [ 2 ]. Die wichtigsten verwendeten Konfigurationsparameter für das OSPF-Protokoll sind in den Abbildungen 1-5 dargestellt.

VRF-Nutzung auf Verteilungsebene

Durch die Verwendung mehrerer VRFs können Sie verschiedene Primär- / Backup-BNG-Kombinationen für den Benutzerverkehr zuweisen.
Zu diesem Zweck werden auf Verteilungsebene auf jedem der beiden L3-Switches Benutzeroberflächen in verschiedenen virtuellen Routing-Tabellen definiert ( VRF Lite [9]):
Jede VRF erstellt einen OSPF-Prozess.

Ausgleich des Benutzerverkehrs am Netzwerkverbindungspunkt

Der Ausgleich erfolgt durch Verteilen von Benutzergeräten zwischen virtuellen Netzwerken (VLANs). Zu diesem Zweck werden Zugriffspunkte auf drahtlosen Zugriffssteuerungen in Gruppen unterteilt (bis zu 10-15 Zugriffspunkte pro Gruppe). Jede Gruppe sollte eine VLAN-ID und ein Subnetz von IP-Adressen von Benutzern mit einer Kapazität von mindestens 2 bis 4 Klasse-C-Netzwerken zuweisen (basierend auf bis zu 25 aktiven Verbindungen pro Zugriffspunkt und zusätzlicher Kapazität zur Berücksichtigung inaktiver Benutzerverbindungen und Funktionen der Verwendung des DHCP-Protokolls: „Lease Time“). [ 6 ]).
Auf den L3-Switches der Verteilungsebene, mit der die Controller verbunden sind, werden die verwendeten IP-Netzwerke in zwei große Gruppen unterteilt. Dies ist erforderlich, um die Routing-Informationen weiter zu summieren und den Verkehr zwischen BNGs auf der 3. Ebene des OSI-Modells auszugleichen.
Jede Gruppe ist in einer der VRFs für Switches auf Verteilungsebene definiert.
Auf L3 wird die Redundanz mit OSPF ausgeführt, wie in der Abbildung gezeigt.


Die Wahl des Typs der NSSA-Zone wird durch die folgenden Faktoren bestimmt:
- Reduziert die Anzahl der Routen in der NSSA durch Summieren der Routing-Informationen der drahtlosen Benutzernetzwerke auf der ASBR.
- Bietet die Möglichkeit, den AD-Wert (Administrative Distance) für "externe" OSPF-Routen auf dem ABR festzulegen.
- Bietet die Möglichkeit, Routing-Informationen von umverteilten Routen zu ABR einfach zu isolieren und zusammenzufassen.
- Bietet die Möglichkeit, ABR als Quelle für Routing-Informationen festzulegen, wenn LSAs an Bereich 0 gesendet werden [ Unterdrückung-fa 14 ]. Auf diese Weise können Sie keine Informationen über die Struktur der IP-Adressierung und die Quellen externer Routen aus der NSSA-Zone an Bereich 0 senden.
- Ermöglicht es Ihnen, auf die Verteilung von zwei Standardrouten innerhalb der NSSA-Zone zu verzichten [ keine Zusammenfassung 14 ]. Der Ausgleich des Datenverkehrs zwischen ABRs erfolgt durch Festlegen der Kanalkosten zwischen ASBR und ABR innerhalb der NSSA-Zone.
- Ermöglicht die Auswahl von zwei Arten externer Routen zum Filtern und Routen der Steuerung des Benutzersegment-Routings auf dem ABR.

In diesem Artikel wurde nicht die Möglichkeit offenbart, Benutzer-Routing-Segmente über das MPLS-Netzwerk mit dem BNG zu verbinden. Einige der verwendeten Lösungen werden jedoch durch die Anforderungen für die Arbeit in diesem Modus bestimmt ([15] Sham-Link-Backdoor-Routing ).

Abbildung 2 zeigt Beispiele für die Verwendung von VRF auf Verteilungsebene:
- WUsers1 - für Benutzer, die den SG-01-CPU-Router als primäres Service-Gateway und den SG-02-CPU-Router als Backup-Service-Gateway verwenden;
- WUsers2 - für Benutzer, die den SG-02-CPU-Router als primäres Service-Gateway und den SG-01-CPU-Router als Backup-Service-Gateway verwenden.


Die Auswahl eines Paares von Primär- / Sicherungsdienst-Gateways in VRF-WUsers1 und WUsers2 wird durch dynamisches Routing und Zuweisen unterschiedlicher Kosten zu virtuellen Kommunikationskanälen implementiert.

Lastausgleich auf Verteilungsebene

Die IP-Netzwerke, die den virtuellen Kanälen (VLANs) der Benutzer in jedem der L3-Switches der Verteilungsebene zugewiesen sind, werden von zwei VRFs bestimmt. Daher fallen drahtlose Benutzer abhängig von der AP-Gruppe, zu der sie von drahtlosen Zugriffscontrollern gehören, in verschiedene VRFs und verwenden unterschiedliche Paare von primären / Backup-Service-Gateways, wodurch ein Lastausgleich zwischen Service-Gateways ermöglicht wird.

Bei einem Ausfall eines Switches auf Verteilungsebene werden alle Benutzer auf den verbleibenden Switch umgeschaltet, indem sie sich erneut mit dem drahtlosen Netzwerk verbinden und eine IP-Adresse vom neuen IP-Netzwerk erhalten. Die IP-Netzwerke der geschalteten drahtlosen Benutzer sind ebenfalls auf zwei VRFs verteilt. Somit bleibt der Lastausgleich zwischen den BNGs erhalten, unabhängig davon, dass zu einem bestimmten Zeitpunkt nur ein L3-Switch der Verteilungsebene funktioniert.

Eine Reservierung einer Service-Gateway-Verbindung kann mithilfe doppelter virtueller Kommunikationskanäle organisiert werden, die sich in verschiedenen IP-Subnetzen befinden und an verschiedenen physischen Ports des Service-Gateways beendet werden.
Das physikalische Schema und die Netzwerktopologie sowie das entsprechende Schema zum Organisieren logischer Kommunikationskanäle werden in diesem Artikel nicht vorgestellt. Die auf diesen Ebenen verwendeten Lösungen ermöglichen auch die Organisation redundanter physischer und logischer Kommunikationskanäle.

Das Routing-Schema auf Verteilungsebene ist in den Abbildungen 1 und 2 dargestellt.

Weiterleiten des Datenverkehrs zwischen Verteilungsebene und CPU

Die Organisation der Kommunikation zwischen UR-Switches und Gateways von Diensten der CPU ist nach einer der folgenden Methoden möglich:

Auf der 2. Ebene des OSI-Modells ohne Verwendung eines Zwischen-L3-Hops.
Mit dem Zwischenprodukt "L3 Hop".
Die erste Lösung erfordert mehr Ressourcen (VLAN ID, STP).
Bei Verwendung der zweiten Methode kann der Switch-Stapel, auf dem 2 VRFs erstellt werden, als Zwischenrouter fungieren.

Diese Lösung kann die Anzahl der virtuellen Kanäle (VLANs), die zum Herstellen der Kommunikation zwischen den Gateways der CPU und den SD-Diensten erforderlich sind, erheblich reduzieren.

Das Kommunikationsschema zwischen den Routern des UR und den Gateways der CPU-Dienste ist in Abbildung 3 dargestellt.

Gleiche OSPF-Protokollmetriken, die parallelen virtuellen Kommunikationskanälen zugewiesen sind, ermöglichen die Verteilung des drahtlosen Benutzerverkehrs zwischen virtuellen Kommunikationskanälen und sorgen infolgedessen für einen Verkehrsausgleich zwischen physischen Kommunikationsleitungen.

NAT in der CPU

NAT-Router übersetzen (übersetzen) private IP-Adressen (Network Address Translation, NAT) in öffentliche IP-Adressen. Um den Mechanismus zur Übersetzung von IP-Adressen zu implementieren, muss ein Pool eindeutiger öffentlicher IP-Adressen zugewiesen werden. Entsprechende NAT-Gruppen werden für ein Paar von Routern gebildet, in denen jeweils ein Router als Hauptrouter (aktiv) und der andere als Sicherungsrouter ausgewählt ist. Bei einem Ausfall des Hauptrouters wird die Sicherung aktiv und bedient weiterhin Benutzersitzungen.

Routing zwischen Service-Gateways und NAT-Routern

Bei der Verwendung von NAT-Routern werden die folgenden Einschränkungen berücksichtigt:

• NAT-Router verwenden nur statische Routen.
• Für jede NAT-Gruppe werden zwei virtuelle Netzwerke (VLANs) zugewiesen: innerhalb des VLAN und außerhalb des VLAN;

Inside VLAN wird zur Kommunikation mit CPU-Service-Gateways verwendet. Externes VLAN wird zur Kommunikation mit BGP-Edge-Routern verwendet.

Um die Fehlertoleranz zu erhöhen, werden zwei physikalische Schnittstellen verwendet, um jedes BNG anzuschließen. Aufgrund verschiedener Ausstattungsmerkmale sowie der Notwendigkeit, den Pool externer IP-Adressen fest an eine bestimmte BNG zu binden, wird vorgeschlagen, die folgenden Einschränkungen zu verwenden:
- Verwenden Sie keine Etherchannel-Technologie, sondern organisieren Sie den Lastenausgleich und die Redundanz mithilfe des L3-Routings.
- Verwenden Sie für jeden NAT-Router einen physischen Kanal, um mit dem BNG zu kommunizieren.

Daher besteht ein Bedarf an einem Zwischen- "L3-Knoten" (im Folgenden als ASBR-CPU bezeichnet) zwischen den BNG- und NAT-Routern. Der Zwischenknoten führt die folgenden Funktionen aus:
- OSPF ASBR für Bereich 0.
- Verteilung der Standardrouten für Bereich 0.
- Weiterleiten von Paketen, die von NAT-Routern an OSPF ABR kommen.
- Statisches Routing von Paketen aus dem OSPF-Bereich 0 zu NAT-Routern (Standard-Gateways).

Die Rolle eines Zwischenrouters kann von einem Stapel von L3-Switches übernommen werden, die BNG- und NAT-Router bereitstellen, auf denen zu diesem Zweck zwei VRFs (VRF Lite [9]) erstellt werden: Users1_out und Users2_out.

Es ist wichtig, den Stapel von L3-Schaltern zu verwenden, weil Dies ermöglicht Ihnen:
- Verwenden Sie beide physischen BNG-Verbindungen, um virtuelle Kommunikationskanäle mit jedem der NAT-Router zu organisieren.
- Lastausgleich zwischen den physischen Schnittstellen des BNG gewährleisten;
- Stellen Sie sicher, dass die BNG-Verbindung zum L3-Switch des Stacks erhalten bleibt, wenn einer der L3-Switches des Stacks ausfällt oder Probleme mit dem Betrieb einer der physischen Schnittstellen des BNG auftreten.

Ein weiteres Merkmal der Lösung ist die Verwendung von zwei VRFs auf dem Stapel von L3-Switches.
Dies ist erforderlich, um jedes BNG starr an einen bestimmten ASBR zu „binden“ (siehe Abbildung 4) und dementsprechend den Pool externer IP-Adressen an einen bestimmten BNG zu binden.
Für jede dieser VRFs (Users1_out und Users2_out) werden unabhängige OSPF-Prozesse auf dem Stapel von L3-Switches gestartet. Die virtuellen Kommunikationskanäle zwischen BNG und VRF Users1_out und Users2_out des Switch-Stacks befinden sich in der 0. (Haupt-) Zone von OSPF.

Für das Routing zwischen ASBR- und NAT-Routern wird statisches Routing verwendet:

• in VRF Users1_out - die statische Standardroute durch die virtuelle IP-Adresse NAT-group1;
• in VRF Users2_out die statische Standardroute durch die virtuelle IP-Adresse von NAT-group2;
• für den ersten NAT-Router statische Routen im IP-Netzwerk von drahtlosen Benutzern über die IP-Adresse VRF Users1_out;
• für den zweiten NAT-Router statische Routen im IP-Netzwerk von drahtlosen Benutzern über die IP-Adresse von VRF Users2_out.

Um die Standardroute in OSPF-Prozessen zu verteilen, aktivieren ASBR VRF Users1_out und ASBR Users2_out die Standardrouten-Ursprungsfunktion.

Das Schema unter Verwendung des Zwischen „L3-Knotens“ ist in Abbildung 4 dargestellt.
Gleiche OSPF-Protokollmetriken, die parallelen virtuellen Kommunikationskanälen zugewiesen sind, ermöglichen die Verteilung des drahtlosen Benutzerverkehrs zwischen virtuellen Kommunikationskanälen und infolgedessen den Verkehrsausgleich zwischen physischen Kommunikationsleitungen, über die CPU-Dienstgateways mit dem Switch-Stack verbunden sind.

Die ASBR-CPU ist ein OSPF-Grenzrouter und wird zum Umverteilen von Routen aus anderen Routingsegmenten, NAT-IP-Adresspools und dem Internet verwendet.

Routing und Ausgleich des Datenverkehrs zwischen CPU-ASBRs und NAT-Routern

Virtuelle Kommunikationskanäle werden zwischen der ASBR-CPU und den NAT-Routern erstellt (siehe Abbildung 5). Die Standardfehlertoleranz von Gateways auf NAT-Routern kann mithilfe des HSRP-Mechanismus (Hot Standby Router Protocol [11]) implementiert werden.

Die Schnittstellen von NAT-Routern verwenden zwei HSRP-Gruppen. Die erste HSRP-Gruppe ist für den Betrieb des Standard-Gateways für NAT-Gruppe1 verantwortlich, die zweite HSRP-Gruppe ist für den Betrieb des Standard-Gateways für NAT-Gruppe2 verantwortlich, wie in Abbildung 5 dargestellt.

Routing zwischen NAT-Routern und Netzwerk-Edge-Routern

In der vorgeschlagenen Lösung wurde das Routing unter Verwendung des statischen Routings und des HSRP-Protokolls auf Netzwerk-Edge-Routern (externer Router, siehe Abbildung 6) durchgeführt. Diese Entscheidung wird in diesem Artikel nicht im Detail behandelt.


Zwischen NAT-Routern und Edge-Routern werden virtuelle Verbindungen erstellt. Die Fehlertoleranz von Standard-Gateways auf Edge-Routern kann je nach den Fähigkeiten der verwendeten Geräte mithilfe des HSRP-Mechanismus oder ähnlichem implementiert werden. Zu diesem Zweck werden zwei HSRP-Gruppen verwendet.
Das Routing-Schema ist in Abbildung 6 dargestellt.






Eine der Schwierigkeiten war das Design der Lösung, die eine erhebliche Anzahl von Knoten, Diensten und verwandten Systemen umfasste, mit denen die Integration sichergestellt werden musste. Sowie die für das Design verschiedener Systeme und Dienste verantwortlichen Künstler.

Mehrere Schlussfolgerungen basierend auf den gewonnenen Erkenntnissen:
- End-2-End-Design von Diensten durchführen, einschließlich Verkehrsrouting;
- Separate Funktionskomponenten in separate IP-Knoten (BNG, NAT-Router, Border-BGP-Router);
- Stapelbare Router vereinfachen die Designlösung erheblich.
- Vergessen Sie bei der Verwendung von virtuellen P2P-Kanälen nicht, OSPF auf den Router-Schnittstellen korrekt zu konfigurieren;)
UPDATE: Eine sehr detaillierte Beschreibung der Lösung wurde hinzugefügt. Ich hoffe es ist klarer geworden.
Zeichnungen korrigiert.

Vorbereitet aus den Materialien von 2008.
Informationen zum Einsatz moderner BNG in den Netzen von Telekommunikationsbetreibern finden Sie auf der Learning Club-Website oder in den Informationsquellen der Hersteller von Telekommunikationsgeräten.