Der Artikel beschreibt die Grundprinzipien des Aufbaus von Netzwerken in Rechenzentren und enthält Beispiele für Hardwarelösungen von Juniper Networks. Es enthält keine gründliche technische Analyse, ist jedoch wahrscheinlich für diejenigen nützlich, die ihr erstes kleines Rechenzentrum organisieren oder nach alternativen Lösungen und neuen Möglichkeiten in vorhandenen Rechenzentren suchen.
Das Thema Aufbau von Kommunikationsnetzen in Rechenzentren ist heute alles andere als neu. Dieser Bereich befindet sich derzeit in einer rasanten Entwicklung, was durch den ständig steigenden Bedarf an Informationsspeicherung sowie die Massenmigration von Diensten und Technologien in die "Clouds" gerechtfertigt ist.
In dieser Hinsicht steigen die Anforderungen an Datennetze im Rechenzentrum täglich. Dies zwingt die Menschheit, neue Technologien für das Netzwerkmanagement, die Verkehrsverarbeitung und den Gerätebetrieb zu entwickeln. Optimieren Sie vorhandene Lösungen und reduzieren Sie natürlich die Belastung der Humanressourcen, um Fehler im Zusammenhang mit dem Human Factor zu vermeiden.
Eine wichtige Änderung war die Richtung des Verkehrsflusses im Rechenzentrum - wenn früher große Verkehrsströme von unten nach oben - vertikal von Servern nach außen gingen, ist die Situation jetzt völlig anders, und jetzt kommunizieren die Server miteinander und übertragen große Informationsflüsse untereinander, wodurch sich die Volumenanteile ändern Verkehr zugunsten des "horizontalen" Austauschs.
1953 löste der Mathematiker Charles Klose das Problem der Optimierung von Netzwerkverbindungen für den Einsatz in Telegraphennetzen. Die Verbindungsmethode "Jeder mit jedem" war redundant und erforderte große Ressourcen für die Implementierung. Kloses Idee war es, ein Netzwerk nach dem Schema von drei Ebenen aufzubauen. Eingang - Mittelstufe - Ausgang. In diesem Schema wurde die Anzahl der physischen Verbindungen stark reduziert, aber die Gesamtnetzwerkleistung war für den Betrieb ausreichend.
Das gleiche Prinzip wurde als Grundlage für den Aufbau von Datenübertragungsnetzen im Rechenzentrum verwendet. Mit der einzigen Änderung wurden die Ebenen "Eingabe" und "Ausgabe" zu einer zusammengefasst, da die Server sowohl eine Informationsquelle als auch deren Verbraucher sind. Am Ende haben wir ein Netzwerkverbindungsschema nach dem Prinzip von Spine - Leaf erhalten.
Wirbelsäulen-Blatt-Netzwerk-VerbindungsdiagrammDas Schema ist in Analogie zu Pflanzen in der Natur aufgebaut. Blatt - Blatt. Die Blätter sind am Stamm befestigt. Wirbelsäulenstamm (oder Kamm). Als Ergebnis erhalten wir eine allgemeine Struktur.
Blatt. Geräte auf Zugriffsebene, bei denen die Server im Rechenzentrum eine Verbindung herstellen. Dies sind Top-of-Rack-Switches mit hoher Portdichte. Wie Sie der Abbildung entnehmen können, sind alle Leaf-Geräte in separaten Leitungen mit jedem Spine-Schalter verbunden. Auf diese Weise können Sie ein hohes Maß an Redundanz und Fehlertoleranz erreichen.
Wirbelsäule Geräte auf Aggregationsebene sind normalerweise Produktionsgeräte mit einer hohen Portdichte von 25/40/50/100 Gbit / s. Ein charakteristisches Merkmal dieser Ausrüstung ist eine breite Palette unterstützter Funktionen und eine höhere Leistung im Vergleich zum Leaf-Level.
Als Ergebnis erhalten wir ein Schema, bei dem der Verkehr durch Geräte auf Wirbelsäulenebene fließt. Eine solche Verteilung der Verkehrsströme scheint möglicherweise nicht optimal zu sein, wenn beide Server, die Quelle und der Empfänger, mit demselben Leaf-Switch verbunden sind. Und das ist richtig. In diesem Fall wird der Verkehr direkt durch den Leaf-Switch geleitet, ohne auf ein höheres Niveau zu steigen.
QFX ist eine Reihe von Switches zum Aufbau von Rechenzentrumsnetzwerken.
Die Abkürzung QFX hat keine logische Bedeutung, daher werden wir nicht auf die Bedeutung dieser drei Buchstaben eingehen. Diese Geräte wurden von Juniper Networks entwickelt und vermarktet, einem führenden Unternehmen in der Entwicklung und Herstellung von Telekommunikationsgeräten.
Heutzutage befasst sich jeder Hersteller von Telekommunikationsgeräten mit Selbstachtung, ob Cisco, Arista, Extreme oder einige andere, mit Switching- und Routing-Problemen in Rechenzentren.
Interessant sind Hersteller von Netzwerksoftware, die zusammen mit Geräten ohne vorinstallierte Software oder direkt auf Serverplattformen eingesetzt werden können. Die Entwicklung dieser Richtung erfolgt in enger Zusammenarbeit mit Herstellern von Telekommunikationsgeräten, die neue Produkte und Technologien entwickeln.
Zurück zur QFX-Hardware von Juniper Networks. Die gesamte Serie wurde entwickelt, um die Anforderungen von Rechenzentren zu erfüllen. Die Software wird unter Berücksichtigung der erforderlichen Funktionalität geschrieben, die Gerätearchitektur berücksichtigt die Anforderungen an Fehlertoleranz und Redundanz.
Die Switch-Linie für Rechenzentren wird durch die folgende Reihe dargestellt:
- QFX51xx-Serie - Ausrüstung auf Blattebene.
- Die QFX52xx-Serie ist ein Gerät, das sowohl auf Blattebene als auch auf Wirbelsäulenebene verwendet werden kann.
- QFX10k-Serie - Wirbelsäulenausrüstung.
Je nach Serie basiert die Ausrüstung auf Broadcom-Chips oder auf Junipers eigenen Entwicklungen. Sowohl die eine als auch die andere Option haben ihre Vor- und Nachteile.
Betrachten Sie den QFX51xx - den älteren QFX5100 sowie die aktualisierte Version des QFX5110. Beide Switches basieren auf Broadcom Trident 2+, jedoch mit unterschiedlichen Versionen. Infolgedessen haben wir nicht das gleiche Verhalten des Switches in Betrieb und natürlich die unterschiedliche Unterstützung für Softwarefunktionen und Portkapazität. Wie bereits erwähnt, ist dieses Gerät hauptsächlich als Leaf-Gerät positioniert. Es ist möglich, die 51xx-Serie als Wirbelsäulengerät in kleinen Rechenzentren zu verwenden.
QFX51xx unterstützt die Redundanz von Netzteilen gemäß dem Schema AC / DC, AC / AC, DC / DC.
Software und Ausrüstung werden mithilfe von Virtualisierungsmechanismen erstellt. Im Gegensatz zu anderen Serien von Unternehmens-Switches wird das Junos OS-Betriebssystem als virtuelle Maschine unter dem KVM-Hypervisor ausgeführt, der auf dem Gerät ausgeführt wird. Dank dessen unterstützt die Lösung die Software-Update-Technologie - TISSU. Während des Aktualisierungsprozesses werden zusätzliche virtuelle Junos OS-Maschinen erstellt, und der Wechsel zwischen ihnen erfolgt mit minimalen Dienstunterbrechungen.
Der QFX5100 basiert auf einer älteren Version des Trident 2+ -Chips und ist meiner bescheidenen Meinung nach bereits in den Ruhestand versetzt, um seinem älteren Bruder QFX5110 Platz zu machen.
QFX5100 wird in verschiedenen Modifikationen hergestellt:
- QFX5100-48S - 48-Port-SFP + -Switch 6 QSFP + -Ports.
- Der QFX5100-96S ist ein SFP + -Switch mit 96 Ports und 8 QSFP + -Ports.
- QFX5100-24Q - QSFP + -Switch mit 24 Ports.
- QFX5100-48T - 10G BASE-T-Switch mit 48 Ports 6 QSFP + -Ports.
QFX5110 ist ein neueres Modell der 51xx-Serie, das auf einer aktualisierten Version des Trident 2+ -Chips basiert. Meiner Meinung nach ist dies jetzt die beste verfügbare Juniper-Lösung für die Arbeit als Leaf-Geräte.
QFX5110 - ein neueres Modell der 51xx-Serie, das auf einer aktualisierten Version des Trident 2+ -Chips basiert
QFX5110 wird in mehreren Versionen hergestellt
- QFX5110-48S - 48-Port-SFP + 4-Port-Switch QSFP28.
- Der QFX5110-32Q ist ein Switch für 32 QSFP + -Ports oder 20 QSFP28-Ports.
Im Allgemeinen kann man eine hohe Dichte von 10-Gbit / s-Ports zum Einschalten von Endgeräten und eher "breite" Uplink-Ports von 100 Gbit / s feststellen, was es ermöglicht, einen Uplink-Pegel für ein erneutes Abonnement auf "1: 1,2" zu erhalten, wenn der Switch des Modells 5110 vollständig geladen ist. Ich denke, das ist ein guter Indikator.
Eine kleine Vergleichstabelle:
Betrachten Sie die QFX52xx-Serie. Die Ausstattung dieser Serie wird durch zwei Modelle QFX5200 sowie QFX5210 dargestellt. Die gesamte Serie basiert auf dem Broadcom Tomahawk-Chip der ersten Generation. Dies schränkt die Funktionalität und Leistung der Lösung ein. Die Serie ist als Spine-Geräte in kleinen Rechenzentren oder als Leaf-Geräte positioniert, wenn 25-Gbit / s-Endgeräte angeschlossen werden müssen. Dies liegt an der hohen Dichte der QSFP28-Ports und der Tatsache, dass das Gerät auf einem kommerziellen Chip von Broadcom mit eingeschränkter Funktionalität aufgebaut ist.
QFX52xx unterstützt die Redundanz von Netzteilen gemäß dem AC / DC-, AC / AC-, DC / DC-Schema.
Alle oben genannten Informationen zum Betrieb von Software auf QFX51xx-Geräten gelten auch für die QFX52xx-Serie. Das Betriebssystem Junos OS funktioniert wie eine virtuelle Maschine und kann TISSU hosten.
Der QFX5200 wird durch zwei Modelle dargestellt, den älteren QFX5200-32C, der auf dem Broadcom Tomahawk-Chip basiert, und den neueren QFX5200-48Y, der auf dem Broadcom Tomahawk + -Chip basiert:
- QFX5200-32C - 32-Port-Switch QSFP28.
- QFX5200-48Y - SFP28-Switch mit 48 Ports 6 QSFP28-Ports.
Der QFX5210 wird durch ein Modell dargestellt, nämlich zwei QFX5200-32C-Switches, was uns die gleichen Einschränkungen bietet.
QFX5210-64C - QSFP28 64-Port-Switch.
Am Ende erhalten wir eine hohe Portdichte von 100 Gbit / s für relativ wenig Geld, was dieses Gerät zu einer guten Spine-Lösung in kleinen und mittleren Rechenzentren macht. Außerdem möchte ich den Moment erwähnen, in dem die Ausrüstung die Migration des Leaf-Levels mit einer Geschwindigkeit von 25 Gbit / s ermöglicht
Fahren wir mit der QFX10k-Serie fort. Die Ausrüstung dieser Serie basiert auf Junipers eigener Entwicklung, dem Q5-Chip, mit einer Kapazität von 500 Gbit / s. Dieser Chipsatz kann einen externen Speicher zum Speichern von RIB / FIB-Routing-Informationen anschließen. Auf diese Weise können Sie Hochleistungsgeräte bauen und durch Software-Updates neue Funktionen einführen, wie sie auf dem Markt erscheinen. Die Switches der QFX10k-Serie erfüllen alle aktuellen Marktanforderungen, können in großen Rechenzentren auf Wirbelsäulenebene eingesetzt und Verbindungen zwischen zwei geografisch beabstandeten Rechenzentren hergestellt werden - DCI - Data Center Interconnect.
QFX10k-Switches sind sowohl fest als auch modular erhältlich.
Der QFX10002 ist ein 2-HE-Festmodusschalter. Die Serie umfasst mehrere Modelle:
- QFX10002-36 / 72Q-Switch mit Unterstützung für 36/72 QSFP + -Ports oder 12/24 QSFP28-Ports.
- QFX10002-60C-Switch mit Unterstützung für 60 QSFP28-Ports.
Der QFX100xx ist ein modularer Switch. Hierbei handelt es sich um große Gehäuse mit der Möglichkeit, verschiedene Arten von Leitungskarten anzuschließen und verschiedene Arten von Schnittstellen (SFP, SFP +, SFP28, QSFP +, QSFP28) zu unterstützen. Die Ausrüstung ermöglicht die Verwendung von Redundanz von Komponenten innerhalb eines Gehäuses, wie z. B. Steuermodulen, Leitungskarten.
Die Serie umfasst ein Gehäuse mit 8 oder 16 Leitungskarten.
Heute nimmt die QFX10k-Ausrüstung eine führende Position im Segment „Wirbelsäulengeräte“ für Rechenzentrumsnetzwerke ein. Schalter stehen in starkem Wettbewerb mit Geräten anderer Hersteller in diesem Segment.
Alle Geräte unterstützen NetConf-Fernkonfigurationsmechanismen, die Erfassung von Statistiken und die Analyse mithilfe von Junos Telemetry.
Im Allgemeinen haben wir die physikalische Topologie des Netzwerkaufbaus - in der Best-Practice-Version - möglicher Geräte von Juniper überprüft. Es ist erwähnenswert, dass andere Gerätehersteller Analoga solcher Schalter haben. Mit unserer Bewertung können Sie immer auswählen, was am besten zu Ihnen passt.
Abschließend schlage ich vor, die logischen Optionen für den Aufbau von Kommunikationsnetzen in Rechenzentren zu prüfen.
Bisher kann ich zwei Optionen für den logischen Aufbau des Netzwerks unterscheiden:
Basierend auf proprietären Algorithmen und Arbeitsprotokollen.
Basierend auf offenen Algorithmen und Arbeitsprotokollen.
Wir ziehen immer noch den Hersteller Juniper Networks in Betracht.
Im ersten Fall gibt es zwei Hauptlösungen für den Aufbau von Netzwerken in Rechenzentren:
Virtuelle Chassis-Struktur
Junos Fusion Datacenter
Virtual Chassis Fabric. Die Lösung ist eine Entwicklung der Virtual Chassis-Technologie von Juniper. Das gleiche Prinzip wird verwendet, um Switches mithilfe des internen VCCP-Protokolls in einem gemeinsamen Gehäuse zu kombinieren. VCCP basiert auf dem offenen IS-IS-Protokoll und ist eine überarbeitete Version davon. Infolgedessen ist der Funktionsmechanismus der Lösung dem Endbenutzer verborgen und den Entwicklern überlassen. Dies erschwert die Lösung von Problemen, die während des Betriebs auftreten, ermöglicht es Ihnen jedoch, das fertige Produkt zu verwenden.
- Single Point of Management über den Hauptschalter.
- Unterstützung für die Spine-Leaf-Architektur.
- Die maximale Anzahl von Geräten beträgt 20 Stück (4 Stacheln und 16 Blätter).
- Skalierung von bis zu 1536 Access Ports mit 10 Gbit / s Unterstützung - FCoE in einer Fabrik.
- Junos Space Management System.
Junos Fusion DataCenter. Die Lösung ist ein neues Produkt des Unternehmens, das speziell für den Einsatz in Rechenzentren entwickelt wurde. Es werden nur Switches der Serie QFX-51xx / 10k unterstützt. Die Lösung basiert auf 802.1BR-, netconf- und json-rpc-Technologien. Eine einzige logische Struktur mit der Möglichkeit, von einer Konsole aus zu steuern. Die Lösung wird aktiv weiterentwickelt und zusätzliche Funktionen werden eingeführt.
- Basierend auf IEEE802.1BR.
- Single Point of Management.
- Unterstützung für Spine-Leaf-Technologie.
- Die maximale Anzahl von Geräten beträgt 65 Stück.
- Skalierung von bis zu 6144 10-Gbit / s-FCoE-Ports in einer einzigen Fabrik.
- Möglichkeit, 1 oder 2 Geräte auf Wirbelsäulenebene zu verwenden.
- Die Wirbelsäulenebene wird durch QFX10k-Schalter dargestellt.
- Die Blattebene wird durch QFX51xx-Schalter dargestellt.
- Unterstützung für lokales Schalten auf Blattebene.
- Die Möglichkeit, vlan an Ports der Leaf-Ebene automatisch zu konfigurieren.
- Junos Space Management System.
- Unterstützen Sie MC-LAG.
Wenn das Netzwerk auf offenen Algorithmen und Arbeitsprotokollen basiert, gibt es nur eine Lösung - IP Fabric. Die Lösung ermöglicht die Verwendung von Geräten aller Hersteller. IP Fabric läuft ausschließlich auf OSI Layer 3. Es gibt keine gemeinsamen Verwaltungspunkte und eine einzige Konsole, aber die Möglichkeiten zur Skalierung sowie zur Fehlerbehebung sind sehr umfangreich.
Trennung der Ebenen Unterlage und Überlagerung. Als Underlay-Technologie verwenden wir uns bekannte IGP-Protokolle wie OSPF / IS-IS für kleine Rechenzentren. Wenn das Rechenzentrum über viele Racks verfügt und eine große Anzahl angeschlossener Endgeräte verwendet wird, liebt jeder iBGP / eBGP. Meiner Meinung nach ist es hier bei der Auswahl einer Unterlagslösung eine Frage des Geschmacks und des gesunden Menschenverstandes.
Als Overlay-Lösung wird so etwas wie VXLAN gewählt, das von den meisten Herstellern von Netzwerklösungen zusammen mit MPLS- oder beispielsweise EVPN-Technologien unterstützt wird. Juniper-Geräte können verwendet werden, um ähnliche Lösungen zusammen mit anderen Herstellern zu entwickeln. Hier gibt es keine Besonderheiten, ich denke, das ist unmöglich.
- Große Auswahl an Bereitstellungsoptionen.
- Unterstützung für Spine-Leaf-Technologie.
- Eine offene Auswahl an Technologien und Protokollen.
- Möglichkeit, Lösungen verschiedener Hersteller zu verwenden.
- Höchste Skalierbarkeit im Vergleich zu anderen Lösungen.
- Arbeiten Sie nur auf der dritten Ebene des OSI-Modells.
In diesem Artikel gab ich einen allgemeinen Überblick über die Prinzipien des Aufbaus von Netzwerken für Rechenzentren sowie über die Möglichkeiten, Geräte und Lösungen von Juniper Networks für deren Implementierung zu verwenden.
Alle Fotomaterialien wurden freundlicherweise von Juniper Networks in der Person des Ingenieurs Bugakov Evgeny zur Verfügung gestellt. Für welchen besonderen Dank an ihn.