L'article décrit les principes de base de la création de réseaux dans les centres de données, fournit des exemples de solutions matérielles de Juniper Networks. Il ne porte pas une analyse technique approfondie, mais il sera probablement utile à ceux qui vont organiser leur premier petit centre de données, ou qui cherchent des solutions alternatives et de nouvelles opportunités dans les centres de données existants.
Le sujet de la construction de réseaux de communication dans les centres de données est loin d'être nouveau aujourd'hui. Ce domaine connaît actuellement un développement rapide, qui se justifie par les besoins toujours croissants de stockage d'informations, ainsi que par la migration massive des services et des technologies vers les «clouds».
À cet égard, les besoins en réseaux de données dans le centre de données augmentent chaque jour. Cela oblige l'humanité à développer de nouvelles technologies pour la gestion des réseaux, le traitement du trafic et l'exploitation des équipements. Optimiser les solutions existantes, et bien sûr réduire la charge sur les ressources humaines afin d'éliminer les erreurs liées au facteur humain.
Un changement important a été la direction du flux de trafic dans le centre de données - si des flux de trafic importants auparavant passaient de bas en haut - verticalement, des serveurs vers le monde extérieur, maintenant la situation est complètement différente, et maintenant les serveurs communiquent entre eux, transmettant entre eux de grands flux d'informations, ce qui a changé les proportions des volumes trafic en faveur d'un échange "horizontal".
En 1953, le mathématicien Charles Klose a résolu le problème de l'optimisation des connexions réseau pour une utilisation dans les réseaux télégraphiques. La méthode de connexion «chacun avec chaque» était redondante et nécessitait d'importantes ressources pour la mise en œuvre. L'idée de Klose était de construire un réseau selon le schéma de trois niveaux. Entrée - Intermédiaire - Sortie. Dans ce schéma, le nombre de connexions physiques a été fortement réduit, mais les performances globales du réseau étaient suffisantes pour le fonctionnement.
Le même principe a été pris comme base pour la construction de réseaux de transmission de données dans le centre de données. Avec le seul changement, les niveaux «entrée» et «sortie» ont été combinés en un seul, car les serveurs sont à la fois une source d'information et son consommateur. Au final, nous avons obtenu un schéma de connexion réseau selon le principe Spine - Leaf.
Colonne vertébrale - Schéma de connexion au réseau foliaireLe schéma est construit par analogie avec les plantes dans la nature. Feuille - Feuille. Les feuilles sont attachées au tronc. Colonne vertébrale - tronc (ou crête). En conséquence, nous obtenons une structure générale.
Feuille. Équipement de niveau d'accès auquel les serveurs du centre de données se connectent. Ce sont des commutateurs Top of Rack à haute densité de ports. Comme vous pouvez le voir sur la figure, tous les équipements Leaf sont connectés sur des lignes distinctes à chaque commutateur Spine. Cela vous permet d'atteindre un niveau élevé de redondance et de tolérance aux pannes.
Dos L'équipement de niveau «d'agrégation» est généralement un équipement de production avec une densité de ports élevée de 25/40/50/100 Gbit / s. Une caractéristique distinctive de cet équipement est une large gamme de fonctionnalités prises en charge et de meilleures performances par rapport au niveau de Leaf.
En conséquence, nous obtenons un schéma dans lequel le trafic circule à travers l'équipement au niveau de la colonne vertébrale. Une telle répartition des flux de trafic peut ne pas sembler optimale si les deux serveurs, la source et le récepteur sont connectés au même commutateur Leaf. Et c'est correct, dans ce cas, le trafic passe directement par le commutateur Leaf sans monter à un niveau supérieur.
QFX est une série de commutateurs pour la construction de réseaux de centres de données.
L'abréviation QFX n'a pas de sens logique, nous n'entrerons donc pas dans le sens de ces trois lettres. Cet équipement a été développé et commercialisé par Juniper Networks, une entreprise leader dans le développement et la fabrication d'équipements de télécommunications.
De nos jours, tout fabricant d'équipements de télécommunications qui se respecte, qu'il s'agisse de Cisco, d'Arista, d'Extreme et de certains autres, traite des problèmes de commutation et de routage dans les centres de données.
Les fabricants de logiciels de réseau, qui peuvent être utilisés avec des équipements sans logiciel préinstallé, ou directement sur des plates-formes de serveurs, prennent une position intéressante. Le développement de cette direction se fait en étroite collaboration avec les fabricants d'équipements de télécommunication créant de nouveaux produits et technologies.
Revenons au matériel Juniper Networks QFX. Toute la série a été conçue pour répondre aux besoins des centres de données. Le logiciel est écrit en tenant compte des fonctionnalités nécessaires, l'architecture de l'équipement prend en compte les exigences de tolérance aux pannes et de redondance.
La gamme de commutateurs pour centres de données est représentée par les séries suivantes:
- Série QFX51xx - Équipement au niveau des feuilles.
- La série QFX52xx est un équipement qui peut être utilisé à la fois au niveau de la feuille et au niveau de la colonne vertébrale.
- Série QFX10k - Équipement au niveau de la colonne vertébrale.
Selon la série, l'équipement est construit sur des puces Broadcom ou sur les propres développements de Juniper. L'une et l'autre option ont leurs avantages et leurs inconvénients.
Considérez le QFX51xx - l'ancien QFX5100, ainsi que la version mise à jour du QFX5110. Les deux commutateurs sont basés sur Broadcom Trident 2+, mais des versions différentes. En conséquence, nous n'avons pas eu le même comportement du commutateur en fonctionnement et, bien sûr, la prise en charge différente des fonctions logicielles et de la capacité des ports. Comme indiqué précédemment, cet équipement est principalement positionné comme un appareil Leaf. Il est possible d'utiliser la série 51xx comme appareil Spine dans les petits centres de données.
QFX51xx prend en charge la redondance des alimentations selon le schéma AC / DC, AC / AC, DC / DC.
Le logiciel, l'équipement est construit à l'aide de mécanismes de virtualisation. Contrairement à d'autres séries de commutateurs d'entreprise, le système d'exploitation Junos OS s'exécute comme une machine virtuelle sous l'hyperviseur KVM qui s'exécute sur l'appareil. Grâce à cela, la solution prend en charge la technologie de mise à jour logicielle - TISSU. Au cours du processus de mise à niveau, des machines virtuelles Junos OS supplémentaires sont créées et la commutation entre elles se produit avec un minimum d'interruptions de service.
Le QFX5100 est construit sur une ancienne version de la puce Trident 2+ et, à mon humble avis, est déjà digne de prendre sa retraite, laissant la place à son frère aîné QFX5110.
Le QFX5100 est réalisé en plusieurs modifications:
- QFX5100-48S - Commutateur SFP + 48 ports 6 ports QSFP +.
- Le QFX5100-96S est un commutateur SFP + à 96 ports avec 8 ports QSFP +.
- QFX5100-24Q - Commutateur QSFP + 24 ports.
- QFX5100-48T - Commutateur BASE-T 10G 48 ports 6 ports QSFP +.
Le QFX5110 est un modèle plus récent de la série 51xx, construit sur une version mise à jour de la puce Trident 2+. À mon avis, c'est maintenant la meilleure solution Juniper disponible pour fonctionner comme des appareils Leaf.
QFX5110 - un modèle plus récent de la série 51xx, construit sur une version mise à jour de la puce Trident 2+
Le QFX5110 est fabriqué en plusieurs versions
- QFX5110-48S - Commutateur SFP + 4 ports 48 ports QSFP28.
- Le QFX5110-32Q est un commutateur pour 32 ports QSFP + ou 20 ports QSFP28.
En général, on peut noter une haute densité de ports 10 Gb / s pour allumer les terminaux, et des ports de liaison montante plutôt "larges" de 100 Gb / s, ce qui permet d'obtenir un niveau de liaison montante de réabonnement à "1: 1.2" lorsque le commutateur du modèle 5110 est complètement chargé. Je pense que c'est un bon indicateur.
Un petit tableau de comparaison:
Considérez la série QFX52xx. L'équipement de cette série est représenté par deux modèles QFX5200, ainsi que QFX5210. La série entière est construite sur la puce Broadcom Tomahawk de première génération. Cela impose ses limites sur la fonctionnalité et les performances de la solution. La série est positionnée en tant que périphériques Spine de petits centres de données, ou en tant que périphériques Leaf s'il est nécessaire de connecter un équipement terminal de 25 Gb / s. Cela est dû à la haute densité des ports QSFP28 et au fait que l'équipement est construit sur une puce commerciale de Broadcom, avec des fonctionnalités limitées.
QFX52xx prend en charge la redondance des alimentations selon le schéma AC / DC, AC / AC, DC / DC.
Tout ce qui précède concernant le fonctionnement du logiciel sur l'équipement QFX51xx est également valable pour la série QFX52xx. Le système d'exploitation Junos OS fonctionne exactement comme une machine virtuelle, avec la possibilité d'héberger TISSU.
Le QFX5200 est représenté par deux modèles, l'ancien QFX5200-32C construit sur la puce Broadcom Tomahawk et le plus récent QFX5200-48Y construit sur la puce Broadcom Tomahawk +:
- QFX5200-32C - Commutateur 32 ports QSFP28.
- QFX5200-48Y - Commutateur SFP28 48 ports 6 ports QSFP28.
Le QFX5210 est représenté par un modèle, qui est en fait deux commutateurs QFX5200-32C, ce qui nous donne les mêmes limites.
QFX5210-64C - Commutateur QSFP28 64 ports.
En fin de compte, nous obtenons une densité de ports élevée de 100 Gb / s pour relativement peu d'argent, ce qui fait de cet équipement une bonne solution Spine dans les centres de données de petite et moyenne taille. Aussi, je veux noter le moment où l'équipement permet la migration du niveau Leaf à une vitesse de 25 Gb / s
Passons à la série QFX10k. L’équipement de cette série est construit sur le développement de Juniper, la puce Q5, avec une capacité de 500 Gb / s. Ce chipset a la capacité de connecter une mémoire externe pour stocker des informations de routage RIB / FIB. Cela vous permet de construire des équipements haute performance et d'introduire de nouvelles fonctionnalités telles qu'elles apparaissent sur le marché grâce aux mises à jour logicielles. La série de commutateurs QFX10k est conçue pour répondre à tous les besoins du marché moderne, pour une utilisation dans les grands centres de données au niveau de la colonne vertébrale, ainsi que pour établir des liens entre deux centres de données géographiquement espacés - DCI - Data Center Interconnect.
Les commutateurs QFX10k sont disponibles dans des conceptions fixes et modulaires.
Le QFX10002 est un commutateur à mode fixe 2RU. La série comprend plusieurs modèles:
- Commutateur QFX10002-36 / 72Q avec prise en charge des ports 36/72 QSFP + ou 12/24 QSFP28.
- Commutateur QFX10002-60C avec prise en charge de 60 ports QSFP28.
Le QFX100xx est un commutateur modulaire. Ce sont de grands châssis avec la possibilité de connecter différents types de cartes de ligne, fournissant un support pour différents types d'interfaces (SFP, SFP +, SFP28, QSFP +, QSFP28). L'équipement permet l'utilisation de la redondance des composants dans un châssis, tels que les modules de contrôle, les linecards.
La série comprend un châssis avec la possibilité d'inclure 8 ou 16 linecards.
Aujourd'hui, les équipements QFX10k occupent une position de leader sur le segment «Spine devices» pour les réseaux de centres de données. Les commutateurs sont en forte concurrence avec les équipements d'autres fabricants de ce segment.
Tous les équipements prennent en charge les mécanismes de configuration à distance NetConf, la collecte de statistiques et l'analyse à l'aide de la télémétrie Junos.
En général, nous avons passé en revue la topologie physique de la construction de réseaux - dans la version de meilleure pratique - des équipements possibles de Juniper. Il convient de noter que d'autres fabricants d'équipements ont des analogues de ces commutateurs. En utilisant notre avis, vous pouvez toujours choisir ce qui vous convient le mieux.
En conclusion, je propose d'examiner les options logiques pour la construction de réseaux de communication dans les centres de données.
À ce jour, je peux distinguer deux options pour la construction logique du réseau:
Basé sur des algorithmes et des protocoles de travail propriétaires.
Basé sur des algorithmes ouverts et des protocoles de travail.
Nous envisageons toujours le fabricant Juniper Networks.
Dans le premier cas, il existe deux solutions principales pour créer des réseaux dans des centres de données:
Structure de châssis virtuelle
Centre de données Junos Fusion
Structure de châssis virtuel. La solution est un développement de la technologie de châssis virtuel de Juniper. Le même principe est utilisé pour combiner des commutateurs dans un châssis commun à l'aide du protocole VCCP interne. VCCP est basé sur le protocole ouvert IS-IS et en est une version révisée. Par conséquent, le mécanisme de fonctionnement de la solution est caché à l'utilisateur final et laissé aux développeurs, ce qui rend difficile la résolution des problèmes qui surviennent pendant le fonctionnement, mais vous permet d'utiliser le produit fini.
- Point de gestion unique via l'interrupteur principal.
- Prise en charge de l'architecture Spine - Leaf.
- Le nombre maximum d'appareils est de 20 pièces (4 dos et 16 feuilles).
- Mise à l'échelle jusqu'à 1536 ports d'accès avec prise en charge de 10 Gb / s - FCoE dans une usine.
- Système de gestion de l'espace Junos.
Junos Fusion DataCenter. La solution est un nouveau produit de l'entreprise, spécialement conçu pour être utilisé dans les centres de données. Seuls les commutateurs de la série QFX-51xx / 10k sont pris en charge. La solution est basée sur les technologies 802.1BR, netconf, json-rpc. Une structure logique unique avec la possibilité de contrôler à partir d'une seule console. La solution se développe activement et des fonctionnalités supplémentaires sont introduites.
- Basé sur IEEE802.1BR.
- Point de gestion unique.
- Prise en charge de la technologie Spine - Leaf.
- Le nombre maximum d'appareils est de 65 pièces.
- Mise à l'échelle jusqu'à 6144 ports 10 Gb / s -FCoE dans une seule usine.
- Possibilité d'utiliser 1 ou 2 appareils au niveau de la colonne vertébrale.
- La couche Spine est représentée par des commutateurs QFX10k.
- Le niveau feuille est représenté par des commutateurs QFX51xx.
- Prise en charge de la commutation locale au niveau feuille.
- La possibilité de configurer automatiquement vlan sur les ports du niveau Leaf.
- Système de gestion de l'espace Junos.
- Soutenez MC-LAG.
Dans le cas où le réseau est construit sur des algorithmes ouverts et des protocoles de travail, il n'y a qu'une seule solution - IP Fabric. La solution permet l'utilisation d'équipements de n'importe quel fabricant. La structure IP fonctionne exclusivement sur la couche 3 OSI. Il n'a pas de points de gestion communs et une console unique, mais les possibilités de mise à l'échelle, ainsi que de dépannage, sont assez étendues.
Séparation des niveaux Underlay et Overlay. En tant que technologie Underlay, nous utilisons des protocoles IGP connus de nous, tels que OSPF / IS-IS, pour les petits centres de données. Si le centre de données possède de nombreux racks et qu'un grand nombre de terminaux connectés sont utilisés, alors tout le monde aime iBGP / eBGP. À mon avis, ici, lors du choix d'une solution de sous-couche, c'est une question de goût et de bon sens.
En tant que solution de superposition, quelque chose comme VXLAN est choisi, qui est pris en charge par la plupart des fabricants de solutions réseau, ainsi que les technologies MPLS ou, par exemple, EVPN. L'équipement Juniper peut être utilisé pour construire des solutions similaires avec d'autres fabricants. Il n'y a pas de particularités ici, je pense, c'est impossible.
- Grande variété d'options de déploiement.
- Prise en charge de la technologie Spine - Leaf.
- Une sélection ouverte de technologies et de protocoles.
- Capacité à utiliser des solutions de divers fabricants.
- Évolutivité la plus élevée par rapport aux autres solutions.
- Fonctionne uniquement au troisième niveau du modèle OSI.
Dans cet article, j'ai donné un aperçu général des principes de construction de réseaux pour les centres de données, ainsi que des possibilités d'utilisation des équipements et des solutions Juniper Networks pour leur mise en œuvre.
Tous les documents photographiques ont été aimablement fournis par Juniper Networks en la personne de l'ingénieur Bugakov Evgeny. Un remerciement particulier à lui.