Point d'échange de trafic: des débuts à la création de votre propre IX

"Nous avons établi une connexion téléphonique entre nous et les gars du SRI ...", a déclaré Kleinrock dans une interview:
"Nous avons tapé le L et nous avons demandé au téléphone," Voyez-vous le L? ""
"Oui, nous voyons le L", répondit la réponse.
"Nous avons tapé le O, et nous avons demandé:" Voyez-vous le O. ""
"Oui, nous voyons le O."
"Ensuite, nous avons tapé le G, et le système s'est écrasé" ...

Pourtant, une révolution avait commencé ...

Le début d'Internet.

Bonjour à tous!

Je m'appelle Alexander, je suis ingénieur réseau chez Linxdatacenter. Dans l'article d'aujourd'hui, nous parlerons des points d'échange de trafic (Internet Exchange Point, IXP): ce qui a précédé leur apparition, quelles tâches ils résolvent et comment ils sont construits. Dans cet article, je vais également montrer comment fonctionne IXP à l'aide de la plate-forme EVE-NG et du routeur logiciel BIRD, afin que vous puissiez comprendre comment il fonctionne «sous le capot».

Un peu d'histoire

Si vous regardez ici , vous pouvez voir que la croissance rapide du nombre de points d'échange de trafic a commencé en 1993. Cela est dû au fait que la majeure partie du trafic des opérateurs de télécommunications existant à l'époque passait par le réseau fédérateur américain. Ainsi, par exemple, lorsque le trafic est passé de l'opérateur en France à l'opérateur en Allemagne, il est d'abord venu de la France vers les États-Unis, puis seulement des États-Unis vers l'Allemagne. Dans ce cas, le réseau fédérateur faisait office de transit entre la France et l'Allemagne. Même le trafic à l'intérieur d'un pays passait souvent non directement, mais à travers les principaux réseaux d'opérateurs américains.

Cet état de choses a affecté non seulement le coût de livraison du trafic de transit, mais aussi la qualité des canaux et le retard. Le nombre d'utilisateurs d'Internet a augmenté, de nouveaux opérateurs sont apparus, le volume de trafic a augmenté, Internet a augmenté. Les opérateurs du monde entier ont commencé à réaliser qu'une approche plus rationnelle de l'organisation de l'interaction inter-opérateurs était nécessaire. "Pourquoi devrais-je, l'opérateur A, payer le transit à travers un autre pays afin de livrer le trafic à l'opérateur B, qui est situé dans une rue voisine?" Quelque chose comme ça a été demandé par les opérateurs de télécommunications à l'époque. Ainsi, dans différentes parties du monde, des points d'échange de trafic ont commencé à apparaître aux points de concentration des opérateurs:

• 1994 - LINX à Londres,
• 1995 - DE-CIX à Francfort,
• 1995 - MSK-IX, à Moscou, etc.

Internet et aujourd'hui

Conceptuellement, l'architecture de l'Internet moderne est un ensemble de systèmes autonomes (systèmes autonomes, AS) et de nombreuses connexions entre eux, à la fois physiques et logiques, qui déterminent le chemin du trafic d'un AS à un autre.

Les AS sont généralement des opérateurs de télécommunications, des fournisseurs d'accès Internet, des CDN, des centres de données, des entreprises du segment des entreprises. Les AS organisent le peering entre eux, en règle générale, en utilisant le protocole BGP.

La façon dont les systèmes autonomes organisent ces relations est déterminée par un certain nombre de facteurs:

• géographique
• économique
• politique
• les accords et les intérêts communs entre les propriétaires de SA,
• etc.

Bien sûr, dans ce schéma, il existe une certaine structure et une certaine hiérarchie. Ainsi, les opérateurs sont divisés en niveaux 1, 2 et 3, et si les clients du fournisseur Internet local (niveau 3) sont généralement des utilisateurs ordinaires, alors, par exemple, pour les opérateurs de niveau 1 d'autres opérateurs. Les opérateurs de niveau 3 agrégent le trafic de leurs abonnés sur eux-mêmes, les opérateurs de télécommunications de niveau 2, à leur tour, agrégent le trafic des opérateurs de niveau 3 et de niveau 1 - tout le trafic Internet.

Schématiquement, cela peut être représenté comme suit:


Sur cette image, vous pouvez voir que le trafic est agrégé de bas en haut, c'est-à-dire des utilisateurs finaux aux opérateurs de niveau 1. Il existe également un échange de trafic horizontal entre les AS à peu près équivalents les uns aux autres.

Une partie intégrante et en même temps un inconvénient de ce schéma est un certain désordre de connexions entre des systèmes autonomes situés plus près de l'utilisateur final, dans la zone géographique. Considérez l'image ci-dessous:



Supposons que dans une grande ville il y ait 5 opérateurs de communication, qui se scrutent entre lesquels, pour une raison ou une autre, sont organisés comme indiqué ci-dessus.

Si l'utilisateur Petya, connecté au fournisseur Internet Go, veut avoir accès au serveur connecté au fournisseur ASM, alors le trafic entre eux sera obligé de passer par 5 systèmes autonomes. Cela augmente le délai, car augmenter le nombre de périphériques réseau à travers lesquels le trafic passera, ainsi que la quantité de trafic de transit sur les systèmes autonomes entre Go et ASM.

Comment réduire le nombre d'AS de transit obligés de passer le trafic? C'est vrai - un point d'échange de trafic.

De nos jours, l'apparition de nouveaux IXP est due aux mêmes besoins qu'au début des années 90-2000, mais à plus petite échelle, en réponse au nombre croissant d'opérateurs de télécommunications, d'utilisateurs et de trafic, à la quantité croissante de contenu généré par les réseaux CDN. et centres de données.

Qu'est-ce qu'un point d'échange de trafic?

Un point d'échange de trafic est un endroit doté d'une infrastructure de réseau spéciale où les participants intéressés par l'échange de trafic mutuel organisent des échanges mutuels. Les principaux acteurs des points d'échange de trafic: opérateurs télécoms, fournisseurs d'accès Internet, fournisseurs de contenu et centres de données. Aux points d'échange de trafic, les participants sont directement connectés les uns aux autres. Cela vous permet de résoudre les problèmes suivants:

• réduire le retard
• réduire le trafic de transit,
• Optimisez le routage entre les AS.

Étant donné que les IXP sont présents dans de nombreuses grandes villes du monde, tout cela affecte favorablement Internet dans son ensemble.

Si la situation décrite ci-dessus avec Petya est résolue avec l'aide d'IXP, cela se traduira par quelque chose comme ceci:

Comment est organisé le point d'échange de trafic?

En règle générale, IXP est un AS séparé avec son propre bloc d'adresses IPv4 / IPv6 publiques.

Le réseau IXP est le plus souvent un domaine L2 continu. Parfois, c'est juste un VLAN qui héberge tous les clients IXP. En ce qui concerne les IXP plus grands et géographiquement distribués, des technologies telles que MPLS, VXLAN, etc. peuvent être utilisées pour organiser le domaine L2.

Éléments IXP

• SCS. Il n'y a rien d'inhabituel ici: racks, optiques cross-country, panneaux de brassage.
• Les commutateurs sont le fondement d'IXP. Le port du commutateur est le point d'entrée du réseau IXP. Les commutateurs remplissent également une partie des fonctions de sécurité - filtrent le trafic indésirable qui ne devrait pas être présent sur le réseau IXP. En règle générale, les commutateurs sont sélectionnés en fonction des exigences fonctionnelles - fiabilité, vitesse de port prise en charge, fonctionnalités de sécurité, prise en charge sFlow, etc.
• Le serveur de routage (RS) fait partie intégrante et nécessaire de tout point d'échange de trafic moderne. Il fonctionne très bien comme un réflecteur de route dans iBGP ou un routeur désigné dans OSPF et résout les mêmes problèmes. À mesure que le nombre de participants dans un point d'échange de trafic augmente, le nombre de sessions BGP augmente, que chaque participant doit prendre en charge, c'est-à-dire il ressemble à la topologie classique à maillage complet dans iBGP. RS résout le problème comme suit: établit une session BGP avec chaque participant IXP intéressé, et il devient client de RS. En acceptant une mise à jour BGP de l'un de ses clients, RS envoie cette mise à jour à tous ses autres clients, bien sûr, à l'exception de celui à partir duquel cette mise à jour a été reçue. Ainsi, RS élimine le besoin d'installer un maillage complet entre tous les participants IXP et résout avec élégance le problème d'évolutivité. Il convient de noter que le serveur de routage transfère de manière transparente les routes d'un AS à un autre, sans apporter de modifications aux attributs BGP transmis, par exemple, n'ajoute pas de numéro dans son AS au chemin AS. De plus, le filtrage de base des routes se produit sur RS: par exemple, RS n'accepte pas les réseaux martiens et les préfixes IXP.
  
  Un routeur logiciel open source, BIRD (bird internet routing daemon), est souvent utilisé comme solution de serveur de routage. Il est bon car il est gratuit, rapidement déployé sur la plupart des distributions Linux, dispose d'un mécanisme flexible pour définir des politiques de routage / filtrage et ne demande pas de ressources informatiques. De plus, le routeur matériel / virtuel de Cisco, Juniper, etc. peut être sélectionné comme RS.
• La sécurité Le réseau IXP étant une concentration d'un grand nombre d'AS, la politique de sécurité que tous les participants doivent suivre doit être bien définie. En règle générale, les mêmes mécanismes qui sont utilisés pour établir un voisinage BGP entre deux homologues BGP distincts en dehors d'IXP sont appliqués ici, ainsi que certaines fonctionnalités de sécurité supplémentaires.
  
  Par exemple, il est recommandé d'autoriser uniquement le trafic provenant d'une adresse MAC IXP spécifique, qui est négociée à l'avance. Refuser le trafic avec des champs de type éther autres que 0x0800 (IPv4), 0x08dd (IPv6), 0x0806 (ARP); ceci est fait afin de filtrer le trafic qui n'a pas de place pour le peering BGP. Des mécanismes tels que GTSM, RPKI, etc. peuvent également être utilisés.

Peut-être que ce qui précède sont les principaux composants de tout IXP, quelle que soit son échelle. Bien sûr, les grands IXP peuvent utiliser des technologies et des solutions supplémentaires.
Il arrive que IXP offre également à ses membres des services supplémentaires:

• hébergé sur le serveur DNS IXP TLD,
• Installer des serveurs NTP matériels, permettant aux participants de synchroniser précisément l'heure,
• fournir une protection contre les attaques DDoS, etc.

Principe de fonctionnement

Nous analyserons le principe de fonctionnement d'un point d'échange de trafic en utilisant l'IXP le plus simple simulé par EVE-NG comme exemple, puis nous considérerons la configuration de base du routeur logiciel BIRD. Pour simplifier le schéma, nous omettons des éléments importants tels que la redondance et la tolérance aux pannes.

La topologie du réseau est illustrée dans la figure ci-dessous.



Supposons que nous administrions un petit point d'échange de trafic et fournissions les options d'appairage suivantes:

• peering public
• peering privé
• peering via le serveur de routage.

Notre numéro AS est 555, nous possédons un bloc d'adresse IPv4 - 50.50.50.0/24, à partir duquel nous émettons des adresses IP, pour ceux qui veulent se connecter à notre réseau.

50.50.50.254 - L'adresse IP configurée sur l'interface du serveur de routage, avec cette adresse IP, les clients établiront une session BGP en cas d'appairage via RS.

Également pour le peering via RS, nous avons développé la politique de routage la plus simple basée sur la communauté BGP, qui permet aux participants IXP de réglementer à qui et quelles routes envoyer:

3 clients souhaitent se connecter et échanger du trafic avec notre IXP; disons que ce sont des fournisseurs Internet. Ils veulent tous organiser le peering via le serveur de routage. Voici un diagramme avec les paramètres de connexion client:

Configuration BGP de base sur un routeur client:

router bgp 100 no bgp enforce-first-as bgp log-neighbor-changes neighbor 50.50.50.254 remote-as 555 address-family ipv4 network 1.1.0.0 mask 255.255.0.0 neighbor 50.50.50.254 activate neighbor 50.50.50.254 send-community both neighbor 50.50.50.254 soft-reconfiguration inbound neighbor 50.50.50.254 route-map ixp-out out exit-address-family ip prefix-list as100-prefixes seq 5 permit 1.1.0.0/16 route-map bgp-out permit 10 match ip address prefix-list as100-prefixes set community 555:555 

Le paramètre ici n'est pas bgp enforce-first-as. Par défaut, BGP requiert que le numéro as bgp de l'homologue à partir duquel cette mise à jour a été reçue soit présent dans le chemin as de la mise à jour BGP reçue. Mais comme le serveur de routage n'apporte pas de modifications à as-path, son numéro sera absent de as-path et la mise à jour sera rejetée. Ce paramètre est utilisé pour que le routeur ignore cette règle.

Nous voyons également que le client a installé la communauté bgp 555: 555 sur ce préfixe, ce qui, selon notre politique, signifie que le client souhaite annoncer ce préfixe à tous les autres participants.

Pour les routeurs d'autres clients, le paramètre sera similaire, à l'exception de leurs paramètres uniques.

Exemple de configuration BIRD:

 define ixp_as = 555; define ixp_prefixes = [ 50.50.50.0/24+ ]; template bgp RS_CLIENT { local as ixp_as; rs client; } 

Ce qui suit décrit un filtre qui n'accepte pas les préfixes martiens, ainsi que les préfixes IXP lui-même:

 function catch_martians_and_ixp() prefix set martians; prefix set ixp_prefixes; { martians = [ 0.0.0.0/8+, 10.0.0.0/8+, 100.64.0.0/10+, 127.0.0.0/8+, 169.254.0.0/16+, 172.16.0.0/12+, 192.0.0.0/24+, 192.0.2.0/24+, 192.168.0.0/16+, 198.18.0.0/15+, 198.51.100.0/24+, 203.0.113.0/24+, 224.0.0.0/4+, 240.0.0.0/4+ ]; if net ~ martians || net ~ ixp_prefixes then return false; return true; } 

Cette fonction implémente la politique de routage que nous avons décrite précédemment.

 function bgp_ixp_policy(int peer_as) { if (ixp_as, ixp_as) ~ bgp_community then return true; if (ixp_as, peer_as) ~ bgp_community then return true; return false; } filter reject_martians_and_ixp { if catch_martians_and_ixp() then reject; if ( net ~ [0.0.0.0/0{25,32} ] ) then { reject; } accept; } 

Nous configurons l'homologation, appliquons des filtres et des politiques appropriés.

 protocol as_100 from RS_CLIENT { neighbor 50.50.50.10 as 100; ipv4 { export where bgp_ixp_policy(100); import filter reject_martians_and_ixp; } } protocol as_200 from RS_CLIENT { neighbor 50.50.50.20 as 200; ipv4 { export where bgp_ixp_policy(200); import filter reject_martians_and_ixp; } } protocol as_300 from RS_CLIENT { neighbor 50.50.50.30 as 300; ipv4 { export where bgp_ixp_policy(300); import filter reject_martians_and_ixp; } } 

Il convient de noter que sur le serveur de routage, il est bon d'ajouter des itinéraires de différents homologues à différents RIB. BIRD vous permet de le faire. Dans notre exemple, par souci de simplicité, toutes les mises à jour reçues de tous les clients sont ajoutées à un RIB commun.

Alors, vérifions ce que nous avons.

Sur le serveur de routage, nous voyons qu'avec les trois clients, une session BGP est installée:



Nous constatons que nous recevons des préfixes de tous les clients:



Sur le routeur as 100, nous voyons que s'il n'y a qu'une seule session BGP avec le serveur de routage, nous obtenons des préfixes à la fois 200 et 300, tandis que les attributs BGP n'ont pas changé, comme si le peering entre les clients était effectué directement:



Ainsi, on voit que la présence d'un serveur de routage simplifie grandement l'organisation du peering sur IXP.

J'espère que cette démonstration vous a aidé à mieux comprendre comment les points d'échange de trafic sont organisés et comment le serveur de routage sur IXP est implémenté.

Linxdatacenter ix

Chez Linxdatacenter, nous avons construit notre propre IXP basé sur une infrastructure à tolérance de pannes de 2 commutateurs et 2 serveurs de routage. Maintenant, notre IXP est lancé en mode test, et nous invitons tout le monde à se connecter à Linxdatacenter IX et à participer aux tests. Lors de la connexion, vous disposerez d'un port avec une bande passante de 1 Gbit / s, la possibilité de regarder à travers nos serveurs de route, ainsi que l'accès au compte personnel du portail IX, disponible sur ix.linxdatacenter.com .

Écrivez des commentaires ou des messages privés pour accéder aux tests.

Conclusion

Les points d'échange de trafic sont apparus à l'aube d'Internet comme un outil pour résoudre le problème du flux de trafic non optimal entre les opérateurs de télécommunications. Désormais, avec l'avènement de nouveaux services mondiaux et l'augmentation du trafic CDN, les points d'échange continuent également d'optimiser le fonctionnement du réseau mondial. L'augmentation du nombre d'IXP dans le monde est bénéfique tant pour l'utilisateur final du service que pour les opérateurs télécoms, les opérateurs de contenu, etc. Pour les participants IXP, l'avantage s'exprime par une réduction du coût d'organisation des services peer-to-peer externes, une réduction de la quantité de trafic qui coûte plus cher aux opérateurs, l'optimisation du routage et la possibilité d'avoir une interface directe avec les opérateurs de contenu.

Liens utiles

• Consultez une carte de l'emplacement des points d'échange de trafic: www.internetexchangemap.com
• Consultez les statistiques détaillées sur l'homologation BGP, y compris la présence IXP: www.peeringdb.com