Comment Verizon et BGP Optimizer ont-ils mis en place d'excellents outils hors ligne

Une fuite de route majeure a affecté de grands secteurs Internet, y compris Cloudflare

Qu'est-il arrivé?

Le 24 juin, à 10 h 30 UTC, Internet s'est effondré: une petite entreprise du nord de la Pennsylvanie a déversé un flux de trafic provenant de nombreuses routes passant par un grand fournisseur Verizon (AS701) - avec le même succès, le navigateur pourrait envoyer un flux de voitures d'une autoroute à plusieurs voies vers une rue étroite. . En conséquence, de nombreux sites Web sur Cloudflare et de nombreux autres fournisseurs ont des problèmes d'accès. Cela n'aurait pas dû se produire du tout, car Verizon n'était pas censé envoyer ces routes à l'ensemble d'Internet. Pour savoir comment cela s'est produit, lisez la suite.

Nous avons déjà écrit sur de tels incidents auparavant, ils se produisent de temps en temps, mais cette fois nous en avons ressenti les conséquences partout dans le monde. Le problème a été exacerbé par BGP Optimizer de Noction . Il a une fonction qui divise les préfixes IP reçus en plus petits et plus spécifiques. Par exemple, notre route IPv4 104.20.0.0/20 a été divisée en 104.20.0.0/21 et 104.20.8.0/21. Comme si le panneau de Pennsylvanie avait été remplacé par deux autres: Pittsburgh, Pennsylvanie et Philadelphie, Pennsylvanie. En divisant les grands blocs IP en petits blocs, le réseau gère le trafic en lui-même, mais cette séparation n'aurait pas dû être rendue publique. Sinon, de tels problèmes surviennent.

Pour expliquer ce qui s'est passé ensuite, rappelons d'abord le fonctionnement d'Internet. Essentiellement, Internet est un réseau composé de réseaux appelés systèmes autonomes. Chaque système autonome a son propre identifiant unique. Tous les réseaux sont connectés les uns aux autres à l'aide du protocole BGP (Border Gateway Protocol). BGP connecte ces réseaux et forme la structure Internet dans laquelle le trafic passe, par exemple, de votre fournisseur Internet à un site Web populaire dans une autre partie du monde.

Grâce à BGP, les réseaux échangent des informations sur les itinéraires, à savoir: comment s'y rendre de n'importe où. Ces itinéraires peuvent être spécifiques (comme une ville spécifique sur la carte) ou généraux (comme une zone). Et puis des ennuis se sont produits.

Un fournisseur de services Internet en Pennsylvanie ( AS33154 - DQE Communications) a utilisé BGP Optimizer sur son réseau, ce qui signifie qu'il y avait de nombreuses routes spécifiques sur leur réseau. Des itinéraires spécifiques ont priorité sur les itinéraires généraux (dans le même navigateur, par exemple, l'itinéraire vers Buckingham Palace sera plus spécifique que l'itinéraire vers Londres).

DQE a fourni ces itinéraires spécifiques à son client ( AS396531 - Allegheny Technologies Inc), et de là, ils sont arrivés au fournisseur de transport en commun ( AS701 - Verizon), qui a transporté ces itinéraires «optimaux» sur Internet. Ils semblent optimaux car ils ont plus de détails et de détails.

Et tout cela n'était pas censé dépasser Verizon. Bien qu'il existe des moyens efficaces de se protéger contre de telles défaillances, le manque de filtres de Verizon a conduit à un effondrement affectant de nombreux services comme Amazon, Linode et Cloudflare .

En conséquence, Verizon, Allegheny et DQE ont frappé un nombre d'utilisateurs essayant d'accéder à ces services via leur réseau. Ils n'ont pas été conçus pour un trafic aussi puissant, ce qui a entraîné des interruptions. Et même s'il y avait suffisamment de ressources, DQE, Allegheny et Verizon n'auraient pas dû parler à tout le monde de l'itinéraire idéal vers Cloudflare, Amazon, Linode, etc.

Processus de fuite BGP avec BGP Optimizer.

Dans les pires moments de la panne, nous avons observé une perte d'environ 15% du trafic mondial.

Niveaux de trafic Cloudflare lors d'un incident.

Comment éviter une fuite?

Il y a plusieurs façons.

Pour une session BGP, vous pouvez définir une limite stricte pour les préfixes acceptés et si le nombre de préfixes dépasse le seuil, le routeur mettra fin à la session. Si Verizon avait une telle limite sur les préfixes, rien ne se serait produit. Pour un fournisseur comme Verizon, son installation serait sans valeur. Pourquoi n'y avait-il pas de limites? J'ai une version: négligence et paresse.

Une autre façon d'éviter de telles fuites est d'utiliser le filtrage IRR. IRR (Internet Routing Registry) est une base de données distribuée des routes Internet auxquelles les réseaux ajoutent des entrées. D'autres opérateurs de réseau utilisent ces entrées IRR pour créer des listes de préfixes spécifiques pour les sessions BGP avec d'autres réseaux. Si des filtres IRR étaient utilisés, aucun de ces réseaux n'accepterait des itinéraires spécifiques erronés. Incroyablement, Verizon n'avait pas du tout ce filtrage dans les sessions BGP avec Allegheny Technologies, bien que le filtrage IRR soit utilisé (et bien documenté) depuis plus de 24 ans. Les filtres IRR ne coûteraient rien à Verizon et ne limiteraient en rien leur service. Et encore une fois - la négligence et la paresse.

L'année dernière, nous avons implémenté et déployé la plate-forme RPKI, qui empêche simplement de telles fuites. Il définit des filtres en fonction du réseau source et de la taille du préfixe. Cloudflare annonce des préfixes d'une taille maximale de 20. RPKI indique que des préfixes plus spécifiques ne peuvent pas être acceptés, quel que soit le chemin. Pour que ce mécanisme fonctionne, la validation de l'origine BGP doit être activée sur le réseau. De nombreux fournisseurs, par exemple, AT&T utilisent déjà avec succès RPKI dans leur réseau.

Si Verizon utilisait RPKI, ils verraient que les itinéraires proposés ne sont pas valides et le routeur les rejetterait automatiquement.

Cloudflare conseille à tous les opérateurs de réseau de déployer RPKI dès maintenant!

Prévention des fuites de route à l'aide des limites IRR, RPKI et préfixe.

Toutes ces recommandations sont bien décrites dans MANRS (Mutually Agreed Norms for Routing Security ).

Comment résoudre le problème

L'équipe du réseau Cloudflare a contacté les réseaux concernés AS33154 (DQE Communications) et AS701 (Verizon). Ce n'était pas facile - peut-être parce que quand tout a commencé, c'était tôt le matin sur la côte est des États-Unis.

Capture d'écran d'une lettre à Verizon.

L'un de nos ingénieurs réseau a rapidement contacté DQE Communications et, après un court délai, nous avons été mis en relation avec celui qui pouvait résoudre le problème. Grâce à notre assistance téléphonique, DQE a pu arrêter d'envoyer des itinéraires «optimisés» à Allegheny Technologies Inc. Nous leur sommes reconnaissants de leur aide. Tout s'est stabilisé et est revenu à la normale.

Capture d'écran des tentatives de contact avec les services d'assistance DQE et Verizon

Malheureusement, malgré toutes nos tentatives pour contacter Verizon par téléphone et par e-mail, au moment de la rédaction (plus de 8 heures se sont écoulées depuis l'incident), personne ne nous a répondu, et nous ne savons pas s'ils font quoi que ce soit. .

Chez Cloudflare, nous ne voudrions pas que cela se répète, mais malheureusement très peu est fait pour cela. Il est temps que l'industrie prenne des mesures plus efficaces pour garantir la sécurité du routage, par exemple avec des systèmes tels que RPKI. Nous espérons que les principaux fournisseurs suivront Cloudflare, Amazon et AT&T et commenceront à vérifier les itinéraires . Cela est particulièrement vrai pour vous, Verizon. Nous attendons toujours une réponse.

Et bien que nous ne puissions pas influencer ce qui s'est passé, nous nous excusons pour l'interruption du service. Nous nous soucions de nos clients et des ingénieurs aux États-Unis, au Royaume-Uni, en Australie et à Singapour nous ont contactés quelques minutes après avoir découvert le problème.

Autres articles taggés avec BGP .