Pourquoi Internet est-il toujours en ligne?

Internet semble être une structure solide, indépendante et indestructible. En théorie, la force du réseau est suffisante pour survivre à une explosion nucléaire. En réalité, Internet peut supprimer un petit routeur. Tout cela parce que l'Internet est un tas de contradictions, de vulnérabilités, d'erreurs et de vidéos sur les chats. La base de l'Internet - BGP - contient un tas de problèmes. Il est étonnant qu'il respire encore. En plus des erreurs sur Internet lui-même, tout le monde le casse: les grands fournisseurs Internet, les entreprises, les États et les attaques DDoS. Que faire avec et comment vivre avec?



Alexey Uchakin ( Night_Snake ), le chef de l'équipe d'ingénieurs réseau chez IQ Option, connaît la réponse. Sa tâche principale est l'accessibilité de la plateforme pour les utilisateurs. En déchiffrant le rapport d'Alexey à Saint HighLoad ++ 2019, nous parlerons du BGP, des attaques DDOS, de la déconnexion Internet, des erreurs du fournisseur, de la décentralisation et des cas où un petit routeur a mis Internet en veille. En fin de compte - quelques conseils sur la façon de survivre à tout cela.

Le jour où Internet s'est cassé

Je ne donnerai que quelques incidents lorsque la connectivité s'est rompue sur Internet. Ce sera suffisant pour l'image complète.

"Incident avec AS7007 . " La première fois qu'Internet est tombé en panne en avril 1997. Il y avait une erreur dans le logiciel d'un routeur du système autonome 7007. À un moment donné, le routeur a annoncé aux voisins sa table de routage interne et a envoyé la moitié du réseau au trou noir.

Pakistan vs YouTube . En 2008, les braves gars du Pakistan ont décidé de bloquer YouTube. Ils l'ont si bien fait que la moitié du monde est resté sans sceaux.

"Capture des préfixes VISA, MasterCard et Symantec par Rostelecom . " En 2017, Rostelecom a annoncé par erreur les préfixes VISA, MasterCard et Symantec. En conséquence, le trafic financier passait par des canaux contrôlés par le fournisseur. La fuite n'a pas duré longtemps, mais les sociétés financières ont été désagréables.

Google c. Japon . En août 2017, Google a commencé à annoncer les préfixes des grands fournisseurs japonais NTT et KDDI dans une partie de leurs liaisons montantes. Le trafic est allé à Google en tant que transit, très probablement par erreur. Étant donné que Google n'est pas un fournisseur et n'autorise pas le trafic de transit, une grande partie du Japon se retrouve sans Internet.

"DV LINK a capturé les préfixes de Google, Apple, Facebook, Microsoft . " Dans le même 2017, le fournisseur russe DV LINK a pour une raison quelconque commencé à annoncer le réseau de Google, Apple, Facebook, Microsoft et quelques autres acteurs majeurs.

"US eNet a récupéré les préfixes AWS Route53 et MyEtherwallet . " En 2018, un fournisseur de l'Ohio ou l'un de ses clients a annoncé le réseau Amazon Route53 et le portefeuille cryptographique MyEtherwallet. L'attaque a réussi: même en dépit du certificat auto-signé, un avertissement à propos duquel l'utilisateur est apparu lors de son entrée sur le site Web MyEtherwallet, de nombreux portefeuilles ont été détournés et ont volé une partie de la crypto-monnaie.

Il y a eu plus de 14 000 incidents de ce type en 2017 seulement! Le réseau est toujours décentralisé, donc tous ne se décomposent pas tous. Mais les incidents se produisent par milliers, et ils sont tous liés au protocole BGP, sur lequel Internet fonctionne.

BGP et ses problèmes

Le protocole BGP - Border Gateway Protocol , a été décrit pour la première fois en 1989 par deux ingénieurs d'IBM et de Cisco Systems sur trois «serviettes» - feuilles A4. Ces «serviettes» se trouvent toujours au siège de Cisco Systems à San Francisco en tant que relique du monde des réseaux.

Le protocole est basé sur l'interaction de systèmes autonomes - Systèmes autonomes ou sous forme abrégée - AS. Un système autonome n'est qu'un identifiant auquel les réseaux IP sont affectés dans le registre public. Un routeur avec cet ID peut annoncer ces réseaux au monde. Par conséquent, toute route sur Internet peut être représentée comme un vecteur appelé AS Path . Un vecteur se compose de numéros de système autonomes qui doivent être complétés pour atteindre un réseau de destination.

Par exemple, il existe un réseau d'un certain nombre de systèmes autonomes. Vous devez passer du système AS65001 au système AS65003. Le chemin d'un système est représenté par AS Path dans le diagramme. Il se compose de deux autonomies: 65002 et 65003. Pour chaque adresse de destination, il existe un vecteur AS Path, qui comprend le nombre de systèmes autonomes que nous devons traverser.



Quels sont donc les problèmes avec BGP?

BGP est un protocole de confiance

Protocole BGP - basé sur la confiance. Cela signifie que par défaut, nous faisons confiance à notre voisin. C'est une caractéristique de nombreux protocoles qui ont été développés à l'aube d'Internet. Voyons ce que signifie la «confiance».

Aucune authentification de voisin . Formellement, il y a MD5, mais MD5 en 2019 - eh bien, c'est ...

Pas de filtrage . BGP a des filtres et ils sont décrits, mais ils ne sont pas utilisés ou sont mal utilisés. J'expliquerai pourquoi plus tard.

Il est très simple de créer un quartier . Paramètres de voisinage dans le protocole BGP sur presque tous les routeurs - quelques lignes de configuration.

Les droits de gestion BGP ne sont pas requis . Pas besoin de passer des examens pour confirmer vos qualifications. Personne n'enlèvera les droits de configurer BGP en état d'ébriété.

Deux problèmes principaux

Préfixe détournement - Préfixe détournements . Le détournement de préfixe est l'annonce d'un réseau qui ne vous appartient pas, comme c'est le cas avec MyEtherwallet. Nous avons pris des préfixes, convenu avec le fournisseur ou piraté, et à travers lui, nous annonçons ces réseaux.

Fuites de route - fuites de route . Les fuites sont un peu plus délicates. La fuite est un changement dans AS Path . Dans le meilleur des cas, le changement entraînera un retard plus important, car vous devez emprunter la liaison plus longue ou moins volumineuse. Dans le pire des cas avec Google et le Japon.

Google lui-même n'est ni un opérateur ni un système autonome de transit. Mais lorsqu'il a annoncé à son fournisseur un réseau d'opérateurs japonais, le trafic via Google via AS Path était considéré comme plus prioritaire. Le trafic y est allé et a baissé simplement parce que les paramètres de routage dans Google sont plus compliqués que les filtres à la frontière.

Pourquoi les filtres ne fonctionnent-ils pas?

Personne ne s'en soucie . C'est la raison principale - tout le monde s'en fiche. L'administrateur d'un petit fournisseur ou d'une entreprise qui s'est connecté au fournisseur via BGP a pris MikroTik, a configuré BGP dessus et ne sait même pas que des filtres peuvent y être configurés.

Erreurs de configuration . Ils ont fait leurs débuts quelque chose, fait une erreur dans le masque, mis le mauvais maillage - et maintenant, encore une fois, une erreur.

Il n'y a aucune possibilité technique . Par exemple, les fournisseurs de communication ont de nombreux clients. De manière intelligente, vous devez mettre à jour automatiquement les filtres pour chaque client - assurez-vous qu'il a un nouveau réseau, qu'il a loué son réseau à quelqu'un. Il est difficile de garder une trace de cela; avec vos mains, c'est encore plus difficile. Par conséquent, ils mettent simplement des filtres détendus ou n'en mettent pas du tout.

Exceptions Il existe des exceptions pour les clients bien-aimés et les gros clients. Surtout dans le cas de joints inter-opérateurs. Par exemple, TransTeleCom et Rostelecom ont un tas de réseaux et une jonction entre eux. Si le joint se couche, il ne sera bon pour personne, donc les filtres se détendent ou se retirent complètement.

Informations périmées ou non pertinentes dans le TRI . Les filtres sont construits sur la base des informations enregistrées dans l' IRR - Internet Routing Registry . Il s'agit des registres des bureaux d'enregistrement régionaux d'Internet. Souvent dans les registres des informations obsolètes ou non pertinentes, ou toutes ensemble.

Qui sont ces bureaux d'enregistrement?

Toutes les adresses Internet appartiennent à l' IANA - Internet Assigned Numbers Authority . Lorsque vous achetez un réseau IP à quelqu'un, vous n'achetez pas d'adresses, mais le droit de les utiliser. Les adresses sont une ressource intangible et, d'un commun accord, elles appartiennent toutes à l'agence IANA.

Le système fonctionne comme ça. L'IANA délègue la gestion des adresses IP et des numéros de systèmes autonomes à cinq bureaux d'enregistrement régionaux. Ceux-ci délivrent des systèmes autonomes aux LIR - bureaux d'enregistrement Internet locaux . Ensuite, les LIR attribuent des adresses IP aux utilisateurs finaux.

L'inconvénient du système est que chacun des bureaux d'enregistrement régionaux tient ses propres registres à sa manière. Chacun a sa propre opinion sur les informations qui devraient être contenues dans les registres, qui devrait ou non les vérifier. Le résultat est un gâchis, qui est maintenant.

Sinon, comment pouvez-vous résoudre ces problèmes?

IRR est de qualité médiocre . Avec l'IRR, c'est clair - tout va mal là-bas.

Communautés BGP . Il s'agit d'un attribut décrit dans le protocole. Par exemple, nous pouvons attacher une communauté spéciale à notre annonce afin qu'un voisin n'envoie pas nos réseaux à ses voisins. Lorsque nous avons une liaison P2P, nous échangeons uniquement nos réseaux. Afin que l'itinéraire ne passe pas accidentellement vers d'autres réseaux, nous raccrochons la communauté.

La communauté n'est pas transitive . C'est toujours un contrat pour deux, et c'est leur inconvénient. Nous ne pouvons pas traîner une communauté, sauf une, qui est acceptée par défaut par tous. Nous ne pouvons pas être sûrs que cette communauté sera acceptée et correctement interprétée par tout le monde. Par conséquent, dans le meilleur des cas, si vous êtes d'accord avec votre liaison montante, il comprendra ce que vous attendez de lui dans la communauté. Mais son voisin peut ne pas comprendre, ou l'opérateur va simplement réinitialiser votre marque, et vous n'atteindrez pas ce que vous vouliez.

RPKI + ROA ne résout qu'une petite partie des problèmes . RPKI est une infrastructure de clé publique de ressource - un cadre spécial pour la signature des informations de routage. C'est une bonne idée que les LIR et leurs clients gèrent une base de données d'espace d'adressage à jour. Mais il y a un problème avec lui.

RPKI est également un système de clé publique hiérarchique. L'IANA a-t-elle une clé à partir de laquelle les clés RIR sont générées et à partir de celles-ci LIR? avec lequel ils signent leur espace d'adressage à l'aide des ROA - Autorisations d'origine de l'itinéraire:

«Je vous assure que ce préfixe sera annoncé au nom de cette autonomie.»

En plus du ROA, il existe d'autres objets, mais à leur sujet en quelque sorte plus tard. Il semble que la chose soit bonne et utile. Mais cela ne nous protège pas des fuites du mot "complètement" et ne résout pas tous les problèmes de détournement de préfixes. Par conséquent, les joueurs ne sont pas pressés de le mettre en œuvre. Bien qu'il y ait déjà des assurances de grands joueurs tels que AT&T et de grands IXs que les préfixes avec un enregistrement ROA invalide vont baisser.

Peut-être qu'ils le feront, mais jusqu'à présent, nous avons un grand nombre de préfixes qui ne sont pas signés du tout. D'une part, on ne sait pas si elles sont annoncées valablement. D'un autre côté, nous ne pouvons pas les supprimer par défaut, car nous ne savons pas si cela est correct ou non.

Qu'y a-t-il d'autre?

BGPSec . C'est une chose cool que les universitaires ont mise au point pour le réseau de poneys roses. Ils ont dit:

- Nous avons RPKI + ROA - un mécanisme de certification de la signature de l'espace d'adressage. Obtenons un attribut BGP distinct et appelons-le BGPSec Path. Chaque routeur signera avec sa signature les annonces qu'il annonce à ses voisins. Nous obtenons donc le chemin de confiance de la chaîne d'annonces signées et pouvons le vérifier.

En théorie, c'est bien, mais dans la pratique, il y a beaucoup de problèmes. BGPSec casse de nombreuses mécaniques BGP existantes en choisissant le tronçon suivant et en gérant le trafic entrant / sortant directement sur le routeur. BGPSec ne fonctionne pas jusqu'à ce que 95% de l'ensemble des acteurs du marché l'introduisent, ce qui est en soi une utopie.

BGPSec a d'énormes problèmes de performances. Sur le matériel actuel, la vitesse de vérification des annonces est d'environ 50 préfixes par seconde. A titre de comparaison: le tableau Internet actuel de 700 000 préfixes sera rempli pendant 5 heures, pour lequel il changera encore 10 fois.

BGP Open Policy (BGP basé sur les rôles) . Nouvelle offre basée sur le modèle Gao Rexford . Ce sont deux scientifiques qui participent à la recherche BGP.

Le modèle Gao Rexford est le suivant. Pour simplifier, dans le cas du BGP, il existe un petit nombre de types d'interactions:

• Client fournisseur;
  
• P2P;
  
• interaction interne, par exemple, iBGP.
  

En fonction du rôle du routeur, il est déjà possible de définir certaines politiques d'importation / exportation par défaut. L'administrateur n'a pas besoin de configurer les listes de préfixes. En fonction du rôle sur lequel les routeurs s'accordent et qui peut être défini, nous obtenons déjà des filtres par défaut. Maintenant, c'est un projet qui est en cours de discussion à l'IETF. J'espère que bientôt nous verrons cela sous forme de RFC et d'implémentation sur le matériel.

Grands fournisseurs de services Internet

Prenons l'exemple d'un fournisseur CenturyLink . Il s'agit du troisième fournisseur américain en importance, qui dessert 37 États et compte 15 centres de données.

En décembre 2018, CenturyLink a été sur le marché américain pendant 50 heures. Pendant l'incident, il y a eu des problèmes avec le fonctionnement des distributeurs automatiques de billets dans deux États; le 911 n'a pas fonctionné pendant plusieurs heures dans cinq États. La loterie de l'Idaho a été mise en pièces. La US Telecommunications Commission enquête actuellement sur l'incident.

La raison de la tragédie réside dans une carte réseau dans un centre de données. La carte a échoué, a envoyé des paquets incorrects et les 15 centres de données des fournisseurs sont tombés en panne.



Pour ce fournisseur, l'idée de «trop gros pour tomber» n'a pas fonctionné. Cette idée ne fonctionne pas du tout. Vous pouvez prendre n'importe quel acteur majeur et mettre un peu de bagatelle. Aux États-Unis, tout est encore bon avec la connectivité. Les clients de CenturyLink qui avaient une réserve y sont allés en masse. Ensuite, les opérateurs alternatifs se sont plaints de la surcharge de leurs liaisons.

Si le Kazakhtelecom conditionnel ment, tout le pays se retrouvera sans Internet.

Les sociétés

Probablement sur Google, Amazon, FaceBook et d'autres sociétés est connecté à Internet? Non, ils le cassent aussi.

En 2017 à Saint-Pétersbourg lors de la conférence ENOG13, Jeff Houston de l' APNIC a présenté le rapport «Death of Transit» . Il indique que nous sommes habitués au fait que l'interaction, les flux de trésorerie et le trafic Internet sont verticaux. Nous avons de petits fournisseurs qui paient pour la connectivité aux plus grands, et ceux qui paient déjà pour la connectivité au transit mondial.



Maintenant, nous avons une telle structure orientée verticalement. Tout irait bien, mais le monde change - de grands acteurs construisent leurs câbles transocéaniques pour construire leurs propres dorsales.


Nouvelles sur le câble CDN.

En 2018, TeleGeography a publié une étude selon laquelle plus de la moitié du trafic sur Internet n'est plus Internet, mais l'épine dorsale des principaux acteurs. Il s'agit du trafic lié à Internet, mais ce n'est pas le même réseau que celui dont nous avons parlé.

Internet se décompose en un large éventail de réseaux faiblement couplés.

Microsoft a son propre réseau, Google a son propre réseau et ils se chevauchent faiblement. Le trafic provenant de quelque part aux États-Unis passe par les canaux Microsoft à travers l'océan vers l'Europe quelque part sur un CDN, puis se connecte à votre fournisseur via CDN ou IX et parvient à votre routeur.

La décentralisation disparaît.

Cette force d'Internet, qui l'aidera à survivre à l'explosion nucléaire, est perdue. Il y a des lieux de concentration d'utilisateurs et de trafic. Si le Google Cloud conditionnel se trouve, il y aura de nombreuses victimes à la fois. En partie, nous l'avons ressenti lorsque Roskomnadzor a bloqué AWS. Et avec l'exemple de CenturyLink, il est clair qu'il y a suffisamment de détails pour cela.

Auparavant, tous et pas tous se sont cassés. À l'avenir, nous pouvons conclure qu'en influençant un acteur majeur, vous pouvez casser beaucoup de choses, beaucoup où et beaucoup avec qui.

États

Les états suivent en ligne, et leur arrive généralement.



Ici, notre Roskomnadzor n'est jamais même un pionnier. Une pratique similaire de fermeture d'Internet est en Iran, en Inde et au Pakistan. En Angleterre, il existe un projet de loi sur la possibilité de déconnecter Internet.

Tout grand État souhaite obtenir un interrupteur pour désactiver Internet, en totalité ou en partie: Twitter, télégramme, Facebook. Ils ne comprennent pas qu’ils ne réussiront jamais, mais ils le veulent vraiment. Un interrupteur à couteau est généralement utilisé à des fins politiques - pour éliminer les concurrents politiques, ou des élections sur le nez, ou les pirates russes ont de nouveau cassé quelque chose.

Attaques DDoS

Je ne prendrai pas le pain des camarades de Qrator Labs, ils le font beaucoup mieux que moi. Ils ont un rapport annuel sur la stabilité d'Internet. Et voici ce qu'ils ont écrit dans le rapport pour 2018.

La durée moyenne des attaques DDoS tombe à 2,5 heures . Les attaquants commencent également à compter de l'argent, et si la ressource n'est pas tombée immédiatement, elle est rapidement laissée seule.

L'intensité des attaques augmente . En 2018, nous avons vu 1,7 Tb / s sur le réseau Akamai, et ce n'est pas la limite.

De nouveaux vecteurs d'attaque apparaissent et les anciens s'amplifient . De nouveaux protocoles apparaissent qui sont sujets à amplification, de nouvelles attaques apparaissent sur des protocoles existants, en particulier TLS et similaires.

La majeure partie du trafic provient d'appareils mobiles . Dans le même temps, le trafic Internet est transféré vers les clients mobiles. Avec cela, vous devez être en mesure de travailler à la fois pour ceux qui attaquent et ceux qui se défendent.

Invulnérable - non . C'est l'idée principale - il n'y a pas de protection universelle qui ne protège pas exactement contre les DDoS.

Le système ne peut être installé que s'il n'est pas connecté à Internet.

J'espère que je t'ai fait assez peur. Voyons maintenant quoi en faire.

Que faire?!

Si vous avez du temps libre, le désir et la connaissance de l'anglais - participer à des groupes de travail: IETF, RIPE WG. Ce sont des listes de diffusion ouvertes, abonnez-vous aux newsletters, participez aux discussions, venez aux conférences. Si vous avez le statut LIR, vous pouvez voter, par exemple, dans RIPE pour diverses initiatives.

Pour les simples mortels, c'est de la surveillance . Pour savoir ce qui est cassé.

Surveillance: que vérifier?

Ping normal , et pas seulement une vérification binaire - cela fonctionne ou non. Écrivez RTT dans l'historique pour voir les anomalies plus tard.

Traceroute . Il s'agit d'un programme utilitaire pour déterminer les chemins de données dans les réseaux TCP / IP. Aide à détecter les anomalies et les blocages.

Les vérifications HTTP vérifient les URL personnalisées et les certificats TLS aideront à détecter le blocage ou l'usurpation DNS pour une attaque, qui est presque la même. Les verrous sont souvent effectués en usurpant le DNS et en enveloppant le trafic sur une page de stub.

Si possible, vérifiez auprès de vos clients la résolution de votre origine de différents endroits, si vous avez une application. Vous trouverez donc des anomalies d'interception DNS, que les fournisseurs pèchent parfois.

Surveillance: où vérifier?

Il n'y a pas de réponse universelle. Vérifiez d'où vient l'utilisateur. Si les utilisateurs sont en Russie, vérifiez depuis la Russie, mais ne vous limitez pas à cela. Si vos utilisateurs vivent dans différentes régions, vérifiez à partir de ces régions. Mais mieux de partout dans le monde.

Surveillance: comment vérifier?

J'ai trouvé trois façons. Si vous en savez plus - écrivez dans les commentaires.

• RIPE Atlas.
  
• Suivi commercial.
  
• Propre réseau de virtualoks.
  

Parlons de chacun d'eux.

RIPE Atlas est une si petite boîte. Pour ceux qui connaissent "l'inspecteur" domestique - c'est la même boîte, mais avec un autocollant différent.



RIPE Atlas est un programme gratuit . Vous vous inscrivez, recevez un routeur par mail et branchez-le sur le réseau. Pour le fait que quelqu'un d'autre profite de votre panne, vous recevrez des prêts. Pour ces prêts, vous pouvez effectuer vous-même des recherches. Vous pouvez tester de différentes manières: ping, traceroute, vérifier les certificats. La couverture est assez large, de nombreux nœuds. Mais il y a des nuances.

Le système de crédit ne permet pas de construire des solutions de production . Les prêts pour la recherche en cours ou la surveillance commerciale ne suffisent pas. Les crédits sont suffisants pour une courte étude ou une vérification ponctuelle. Le taux quotidien d'un échantillon est consommé par 1-2 contrôles.

La couverture est inégale . Le programme étant gratuit dans les deux sens, la couverture est bonne en Europe, dans la partie européenne de la Russie et dans certaines régions. Mais si vous avez besoin de l'Indonésie ou de la Nouvelle-Zélande, tout est bien pire - 50 échantillons par pays peuvent ne pas être collectés.

Vous ne pouvez pas vérifier http à partir de l'exemple . Cela est dû à des nuances techniques. , http . . - http check RIPE Atlas, Anchor.

— . , ? , « ». , , .

, . , http- . — .

. — , , . .

custom- . - , «» url, .

— . : « !»

, . , , — , ? . , . , -, .

BGP- DDoS-

. BGP- QRadar, BGPmon . full view- . , , , . — , , .

DDoS- . , NetFlow-based . FastNetMon , Splunk . DDoS-. NetFlow .

— . , 14 2017 , .

— . , , . , , « ». — , , : , , CDN. — -, . , , .

C’est tout. .

, HighLoad++ Siberia 2019 . , , . , , . 24 25 . !