Un conflit d'entreprise est survenu le 06/10/2019 en raison d'une augmentation du coût de livraison des SMS aux utilisateurs du réseau Vimpelcom par Mail.RU Group. En réponse, Mail.RU Group a cessé de «desservir» les canaux IP russes directs vers le réseau Vimpelcom.
Vous trouverez ci-dessous une brève analyse de la situation du point de vue d'un ingénieur réseau.
Mise à jour : 14/06/2019 18:45 - accent mis sur les routes russes vers le réseau VimpelCom, conclusions ajustées, a ajouté une explication de
Sergey Kubasov (CIO Vkontakte) .
Mise à jour : 14/06/2019 19:48 - une description de la méthode pour restreindre la distribution des itinéraires le long de la route russe "courte" via Rostelecom, MTS, RETN.NET est ajoutée.
Mise à jour : 15/06/2019 09:39 - Mail.ru a bloqué son miroir.
Mise à jour : 18/06/2019 10:10 - La dépynchronisation est terminée. VimpelCom et Mail.RU Group ont soulevé des sessions BGP directes.
Introduction:
VimpelCom dispose d'un système autonome AS3216, tout le reste (8402 - Internet domestique, 16345 - Internet mobile) est situé en 3216.
Mail.RU Group - systèmes autonomes AS47541, AS47542 et AS47764. Le principal générateur de contenu est le 47542, le soi-disant CDN VKONTAKTE (films, musique). Tous les systèmes autonomes sont indépendants les uns des autres (de la position d'un système autonome externe).
Voyons d'abord la situation du réseau Vimpelcom.
Looking Glass Vimpelcom nous y aidera.
Nous examinons le premier système autonome - AS47541.
2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394342 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
AS-PATH contient deux systèmes autonomes - 2914 (NTT) et 47541 (VKONTAKTE-SPB-AS).
La métrique localpref est définie sur 87, ce qui, comme décrit dans la base de données RIPE pour l'objet AS3216, correspond à l'homologation internationale.
...
remarques: Les itinéraires internationaux des pairs obtiennent une préférence locale
remarques: plage de 81 Ă 89.
...
La communauté 3216: 3000 et 3216: 3103 (source -
RIPE DB pour AS3216 ) confirme Ă©galement les mĂŞmes informations:
...
remarques: 3216: 3000 Reçu d'une liaison montante ou d'un pair international, en particulier:
...
remarques: 3216: 3103 AMS-IX
...
Autrement dit, Vimpelcom voit la route vers VKontakte à travers la jonction européenne.
Voyons une autre autonomie VKontakte - 47542 (VKONTAKTE-MSK-CDN-AS).
Tout est similaire. 2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394338 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
Qu'en est-il de Mail.ru lui-mĂŞme? Jetons un coup d'Ĺ“il Ă AS47764 (mailru-as).
3356 47764 194.67.0.215 (metric 10501) (194.67.0.215) Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate Received Path ID 0, Local Path ID 1, version 2867605667 Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077
VimpelCom voit Mail.ru via as3356 (liaison montante de niveau 3, opérateur de niveau 1). Cette information est confirmée par localpref 77:
...
remarques: les routes d'Uplink obtiennent une préférence locale dans la plage de 71 à 79.
remarques: Dernière mise à jour: février 2012 ...
et communauté (3216: 3000 et 3216: 3007):
...
remarques: 3216: 3000 Reçu d'une liaison montante ou d'un pair international, en particulier:
...
remarques: 3216: 3007 Communications de niveau 3
...
Les informations reçues montrent que le trafic provenant du réseau Vimpelcom sur VKontakte et MailRu est distribué via des connexions européennes selon les itinéraires reçus via le protocole BGP. Il n'y a pas d'itinéraires alternatifs via les connexions russes à Looking Glass. Aucune mesure n'a été trouvée pour rediriger artificiellement le trafic sur des routes sciemment pires.
Et comment le groupe Mail.ru voit-il le réseau VimpelCom?
Nous utiliserons
Looking Glass de Mail .
Mise à jour : à partir du matin du 15/06/2019 Looking Glass ne fonctionne pas, lorsque 500e erreur est demandée:
Depuis les routeurs de AS47764 (mailru-as):
Path
AS-PATH contient AS1299 (Telia, opérateur Tier1, liaison montante Mail.RU) et as1273 (Vodafon, opérateur Tier1, liaison montante Vimpelcom).
LocalPreference 200 est la norme pour les interfaces Mail.ru externes (https://net.mail.ru/bgp.html), et le MED 500 correspond à tout ce qui est reçu non depuis une interface directe, ni depuis des IX-s, ni entre homologues.
Mais pourquoi n'y a-t-il pas de routes locales via les opérateurs télécoms russes ???
Ils le sont, mais leur priorité est «non standard»!
Voici l'itinéraire à travers Rostelecom (as12389):
Path
Voici à travers le mégaphone (as31133):
Path
Voici via RET.NO:
Path
Et mĂŞme via MTS!
Path
La métrique locale pour ces routes russes est sous-estimée, c'est-à -dire que les routes sont dégradées par rapport aux routes étrangères!
De plus,
Mail.Ru Group interdit la distribution de ses préfixes à VimpelCom via des opérateurs russes!
RET.NO (http://lg.retn.net/):
Les annonces de Mail.RU Group incluent la communauté 3216: 65535.
Conclusion de LG RET.NOinet.0: 762737 destinations, 1734826 routes (762708 actives, 222780 retenue, 277 masquées)
94.100.176.0/20 (1 entrée, 1 annonce)
* Préférence BGP: 170 / -201
...
...
Chemin AS: 47764 I
Chemin AS: enregistré
Communautés: 3216: 65535 9002: 64667 9002: 65530
...
Vimpelcom n'accepte pas les itinéraires marqués par une telle communauté sur son réseau. Extrait de RIPE DB par AS3216:
...
remarques: les divisions internes ne sont affectées qu'en interne.
remarques: ils sont compris entre 3216: 0000-3216: 4999 et 3216: 6000-3216: 65535
remarques: et sont toujours supprimés des mises à jour entrantes à la frontière
remarques: routeurs.
...
Vers Rostelecom (http://lg.ip.rt.ru) Mail.RU Group propose des itinéraires similaires avec la communauté 12389: 8350.
Conclusion de LG Rostelecom94.100.176.0/20 via 217.107.65.1 sur eth0.9 [sr2 2019-06-13] * (100 /?) [AS47764i]
Type: monodiffusion BGP univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389.1) (12389.1100) (12389.1105) (12389.1277) (12389.8350) (12389.8380) (47764.1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17
Selon les entrées de la base de données RIPE pour l'objet as12389, cette communauté signifie «ne pas annoncer sur le réseau as3216»:
...
remarques: | 12389: 835y lors de la publicité sur GoldenTelecom (AS3216) |
...
remarques: | ... y = 0 - ne pas annoncer |
...
De mĂŞme, vers MTS (http://lg.mtu.ru):
Conclusion de LG MTSEntrée de table de routage BGP pour 94.100.176.0/20, version 161717219
Chemins: (2 disponibles, meilleur # 1, table par défaut)
Multipath: eBGP
Annoncé aux groupes de mise à jour:
6
47764, (reçu et utilisé)
195.34.52.77 (métrique 16) à partir de 195.34.52.181 (195.34.52.181)
Origine IGP, métrique 0, localpref 140, valide, interne, meilleure
Communauté: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Initiateur: 195.34.52.77, Liste des groupes: 83.59.83.59
47764, (reçu et utilisé)
195.34.52.77 (métrique 16) à partir de 195.34.52.182 (195.34.52.182)
Origine IGP, métrique 0, localpref 140, valide, interne
Communauté: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Initiateur: 195.34.52.77, Liste des groupes: 83.59.2.77
La communauté 8359: 2120 signifie:
...
remarques: 8359: 212x lors de l'annonce Ă Sovam (Beeline)
...
remarques: x = 0 - ne pas annoncer
...
Vous ne pouvez pas regarder les annonces de Mail.RU Group vers Megafon - ce dernier n'a pas Looking Glass.
Voyons AS47541 (VKONTAKTE-SPB-AS).
La conclusion est trop grande. Router: a9922-e-5 Command: show ip bgp 81.211.56.202 Last switch-over Thu Apr 5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago Fri Jun 14 10:34:20.791 MSK BGP routing table entry for 81.211.0.0/17 Versions: Process bRIB/RIB SendTblVer Speaker 913059757 913059757 Last Modified: May 21 05:20:38.536 for 1y03w Paths: (6 available, best
AS-PATH pointe vers AS174 - Cogent (liaison montante Mail.RU, Tier1), puis AS6762 - Telecom Italia (liaison montante Vimpelcom). Préférence locale partout 150, mais ainsi de suite sur tous les joints externes, quelles que soient les
politiques Ă©crites .
Voyons l'AS47542 (VKONTAKTE-MSK-CDN-AS).
Router: mx960-m9-0 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.222 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.251 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
Et à partir du deuxième routeur:
Router: mx960-m9-1 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.224 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.250 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
Uniquement les routes par défaut (0.0.0.0/0). Cette situation a été expliquée par un employé de Mail.RU Group
gourmandise , dont il remercie. En bref: le segment moscovite du réseau VKontakte est la mise en cache (plutôt que la génération), dont la tâche est d'optimiser la vitesse de téléchargement du contenu populaire et demandé. Prendre soin des utilisateurs, oui.
S'il n'y a pas de route vers un réseau, ce réseau n'est pas desservi par les serveurs de mise en cache. L'optimisation de la vitesse de téléchargement ne fonctionne donc pas et les utilisateurs en souffrent. Mais ici, il faut souligner - les utilisateurs ne sont pas seulement les leurs, mais aussi VimpelCom.
Conclusions:- Depuis Vimpelcom, le trafic vers Mail.RU Group est distribué naturellement. Aucune redirection artificielle via les manipulations des préférences locales détectée
- De la part de Mail.RU Group, il y a des manipulations avec les préfixes Vimpelcom . Sur les routes existantes vers le réseau Vimpelcom via des opérateurs russes, les priorités sont sous-estimées par rapport aux routes passant par des opérateurs Tier1 étrangers.
- Des managers de la communauté BGP ont été ajoutés aux routes transférées aux opérateurs russes (MTS, Rostelecom, RETN.NET) du groupe Mail.RU pour limiter leur distribution à Vimpelcom
Pourquoi Mail.RU Group priorise-t-il les itinéraires à travers l'Europe? Pourquoi Mail.RU Group interdit une courte connexion domestique avec Vimpelcom?
Est-ce moins cher pour eux? Générer du trafic via des canaux étrangers et payer des devises aux tirvans?
Ou y a-t-il un désir de chasser le trafic pour que ce ne soit pas si pratique de le prendre, hein?
Ceci est inconnu de l'ingénieur réseau ...
Résultats dépyring:17/06/2019 BGP-sessions entre Vimpelcom et Mail.RU Group ont été soulevées:
AS47764 (Mail.RU):
AS47541 (Vk):
AS47542 (Vk CDN):
On ne sait pas qui a initié la levée des séances.