Ein Unternehmenskonflikt entstand am 10.06.2019 aufgrund eines Anstiegs der Kosten für die SMS-Zustellung an Benutzer des Vimpelcom-Netzwerks durch die Mail.RU Group. Als Reaktion darauf stellte die Mail.RU Group die direkten russischen IP-Kanäle für das Vimpelcom-Netzwerk ein.
Nachfolgend finden Sie eine kurze Analyse der Situation aus Sicht eines Netzwerktechnikers.
Update : 14.06.2019 18:45 - Betonung der russischen Routen zum VimpelCom-Netzwerk, angepasste Schlussfolgerungen, Erklärung von
Sergey Kubasov (CIO Vkontakte) .
Update : 14.06.2019 19:48 - Eine Beschreibung der Methode zur Einschränkung der Verteilung von Routen entlang der „kurzen“ russischen Route über Rostelecom, MTS, RETN.NET wurde hinzugefügt.
Update : 15.06.2019 09:39 - Mail.ru hat seinen Spiegel blockiert.
Update : 18.06.2019 10:10 - Depyning ist vorbei. VimpelCom und Mail.RU Group haben direkte BGP-Sitzungen ausgelöst.
Einführung:
VimpelCom verfügt über ein autonomes System AS3216, der Rest (8402 - Home Internet, 16345 - Mobile Internet) befindet sich in 3216.
Mail.RU Group - autonome Systeme AS47541, AS47542 und AS47764. Der Hauptinhaltsgenerator ist 47542, der sogenannte CDN VKONTAKTE (Filme, Musik). Alle autonomen Systeme sind unabhängig voneinander (von der Position eines externen autonomen Systems).
Schauen wir uns zunächst die Situation im Vimpelcom-Netzwerk an.
Looking Glass Vimpelcom hilft uns dabei.
Wir betrachten das erste autonome System - AS47541.
2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394342 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
AS-PATH enthält zwei autonome Systeme - 2914 (NTT) und 47541 (VKONTAKTE-SPB-AS).
Die localpref-Metrik ist auf 87 festgelegt, was, wie in der RIPE-Datenbank für das AS3216-Objekt beschrieben, internationalem Peering entspricht.
...
Anmerkungen: Internationale Peer-Routen werden in der Region bevorzugt
Anmerkungen: Bereich von 81-89.
...
Die Community 3216: 3000 und 3216: 3103 (Quelle -
RIPE DB für AS3216 ) bestätigt dieselben Informationen:
...
Anmerkungen: 3216: 3000 Von einem internationalen Uplink oder Peer empfangen, insbesondere:
...
Anmerkungen: 3216: 3103 AMS-IX
...
Das heißt, Vimpelcom sieht die Route nach VKontakte über die europäische Kreuzung.
Sehen wir uns eine weitere Autonomie von VKontakte an - 47542 (VKONTAKTE-MSK-CDN-AS).
Alles ist ähnlich. 2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394338 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
Was ist mit Mail.ru selbst? Werfen wir einen Blick auf AS47764 (mailru-as).
3356 47764 194.67.0.215 (metric 10501) (194.67.0.215) Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate Received Path ID 0, Local Path ID 1, version 2867605667 Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077
VimpelCom sieht Mail.ru über as3356 (Uplink Level3, Tier1-Operator). Diese Information wird von localpref 77 bestätigt:
...
Anmerkungen: Die Routen von Uplink werden vor Ort im Bereich von 71 bis 79 bevorzugt.
Anmerkungen: Letzte Aktualisierung: Februar 2012 ...
und Gemeinschaft (3216: 3000 und 3216: 3007):
...
Anmerkungen: 3216: 3000 Von einem internationalen Uplink oder Peer empfangen, insbesondere:
...
Anmerkungen: 3216: 3007 Level 3 Communications
...
Aus den empfangenen Informationen ist ersichtlich, dass der Verkehr vom Vimpelcom-Netzwerk auf VKontakte und MailRu über europäische Verbindungen gemäß den über das BGP-Protokoll empfangenen Routen verteilt wird. Bei Looking Glass gibt es keine alternativen Routen durch russische Verbindungen. Es wurden keine Maßnahmen gefunden, um den Verkehr auf wissentlich schlechteren Strecken künstlich umzuleiten.
Und wie sieht die Mail.ru-Gruppe das VimpelCom-Netzwerk?
Wir werden
Looking Glass from Mail verwenden .
Update : Ab dem Morgen des 15.06.2019 funktioniert Looking Glass nicht, wenn der 500. Fehler angefordert wird:
Von Routern von AS47764 (mailru-as):
Path
AS-PATH enthält AS1299 (Telia, Tier1-Betreiber, Uplink Mail.RU) und as1273 (Vodafon, Tier1-Betreiber, Uplink Vimpelcom).
LocalPreference 200 ist der Standard für externe Mail.ru-Schnittstellen (https://net.mail.ru/bgp.html), und der MED 500 entspricht allem, was nicht von einer direkten Schnittstelle empfangen wird, nicht von IX-s, nicht von Peer-to-Peer-Schnittstellen.
Aber warum gibt es keine lokalen Strecken durch russische Telekommunikationsbetreiber?
Sie sind es, aber ihre Priorität ist "nicht Standard"!
Hier ist die Route durch Rostelecom (as12389):
Path
Hier ist durch das Megaphon (as31133):
Path
Hier ist durch RET.NO:
Path
Und sogar durch MTS!
Path
Die lokale Präferenzmetrik für diese russischen Routen wird unterschätzt, dh die Routen sind im Vergleich zu ausländischen Routen verschlechtert!
Darüber hinaus hat die
Mail.Ru Group Verbote , ihre Präfixe über russische Betreiber an VimpelCom
zu verteilen!
RET.NO (http://lg.retn.net/):
Die Ankündigungen der Mail.RU Group umfassen die 3216-Community: 65535.
Fazit von LG RET.NO.inet.0: 762737 Ziele, 1734826 Routen (762708 aktiv, 222780 Holddown, 277 versteckt)
94.100.176.0/20 (1 Eintrag, 1 angekündigt)
* BGP-Präferenz: 170 / -201
...
...
AS-Pfad: 47764 I.
AS-Pfad: Aufgenommen
Communities: 3216: 65535 9002: 64667 9002: 65530
...
Vimpelcom akzeptiert keine Routen, die von einer solchen Community in seinem Netzwerk markiert wurden. Auszug aus RIPE DB von AS3216:
...
Anmerkungen: Interne Comminuties werden nur intern zugewiesen.
Anmerkungen: Sie liegen im Bereich 3216: 0000-3216: 4999 und 3216: 6000-3216: 65535
Anmerkungen: und werden immer aus eingehenden Aktualisierungen an der Grenze gelöscht
Anmerkungen: Router.
...
In Richtung Rostelecom (http://lg.ip.rt.ru) Mail.RU Group bietet ähnliche Routen mit der Community 12389: 8350.
Fazit von LG Rostelecom94.100.176.0/20 über 217.107.65.1 auf eth0.9 [sr2 2019-06-13] * (100 /?) [AS47764i]
Typ: BGP Unicast Univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389.1) (12389.1100) (12389.1105) (12389.1277) (12389.8350) (12389.8380) (47764.1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17
Gemäß den Einträgen in der RIPE-Datenbank für das as12389-Objekt bedeutet diese Community "Nicht im as3216-Netzwerk ankündigen":
...
Anmerkungen: | 12389: 835y Bei Werbung für GoldenTelecom (AS3216) |
...
Anmerkungen: | ... y = 0 - nicht werben |
...
Ebenso in Richtung MTS (http://lg.mtu.ru):
Fazit von LG MTSBGP-Routing-Tabelleneintrag für 94.100.176.0/20, Version 161717219
Pfade: (2 verfügbar, beste Nr. 1, Tabellenstandard)
Multipath: eBGP
In Update-Gruppen beworben:
6
47764, (erhalten & verwendet)
195.34.52.77 (Metrik 16) von 195.34.52.181 (195.34.52.181)
Origin IGP, Metrik 0, localpref 140, gültig, intern, am besten
Community: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Urheber: 195.34.52.77, Clusterliste: 83.59.83.59
47764, (erhalten & verwendet)
195.34.52.77 (Metrik 16) von 195.34.52.182 (195.34.52.182)
Origin IGP, Metrik 0, localpref 140, gültig, intern
Community: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Urheber: 195.34.52.77, Clusterliste: 83.59.2.77
Community 8359: 2120 bedeutet:
...
Anmerkungen: 8359: 212x bei der Ankündigung an Sovam (Beeline)
...
Anmerkungen: x = 0 - nicht ankündigen
...
Sie können sich die Ankündigungen der Mail.RU Group in Richtung Megafon nicht ansehen - letztere hat keinen Spiegel.
Sehen wir uns AS47541 (VKONTAKTE-SPB-AS) an.
Die Schlussfolgerung ist zu groß. Router: a9922-e-5 Command: show ip bgp 81.211.56.202 Last switch-over Thu Apr 5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago Fri Jun 14 10:34:20.791 MSK BGP routing table entry for 81.211.0.0/17 Versions: Process bRIB/RIB SendTblVer Speaker 913059757 913059757 Last Modified: May 21 05:20:38.536 for 1y03w Paths: (6 available, best
AS-PATH zeigt auf AS174 - Cogent (Uplink Mail.RU, Tier1), dann auf AS6762 - Telecom Italia (Uplink Vimpelcom). Lokale Präferenz überall 150, aber so weiter alle äußeren Gelenke, unabhängig von den
schriftlichen Richtlinien .
Sehen wir uns den AS47542 (VKONTAKTE-MSK-CDN-AS) an.
Router: mx960-m9-0 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.222 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.251 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
Und vom zweiten Router:
Router: mx960-m9-1 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.224 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.250 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
Nur Standardrouten (0.0.0.0/0). Diese Situation wurde von einem Mitarbeiter der Mail.RU Group erklärt, für den er sich bedankt. Kurz gesagt: Das Moskauer Segment des VKontakte-Netzwerks speichert (anstatt zu generieren), dessen Aufgabe es ist, die Download-Geschwindigkeit beliebter, nachgefragter Inhalte zu optimieren. Fürsorge für Benutzer, ja.
Wenn es keine Route zu einem Netzwerk gibt, wird dieses Netzwerk nicht von Caching-Servern bedient. Die Optimierung der Download-Geschwindigkeit funktioniert also nicht und die Benutzer leiden darunter. Aber hier ist zu betonen - Benutzer sind nicht nur ihre eigenen, sondern auch VimpelCom.
Schlussfolgerungen:- Von Vimpelcom aus wird der Datenverkehr zur Mail.RU Group auf natürliche Weise verteilt. Es wurden keine künstlichen Weiterleitungen durch Manipulationen mit lokalen Einstellungen erkannt
- In der Mail.RU-Gruppe gibt es Manipulationen mit Vimpelcom-Präfixen . Auf bestehenden Strecken zum Vimpelcom-Netz durch russische Betreiber werden die Prioritäten im Vergleich zu Strecken durch ausländische Tier1-Betreiber unterschätzt.
- Manager der BGP-Community wurden zu den Routen hinzugefügt, die von der Mail.RU-Gruppe an russische Betreiber (MTS, Rostelecom, RETN.NET) übertragen wurden, um deren Verteilung auf Vimpelcom zu beschränken
Warum priorisiert die Mail.RU Group Routen durch Europa? Warum verbietet die Mail.RU Group eine kurze Inlandsverbindung mit Vimpelcom?
Ist es billiger für sie? Verkehr über ausländische Kanäle fahren und Tirvans Geld bezahlen?
Oder besteht der Wunsch, den Verkehr so zu vertreiben, dass es nicht so bequem ist, ihn zu nehmen?
Dies ist dem Netzwerktechniker unbekannt ...
Depyring Ergebnisse:17.06.2019 BGP-Sitzungen zwischen Vimpelcom und Mail.RU Group wurden durchgeführt:
AS47764 (Mail.RU):
AS47541 (Vk):
AS47542 (Vk CDN):
Wer das Aufheben der Sitzungen initiiert hat, ist unbekannt.