Konflik perusahaan muncul pada 06/10/2019 karena peningkatan biaya pengiriman SMS ke pengguna jaringan Vimpelcom oleh Mail.RU Group. Sebagai tanggapan, Mail.RU Group berhenti untuk "melayani" saluran IP Rusia langsung ke jaringan Vimpelcom.
Di bawah ini adalah analisis singkat dari situasi dari perspektif seorang insinyur jaringan.
Pembaruan : 06/14/2019 18:45 - penekanan pada rute Rusia ke jaringan VimpelCom, kesimpulan yang disesuaikan, menambahkan penjelasan oleh
Sergey Kubasov (CIO Vkontakte) .
Pembaruan : 06/14/2019 19:48 - deskripsi metode untuk membatasi distribusi rute di sepanjang rute "pendek" Rusia melalui Rostelecom, MTS, RETN.NET ditambahkan ..
Pembaruan : 06/15/2019 09:39 - Mail.ru memblokir Looking Glass-nya.
Pembaruan : 06/18/2019 10:10 - Depyning selesai. VimpelCom dan Mail.RU Group mengangkat sesi BGP langsung.
Pendahuluan:
VimpelCom memiliki sistem otonom AS3216, sisanya (8402 - Internet rumah, 16345 - Internet seluler) berada di 3216.
Mail.RU Group - sistem otonom AS47541, AS47542 dan AS47764. Generator konten utama adalah 47542, yang disebut CDN VKONTAKTE (film, musik). Semua sistem otonom saling independen (dari posisi sistem otonomi eksternal).
Pertama, mari kita lihat situasi dari jaringan Vimpelcom.
Looking Glass Vimpelcom akan membantu kami dalam hal ini.
Kami melihat sistem otonom pertama - AS47541.
2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394342 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
AS-PATH berisi dua sistem otonom - 2914 (NTT) dan 47541 (VKONTAKTE-SPB-AS).
Metrik localpref diatur ke 87, yang, seperti yang dijelaskan dalam DB RIPE untuk objek AS3216, sesuai dengan peering internasional.
...
komentar: Rute rekan internasional mendapatkan preferensi lokal di
komentar: kisaran 81-89.
...
Komunitas 3216: 3000 dan 3216: 3103 (sumber -
RIPE DB untuk AS3216 ) juga mengonfirmasi informasi yang sama:
...
keterangan: 3216: 3000 Diterima dari uplink atau rekan internasional, khususnya:
...
komentar: 3216: 3103 AMS-IX
...
Artinya, Vimpelcom melihat rute ke VKontakte melalui persimpangan Eropa.
Mari kita lihat otonomi VKontakte lain - 47542 (VKONTAKTE-MSK-CDN-AS).
Semuanya mirip. 2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394338 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
Bagaimana dengan Mail.ru sendiri? Mari kita lihat AS47764 (mailru-as).
3356 47764 194.67.0.215 (metric 10501) (194.67.0.215) Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate Received Path ID 0, Local Path ID 1, version 2867605667 Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077
VimpelCom melihat Mail.ru melalui as3356 (uplink Level3, operator Tier1). Informasi ini dikonfirmasi oleh localpref 77:
...
komentar: Rute Uplink mendapatkan preferensi lokal di kisaran 71-79.
komentar: Pembaruan Terakhir: Februari 2012 ...
dan komunitas (3216: 3000 dan 3216: 3007):
...
keterangan: 3216: 3000 Diterima dari uplink atau rekan internasional, khususnya:
...
komentar: 3216: 3007 Level 3 Komunikasi
...
Dari informasi yang diterima, dapat dilihat bahwa lalu lintas dari jaringan Vimpelcom di VKontakte dan MailRu didistribusikan melalui koneksi Eropa sesuai dengan rute yang diterima melalui protokol BGP. Tidak ada rute alternatif melalui koneksi Rusia di Looking Glass. Tidak ada langkah-langkah yang ditemukan untuk mengarahkan lalu lintas secara artifisial melalui rute yang diketahui lebih buruk.
Dan bagaimana Grup Mail.ru melihat jaringan VimpelCom?
Kami akan menggunakan
Looking Glass from Mail .
Pembaruan : pada pagi hari tanggal 06/15/2019 Looking Glass tidak berfungsi, ketika diminta kesalahan 500 dikeluarkan:
Dari router dari AS47764 (mailru-as):
Path
AS-PATH berisi AS1299 (Telia, operator Tier1, uplink Mail.RU) dan as1273 (Vodafon, operator Tier1, uplink Vimpelcom).
LocalPreference 200 adalah standar untuk antarmuka Mail.ru eksternal (https://net.mail.ru/bgp.html), dan MED 500 sesuai dengan semua yang diterima bukan dari antarmuka langsung, bukan dari IX-s, bukan dari yang peer-to-peer.
Tetapi mengapa tidak ada rute lokal melalui operator telekomunikasi Rusia ???
Ya, tetapi prioritas mereka adalah "non-standar"!
Inilah rute melalui Rostelecom (as12389):
Path
Ini melalui Megaphone (as31133):
Path
Ini melalui RET.NO:
Path
Dan bahkan melalui MTS!
Path
Metrik localpref untuk rute-rute Rusia ini diremehkan, yaitu, rute-rute tersebut terdegradasi dibandingkan dengan yang asing!
Selain itu,
Grup Mail.Ru memiliki larangan mendistribusikan prefiksnya ke VimpelCom melalui operator Rusia!
RET.NO (http://lg.retn.net/):
Pengumuman dari Mail.RU Group termasuk komunitas 3216: 65535.
Kesimpulan dari LG RET.NOinet.0: 762737 tujuan, 1734826 rute (762708 aktif, penahanan 222780, 277 disembunyikan)
94.100.176.0/20 (1 entri, 1 diumumkan)
* Preferensi BGP: 170 / -201
...
...
Jalur AS: 47764 I
Jalur AS: Direkam
Komunitas: 3216: 65535 9002: 64667 9002: 65530
...
Vimpelcom tidak menerima rute yang ditandai oleh komunitas seperti itu di jaringannya. Kutipan dari RIPE DB oleh AS3216:
...
komentar: Komisi internal ditugaskan hanya secara internal.
keterangan: Mereka berada dalam kisaran 3216: 0000-3216: 4999 dan 3216: 6000-3216: 65535
komentar: dan selalu dihapus dari pembaruan yang masuk di perbatasan
komentar: router.
...
Menuju Rostelecom (http://lg.ip.rt.ru) Mail.RU Group memberikan rute yang sama dengan komunitas 12389: 8350.
Kesimpulan dari LG Rostelecom94.100.176.0/20 via 217.107.65.1 di eth0.9 [sr2 2019-06-13] * (100 /?) [AS47764i]
Jenis: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.comkita: (12389.1) (12389.1100) (12389.1105) (12389.1277) (12389.8350) (12389.8380) (12389.8380) (47764.1) (47764.40000) (47764.50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17
Menurut entri dalam RIPE DB untuk objek as12389, komunitas ini berarti "jangan mengumumkan di jaringan as3216":
...
komentar: | 12389: 835y Saat beriklan ke GoldenTelecom (AS3216) |
...
komentar: | ... y = 0 - jangan beriklan |
...
Demikian pula, menuju MTS (http://lg.mtu.ru):
Kesimpulan dari LG MTSEntri tabel routing BGP untuk 94.100.176.0/20, versi 161717219
Jalur: (2 tersedia, terbaik # 1, tabel default)
Multipath: eBGP
Diiklankan ke grup pembaruan:
6
47764, (diterima & digunakan)
195.34.52.77 (metrik 16) dari 195.34.52.181 (195.34.52.181)
Asal IGP, metrik 0, localpref 140, valid, internal, terbaik
Komunitas: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Pencetus: 195.34.52.77, Daftar kelompok: 83.59.83.59
47764, (diterima & digunakan)
195.34.52.77 (metrik 16) dari 195.34.52.182 (195.34.52.182)
Asal IGP, metrik 0, localpref 140, valid, internal
Komunitas: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Pencetus: 195.34.52.77, Daftar kelompok: 83.59.2.77
Komunitas 8359: 2120 berarti:
...
komentar: 8359: 212x saat mengumumkan ke Sovam (Beeline)
...
komentar: x = 0 - jangan mengumumkan
...
Anda tidak dapat melihat pengumuman Grup Mail.RU terhadap Megafon - yang terakhir tidak memiliki Looking Glass.
Mari kita lihat AS47541 (VKONTAKTE-SPB-AS).
Kesimpulannya terlalu besar. Router: a9922-e-5 Command: show ip bgp 81.211.56.202 Last switch-over Thu Apr 5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago Fri Jun 14 10:34:20.791 MSK BGP routing table entry for 81.211.0.0/17 Versions: Process bRIB/RIB SendTblVer Speaker 913059757 913059757 Last Modified: May 21 05:20:38.536 for 1y03w Paths: (6 available, best
AS-PATH menunjuk ke AS174 - Cogent (uplink Mail.RU, Tier1), kemudian AS6762 - Telecom Italia (uplink Vimpelcom). Preferensi Lokal di mana saja 150, tetapi begitu juga pada semua sambungan eksternal, terlepas dari
kebijakan tertulis .
Mari kita lihat AS47542 (VKONTAKTE-MSK-CDN-AS).
Router: mx960-m9-0 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.222 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.251 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
Dan dari router kedua:
Router: mx960-m9-1 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.224 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.250 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
Hanya rute default (0.0.0.0/0). Situasi ini dijelaskan oleh seorang karyawan Mail.RU Group yang rakus, yang karenanya ia berterima kasih. Singkatnya: segmen Moskow dari jaringan VKontakte adalah caching (bukan menghasilkan), yang tugasnya adalah mengoptimalkan kecepatan unduh konten populer yang diminta. Merawat pengguna, ya.
Jika tidak ada rute ke jaringan apa pun, maka jaringan ini tidak dilayani oleh server caching. Jadi optimalisasi kecepatan unduh tidak berfungsi, dan pengguna menderita. Tapi di sini perlu ditekankan - pengguna tidak hanya mereka sendiri, tetapi juga VimpelCom.
Kesimpulan:- Dari Vimpelcom, lalu lintas menuju Grup Mail.RU didistribusikan secara alami. Tidak ada pengalihan buatan melalui manipulasi Preferensi Lokal yang terdeteksi
- Dari Mail.RU Group, ada manipulasi dengan awalan Vimpelcom . Pada rute yang ada menuju jaringan Vimpelcom melalui operator Rusia, prioritas diremehkan dibandingkan dengan rute melalui operator Tier1 asing.
- Manajer komunitas BGP telah ditambahkan ke rute yang ditransfer ke operator Rusia (MTS, Rostelecom, RETN.NET) dari Mail.RU Group untuk membatasi distribusi mereka ke Vimpelcom
Mengapa Mail.RU Group memprioritaskan rute melalui Eropa? Mengapa Mail.RU Group melarang koneksi domestik singkat dengan Vimpelcom?
Apakah lebih murah untuk mereka? Mendorong lalu lintas melalui saluran asing dan membayar mata uang ke Tirani?
Atau ada keinginan untuk mengarahkan lalu lintas sehingga tidak nyaman untuk mengambilnya, ya?
Ini tidak dikenal oleh insinyur jaringan ...
Hasil Depyring:06/17/2019 BGP-sesi antara Vimpelcom dan Mail.RU Group dimunculkan:
AS47764 (Mail.RU):
AS47541 (Vk):
AS47542 (Vk CDN):
Siapa yang memulai pencabutan sesi tidak diketahui.