公司对网络连接的冲突的预测

图片

由于Mail.RU Group向Vimpelcom网络的用户发送SMS的成本增加,在06/10/2019发生了公司冲突。 作为回应,Mail.RU集团停止了对直接俄罗斯IP通道到Vimpelcom网络的“服务”。

下面是从网络工程师的角度对情况进行的简要分析。

更新 :06/14/2019 18:45-强调俄罗斯通往VimpelCom网络的路线,调整了结论,并补充了谢尔盖·库巴索夫(CIO Vkontakte)的解释。
更新 :06/14/2019 19:48-添加了通过Rostelecom,MTS,RETN.NET限制沿“短”俄罗斯路线分布的方法的说明..
更新 :06/15/2019 09:39-Mail.ru阻止了其镜子。
更新 :06/18/2019 10:10-Depyning已经结束。 VimpelCom和Mail.RU集团提出了直接BGP会话。


简介:
VimpelCom拥有一个自治系统AS3216,其余所有(8402-家庭Internet,16345-移动Internet)都位于3216。

Mail.RU组-自治系统AS47541,AS47542和AS47764。 主要内容生成器是47542,所谓的 CDN VKONTAKTE(电影,音乐)。 所有自治系统彼此独立(与外部自治系统的位置无关)。

首先,让我们看看Vimpelcom网络的情况。 外观镜Vimpelcom将为此提供帮助。

我们来看第一个自治系统-AS47541。

2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394342 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078 

AS-PATH包含两个自治系统-2914(NTT)和47541(VKONTAKTE-SPB-AS)。
localpref度量设置为87,如RIPE DB中针对AS3216对象所述,它对应于国际对等。
...
备注:国际对等方的路由在
备注:范围为81-89。
...
3216:3000和3216:3103社区(来源-RIPE DB for AS3216 )也确认了相同的信息:
...
备注:3216:3000从国际上行链路或对等方接收,具体是:
...
备注:3216:3103 AMS-IX
...
也就是说,Vimpelcom看到了通过欧洲交界处通往VKontakte的路线。

让我们看看另一个VKontakte自治-47542(VKONTAKTE-MSK-CDN-AS)。

一切都相似。
  2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394338 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078 


那么Mail.ru本身呢? 让我们看一下AS47764(mailru-as)。

  3356 47764 194.67.0.215 (metric 10501) (194.67.0.215) Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate Received Path ID 0, Local Path ID 1, version 2867605667 Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 

VimpelCom通过as3356(上行链路Level3,Tier1运算符)查看Mail.ru。 此信息由localpref 77确认:
...
备注:上行路由的本地优先级为71-79。
备注:最近更新:2012年2月...
和社区(3216:3000和3216:3007):
...
备注:3216:3000从国际上行链路或对等方接收,具体是:
...
备注:3216:3007 3级通讯
...

从收到的信息可以看出,VKontakte和MailRu上来自Vimpelcom网络的流量是根据BGP协议收到的路由通过欧洲连接分配的。 在Looking Glass中,没有其他通过俄罗斯的路线。 没有发现可以通过已知更差的路线人为地重定向流量的措施。

Mail.ru组如何看到VimpelCom网络?
我们将使用Mail的Looking Glass更新 :截至06/15/2019上午,Looking Glass不起作用,当发出第500个错误请求时: 图片

从AS47764(mailru-as)的路由器中:
  Path #6: Received by speaker 0 Advertised to peers (in unique update groups): 188.93.60.188 1299 1299 1273 3216 3216 217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253) Origin IGP, metric 500, localpref 200, valid, internal, best, group-best Received Path ID 0, Local Path ID 0, version 1172721494 Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077 


AS-PATH包含AS1299(Telia,Tier1运营商,上行Mail.RU)和as1273(Vodafon,Tier1运营商,Vimpelcom上行)。

LocalPreference 200是外部Mail.ru接口(https://net.mail.ru/bgp.html)的标准,而MED 500对应于不是从直接接口,不是从IX-s,不是从对等接口接收到的所有内容。

但是,为什么没有通过俄罗斯电信运营商的本地路由?
是的,但是他们的优先级是“非标准”!
这是通过Rostelecom(as12389)的路线:
  Path #1: Received by speaker 0 Not advertised to any peer 12389 3216 46.61.178.149 from 46.61.178.149 (213.59.207.79) Origin IGP, metric 500, localpref 199, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077 Origin-AS validity: not-found 

这是通过扩音器(as31133):
  Path #2: Received by speaker 0 Not advertised to any peer 31133 3216 78.25.77.41 from 78.25.77.41 (10.222.253.97) Origin IGP, metric 500, localpref 199, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077 Origin-AS validity: not-found 

这是通过RET.NO:
  Path #3: Received by speaker 0 Not advertised to any peer 9002 9002 3216 87.245.253.24 from 87.245.253.24 (87.245.225.1) Origin IGP, metric 500, localpref 199, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077 Origin-AS validity: not-found 

甚至通过MTS!
  Path #5: Received by speaker 0 Not advertised to any peer 8359 3216 212.188.61.105 from 212.188.61.105 (195.34.52.77) Origin IGP, metric 500, localpref 199, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077 Origin-AS validity: not-found 

这些俄罗斯航线的localpref指标被低估了,也就是说,与国外航线相比,这些航线的质量下降了!

此外, Mail.Ru集团禁止通过俄罗斯运营商将其前缀分发给VimpelCom!

RET.NO(http://lg.retn.net/):
Mail.RU Group的公告包括3216社区:65535。
LG RET.NO的结论
inet.0:762737个目的地,1734826条路线(762708有效,222780抑制值,277隐藏)
94.100.176.0/20(1个条目,1个宣布)
* BGP优先级:170 / -201
...
...
AS路径:47764 I
AS路径:已记录
社区:3216:65535 9002:64667 9002:65530
...

Vimpelcom不接受其网络上此类社区标记的路由。 摘自RIPE DB的AS3216:
...
备注:内部社区仅在内部分配。
备注:它们的范围是3216:0000-3216:4999和3216:6000-3216:65535
备注:并且总是从边界的传入更新中删除
备注:路由器。
...

走向Rostelecom(http://lg.ip.rt.ru)Mail.RU组向社区提供了类似的路由12389:8350。
LG Rostelecom的结论
94.100.176.0/20通过eth0.9上的217.107.65.1 [sr2 2019-06-13] *(100 /?)[AS47764i]
类型:BGP单播univ
BGP.origin:IGP
BGP.as_path:47764
BGP.next_hop:213.59.207.78
BGP.med:0
BGP.local_pref:850
BGP.community:(12389.1)(12389.1100)(12389.1105)(12389.1277)(12389.8350)(12389.8380)(47764.1)(47764,40000)(47764,50077)
BGP.originator_id:213.59.207.78
BGP.cluster_list:95.167.88.79 95.167.88.49 95.167.88.17

根据RIPE DB中as12389对象的条目,此社区的意思是“不要在as3216网络上宣告”:
...
备注: 12389:835y在向GoldenTelecom(AS3216)投放广告时|
...
备注: ... y = 0-不做广告|
...

同样,对于MTS(http://lg.mtu.ru):
LG MTS的结论
94.100.176.0/20版本161717219的BGP路由表条目
路径:(2个可用,最佳#1,表默认)
多路径:eBGP
广告发布到更新组:
6
47764,(接收和使用)
195.34.52.181(195.34.52.181)中的195.34.52.77(公制16)
来源IGP,指标0,localpref 140,有效,内部,最佳
社区:8359:2120 8359:2150 8359:5500 8359:55277
发起者:195.34.52.77,群集列表:83.59.83.59
47764,(接收和使用)
195.34.52.182(195.34.52.182)中的195.34.52.77(公制16)
来源IGP,指标0,localpref 140,有效,内部
社区:8359:2120 8359:2150 8359:5500 8359:55277
发起者:195.34.52.77,群集列表:83.59.2.77

社区8359:2120表示:
...
备注:8359:向Sovam宣告时(212倍)的212x
...
备注:x = 0-不宣告
...

您无法查看Mail.RU集团对Megafon的公告-后者没有Looking Glass。

让我们来看看AS47541(VKONTAKTE-SPB-AS)。

结论太大了。
  Router: a9922-e-5 Command: show ip bgp 81.211.56.202 Last switch-over Thu Apr 5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago Fri Jun 14 10:34:20.791 MSK BGP routing table entry for 81.211.0.0/17 Versions: Process bRIB/RIB SendTblVer Speaker 913059757 913059757 Last Modified: May 21 05:20:38.536 for 1y03w Paths: (6 available, best #4) Advertised to update-groups (with more than one peer): 0.2 Advertised to peers (in unique update groups): 188.93.60.188 Path #1: Received by speaker 0 Not advertised to any peer 1299 1273 3216 3216 87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235) Origin IGP, metric 5000, localpref 150, valid, internal Received Path ID 0, Local Path ID 0, version 0 Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078 Path #2: Received by speaker 0 Not advertised to any peer 1299 1273 3216 3216 87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248) Origin IGP, metric 5000, localpref 150, valid, internal Received Path ID 0, Local Path ID 0, version 0 Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078 Path #3: Received by speaker 0 Not advertised to any peer 174 6762 3216 3216 87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249) Origin IGP, metric 5000, localpref 150, valid, internal Received Path ID 0, Local Path ID 0, version 0 Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078 Path #4: Received by speaker 0 Advertised to update-groups (with more than one peer): 0.2 Advertised to peers (in unique update groups): 188.93.60.188 174 6762 3216 3216 149.6.169.113 from 149.6.169.113 (38.28.1.236) Origin IGP, metric 5000, localpref 150, valid, external, best, group-best Received Path ID 0, Local Path ID 0, version 913059757 Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078 Origin-AS validity: not-found Path #5: Received by speaker 0 Not advertised to any peer 1273 1273 3216 3216 195.89.114.197 from 195.89.114.197 (195.2.1.107) Origin IGP, metric 5005, localpref 150, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078 Origin-AS validity: not-found Path #6: Received by speaker 0 Not advertised to any peer 3356 3356 3216 3216 3216 213.242.69.69 from 213.242.69.69 (4.69.177.130) Origin IGP, metric 5000, localpref 150, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078 Origin-AS validity: not-found 

AS-PATH指向AS174-Cogent(上行Mail.RU,Tier1),然后指向AS6762-Telecom Italia(上行Vimpelcom)。 地方优先权到处为150,无论外部书面政策如何,所有外部联合点均如此。

让我们看看AS47542(VKONTAKTE-MSK-CDN-AS)。
  Router: mx960-m9-0 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.222 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.251 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior 

从第二个路由器:
  Router: mx960-m9-1 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.224 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.250 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior 

仅默认路由(0.0.0.0/0)。 Mail.RU Group的一位贪婪的员工解释了这种情况,他对此表示感谢。 简而言之:VKontakte网络的莫斯科部分正在缓存(而不是生成),其任务是优化流行的需求内容的下载速度。 关心用户,是的。

如果没有到任何网络的路由,则缓存服务器不会为该网络服务。 因此,无法优化下载速度,并且会给用户带来痛苦。 但在此需要强调的是-用户不仅是自己的用户,而且还是VimpelCom。

结论:

  1. 来自Vimpelcom的Mail.RU Group流量自然分布。 未检测到通过本地首选项操作的人为重定向
  2. 在Mail.RU组中,有一些使用Vimpelcom前缀的操作 。 与通过外国Tier1运营商的路由相比,在通过俄罗斯运营商通往Vimpelcom网络的现有路由中,优先级被低估了。
  3. BGP社区的管理员已添加到从Mail.RU组转移到俄罗斯运营商(MTS,Rostelecom,RETN.NET)的路由中,以限制将其分发给Vimpelcom

为什么Mail.RU Group优先考虑通过欧洲的路线? 为什么Mail.RU Group禁止与Vimpelcom建立简短的国内联系?

对他们来说便宜吗? 通过国外渠道吸引流量,并向蒂尔文支付货币?
还是有一种驱赶交通以免交通不便的愿望,是吗?
这对于网络工程师来说是未知的...

去pyring结果:
2019年6月17日,Vimpelcom和Mail.RU Group之间的BGP会话被提出:
AS47764(Mail.RU):
图片

AS47541(Vk):
图片

AS47542(Vk CDN):
图片

谁发起取消会议是未知的。

Source: https://habr.com/ru/post/zh-CN456078/


All Articles