Um conflito corporativo surgiu em 10/06/2019 devido a um aumento no custo de entrega de SMS para usuários da rede Vimpelcom pelo Mail.RU Group. Como resposta, o Mail.RU Group deixou de "atender" os canais IP russos diretos à rede Vimpelcom.
Abaixo está uma breve análise da situação da perspectiva de um engenheiro de rede.
Atualização : 14/06/2019 18:45 - ênfase nas rotas russas para a rede VimpelCom, conclusões ajustadas, acrescentou uma explicação de
Sergey Kubasov (CIO Vkontakte) .
Atualização : 14/06/2019 19:48 - é adicionada uma descrição do método para restringir a distribuição de rotas ao longo da rota russa "curta" via Rostelecom, MTS, RETN.NET ..
Atualização : 15/06/2019 09:39 - Mail.ru bloqueou seu espelho.
Atualização : 18/06/2019 10:10 - Depyning acabou. O VimpelCom e o Mail.RU Group levantaram sessões diretas de BGP.
Introdutório:
O VimpelCom possui um sistema autônomo AS3216, o restante (8402 - Internet residencial, 16345 - Internet móvel) está localizado em 3216.
Grupo Mail.RU - sistemas autônomos AS47541, AS47542 e AS47764. O principal gerador de conteúdo é 47542, o chamado CDN VKONTAKTE (filmes, música). Todos os sistemas autônomos são independentes um do outro (da posição de um sistema autônomo externo).
Primeiro, vamos olhar a situação da rede Vimpelcom.
O Looking Glass Vimpelcom nos ajudará nisso.
Nós olhamos para o primeiro sistema autônomo - AS47541.
2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394342 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
O AS-PATH contém dois sistemas autônomos - 2914 (NTT) e 47541 (VKONTAKTE-SPB-AS).
A métrica localpref é definida como 87, que, conforme descrito no RIPE DB para o objeto AS3216, corresponde ao emparelhamento internacional.
...
observações: As rotas internacionais de pares obtêm preferência local no
observações: intervalo de 81-89.
...
A comunidade 3216: 3000 e 3216: 3103 (origem -
RIPE DB for AS3216 ) também confirma as mesmas informações:
...
observações: 3216: 3000 Recebido de um uplink ou ponto internacional, especificamente:
...
observações: 3216: 3103 AMS-IX
...
Ou seja, a Vimpelcom vê a rota para VKontakte através do cruzamento europeu.
Vamos ver outra autonomia do VKontakte - 47542 (VKONTAKTE-MSK-CDN-AS).
Tudo é parecido. 2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394338 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
E o Mail.ru? Vamos dar uma olhada no AS47764 (mailru-as).
3356 47764 194.67.0.215 (metric 10501) (194.67.0.215) Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate Received Path ID 0, Local Path ID 1, version 2867605667 Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077
O VimpelCom vê o Mail.ru via as3356 (operador de nível 3, nível 1 de uplink). Esta informação é confirmada pelo localpref 77:
...
observações: As rotas da Uplink recebem preferência local na faixa de 71 a 79.
comentários: Última atualização: fevereiro de 2012 ...
e comunidade (3216: 3000 e 3216: 3007):
...
observações: 3216: 3000 Recebido de um uplink ou ponto internacional, especificamente:
...
observações: 3216: 3007 comunicações de nível 3
...
A partir das informações recebidas, pode-se observar que o tráfego da rede Vimpelcom no VKontakte e MailRu é distribuído através de conexões européias de acordo com as rotas recebidas pelo protocolo BGP. Não há rotas alternativas através de conexões russas no Looking Glass. Nenhuma medida foi encontrada para redirecionar artificialmente o tráfego por rotas conscientemente piores.
E como o grupo Mail.ru vê a rede VimpelCom?
Usaremos o
Looking Glass do Mail .
Atualização : na manhã de 15/06/2019 Looking Glass não funciona, quando solicitado o 500º erro é emitido:
Dos roteadores do AS47764 (mailru-as):
Path
O AS-PATH contém AS1299 (Telia, operador Tier1, uplink Mail.RU) e as1273 (Vodafon, operador Tier1, uplink Vimpelcom).
O LocalPreference 200 é o padrão para interfaces externas Mail.ru (https://net.mail.ru/bgp.html), e o MED 500 corresponde a tudo o que é recebido não de uma interface direta, não de IX-s, e não de ponto a ponto.
Mas por que não existem rotas locais através das operadoras de telecomunicações russas ???
Eles são, mas sua prioridade é "não-padrão"!
Aqui está o percurso através da Rostelecom (as12389):
Path
Aqui está através do megafone (as31133):
Path
Aqui é através do RET.NO:
Path
E mesmo através do MTS!
Path
A métrica localpref para essas rotas russas é subestimada, ou seja, as rotas são degradadas em comparação com as estrangeiras!
Além disso, o
Mail.Ru Group proíbe a distribuição de seus prefixos à Vimpelcom através de operadoras russas!
RET.NO (http://lg.retn.net/):
Os anúncios do Mail.RU Group incluem a comunidade 3216: 65535.
Conclusão da LG RET.NOinet.0: 762737 destinos, 1734826 rotas (762708 ativo, 222780 holddown, 277 oculto)
94.100.176.0/20 (1 entrada, 1 anunciado)
* Preferência BGP: 170 / -201
...
...
Caminho AS: 47764 I
Caminho AS: gravado
Comunidades: 3216: 65535 9002: 64667 9002: 65530
...
O Vimpelcom não aceita rotas marcadas por essa comunidade em sua rede. Trecho do RIPE DB por AS3216:
...
Comentários: Comminuties internos são atribuídos apenas internamente.
comentários: Eles estão no intervalo 3216: 0000-3216: 4999 e 3216: 6000-3216: 65535
comentários: e sempre são excluídos das atualizações recebidas na fronteira
observações: roteadores.
...
Em direção ao Rostelecom (http://lg.ip.rt.ru) O Mail.RU Group oferece rotas semelhantes à comunidade 12389: 8350.
Conclusão da LG Rostelecom94.100.176.0/20 via 217.107.65.1 em eth0.9 [sr2 2019-06-13] * (100 /?) [AS47764i]
Tipo: unificação unicast BGP
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
Comunidade: (12389.1) (12389.1100) (12389.1105) (12389.1277) (12389.8350) (12389.8380) (47764.1) (47764.40000) (47764.50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17
De acordo com as entradas no RIPE DB para o objeto as12389, essa comunidade significa "não anunciar na rede as3216":
...
observações: | 12389: 835y Ao anunciar na GoldenTelecom (AS3216) |
...
observações: | ... y = 0 - não anuncie |
...
Da mesma forma, em relação ao MTS (http://lg.mtu.ru):
Conclusão da LG MTSEntrada da tabela de roteamento BGP para 94.100.176.0/20, versão 161717219
Caminhos: (2 disponíveis, melhor # 1, padrão da tabela)
Multipath: eBGP
Anunciado para atualizar grupos:
6
47764, (recebido e usado)
195.34.52.77 (métrica 16) de 195.34.52.181 (195.34.52.181)
IGP de origem, métrica 0, localpref 140, válido, interno, melhor
Comunidade: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Originador: 195.34.52.77, Lista de clusters: 83.59.83.59
47764, (recebido e usado)
195.34.52.77 (métrica 16) de 195.34.52.182 (195.34.52.182)
IGP de origem, métrica 0, localpref 140, válido, interno
Comunidade: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Originador: 195.34.52.77, Lista de clusters: 83.59.2.77
Comunidade 8359: 2120 significa:
...
observações: 8359: 212x ao anunciar a Sovam (Beeline)
...
observações: x = 0 - não anunciar
...
Você não pode olhar para os anúncios do Mail.RU Group em direção à Megafon - este último não possui Espelho.
Vamos ver o AS47541 (VKONTAKTE-SPB-AS).
A conclusão é grande demais. Router: a9922-e-5 Command: show ip bgp 81.211.56.202 Last switch-over Thu Apr 5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago Fri Jun 14 10:34:20.791 MSK BGP routing table entry for 81.211.0.0/17 Versions: Process bRIB/RIB SendTblVer Speaker 913059757 913059757 Last Modified: May 21 05:20:38.536 for 1y03w Paths: (6 available, best
AS-PATH aponta para AS174 - Cogent (uplink Mail.RU, Tier1) e, em seguida, AS6762 - Telecom Italia (uplink Vimpelcom). Preferência local em todos os lugares 150, mas em todas as articulações externas, independentemente das
políticas escritas .
Vamos ver o AS47542 (VKONTAKTE-MSK-CDN-AS).
Router: mx960-m9-0 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.222 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.251 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
E a partir do segundo roteador:
Router: mx960-m9-1 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.224 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.250 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
Somente rotas padrão (0.0.0.0/0). Esta situação foi explicada por um funcionário da avidez do Grupo Mail.RU, pelo qual ele agradece. Em resumo: o segmento de Moscou da rede VKontakte está armazenando em cache (em vez de gerar), cuja tarefa é otimizar a velocidade de download de conteúdo popular e exigido. Cuidando de usuários, sim.
Se não houver rota para nenhuma rede, essa rede não será atendida pelos servidores de cache. Portanto, a otimização da velocidade do download não funciona e os usuários sofrem. Mas aqui é necessário enfatizar - os usuários não são apenas seus, mas também o VimpelCom.
Conclusões:- Do Vimpelcom, o tráfego para o Mail.RU Group é distribuído naturalmente. Nenhum redirecionamento artificial por meio de manipulações de preferência local detectadas
- No grupo Mail.RU, há manipulações com prefixos Vimpelcom . Nas rotas existentes para a rede Vimpelcom através de operadores russos, as prioridades são subestimadas em comparação com rotas através de operadores estrangeiros de Nível 1.
- Os gerentes da comunidade BGP foram adicionados às rotas transferidas para os operadores russos (MTS, Rostelecom, RETN.NET) do Mail.RU Group para restringir sua distribuição à Vimpelcom
Por que o Mail.RU Group prioriza rotas pela Europa? Por que o Mail.RU Group proíbe uma conexão doméstica curta com o Vimpelcom?
É mais barato para eles? Direcionar tráfego através de canais estrangeiros e pagar moeda para tirvans?
Ou existe um desejo de desviar o tráfego para que não seja tão conveniente levá-lo, não é?
Isso é desconhecido para o engenheiro de rede ...
Resultados de depyring:17/06/2019 Sessões de BGP entre Vimpelcom e Mail.RU Group foram levantadas:
AS47764 (Mail.RU):
AS47541 (Vk):
AS47542 (Vk CDN):
Quem iniciou o levantamento das sessões é desconhecido.