Un conflicto corporativo surgió el 10/06/2019 debido a un aumento en el costo de enviar SMS a los usuarios de la red Vimpelcom por Mail.RU Group. Como respuesta, Mail.RU Group dejó de "dar servicio" a los canales IP rusos directos a la red Vimpelcom.
A continuación se muestra un breve análisis de la situación desde la perspectiva de un ingeniero de redes.
Actualización : 14/06/2019 18:45 - énfasis en las rutas rusas a la red VimpelCom, conclusiones ajustadas, agregada una explicación de
Sergey Kubasov (CIO Vkontakte) .
Actualización : 14/06/2019 19:48 - se agrega una descripción del método para restringir la distribución de rutas a lo largo de la ruta rusa "corta" a través de Rostelecom, MTS, RETN.NET.
Actualización : 15/06/2019 09:39 - Mail.ru bloqueó su Looking Glass.
Actualización : 18/06/2019 10:10 - Se terminó el desapilamiento. VimpelCom y Mail.RU Group plantearon sesiones directas de BGP.
Introductorio:
VimpelCom tiene un sistema autónomo AS3216, todos los demás (8402 - Internet en el hogar, 16345 - Internet móvil) se encuentran en 3216.
Mail.RU Group - sistemas autónomos AS47541, AS47542 y AS47764. El principal generador de contenido es 47542, el llamado CDN VKONTAKTE (películas, música). Todos los sistemas autónomos son independientes entre sí (desde la posición de un sistema autónomo externo).
Primero, veamos la situación desde la red Vimpelcom.
Looking Glass Vimpelcom nos ayudará en esto.
Nos fijamos en el primer sistema autónomo: AS47541.
2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394342 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
AS-PATH contiene dos sistemas autónomos: 2914 (NTT) y 47541 (VKONTAKTE-SPB-AS).
La métrica localpref se establece en 87, que, como se describe en RIPE DB para el objeto AS3216, corresponde al emparejamiento internacional.
...
observaciones: las rutas de pares internacionales obtienen preferencia local en el
observaciones: rango de 81-89.
...
La comunidad 3216: 3000 y 3216: 3103 (fuente -
RIPE DB para AS3216 ) también confirma la misma información:
...
observaciones: 3216: 3000 Recibido de un enlace ascendente internacional o un par, específicamente:
...
observaciones: 3216: 3103 AMS-IX
...
Es decir, Vimpelcom ve la ruta a VKontakte a través del cruce europeo.
Veamos otra autonomía VKontakte - 47542 (VKONTAKTE-MSK-CDN-AS).
Todo es similar 2914 47541 79.104.32.251 (metric 10500) (79.104.32.251) Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect Received Path ID 0, Local Path ID 1, version 2865394338 Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078
¿Qué pasa con Mail.ru en sí? Echemos un vistazo a AS47764 (mailru-as).
3356 47764 194.67.0.215 (metric 10501) (194.67.0.215) Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate Received Path ID 0, Local Path ID 1, version 2867605667 Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077
VimpelCom ve Mail.ru a través de as3356 (enlace ascendente Level3, operador Tier1). Esta información es confirmada por localpref 77:
...
observaciones: las rutas de enlace ascendente obtienen preferencia local en el rango de 71-79.
observaciones: Última actualización: febrero de 2012 ...
y comunidad (3216: 3000 y 3216: 3007):
...
observaciones: 3216: 3000 Recibido de un enlace ascendente internacional o un par, específicamente:
...
observaciones: 3216: 3007 Comunicaciones de nivel 3
...
A partir de la información recibida, se puede ver que el tráfico de la red Vimpelcom en VKontakte y MailRu se distribuye a través de conexiones europeas de acuerdo con las rutas recibidas a través del protocolo BGP. No hay rutas alternativas a través de las conexiones rusas en Looking Glass. No se han encontrado medidas para redirigir artificialmente el tráfico a través de rutas deliberadamente peores.
¿Y cómo ve el Grupo Mail.ru la red VimpelCom?
Usaremos
Looking Glass from Mail .
Actualización : a partir de la mañana del 15/06/2019 Looking Glass no funciona, cuando se solicita el error número 500:
Desde enrutadores de AS47764 (mailru-as):
Path
AS-PATH contiene AS1299 (Telia, operador Tier1, enlace ascendente Mail.RU) y as1273 (Vodafon, operador Tier1, enlace ascendente Vimpelcom).
LocalPreference 200 es el estándar para las interfaces externas de Mail.ru (https://net.mail.ru/bgp.html), y el MED 500 corresponde a todo lo recibido, no desde una interfaz directa, ni desde IX-s, ni desde pares.
Pero, ¿por qué no hay rutas locales a través de los operadores de telecomunicaciones rusos?
Lo son, pero su prioridad es "no estándar".
Aquí está la ruta a través de Rostelecom (as12389):
Path
Aquí es a través del megáfono (as31133):
Path
Aquí es a través de RET.NO:
Path
¡E incluso a través de MTS!
Path
¡La métrica de precisión local para estas rutas rusas se subestima, es decir, las rutas se degradan en comparación con las extranjeras!
¡Además,
Mail.Ru Group tiene prohibiciones de distribuir sus prefijos a VimpelCom a través de operadores rusos!
RET.NO (http://lg.retn.net/):
Los anuncios de Mail.RU Group incluyen la comunidad 3216: 65535.
Conclusión de LG RET.NOinet.0: 762737 destinos, 1734826 rutas (762708 activo, 222780 holddown, 277 oculto)
94.100.176.0/20 (1 entrada, 1 anunciado)
* Preferencia BGP: 170 / -201
...
...
Como camino: 47764 I
Ruta AS: Grabada
Comunidades: 3216: 65535 9002: 64667 9002: 65530
...
Vimpelcom no acepta rutas marcadas por dicha comunidad en su red. Extracto de RIPE DB por AS3216:
...
Observaciones: las funciones internas solo se asignan internamente.
observaciones: están en el rango 3216 :font>3216: 4999 y 3216: 6000-3216: 65535
observaciones: y siempre se eliminan de las actualizaciones entrantes en el borde
Observaciones: enrutadores.
...
Hacia Rostelecom (http://lg.ip.rt.ru) Mail.RU Group ofrece rutas similares con la comunidad 12389: 8350.
Conclusión de LG Rostelecom94.100.176.0/20 vía 217.107.65.1 en eth0.9 [sr2 2019-06-13] * (100 /?) [AS47764i]
Tipo: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
Comunidad BGP: (12389.1) (12389.1100) (12389.1105) (12389.1277) (12389.8350) (12389.8380) (47764.1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17
De acuerdo con las entradas en RIPE DB para el objeto as12389, esta comunidad significa "no anunciar en la red as3216":
...
observaciones: | 12389: 835y Cuando se anuncia a GoldenTelecom (AS3216) |
...
observaciones: | ... y = 0 - no anunciar |
...
Del mismo modo, hacia MTS (http://lg.mtu.ru):
Conclusión de LG MTSEntrada de tabla de enrutamiento BGP para 94.100.176.0/20, versión 161717219
Rutas: (2 disponibles, mejor # 1, tabla predeterminada)
Ruta múltiple: eBGP
Anunciado para actualizar grupos:
6 6
47764, (recibido y usado)
195.34.52.77 (métrica 16) desde 195.34.52.181 (195.34.52.181)
Origen IGP, métrica 0, localpref 140, válido, interno, mejor
Comunidad: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Originador: 195.34.52.77, Lista de grupos: 83.59.83.59
47764, (recibido y usado)
195.34.52.77 (métrica 16) desde 195.34.52.182 (195.34.52.182)
Origen IGP, métrica 0, localpref 140, válido, interno
Comunidad: 8359: 2120 8359: 2150 8359: 5500 8359: 55277
Originador: 195.34.52.77, Lista de grupos: 83.59.2.77
La comunidad 8359: 2120 significa:
...
observaciones: 8359: 212x al anunciar a Sovam (Beeline)
...
observaciones: x = 0 - no anunciar
...
No puede mirar los anuncios de Mail.RU Group hacia Megafon; este último no tiene Looking Glass.
Veamos AS47541 (VKONTAKTE-SPB-AS).
La conclusión es demasiado grande. Router: a9922-e-5 Command: show ip bgp 81.211.56.202 Last switch-over Thu Apr 5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago Fri Jun 14 10:34:20.791 MSK BGP routing table entry for 81.211.0.0/17 Versions: Process bRIB/RIB SendTblVer Speaker 913059757 913059757 Last Modified: May 21 05:20:38.536 for 1y03w Paths: (6 available, best
AS-PATH apunta a AS174 - Cogent (enlace ascendente Mail.RU, Tier1), luego AS6762 - Telecom Italia (enlace ascendente Vimpelcom). Preferencia local en todas partes 150, pero en todas las articulaciones externas, independientemente de las
políticas escritas .
Veamos el AS47542 (VKONTAKTE-MSK-CDN-AS).
Router: mx960-m9-0 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.222 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.251 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
Y desde el segundo enrutador:
Router: mx960-m9-1 Command: op lg-sh-bgp prefix 81.211.56.202 0.0.0.0/0 LP:151 MED: NH:87.240.191.224 AS path: 47541 I Communities: Accepted Best 0.0.0.0/0 LP:151 MED: NH:95.142.204.250 AS path: 47541 I Communities: Accepted Inactive-reason: Interior > Exterior > Exterior via Interior
Solo rutas predeterminadas (0.0.0.0/0). Esta situación fue explicada por un empleado de la
codicia de Mail.RU Group, por lo que agradece. En resumen: el segmento de Moscú de la red VKontakte está almacenando en caché (en lugar de generar), cuya tarea es optimizar la velocidad de descarga de contenido popular y demandado. Cuidar a los usuarios, sí.
Si no hay una ruta a ninguna red, los servidores de caché no sirven esta red. Por lo tanto, la optimización de la velocidad de descarga no funciona y los usuarios sufren. Pero aquí es necesario enfatizar: los usuarios no solo son suyos, sino también VimpelCom.
Conclusiones:- Desde Vimpelcom, el tráfico hacia Mail.RU Group se distribuye naturalmente. No se detectaron redireccionamientos artificiales a través de manipulaciones de preferencias locales
- Por parte del Grupo Mail.RU, hay manipulaciones con los prefijos de Vimpelcom . En las rutas existentes hacia la red Vimpelcom a través de operadores rusos, las prioridades se subestiman en comparación con las rutas a través de operadores extranjeros Tier1.
- Se han agregado gerentes de la comunidad BGP a las rutas transferidas a los operadores rusos (MTS, Rostelecom, RETN.NET) del grupo Mail.RU para restringir su distribución a Vimpelcom
¿Por qué Mail.RU Group prioriza las rutas por Europa? ¿Por qué Mail.RU Group prohíbe una conexión doméstica corta con Vimpelcom?
¿Es más barato para ellos? ¿Dirigir el tráfico a través de canales extranjeros y pagar moneda a tirvans?
¿O hay un deseo de alejar el tráfico para que no sea tan conveniente tomarlo, eh?
Esto es desconocido para el ingeniero de redes ...
Resultados espirales:17/06/2019 Se plantearon sesiones BGP entre Vimpelcom y Mail.RU Group:
AS47764 (Mail.RU):
AS47541 (Vk):
AS47542 (Vk CDN):
Quien inició el levantamiento de las sesiones es desconocido.