A Internet parece ser uma estrutura forte, independente e indestrutível. Em teoria, a força da rede é suficiente para sobreviver a uma explosão nuclear. Na realidade, a Internet pode derrubar um pequeno roteador. Tudo devido ao fato de a Internet ser um monte de contradições, vulnerabilidades, erros e vídeos sobre gatos. A base da Internet - BGP - contém muitos problemas. É incrível que ele ainda esteja respirando. Além dos erros na própria Internet, todos os outros estão quebrando: grandes provedores de Internet, corporações, estados e ataques DDoS. O que fazer com isso e como viver com isso?
Alexey Uchakin (
Night_Snake ), líder da equipe de engenheiros de rede da IQ Option, sabe a resposta. Sua principal tarefa é a acessibilidade da plataforma para os usuários. Ao decifrar o relatório de Alexey no
Saint HighLoad ++ 2019, falaremos sobre BGP, ataques DDOS, desconexão da Internet, erros de provedor, descentralização e casos em que um pequeno roteador enviou a Internet para dormir. No final - algumas dicas sobre como sobreviver a tudo isso.
O dia em que a internet quebrou
Vou dar apenas alguns incidentes quando a conectividade quebrou na Internet. Isso será suficiente para a imagem completa.
"Incidente com o AS7007 .
" A primeira vez que a Internet quebrou em abril de 1997. Houve um erro no software de um roteador do sistema autônomo 7007. Em algum momento, o roteador anunciou aos vizinhos sua tabela de roteamento interna e enviou metade da rede ao buraco negro.
Paquistão x YouTube . Em 2008, os bravos caras do Paquistão decidiram bloquear o YouTube. Eles fizeram isso tão bem que metade do mundo ficou sem selos.
“Captura de prefixos VISA, MasterCard e Symantec pela Rostelecom .
” Em 2017, a Rostelecom anunciou por engano os prefixos VISA, MasterCard e Symantec. Como resultado, o tráfego financeiro passou por canais que o provedor controla. O vazamento não durou muito, mas as empresas financeiras eram desagradáveis.
Google v. Japão . Em agosto de 2017, o Google começou a anunciar os prefixos dos grandes provedores japoneses NTT e KDDI em parte de seus uplinks. O tráfego foi para o Google como trânsito, provavelmente por engano. Como o Google não é um provedor e não permite tráfego de trânsito, uma parte significativa do Japão fica sem a Internet.
"O DV LINK capturou os prefixos do Google, Apple, Facebook, Microsoft .
" No mesmo 2017, o provedor russo DV LINK, por algum motivo, começou a anunciar a rede do Google, Apple, Facebook, Microsoft e alguns outros grandes players.
"O eNet dos EUA pegou os prefixos AWS Route53 e MyEtherwallet .
" Em 2018, um provedor de Ohio ou um de seus clientes anunciou a rede Amazon Route53 e a carteira criptográfica MyEtherwallet. O ataque foi bem-sucedido: apesar do certificado autoassinado, um aviso sobre o qual o usuário apareceu ao entrar no site MyEtherwallet, muitas carteiras sequestraram e roubaram parte da criptomoeda.
Só houve 2017 mais de 14.000 incidentes desse tipo! A rede ainda está descentralizada, de modo que nem todos e nem todos se decompõem. Mas os incidentes acontecem aos milhares e estão todos conectados ao protocolo BGP, no qual a Internet funciona.
BGP e seus problemas
O
protocolo BGP - Border Gateway Protocol , foi descrito pela primeira vez em 1989 por dois engenheiros da IBM e Cisco Systems em três "guardanapos" - folhas A4. Esses
"guardanapos" ainda estão na sede da Cisco Systems em São Francisco como uma relíquia do mundo das redes.
O protocolo é baseado na interação de sistemas autônomos - Sistemas Autônomos ou de forma abreviada - AS. Um sistema autônomo é apenas um ID ao qual as redes IP são atribuídas no registro público. Um roteador com esse ID pode anunciar essas redes para o mundo. Assim, qualquer rota na Internet pode ser representada como um vetor chamado
AS Path . Um vetor consiste em números de sistema autônomo que devem ser concluídos para alcançar uma rede de destino.
Por exemplo, existe uma rede de vários sistemas autônomos. Você precisa passar do sistema AS65001 para o sistema AS65003. O caminho de um sistema é representado por AS Path no diagrama. Consiste em duas autonomias: 65002 e 65003. Para cada endereço de destino, existe um vetor AS Path, que consiste no número de sistemas autônomos pelos quais precisamos passar.
Então, quais são os problemas com o BGP?
BGP é um protocolo de confiança
Protocolo BGP - baseado em confiança. Isso significa que, por padrão, confiamos no próximo. Esse é um recurso de muitos protocolos que foram desenvolvidos no início da Internet. Vamos descobrir o que significa "confiança".
Nenhuma autenticação de vizinho . Formalmente, existe o MD5, mas o MD5 em 2019 - bem, isso é ...
Sem filtragem . O BGP possui filtros e eles são descritos, mas não são usados ou são usados incorretamente. Vou explicar o porquê mais tarde.
É muito simples estabelecer um bairro . Configurações de vizinhança no protocolo BGP em quase qualquer roteador - algumas linhas de configuração.
Os direitos de gerenciamento do BGP não são necessários . Não há necessidade de fazer exames para confirmar suas qualificações. Ninguém tirará os direitos de configurar o BGP enquanto estiver bêbado.
Dois problemas principais
Seqüestro de prefixo - seqüestro de prefixo . O seqüestro de prefixo é o anúncio de uma rede que não pertence a você, como é o caso do MyEtherwallet. Pegamos alguns prefixos, concordamos com o provedor ou o hackeamos e, por meio dele, anunciamos essas redes.
Vazamentos da rota - vazamentos da rota . Vazamentos são um pouco mais complicados.
Vazamento é uma alteração no caminho AS . Na melhor das hipóteses, a alteração levará a um atraso maior, pois você precisará seguir o caminho por um link mais longo ou menos amplo. Na pior das hipóteses, com Google e Japão.
O próprio Google não é um operador nem um sistema autônomo de trânsito. Mas quando ele anunciou ao seu provedor uma rede de operadoras japonesas, o tráfego no Google via AS Path foi visto como mais prioritário. O tráfego foi para lá e caiu apenas porque as configurações de roteamento no Google são mais complicadas do que apenas filtros na fronteira.
Por que os filtros não funcionam?
Ninguém se importa . Esse é o principal motivo - todo mundo não se importa. O administrador de um pequeno provedor ou empresa que se conectou ao provedor via BGP pegou o MikroTik, configurou o BGP e nem sabe que é possível configurar filtros.
Erros de configuração . Eles estreou algo, cometeu um erro na máscara, colocou a malha errada - e agora, novamente, um erro.
Não há possibilidade técnica . Por exemplo, os provedores de comunicação têm muitos clientes. De maneira inteligente, você deve atualizar automaticamente os filtros para cada cliente - verifique se ele tem uma nova rede, se ele alugou sua rede para alguém. Acompanhar isso é difícil, com as mãos é ainda mais difícil. Portanto, eles simplesmente colocam filtros relaxados ou não colocam nenhum filtro.
Exceções Há exceções para clientes amados e grandes. Especialmente no caso de juntas entre operadores. Por exemplo, TransTeleCom e Rostelecom têm um monte de redes e uma junção entre elas. Se a junta se deitar, não será bom para ninguém, portanto os filtros relaxam ou removem completamente.
Informações desatualizadas ou irrelevantes na TIR . Os filtros são criados com base nas informações registradas no
IRR - Internet Routing Registry . Estes são registros de registradores regionais da Internet. Frequentemente, nos registros, informações desatualizadas ou irrelevantes ou todas juntas.
Quem são esses registradores?
Todos os endereços da Internet pertencem à
IANA - Autoridade de números atribuídos à Internet . Quando você compra uma rede IP de alguém, não compra endereços, mas o direito de usá-los. Os endereços são um recurso intangível e, de comum acordo, todos eles pertencem à agência da IANA.
O sistema funciona assim. A IANA delega o gerenciamento de endereços IP e números de sistemas autônomos em cinco registradores regionais. Eles emitem sistemas autônomos para
LIR - registradores locais da Internet . Em seguida, os LIRs alocam endereços IP para os usuários finais.
A desvantagem do sistema é que cada um dos registradores regionais mantém seus próprios registros à sua maneira. Todos têm suas próprias opiniões sobre quais informações devem estar contidas nos registros, quem deve ou não verificá-las. O resultado é uma bagunça, que é agora.
De que outra forma você pode lidar com esses problemas?
A TIR é de qualidade medíocre . Com a TIR, fica claro - tudo está ruim lá.
Comunidades BGP . Este é um atributo que é descrito no protocolo. Por exemplo, podemos anexar uma comunidade especial ao nosso anúncio para que um vizinho não envie nossas redes a seus vizinhos. Quando temos um link P2P, apenas trocamos nossas redes. Para que o percurso não aconteça acidentalmente em outras redes, desligamos a comunidade.
A comunidade não é transitiva . Este é sempre um contrato para dois, e essa é a sua desvantagem. Não podemos conviver com nenhuma comunidade, exceto uma que é aceita por padrão por todos. Não podemos ter certeza de que essa comunidade será aceita e interpretada corretamente por todos. Portanto, na melhor das hipóteses, se você concorda com o seu uplink, ele entenderá o que você quer dele na comunidade. Mas o vizinho pode não entender, ou o operador simplesmente redefinirá sua marca e você não alcançará o que queria.
O RPKI + ROA resolve apenas uma pequena parte dos problemas . RPKI é uma
infraestrutura de chave pública de recursos - uma estrutura especial para assinar informações de roteamento. É uma boa idéia fazer com que os LIRs e seus clientes mantenham um banco de dados atualizado do espaço de endereço. Mas há um problema com ele.
O RPKI também é um sistema hierárquico de chave pública. A IANA possui uma chave a partir da qual as chaves RIR são geradas e, a partir delas, as chaves LIR? com o qual eles assinam seu espaço de endereço usando ROAs - Autorizações de origem de rota:
"Garanto que esse prefixo será anunciado em nome dessa autonomia."Além do ROA, existem outros objetos, mas sobre eles de alguma forma mais tarde. Parece que a coisa é boa e útil. Mas isso não nos protege contra vazamentos da palavra "completamente" e não resolve todos os problemas com prefixos de seqüestro. Portanto, os jogadores não têm pressa em implementá-lo. Embora já existam garantias de grandes players, como AT&T e IXs grandes, os prefixos com um registro ROA inválido caem.
Talvez eles façam isso, mas até agora temos um grande número de prefixos que não são assinados. Por um lado, não está claro se eles são anunciados validamente. Por outro lado, não podemos descartá-los por padrão, porque não temos certeza se isso está correto ou não.
O que mais existe?
BGPSec . Isso é uma coisa legal que os acadêmicos criaram para a rede de pôneis cor de rosa. Eles disseram:
- Temos o RPKI + ROA - um mecanismo para certificação da assinatura do espaço de endereço. Vamos pegar um atributo BGP separado e chamá-lo de Caminho BGPSec. Cada roteador assinará com a assinatura os anúncios que anuncia aos vizinhos. Portanto, obtemos o caminho confiável da cadeia de anúncios assinados e podemos verificá-lo.Em teoria, é bom, mas na prática há muitos problemas. O BGPSec quebra muitas mecânicas existentes do BGP escolhendo o salto seguinte e gerenciando o tráfego de entrada / saída diretamente no roteador. O BGPSec não funciona até que 95% de todos os participantes do mercado o introduzam, o que por si só é uma utopia.
O BGPSec tem enormes problemas de desempenho. No hardware atual, a velocidade de verificação dos anúncios é de cerca de 50 prefixos por segundo. Para comparação: a tabela atual da Internet de 700.000 prefixos será preenchida por 5 horas, e será alterada outras 10 vezes.
Política aberta do BGP (BGP baseado em função) . Nova oferta baseada no modelo
Gao Rexford . Estes são dois cientistas envolvidos na pesquisa do BGP.
O modelo Gao Rexford é o seguinte. Para simplificar, no caso do BGP, há um pequeno número de tipos de interações:
- Cliente Fornecedor;
- P2P;
- interação interna, por exemplo, iBGP.
Com base na função do roteador, já é possível definir determinadas políticas de importação / exportação por padrão. O administrador não precisa configurar listas de prefixos. Com base na função que os roteadores concordam e que podem ser configurados, já obtemos alguns filtros padrão. Agora, este é um rascunho que está sendo discutido na IETF. Espero que em breve vejamos isso na forma de RFC e implementação em hardware.
Grandes provedores de serviços de Internet
Considere o exemplo de um provedor
CenturyLink . Este é o terceiro maior fornecedor dos EUA, que atende 37 estados e possui 15 data centers.
Em dezembro de 2018, a CenturyLink estava no mercado dos EUA por 50 horas. Durante o incidente, houve problemas com a operação de caixas eletrônicos em dois estados; o 911 não funcionou por várias horas em cinco estados. A loteria de Idaho foi rasgada em pedaços. A Comissão de Telecomunicações dos EUA está atualmente investigando o incidente.
O motivo da tragédia está em uma placa de rede em um data center. O cartão falhou, enviou pacotes incorretos e todos os 15 data centers do provedor foram desativados.
Para esse provedor, a idéia de
"grande demais para cair" não funcionou. Essa ideia não funciona. Você pode pegar qualquer jogador importante e dar uma pitada. Nos EUA, tudo ainda é bom com a conexão. Os clientes da CenturyLink que tinham uma reserva entraram em massa. Em seguida, operadores alternativos reclamaram da sobrecarga de seus links.
Se o Kazakhtelecom condicional estiver, o país inteiro ficará sem a Internet.
Corporações
Provavelmente no Google, Amazon, FaceBook e outras empresas estão conectados à Internet? Não, eles também quebram.
Em 2017, em São Petersburgo, na conferência ENOG13,
Jeff Houston, da
APNIC, apresentou o
relatório "Morte do trânsito" . Diz que estamos acostumados ao fato de que a interação, os fluxos de caixa e o tráfego da Internet são verticais. Temos pequenos fornecedores que pagam pela conectividade com os maiores e aqueles que já pagam pela conectividade ao trânsito global.
Agora temos uma estrutura verticalmente orientada. Tudo ficaria bem, mas o mundo está mudando - grandes players estão construindo seus cabos transoceânicos para construir seus próprios backbones.
Notícias sobre o cabo CDN.Em 2018, a TeleGeography divulgou um estudo que mais da metade do tráfego na Internet não é mais a Internet, mas a espinha dorsal dos principais players. Esse é o tráfego relacionado à Internet, mas não é a mesma rede da qual falamos.
A Internet está se dividindo em uma ampla gama de redes pouco acopladas.
A Microsoft tem sua própria rede, o Google, e eles se sobrepõem fracamente. O tráfego originado em algum lugar nos EUA passa pelos canais da Microsoft através do oceano para a Europa em algum lugar em uma CDN, depois se conecta ao seu provedor via CDN ou IX e chega ao seu roteador.
A descentralização desaparece.
Essa força da Internet, que o ajudará a sobreviver à explosão nuclear, está perdida. Existem locais de concentração de usuários e tráfego. Se o Google Cloud condicional estiver, haverá muitas vítimas ao mesmo tempo. Em parte, sentimos isso quando Roskomnadzor bloqueou a AWS. E com o exemplo do CenturyLink, fica claro que há detalhes suficientes para isso.
Anteriormente, nem todos e nem todos quebravam. No futuro, podemos chegar à conclusão de que, ao influenciar um grande ator, você pode quebrar muitas coisas, muitas onde e muitas com quem.
Estados
Os estados são os próximos na fila, e geralmente acontece com eles.
Aqui, nosso Roskomnadzor nunca é pioneiro. Uma prática semelhante de desligamento da Internet é no Irã, Índia e Paquistão. Na Inglaterra, existe um projeto de lei sobre a possibilidade de desconectar a Internet.
Qualquer estado grande quer ter um interruptor para desligar a Internet, no todo ou em partes: Twitter, Telegram, Facebook. Eles não entendem que nunca terão sucesso, mas realmente querem. Um interruptor de faca é usado, via de regra, para fins políticos - para eliminar concorrentes políticos, eleições no nariz, ou hackers russos novamente quebraram alguma coisa.
Ataques DDoS
Não pegarei o pão dos camaradas do Qrator Labs, eles fazem isso muito melhor do que eu. Eles têm um
relatório anual sobre estabilidade da Internet. E aqui está o que eles escreveram no relatório para 2018.
A duração média dos ataques DDoS cai para 2,5 horas . Os atacantes também começam a contar dinheiro e, se o recurso não diminui imediatamente, é rapidamente deixado sozinho.
A intensidade dos ataques está aumentando . Em 2018, vimos 1,7 TB / s na rede Akamai, e esse não é o limite.
Novos vetores de ataque aparecem e antigos amplificam . Aparecem novos protocolos sujeitos a amplificação, novos ataques aparecem em protocolos existentes, especialmente TLS e similares.
A maior parte do tráfego é de dispositivos móveis . Ao mesmo tempo, o tráfego da Internet é transferido para clientes móveis. Com isso, você precisa ser capaz de trabalhar tanto para os que atacam quanto para os que se defendem.
Invulnerável - não . Essa é a idéia principal - não há proteção universal que não proteja exatamente contra nenhum DDoS.
O sistema não pode ser instalado apenas se não estiver conectado à Internet.
Espero ter assustado você o suficiente. Vamos agora pensar no que fazer com isso.
O que fazer ?!
Se você tem tempo livre, desejo e conhecimento de inglês - participe de grupos de trabalho: IETF, RIPE WG. São listas de discussão abertas, assinam boletins, participam de discussões, vêm a conferências. Se você tiver status LIR, poderá votar, por exemplo, no RIPE em várias iniciativas.
Para meros mortais, isso é
monitoramento . Para saber o que está quebrado.
Monitoramento: o que verificar?
Ping normal , e não apenas uma verificação binária - funciona ou não. Escreva RTT no histórico para assistir a anomalias posteriormente.
Traceroute . Este é um programa utilitário para determinar caminhos de dados em redes TCP / IP. Ajuda a detectar anormalidades e bloqueios.
O HTTP verifica as URLs personalizadas e os certificados TLS ajudarão a detectar bloqueio ou falsificação de DNS para um ataque, que é quase o mesmo. Os bloqueios geralmente são realizados falsificando o DNS e agrupando o tráfego em uma página de stub.
Se possível, verifique com seus clientes a resolução de sua origem de diferentes lugares, se você tiver um aplicativo. Então você encontrará anomalias de interceptação de DNS, que os fornecedores às vezes pecam.
Monitoramento: onde verificar?
Não há resposta universal. Verifique de onde o usuário vem. Se os usuários estiverem na Rússia, verifique na Rússia, mas não se limite a isso. Se seus usuários moram em regiões diferentes, verifique essas regiões. Mas melhor de todo o mundo.
Monitoramento: como verificar?
Eu vim com três maneiras. Se você souber mais - escreva nos comentários.
- Atlas RIPE.
- Monitoramento comercial.
- Rede própria de virtualoks.
Vamos falar sobre cada um deles.
O RIPE Atlas é uma caixa tão pequena. Para quem conhece o “Inspetor” doméstico - esta é a mesma caixa, mas com um adesivo diferente.
RIPE Atlas é um programa gratuito . Você se registra, recebe um roteador por correio e o conecta à rede. Pelo fato de outra pessoa tirar proveito do seu colapso, você receberá alguns empréstimos. Para esses empréstimos, você mesmo pode realizar algumas pesquisas. Você pode testar de diferentes maneiras: ping, traceroute, verificação de certificados. A cobertura é bastante grande, muitos nós. Mas existem nuances.
O sistema de crédito não permite construir soluções de produção . Empréstimos para pesquisas em andamento ou monitoramento comercial não são suficientes. Os créditos são suficientes para um pequeno estudo ou verificação única. A taxa diária de uma amostra é consumida por 1-2 cheques.
A cobertura é desigual . Como o programa é gratuito nas duas direções, a cobertura é boa na Europa, na parte européia da Rússia e em algumas regiões. Mas se você precisa da Indonésia ou da Nova Zelândia, tudo está muito pior - 50 amostras por país podem não ser coletadas.
Você não pode verificar http da amostra . Isto é devido a nuances técnicas. , http . . - http check RIPE Atlas, Anchor.
— . , ? , « ». , , .
, . , http- . — .
. — , , . .
custom- . - , «» url, .
— . : « !»
, . , , — , ? . , . , -, .
BGP- DDoS-
.
BGP- QRadar, BGPmon . full view- . , , , . — , , .
DDoS- . ,
NetFlow-based .
FastNetMon ,
Splunk . DDoS-. NetFlow .
— . , 14 2017 , .
— . , , . , , « ».
— , , : , , CDN. — -, . , , .
Só isso. .
, HighLoad++ Siberia 2019 . , , . , , . 24 25 . !