Olá Habr!
Este ano, ao escrever o documento final sobre o trabalho da empresa, decidimos recusar a recontagem das notícias e, embora não pudéssemos nos livrar completamente das lembranças do que aconteceu, gostaríamos de compartilhar com você o que conseguimos fazer - reunir pensamentos e voltar os olhos para para onde certamente nos encontraremos em um futuro muito próximo - no momento.
Sem mais delongas, as principais conclusões do ano passado:
- A duração média dos ataques DDoS caiu para 2,5 horas;
- O ano de 2018 mostrou a presença de poder computacional capaz de gerar ataques com intensidade de centenas de gigabits por segundo em um país ou região, levando-nos à beira da "teoria quântica da relatividade da largura de banda" ;
- A intensidade dos ataques DDoS continua a crescer;
- Juntamente com o aumento simultâneo no compartilhamento de ataques usando HTTPS (SSL);
- Os computadores pessoais estão mortos - a maior parte do tráfego moderno é gerado em dispositivos móveis, representando um desafio para os organizadores de DDoS e o próximo desafio para as empresas de segurança de rede;
- O BGP finalmente se tornou um vetor de ataque, 2 anos depois do que esperávamos;
- A manipulação do DNS ainda é o vetor de ataque mais perturbador;
- Esperamos novos amplificadores no futuro, como memcached e CoAP;
- Não há mais "refúgios seguros" na Internet e todos os setores são igualmente vulneráveis a ataques cibernéticos de qualquer tipo.
De acordo com o corte, reunimos as partes mais interessantes do relatório em um só lugar, você pode encontrar a versão completa
aqui . Boa leitura.
Retrospectiva
A criptografia deixou de ser interessante para o atacanteEm 2018, nossa empresa "observou" dois ataques recordes em sua própria rede. Os ataques de amplificação do memcached, que descrevemos em detalhes no final de fevereiro de 2018, atingiram o sistema de pagamento Qiwi de 500 Gb / s, mas foram neutralizados com sucesso pela rede de filtragem. No final de outubro, vimos outro ataque histórico - a amplificação do DNS com fontes localizadas em um único país, mas com um poder sem precedentes.
A amplificação de DNS tem sido e continua sendo um dos mais famosos vetores de ataque DDoS no nível do link e ainda levanta duas questões importantes. No caso de um ataque com uma intensidade de centenas de gigabits por segundo, há uma probabilidade considerável de sobrecarregar a conexão com um provedor mais alto. Como lidar com isso? Obviamente, é necessário distribuir essa carga pelo maior número possível de canais - o que nos leva ao segundo problema - o atraso adicional da rede como resultado de alterações nos caminhos de tráfego para seus locais de processamento. Felizmente, também gerenciamos o segundo ataque, graças às opções flexíveis de balanceamento de carga na rede Qrator.
Foi assim que o balanceamento nos mostrou seu valor mais alto - desde que gerenciamos a rede BGP de qualquer transmissão, nosso Radar modela a distribuição do tráfego pela rede após alterar o modelo de balanceamento. O BGP é um protocolo de vetor de distância e entendemos bem os estados, porque o gráfico de distância permanece quase estático. Ao analisar essas distâncias, levando em consideração o LCP e o Multipath de custo igual, podemos pré-avaliar o caminho AS_p do ponto A ao ponto B com um alto grau de precisão.
Isso não significa que a amplificação seja a ameaça mais séria - não, os ataques no nível do aplicativo continuam sendo os mais bem-sucedidos, invisíveis e eficazes, já que a maioria deles é realizada em baixa intensidade da banda usada.
Esse é o principal motivo pelo qual nossa empresa melhora intransigentemente as conexões com as operadoras nos pontos de presença, enquanto aumenta seu número. Esse passo é lógico para qualquer operadora de rede no momento, desde que o negócio esteja crescendo. Mas continuamos a acreditar que a maioria dos atacantes primeiro coleta uma rede de bots e só depois começa a escolher a lista mais ampla de amplificadores disponíveis que podem ser atingidos de todas as armas possíveis na velocidade máxima de recarga. Esses ataques híbridos ocorrem há muito tempo, mas apenas recentemente sua intensidade, tanto em termos do número de pacotes por segundo quanto da largura de banda da rede envolvida, começou a crescer.
Ataques com intensidades acima de 100 Gbit / s agora são claramente visíveis nas estatísticas - isso não é mais ruídoAs
redes de bots desenvolveram-se significativamente em 2018, e seus proprietários criaram uma nova atividade -
clickfraud . Com o aprimoramento das tecnologias de aprendizado de máquina e a entrada nas mãos de navegadores sem cabeça que funcionam sem uma GUI, o clickfraud tornou-se muito mais fácil e barato - em apenas dois anos.
Hoje, o site médio recebe de 50% a 65% do tráfego de dispositivos móveis, navegadores e aplicativos. Para alguns serviços de rede, esse compartilhamento pode atingir até 90% ou até 100%, enquanto os sites exclusivamente "desktop" praticamente não existem mais, a menos que sejam dentro de ambientes corporativos ou na forma de casos altamente especializados.
De fato, os computadores pessoais desapareceram do pico do cenário da rede em 2019, tornando algumas técnicas bem-sucedidas no passado, como rastrear a posição do mouse, completamente inoperante para filtrar o tráfego e proteger contra bots. De fato, não apenas os computadores pessoais, mas a maioria dos laptops e caixas multifuncionais raramente são a fonte de uma parcela significativa de visitas à página, tornando-se facilmente uma arma. Ao mesmo tempo, uma simples negação de acesso a qualquer coisa que representasse incorretamente um navegador móvel até recentemente era suficiente para neutralizar ataques de botnets quase completamente, nivelando o efeito negativo das principais métricas de negócios para zero.
Os criadores e gerentes de botnets já estão acostumados a implementar práticas que imitam o comportamento de visitantes reais da página em seu próprio código malicioso, assim como os proprietários de páginas da web estão acostumados ao fato de que os navegadores nos computadores pessoais são importantes. Ambos são modificados, enquanto o primeiro é mais rápido que o último.
Já declaramos que nada mudou em 2018, mas o progresso e as próprias mudanças passaram por uma evolução significativa. Um dos exemplos mais impressionantes é o aprendizado de máquina, onde melhorias e progresso foram claramente visíveis, especialmente no campo das redes competitivas entre gerações. Lenta mas seguramente, a ML está chegando ao mercado de massa. O aprendizado de máquina já se tornou bastante acessível e, como mostrou a fronteira de 2018 e 2019, não é mais um setor limitado aos acadêmicos.
Embora esperássemos o aparecimento dos primeiros ataques DDoS baseados em ML até o início de 2019, isso ainda não aconteceu. No entanto, isso não altera nossas expectativas, mas apenas as alimenta, especialmente devido ao custo decrescente do gerenciamento de redes neurais e à precisão cada vez maior de suas análises.
Por outro lado, se considerarmos o estado atual da indústria de “indivíduos humanos automatizados”, fica claro que a implementação de uma rede neural nesse projeto é uma ideia potencialmente inovadora. Essa rede pode aprender com o comportamento de pessoas reais no contexto de gerenciamento de páginas da web. Tal coisa será chamada de “experiência do usuário de inteligência artificial” e, é claro, uma rede semelhante armada com um navegador da Web pode expandir o arsenal de ambos os lados: atacar e defender.
Treinar uma rede neural é um processo caro, mas distribuir e terceirizar esse sistema pode ser barato, eficiente e potencialmente gratuito - no caso em que códigos maliciosos estão ocultos em aplicativos, extensões e muito mais. Potencialmente, essa mudança poderia mudar todo o setor da mesma maneira que as redes competitivas entre gerações transformaram nossa compreensão de "realidade visual" e "autenticidade".
Dada a corrida em andamento entre os mecanismos de busca - principalmente o Google e todos os outros que estão tentando fazer uma engenharia reversa, as coisas podem chegar a coisas fantásticas, como imitar uma única pessoa específica por um bot. Normalmente sentado em um computador vulnerável. As versões do projeto Captcha e ReCaptcha podem servir como um exemplo de quão rápido e fortemente o lado atacante se desenvolve e aprimora suas próprias ferramentas e técnicas de ataque.
Após o memcached, houve muita discussão sobre a probabilidade (ou improbabilidade) de uma classe completamente nova de armas para DDoS - uma vulnerabilidade, um bot, um serviço configurado incorretamente ou algo mais que enviaria dados para um alvo específico escolhido pelo atacante sem fim. Um comando do invasor causa um fluxo contínuo de tráfego, como qualquer inundação ou envio de syslog. No momento, isso é uma teoria. Ainda não podemos dizer se existem servidores, dispositivos, mas se a resposta a essa pergunta for afirmativa, será uma subestimação da situação dizer que uma coisa dessas pode se tornar uma arma incrivelmente perigosa em mãos más.
Em 2018, também vimos um interesse crescente no que é chamado de "governança da Internet" e serviços relacionados de estados e organizações sem fins lucrativos em todo o mundo. Somos neutros em relação a esse desenvolvimento de eventos até o momento em que começa a supressão das liberdades civis e individuais fundamentais, que esperamos que não ocorra nos países desenvolvidos.
Finalmente, após anos coletando e analisando o tráfego de ataques em todo o mundo, o Qrator Labs está pronto para implementar o bloqueio na primeira solicitação de rede. Os modelos que usamos para prever comportamentos maliciosos nos permitem determinar com precisão a legitimidade do usuário para cada página específica. Continuamos insistindo em nossa própria filosofia de logon sem barreiras para o usuário e experiência inextricável do usuário, sem verificações ou captcha de JavaScript, que começarão a funcionar ainda mais rapidamente a partir de 2019, oferecendo o mais alto nível de acessibilidade dos serviços protegidos.
A intensidade máxima da banda de ataque continua a aumentar constantemente.Mellanox
Nossa empresa selecionou switches 100G Mellanox como resultado de testes internos realizados ao longo de vários anos. Ainda selecionamos o equipamento que melhor atende aos nossos requisitos específicos em determinadas condições, da melhor maneira. Por exemplo, um comutador não deve descartar pacotes pequenos a uma taxa de linha - a velocidade máxima e até a degradação mínima são inaceitáveis. Além disso, os switches Mellanox têm um bom preço. No entanto, isso não é tudo - a imparcialidade do preço é confirmada pela maneira como um fornecedor específico responde às suas solicitações.
Os switches Mellanox são executados no Switchdev, que transforma suas portas em interfaces simples dentro do Linux. Fazendo parte do kernel principal do Linux, o Switchdev fornece uma maneira conveniente de gerenciar o dispositivo usando interfaces claras e familiares, sob uma API, que é absolutamente familiar para qualquer programador, desenvolvedor e engenheiro de rede moderno. Qualquer programa que usa a API de rede padrão do Linux pode ser executado em um switch. Todo o monitoramento e gerenciamento de atividades de rede criados para servidores Linux, incluindo possíveis soluções proprietárias, são facilmente acessíveis. Para ilustrar as alterações que ocorreram com o desenvolvimento ativo do Switchdev, observamos que a modificação das tabelas de roteamento se tornou muitas vezes mais rápida e conveniente com o Switchdev. Até o nível do chip de rede, todo o código é visível e transparente, o que permite que você aprenda e faça modificações até precisar saber como o próprio chip é construído ou, pelo menos, a interface externa para ele.
O dispositivo Mellanox executando o Switchdev acabou sendo a combinação esperada há tanto tempo, mas ainda melhor - a empresa de manufatura atendeu a todas as expectativas e requisitos, não apenas em matéria de suporte completo para um sistema operacional gratuito pronto para uso.
Testando o equipamento antes de colocá-lo em operação, descobrimos que parte do tráfego redirecionado está perdido. Nossa investigação mostrou que isso se devia ao fato de o tráfego para uma das interfaces ser enviado usando um processador de controle que não suportava seu alto volume. Não foi possível determinar a causa exata desse comportamento, no entanto, sugerimos que isso ocorreu devido ao processamento de redirecionamentos de ICMP. A Mellanox confirmou a origem do problema e, portanto, pedimos para fazer algo com esse comportamento do dispositivo, que a empresa respondeu instantaneamente, fornecendo uma solução funcional em pouco tempo.
Bom trabalho, Mellanox!
Protocolos e código aberto
O DNS sobre HTTPS é uma tecnologia mais abrangente que o DNS sobre TLS. Observamos como o primeiro prospera, enquanto o segundo é lentamente esquecido. Este exemplo é bom porque, neste caso específico, "complexidade" significa "eficiência", pois o tráfego do DoH é indistinguível de qualquer outro HTTPS. Já vimos o mesmo com a integração de dados RPKI, que foi inicialmente posicionada como uma solução anti-interceptação e, como resultado, nada de bom aconteceu com ela. Depois de algum tempo, o RPKI reapareceu em cena como uma ferramenta poderosa contra anomalias, como vazamentos de rotas e configurações de roteamento incorretas. E agora o ruído foi transformado em sinal, e o RPKI começou a ser suportado nos maiores pontos de troca de tráfego, o que é uma ótima notícia.
Chegou e TLS 1.3. O Qrator Labs, como todo o setor de TI, monitorou de perto o processo de desenvolvimento de um novo padrão de criptografia em todas as etapas, desde o rascunho inicial na IETF até um protocolo compreensível e gerenciável que estamos prontos para oferecer suporte a partir de 2019. O mercado reagiu da mesma forma, prometendo a implementação mais rápida de um protocolo de segurança confiável. É possível que nem todos os fabricantes de soluções de neutralização de DDoS consigam se adaptar à realidade alterada de maneira igualmente rápida, porque, devido à complexidade técnica do suporte ao protocolo, pode haver atrasos explicáveis no hardware.
Também estamos acompanhando o desenvolvimento contínuo do HTTP / 2. No momento, não oferecemos suporte à nova versão do protocolo HTTP, principalmente devido à imperfeição da base de código atual. Erros e vulnerabilidades ainda são encontrados com muita frequência no novo código; Como fornecedor de soluções de segurança, ainda não estamos prontos para oferecer suporte a este protocolo sob o SLA, com o qual nossos consumidores concordaram.
Em 2018, frequentemente nos perguntávamos: "Por que as pessoas querem tanto o HTTP / 2?", Qual foi a causa de numerosos debates ferozes. As pessoas ainda estão inclinadas a pensar nas coisas com o prefixo "2" como versões "melhores" de qualquer coisa, o que é especialmente verdade especificamente no caso de alguns aspectos da implementação deste protocolo. No entanto, o DoH recomenda o uso de HTTP / 2 e é bem possível que um alto grau de aceitação do mercado de ambos os protocolos surja dessa sinergia.
Uma das preocupações ao considerar o desenvolvimento de protocolos de próxima geração e suas capacidades planejadas é o fato de que muitas vezes os desenvolvimentos não vão além do nível puramente acadêmico, sem mencionar a consideração de casos extremos de criadores de protocolos, como a neutralização de ataques DDoS. Talvez essa seja a razão pela qual as empresas envolvidas em segurança cibernética e de informações estão se esforçando pouco para desenvolver esses padrões.
A Seção 4.4 do rascunho da IETF, intitulada “Gerenciabilidade do QUIC”, que faz parte do futuro pacote de protocolos do QUIC, é simplesmente um exemplo ideal dessa abordagem: afirma que “as práticas atuais de detecção e neutralização de [ataques DDoS] envolvem principalmente a medição passiva usando dados da camada de rede ". Este último é extremamente raramente usado na prática, exceto talvez para as redes de provedores de Internet e dificilmente é um "caso comum" na prática. No entanto, no trabalho de pesquisa acadêmica, "casos gerais" são formados dessa maneira, como resultado dos quais os padrões finais de protocolo simplesmente não são aplicáveis na produção, após a realização de manipulações simples antes do comissionamento, como teste sob carga e simulação de ataques no aplicativo, usando. Levando em consideração o processo contínuo de introdução do TLS na infraestrutura global da Internet, a afirmação de qualquer monitoramento passivo é geralmente seriamente questionada. Construir uma pesquisa acadêmica correta é outro teste para fornecedores de soluções de segurança em 2019.
Ao mesmo tempo, o Switchdev atendeu plenamente às expectativas estabelecidas há um ano. Esperamos que o trabalho contínuo no Switchdev leve a comunidade e o fruto comum do trabalho a excelentes resultados em um futuro próximo.
O desenvolvimento e implementação do Linux XDP ajudarão a indústria a obter alta eficiência no processamento de pacotes de rede. O envio de alguns padrões de filtragem de tráfego ilegítimo do processador central para o processador de rede e, em alguns casos, até o comutador, já parece promissor e nossa empresa continua sua própria pesquisa e desenvolvimento nessa área.
Mergulho profundo com bots
Muitas empresas estão ansiosas para obter proteção contra bots e, sem surpresa, vimos um grande número de diversos grupos de profissionais trabalhando em várias áreas desse problema em 2018. O que parece particularmente interessante para nós é que a maioria das empresas que geram essa demanda nunca sofreu um ataque DDoS direcionado, pelo menos típico, destinado a esgotar recursos finitos, como memória, processador ou canal de conexão de rede. Eles têm medo de bots, mas não podem distingui-los de usuários legítimos ou determinar o que exatamente estão fazendo. A maioria das fontes de tais recursos quer se livrar do sentimento de que pessoas não-vivas chegam às suas páginas.
O problema dos scanners bot e de muitas outras subespécies é um componente econômico muito importante. Se 30% do tráfego é ilegítimo e provém de fontes indesejadas, 30% dos custos de suporte a esse tráfego são jogados no lixo, de acordo com a lógica das despesas. Hoje, pode-se considerar isso como um inevitável "imposto da Internet" para as empresas. É quase impossível reduzir esse número a zero, mas os empresários querem ver esse percentual o mais baixo possível.
A identificação está se tornando um problema e desafio extremamente sério na Internet moderna, já que os bots mais avançados nem sequer tentam retratar uma pessoa - eles a gerenciam e estão no mesmo espaço, semelhante aos parasitas. Repetimos há muito tempo que qualquer informação disponível publicamente, sem autenticação e autorização, existe e, finalmente, terminará sua existência na forma de domínio público - ninguém pode impedir isso.
, . , — , , - . — , , , , . , — .
, , , , .
, , , . , , «» . — , , , , . , . , , - , .
, , 2018 , , , , . , . Qrator Labs , — , .
, 2018 , , . — , . , , . , — .
, , — «», . , , , — , . , , , , . , — - , .
, Qrator Labs , , , -. , , . , , , , javascript- DDoS. , , -.
, , . , — , , . , , : « ?» « ?» , - , , ? — , , , — .
2018 , , -. , , , - … CPA , -, , , .
— . , . , — ; , «» , , , .
Clickhouse
Qrator : , , , , . IP-.
, , .
Clickhouse. , IP- , Clickhouse. ( DDoS- 500 / ) , Qrator Labs. DDoS- , , .
Clickhouse DB . , , - . DDoS-, .
Clickhouse, , , — , , , . , !
Conclusão
Há muito tempo, vivemos em um mundo de ataques multifatoriais que exploram as capacidades de ataque de vários protocolos de uma só vez para tirar o alvo de um estado saudável.
A higiene digital e as medidas de segurança relevantes devem cobrir, de fato, cerca de 99% dos riscos existentes que um usuário comum pode encontrar, exceto, talvez, por ataques altamente especializados em alvos específicos.
Por outro lado, na Internet moderna, existem tubarões que podem morder a acessibilidade de estados inteiros. Isso não se aplica ao BGP, onde é possível pagar apenas alguns pontos em qualquer mapa que um atacante queira desenhar.
O nível de conhecimento sobre segurança de rede continua a crescer. No entanto, se você observar os números associados ao número de amplificadores nas redes ou procurar a possibilidade de solicitações falsas - o número de serviços e servidores vulneráveis não diminui. A taxa diária em que os jovens adquirem conhecimento sobre habilidades de programação e gerenciamento de redes de computadores não corresponde ao tempo necessário para obter experiência relevante na vida real. A confiança de que novas vulnerabilidades não são lançadas com novos produtos leva muito tempo e, o que é mais importante - dói.
Uma das descobertas mais surpreendentes do ano passado foi que a maioria das pessoas espera muito mais das novas tecnologias do que elas podem fornecer. Nem sempre foi esse o caso, mas agora estamos testemunhando uma tendência crescente para as pessoas "exigirem mais", independentemente dos recursos de software e, principalmente, de hardware. Isso nos leva a um mundo de campanhas de marketing bastante perversas. Mas as pessoas, no entanto, continuam a "comprar promessas" e as empresas, por sua vez, sentem-se obrigadas a cumpri-las.
Talvez essa seja a essência do progresso e da evolução. Agora, muitos estão preocupados com o fato de não receberem uma "garantia" e com os quais os fundos foram pagos. Devido à impossibilidade de comprar "completamente" um dispositivo do fabricante, muitos dos problemas atuais estão aumentando, mas o custo dos serviços "gratuitos" pode se tornar fabuloso se você considerar o custo acumulado dos dados recebidos de um usuário por uma grande rede social que não exige pagamento.
O consumismo nos diz que se realmente queremos algo, então, finalmente, pagaremos com nossas próprias vidas. Realmente precisamos de produtos e serviços semelhantes que se aprimorem apenas para nos oferecer “ofertas aprimoradas” com base nos dados que coletamos sobre nós, gostemos ou não? No entanto, este parece ser o futuro próximo, como os casos com Equifax e Cambridge Analytica nos mostraram recentemente. Não é de surpreender que exista um “big bang” à nossa frente no uso de dados pessoais e outros relacionados à vida individual de todos.
Após dez anos de trabalho, não alteramos os principais fundamentos sobre a arquitetura da Internet. Essa é a razão pela qual continuamos desenvolvendo a rede de filtragem Bcast anycast com a capacidade de processar tráfego criptografado dessa forma, evitando captcha e outros obstáculos inesperados para um usuário legítimo.
Observando o que continua acontecendo com especialistas na área de segurança cibernética, bem como com empresas nesse campo, queremos mais uma vez repetir o óbvio: uma abordagem ingênua, simples e rápida não é aplicável.
Portanto, o Qrator Labs não possui centenas ou mesmo dezenas de pontos de presença comparáveis aos CDNs. Ao gerenciar menos centros de filtragem, cada um dos quais conectado a provedores de serviços de Internet de uma classe não inferior ao Nível 1, obtemos uma descentralização real. Pelo mesmo motivo, não estamos tentando criar nosso próprio firewall, que é uma tarefa de um nível completamente diferente daquele em que estamos trabalhando - conectividade.
Ao longo dos anos, dissemos que, no final, nem a verificação captcha nem o javascript funcionariam, e aqui estamos em 2019, quando as redes neurais se tornaram altamente eficazes na solução do primeiro, e o último nunca representou um problema para o atacante com o cérebro.
Gostaria de observar mais uma mudança interessante no limite do tempo: os ataques DDoS há muito tempo são um problema sério apenas para um número limitado de setores de negócios, geralmente aqueles onde o dinheiro oscila na superfície: comércio eletrônico, comércio e câmbio, sistemas bancários e de pagamento. Mas, com o desenvolvimento contínuo da Internet, estamos vendo ataques DDoS de maior intensidade e frequência em absolutamente todas as partes da Internet. A era do DDoS começou com um certo limite para a largura de banda dos roteadores domésticos, e não surpreende que, com o advento de um microchip em todas as coisas físicas ao redor do cenário de ataque, as mudanças tenham mudado rapidamente.
Quem espera o fim do desenvolvimento dessa tendência provavelmente está errado. Assim como estamos errados, tendo escrito tantas previsões. Ninguém pode dizer com certeza como exatamente a Internet se desenvolverá e espalhará sua própria influência nos próximos anos, mas olhando para o que vimos, uma coisa é clara - tudo se multiplicará. Em 2020, o número de dispositivos conectados à rede deve exceder 30 bilhões, sem mencionar o simples fato de que os robôs geram muito mais tráfego do que os humanos. Muito em breve teremos que decidir o que fazer com toda essa “inteligência”, artificial ou não, pois ainda existimos em um mundo onde o indivíduo humano é responsável por suas ações, certas ou erradas.
2018 foi um ano de oportunidades para o lado sombrio. Vimos um aumento nos ataques, ao mesmo tempo em que os complicamos e aumentamos o volume em termos de rede e frequência. Os vilões obtiveram ferramentas poderosas e passaram muito tempo estudando-os, enquanto os mocinhos não fizeram nada além de assistir seu progresso. Esperamos sinceramente que este ano pelo menos alguma coisa mude, pelo menos nos lugares mais dolorosos.
→
Link para a versão completa do relatório em russo.