O Highload ++ está muito perto! Nos dias 7 e 8 de novembro, mais de 3.000 desenvolvedores de sistemas altamente carregados se reunirão em Skolkovo pela décima terceira vez. O evento tem como objetivo trocar conhecimentos sobre tecnologias que atendem simultaneamente a milhares e milhões de usuários.
O programa abrange aspectos do desenvolvimento da Web, como a arquitetura de grandes projetos, bancos de dados e sistemas de armazenamento, administração de sistemas, teste de carga, operação de grandes projetos e outras áreas associadas a sistemas altamente carregados.
Estamos ativamente envolvidos no Highload ++ 2019 e hoje informaremos quais relatórios nossos funcionários prepararam para os participantes da conferência.
7 de novembro
Horário: 12:00
Local: Salão de MoscouO Conde de Amigos é um dos serviços mais importantes e carregados de Odnoklassniki. É necessário para quase todas as funções do site: forme um feed, encontre novos amigos, verifique as permissões ao visualizar fotos e muito mais. Tudo isso cria de 700.000 solicitações por segundo a 300.000.000.000 de conexões entre usuários.
Essa carga não é apenas requisitos estritos de desempenho, mas também tolerância a falhas, porque qualquer problema com o gráfico pode paralisar o trabalho de todo o site. Durante muito tempo, vivemos em um esquema clássico de bases e caches fragmentáveis. Mas ela teve muitos problemas com a consistência dos dados e a tolerância a falhas.
No relatório, falaremos detalhadamente sobre a transição para a nova arquitetura gráfica, começaremos com uma história sobre a versão antiga e os problemas que surgiram durante o seu uso, depois mergulharemos na nova arquitetura gráfica e nas surpresas que nos aguardavam durante a migração.
Horário: 17:00
Localização: Singapore HallNo Odnoklassniki, as solicitações do usuário são atendidas por mais de 200 tipos de tipos exclusivos de serviços. Muitos desses serviços usam a técnica de combinação da lógica de negócios da JVM e o banco de dados tolerante a falhas distribuído pela Cassandra. Isso nos permite criar serviços altamente carregados que gerenciam centenas de bilhões de registros com milhões de operações por segundo neles.
Neste relatório, falaremos sobre quais vantagens aparecem ao combinar lógica de negócios e banco de dados; discutir como a condição afeta a confiabilidade e a disponibilidade dos serviços; e também discuta como essa técnica melhorou significativamente o desempenho de nossos serviços.
Mas nem todos os bancos de dados são adequados para isso. Examinaremos detalhadamente quais bancos de dados são adequados para incorporação no seu próximo microsserviço e quais não.
8 de novembro
A ascensão das máquinas está OK . Leonid Talalaev, desenvolvedor líder da equipe da plataforma
Horário: 10:00
Local: Prefeitura da Cidade do CaboOs colegas de classe consistem em mais de 6.000 servidores localizados em vários data centers. Quase metade deles faz parte da nossa nuvem, uma nuvem, sobre a qual já conversamos há dois anos no HighLoad ++.
Ao gerenciar mais de 10.000 contêineres, surgem tarefas típicas, cuja implementação manualmente levaria muito tempo e inevitavelmente levaria a erros humanos. Portanto, nos esforçamos para automatizar todos os processos na nuvem, a fim de minimizar a participação humana. Chamamos essa automação completa de "Ascensão das Máquinas".
No relatório, consideraremos tópicos como:
- Layout de patches de segurança em todos os contêineres. Ao mesmo tempo, aprenderemos como substituir as camadas de imagem do docker em 1 segundo;
- garantir a disponibilidade de serviços estaduais completos distribuídos durante as operações na nuvem;
- O problema da fragmentação na nuvem. Mostraremos como economizar um milhão de dólares alterando o algoritmo de posicionamento.
Horário: 14:00
Local: Main Hall (Congress Hall)Alexander dirá:
- como Odnoklassniki transplantou milhões de usuários do TCP para o UDP, 3/4 OK usuários do Android já usam o UDP para comunicação em rede
- como eles aceleraram até 30% da entrega de conteúdo aos usuários de acordo com as estatísticas do cliente do produto
- sobre abordagens para a construção de protocolos e métodos de rede para testar e modelar a rede
Além disso, o OK compartilhará não apenas os resultados dos testes TCP e QUIC em redes diferentes, mas também o código-fonte do emulador de rede no qual esses testes são realizados.
200 TB + Elasticsearch Cluster . Petr Zaitsev, Administrador do Sistema, Especialista em Elasticsearch
Horário: 16:00
Local: Main Hall (Congress Hall)O objetivo do relatório: falar sobre as armadilhas e a arquitetura do cluster Elasticsearch para armazenar logs em um volume especialmente grande.
No relatório, falarei sobre como organizamos o armazenamento e o acesso a logs para desenvolvedores como parte do projeto Odnoklassniki.
Inicialmente, foram feitas altas demandas no serviço. Todos entendiam que o volume de dados processados seria grande, também era necessária tolerância a falhas e o pico de carga poderia aumentar para 2 milhões de linhas por segundo. Por esses motivos, a tarefa acabou não sendo trivial, com um grande conteúdo de "armadilhas" e recursos importantes.
Descreverei a história do nosso caminho "sinuoso" para resolver esse problema, além de dizer a qual arquitetura de cluster chegamos e quais as decisões que pareciam certas à primeira vista "acertadas no pé" no momento mais inesperado.
Tínhamos 4 datacenters, 500 instâncias para elástico, mais de 200 TB de dados, até 2 milhões de linhas por segundo no pico e requisitos de tempo de atividade de serviço de 100% a todo custo.
Como conseguimos perceber isso, você descobrirá em nosso relatório!