No ar, o principal evento para desenvolvedores de sistemas altamente carregados. De acordo com uma boa tradição, nos dias 7 e 8 de novembro, compartilharemos nossa experiência na criação de serviços da Web que podem ajudar simultaneamente dezenas, centenas de milhares de usuários a resolver seus problemas. Se desta vez não o encontrarmos no SKOLKOVO, participe da transmissão aberta do Main Conference Hall.
Em 7 de novembro, os relatórios começarão a ser transmitidos às 9h45, às 18h e terminarão, e a cerimônia do Prêmio HighLoad ++ começará.
8 de novembro, o primeiro relatório no salão principal e a transmissão começa às 11h.
Abaixo de um gato a programação e a informação em relatórios.
7 de novembro
Artemy Ryabinkov (Avito)Esperamos que você já tenha começado a mudar de um monólito para microsserviços. Chegou a hora de pensar na plataforma de interação entre serviços. De fato, na arquitetura de serviço, a complexidade do suporte cresce exponencialmente com o número de serviços. Artemy Ryabinkov prometeu fornecer uma ferramenta que diminuirá significativamente o crescimento dessa complexidade. Seu relatório será interessante tanto para aqueles que estão iniciando sua jornada em SOA quanto para aqueles que já estão familiarizados com as ferramentas OpenAPI, Swagger, gRPC, protobuf.
Karisik, Denis (Badoo)O Apache Kafka já está incorporado à sua infraestrutura? É uma bala de prata? Infelizmente, na verdade não. Denis Karasik, no exemplo do Badoo, mostrará como desenvolver o Kafka de uma experiência em um serviço para uma solução gerenciada completa, que se tornou a base de muitas ferramentas importantes da empresa. O relatório é principalmente para aqueles que estão começando a se familiarizar com o Kafka; ouvintes mais sofisticados estarão interessados no tópico de dimensionamento e gerenciamento de clusters carregados neste relatório e na próxima apresentação.
Alexander Sibiryakov (Scrapinghub)Alexander Sibiryakov lhe dirá como projetar pipelines confiáveis que consistem em um grande número de componentes baseados no Apache Kafka. O relatório analisará padrões arquiteturais de filas, feedback, encaixe com HTTP, perda de mensagens e tarefas de processamento com uma grande dispersão no tempo de execução. Após este relatório, ficará claro como criar seu pipeline corretamente.
Sergey Sporyshev (ITSumma)A próxima palavra-chave na pilha de tecnologia atual é Kubernetes. Tornou-se o padrão para implantar aplicativos na Web, o que significa que precisa ser monitorado. Sergey Sporyshev explicará as diferenças das abordagens usuais de monitoramento e mostrará como abordar a organização de monitoramento de um projeto moderno no k8s agora. De acordo com informações privilegiadas, isso afetará coisas interessantes, como monitorar o nível da malha de serviço - em geral, o que realmente não é suficiente para a maioria dos projetos.
Vasily Pantyukhin (Amazon Web Services)Um bom monitoramento alerta para os problemas antes mesmo que eles ocorram. Mas é ainda mais confiável se você inicialmente projetar o serviço de forma a minimizar os danos causados por mau funcionamento. O design de falhas é fundamental no design de serviços em nuvem da Amazon Web Services. Juntamente com Vasily Pantyukhin, trataremos dessa abordagem, consideraremos algumas das razões para falhas de serviço e falaremos sobre o que são a arquitetura baseada em célula, Constant Work, Shuffle Sharding.
Nikolay Samokhvalov (Postgres.ai)Além das ferramentas e padrões de desenvolvimento, passamos a trabalhar com bancos de dados. Nikolay Samokhvalov chama nossa atenção para as conseqüências da realização de operações massivas de bloqueio no banco de dados - um serviço altamente carregado provavelmente cairá. Neste relatório, aprenderemos como o Postgres.ai pode ajudar e como configurar a proteção sem usá-lo e sempre agir de forma confiável sem deixar cair o produto. Tudo isso é baseado na experiência real de dor e enormes perdas financeiras.
Peter Zaitsev (Percona)Vamos além e pensamos em como obter alto desempenho de consulta sem o DBA. Para esta tarefa, Peter Zaitsev, um dos indicados ao Prêmio HighLoad ++, apresentará o Monitoramento e Gerenciamento da Percona. Essa é uma ferramenta que ajuda um engenheiro comum a realizar uma análise profissional do desempenho da consulta e muito mais. Atualmente, quando muitas coisas são deixadas nas mãos de estruturas e bibliotecas, bem como em condições de escassez no mercado de trabalho, a disponibilidade e o conhecimento de tais ferramentas são muito procurados.
Ivan Letenko (Infobip)Com o PostgreSQL, mudaremos para tecnologias menos comuns em grandes produções. A Infobip acumulou muitas coisas interessantes ao longo dos 3 anos de uso do Redis. Ivan Letenko compartilhará casos e, o que é especialmente valioso, falha. Vamos discutir a organização de caches distribuídos, filas, a construção de limitadores de velocidade e agendadores. Vamos falar sobre transações em scripts LUA e seu desempenho. Discutiremos as configurações de memória, replicação, persistência, failover, além de trabalhar com clusters, recursos de drivers Java e monitoramento.
É entregue a profissionais que influenciam o desenvolvimento do ecossistema de desenvolvimento da Internet na Rússia. Isso é graças à comunidade de profissionais por seus líderes. Por trabalho e dedicação, por noites sem dormir e inúmeros discursos, pela fé em seu produto ou tecnologia.
8 de novembro
Alexander Emelin (Avito)11 milhões de usuários únicos por mês, 25 mil solicitações de RPC por segundo e 500 mil conexões on-line no pico - sem dúvida, o Avito messenger é um projeto altamente carregado. Alexander Emelin lhe dirá quais serviços a mensagem passa antes de chegar ao destinatário. Descobriremos como a implantação funciona, como o MongoDB e as filas RabbitMQ são usadas. Discutiremos o protocolo WebSocket e refletiremos sobre a necessidade de um fallback HTTP em 2019. Lidaremos com filtros anti-spam e falaremos sobre a tolerância a falhas deste sistema complexo.
Vladimir Posvyansky e Ivan Vovk (Tinkoff.ru)A personalização é o flagelo do século XXI; portanto, o Tinkoff.ru também para atrair usuários também decidiu personalizar páginas para usuários individuais usando algoritmos de aprendizado de máquina. E eles dizem que podem fazer isso em 10 ms - parece muito promissor. Vladimir Posvyansky e Ivan Vovk nos apresentarão o componente do produto e a estrutura técnica do motor.
Nikita Maslyannikov (TsIAN)Mais perto do jantar com o ML, pularemos para o DevOps. Nikita Maslyannikov contará a história do rápido crescimento do TsIAN e mudanças relacionadas na arquitetura.
Nomeadamente, ele abordará detalhadamente a arquitetura de monitoramento, orquestração, separação do Elasticsearch em microclusters, configuração da rede e cálculo do SLA. Essa experiência será útil se você estiver trabalhando apenas na arquitetura ou se a atual tiver começado a lidar com a carga.
Alexander Tobol (colegas de classe)O que fazer se você otimizou tudo e os dados não chegam ao usuário com rapidez suficiente? Claro, lide com a rede. Alexander Tobol continuará a nos ensinar como criar protocolos de rede e contar como o Odnoklassniki transplantou dezenas de milhões de usuários do TCP para o UDP e o que isso deu. Protocolos de rede prometidos para sangue, tripas e bicicletas. Quer mais hardcore - não perca essa palestra.
Alexey Milovidov (Yandex)Se você estiver escrevendo código, prepare-se para problemas. Sem problemas no desenvolvimento, eles certamente serão esperados e vale a pena de todos os lados - do seu código, do compilador, do sistema operacional e do hardware. E quanto maior a escala do serviço, mais e mais "maravilhosos" erros. Alexey Milovidov, ao longo dos anos de desenvolvimento e suporte ao ClickHouse, viu coisas diferentes e, no HighLoad ++, fornecerá exemplos dos problemas mais ridículos, desanimadores e sem esperança. E, é claro, ele explicará quais medidas preventivas devem ser tomadas para que haja menos problemas.
Pyotr Zaitsev (Colegas de classe)O TCP / UDP é bom, mas o Odnoklassniki também possui 4 datacenters, 500 máquinas, mais de 200 TB de dados, até 2 milhões de linhas por segundo no pico e 100% de requisitos de tempo de atividade a todo custo. Peter Zaitsev dirá como, depois de tudo isso, criar um cluster Elasticsearch para armazenar logs em um volume particularmente grande. A tarefa não era trivial, com um alto conteúdo de armadilhas. E o que aconteceu no final, aprendemos no HighLoad ++ 2019.
Anatoly Dymarsky (Skoltech)No final da conferência, parece lógico tentar olhar para o futuro. A computação quântica promete revolucionar o processamento de dados e mudar todo o setor. Mas precisamos de detalhes: exatamente quais tarefas podem ser resolvidas usando um computador quântico e quando. Anatoly Dymarsky, físico teórico de Skoltech, responderá.
Observe que este é apenas um fluxo de 16. Para alternar livremente entre eles e acessar o vídeo de todos os relatórios, você ainda pode comprar o acesso à transmissão completa. Ou siga o texto transmitido em um telegrama - ele já está em andamento e compartilhamos muitos detalhes interessantes e tentamos transmitir a atmosfera do principal evento de desenvolvimento da Web na Rússia. E nas redes sociais - fb , vk - haverá muitas fotos atmosféricas. Conecte-se!