Amigos, concordamos com a empresa Ontiko que publicaremos os melhores relatórios de suas conferências em nosso canal do Youtube e os compartilharemos com você. Portanto, queremos não apenas espalhar conhecimento, mas também ajudar nossos leitores e espectadores a se desenvolver profissionalmente. Veja uma seleção dos 15 melhores relatórios que foram feitos no Highload ++ 2018.
Replicação do Tarantool: configuração e uso
Georgy Kirichenko, Grupo Mail.ruA replicação do Tarantool é usada para fornecer alta disponibilidade, fazendo backup de servidores ou servidores de cluster para balanceamento de carga, e também pode ser usada para executar operações de atualização. As versões recentes do Tarantool possuem vários recursos adicionais que facilitam a configuração e o uso da replicação em um cluster.
O relatório examinou os princípios básicos do dispositivo e os recursos da replicação assíncrona no Tarantool. Nós nos debruçamos sobre a estrutura interna do vetor de estado - vclock. Eles discutem maneiras de garantir a consistência dos dados e se concentrar nos novos recursos. Os princípios básicos da configuração, sua aplicabilidade e os erros mais comuns são considerados e as formas de resolver os problemas com a configuração e operação são discutidas.
Aspectos técnicos do bloqueio da Internet na Rússia. Desafios e perspectivas
Philip Culin, Floresta ProfundaDetalhes técnicos de fechaduras. Como o mecanismo de bloqueio está agora organizado. Quem, o que, onde, quando e como. Por que é tão organizado? Por que o ILV está bloqueando redes inteiras. Qual é o problema do atual mecanismo de travamento do ponto de vista técnico. Em que direção devemos passar de um ponto de vista técnico dentro da estrutura de mudanças mínimas para a estrutura regulatória de hoje.
Prevendo as vendas da loja online usando o aumento de gradiente (lightGBM)
Alexander Alekseytsev, OZON.RUEste relatório é sobre um sistema de reposição automática de armazém. O cérebro do sistema é o ML para prever vendas: definir uma tarefa e escolher uma função de perda, trabalhar com atributos, gerar um conjunto de dados, escolher um modelo, armadilhas do processo de aprendizado do lightGBM, avaliar resultados. Esqueleto do sistema - Spark / Hadoop: entrega / validação diária de dados, aumentando a confiabilidade do sistema. Realidades comerciais da aquisição de bens: seleção de fornecedores, estoques de seguros, luta com o nível de serviço dos fornecedores.
Alexander também falou sobre o uso de modelos lightGBM treinados para avaliar a elasticidade da demanda por mercadorias ao preço do planejamento de campanhas de marketing e o efeito delas. Diferentes tipos de funções da dependência da demanda de preços por diferentes tipos de mercadorias e muito mais recebidos como um efeito "secundário" da tarefa principal.
Como trabalhamos na estabilidade de nossa implementação Lua
Anton Soldatov, IPONWEBO IPONWEB usa Lua para descrever a lógica de negócios há mais de 10 anos. Em 2015, eles escolheram o LuaJIT e, desde então, trabalham com sua própria implementação de linguagem. Esse componente da pilha tecnológica é fundamental para os negócios, portanto, sua estabilidade recebe atenção especial.
Anton contou como eles criaram uma base de teste para implementação do zero; classificamos vários casos em que os testes se mostraram impotentes antes da complexidade do sistema em teste e, como resultado, algo ocorreu nos servidores de batalha "repentinamente" e "irregularmente". A experiência adquirida na correção desses erros pode ser aplicada ao trabalho com LuaJIT. E, finalmente, Anton compartilhou as ferramentas e truques que suas empresas usam ao depurar.
Local da segurança no nível da linha em um projeto de alta carga
Alexander Tokarev, DataArtUm relatório sobre onde e como melhor organizar a segurança em nível de linha para um projeto altamente carregado. Ele descreveu a escolha de como implementar a segurança em nível de linha em um projeto corporativo altamente carregado (4000 usuários, 10000 solicitações ao mesmo tempo, carga transacional e olap ao mesmo tempo). Ele analisou três tecnologias de implementação para segurança no nível de linha no DBMS do Oracle e por que foi escolhida a segurança no banco de dados, e não no servidor de aplicativos. Ele falou sobre a escolha feita, sobre os problemas e planos futuros.
Como criamos nosso próprio Netfilter com Intel DPDK e árvores de prefixo
Alexander Samoilov, Código de SegurançaO Linux Netfilter está no coração de uma enorme quantidade de ITU, aberta e comercial. Essa é uma solução comprovada, confiável e, mais recentemente, bastante produtiva. Porém, nas realidades modernas, quando dezenas de gigabits de tráfego geralmente passam pela UIT, e o número de regras de filtragem pode exceder mil, o Linux Netfilter é o gargalo.
Alexander falou sobre como eles reescreveram o subsistema de rede Linux, que acabou sendo rápido - dezenas de gigabits de filtragem sem estado e sem estado, rastreamento de sessão, NAT e roteamento, fácil de gerenciar - ensinou o subsistema a entender os comandos dos conhecidos utilitários iproute2 e nftables, independentemente do número regras de filtragem.
VShard - escala horizontal em Tarantool
Vladislav Shpileva, TarantoolAté 2018, o único meio de dimensionamento horizontal do Tarantool DBMS era o Shard - um módulo que implementa o sharding, um caso especial de dimensionamento horizontal. O Shard implementa o sharding por função da chave primária, suporta a alteração da topologia de cluster e o reequilíbrio. Ao mesmo tempo, ele tem três inconvenientes significativos que impediram o uso do Shard em um dos projetos importantes.
No início do ano, o desenvolvimento do novo módulo VShard foi concluído - esta é uma implementação alternativa do sharding. Nele, o reequilíbrio é realizado em estágios, é possível definir uma função de fragmento arbitrária para garantir a localidade dos dados associados, o resultado do cálculo da função de fragmento é armazenado em cada registro e não recalculado. Vladislav falou sobre o dispositivo interno do VShard, sobre seus subsistemas e implementação com exemplos de uso e sobre os novos recursos do VShard 0.2.
Mais de 150 milhões de usuários do BBM migram do Oracle para o Postgres sem tempo ocioso
Alvaro Hernandez, OnGres (fala em inglês)O BBM (Black Berry Messenger) é um dos maiores mensageiros instantâneos do mundo, com funções de comunicação de texto, voz e vídeo; sua base de assinantes é superior a 150 milhões de usuários. Ele trabalhou no DBMS Oracle local. Ajudamos a migrá-lo para o PostgreSQL em execução no GCP com replicação em tempo real, praticamente sem tempo de inatividade. Alvaro descreveu em detalhes o processo e as armadilhas, técnicas, tecnologias e práticas recomendadas para migrar o Oracle para o PostgreSQL sem tempo de inatividade. Hoje, muitas pessoas estão interessadas nessa migração, mas exige alta qualificação e envolvimento em um processo em que enfrenta muitas dificuldades.
Sistema de controle distribuído altamente carregado de uma moderna usina nuclear
Vadim Podolny, Instrumento FísicoA partir deste relatório, você aprenderá sobre a nova plataforma de um sistema de controle distribuído para usinas nucleares e como gerenciar as instalações de automação mais complexas do mundo. Controle em tempo real do trabalho de mais de 150 subsistemas especiais responsáveis por vários processos tecnológicos de usinas nucleares. Mais de 100K de fontes de dados de sensores e até 500K de parâmetros calculados. 5 variedades de processos físicos.
Com alguns desvios, o sistema inteiro se transforma em uma enorme fonte DDoS de informações úteis para diagnóstico, o que interfere no controle normal do objeto. Você aprenderá como "resolvemos" esses problemas, aprenderá sobre a arquitetura de hardware e software de sistemas como backup e replicação, por que a redundância de dados e a diversidade tecnológica são necessárias. Como o gerenciamento de carga é fornecido, como funciona a QoS. E o que acontecerá se o sistema operacional normal for desligado, como, por exemplo, em Fukushima.
Plataforma de streaming on-line de 4K milhões
Alexander Tobol, Colegas de classeVídeo de serviço em Odnoklassniki - o segundo site no Runet para visualizações de vídeos: 600 milhões de visualizações diárias. A plataforma de streaming OK agora permite realizar transmissões profissionais em 4K, transmitir do seu telefone para FullHD e oferecer aos usuários mais de 3 TB / s de tráfego.
Alexander falou sobre:
- Pipeline de streaming de vídeo 4K para milhões online;
- Arquitetura do sistema de entrega de conteúdo
- Ajuste de TCP para distribuição 4K;
- como e por que você precisa abandonar o ffmpeg e sobre como cortar vídeo na GPU;
- o que fazer se as capacidades acabarem e os usuários continuarem chegando;
- problemas de streaming no TCP;
- o futuro do streaming de vídeo.
Mudanças recentes na pilha de E / S do Linux do ponto de vista do DBA
Ilya Kosmodemyansky, Data EgretOs problemas de desempenho de E / S estão na agenda diária dos administradores de banco de dados desde que existem. O Linux, provavelmente o sistema operacional de banco de dados mais popular, revisou a pilha de E / S nos últimos anos.
Ilya falou sobre o que está acontecendo, por que a pilha de E / S precisa de melhorias urgentes e o que isso pode levar para os bancos de dados. Como os novos drivers NVMe e blk-mq serão aprimorados. Como um memorando útil, Ilya propôs uma lista de verificação das configurações do PostgreSQL e Linux para maximizar o desempenho do subsistema de E / S nos novos kernels.
FAQ sobre arquitetura e trabalho VKontakte
Alexey Akulovich, VKAlexey levantou muitos tópicos e perguntas que as pessoas têm "de fora".
Por exemplo:
- A arquitetura geral da interação de nossos servidores.
- Existe um PHP "regular" no VKontakte, onde e por quê. E que outras armas nucleares são usadas?
- Como atualizar o código em dezenas de milhares de servidores em segundos.
- Tolerância a falhas de clusters de memcache com servidores que quebram constantemente.
- Por que o VKontakte possui seus próprios mecanismos (DB), quantos deles e como eles vivem com eles.
- Como o binlog difere do instantâneo e como "retroceder DELETE".
- Como você pode monitorar tudo isso.
DNS do Facebook
Oleg Obleukhov, FacebookOleg falou sobre como o Facebook equilibra a carga, e o que a infraestrutura de DNS tem a ver com ela, como os registros de recursos se enquadram na infraestrutura global do Facebook e como a empresa usa o DNS na organização de alimentos para cães.
Bancos de dados e KubernetesDevOps e operação
Dmitry Stolyarov, FlantDmitry compartilhou sua experiência e contou com exemplos específicos em quais casos faz sentido colocar bancos de dados (e, geralmente, aplicativos com estado) no Kubernetes, e nos quais isso é injustificado, ou até prejudicial e perigoso.
Esta seleção está no nosso
canal do Technostream no Youtube . Nós o criamos para compartilhar uma variedade de materiais educacionais, incluindo as palestras de nossos projetos de tecnologia educacional. Já escrevemos no Habré sobre o Technostream, portanto, se você ainda não ouviu falar,
leia-o . E volte sempre, algo interessante aparece constantemente lá.