GridGain on Highload: onde falar sobre DBMSs distribuídos, In-Memory e código aberto

Criar novos recursos é divertido. Mas como testá-los, se o seu produto é um sistema distribuído e a operação real possui muitos núcleos e discos em diferentes servidores físicos, interação de rede, falhas de hardware e ações imprevisíveis do usuário?

Mostraremos como a nova funcionalidade do Apache Ignite é testada, o que estamos fazendo bem e não tão bem:
- por que fazemos testes de integração e realmente não gostamos de unidades, simulações e XP?
- teste de algoritmos multithread e distribuídos
- criando um plano de teste e revisão de código
- onde mais frequentemente perfuramos?

O GridGain doou o produto Apache Software Foundation com o mesmo nome - agora é conhecido como Apache Ignite. Desde então, os engenheiros da GridGain combinam duas funções: funcionários de uma empresa comercial com fins lucrativos e desenvolvedores independentes de um projeto aberto. E, é claro, entre esses papéis estão as relações de amor e ódio. Na reunião, falaremos sobre como o desenvolvimento em código aberto ajuda e dificulta a solução de problemas de negócios.

Vamos começar e você se junta.
Do lado do código aberto: Dmitry Pavlov, Apache Ignite Community Manager
Do lado comercial: Stanislav Lukyanov, da GridGain Customer Success

Você pode adicionar infinitamente funcionalidades e corrigir erros no produto, mas tudo isso não faz sentido se a nova versão não chegar ao usuário. E para lançar uma nova versão, está longe de ser sempre suficiente apenas para executar a montagem e os testes. E para o lançamento da versão - não é o mesmo que iniciar a montagem.

E se você precisar oferecer suporte a várias versões do produto? Como fazer o usuário mudar de uma versão para outra sem surpresas? E o que o código aberto tem a ver com isso?

Vamos falar sobre como as mudanças vão da carta do usuário ao suporte ao cliente até que eles recebam a versão cobiçada com a correção.

Não importa como a tecnologia se desenvolva, um backup em tempos difíceis continua a nos deixar nervosos e às vezes funciona. A plataforma GridGain é executada sobre o sistema de código aberto distribuído Apache Ignite, onde não é possível fazer backup de dados. Até o momento, a quantidade máxima de dados no cliente GridGain é de 200 terabytes em 160 nós. Os dados não são apenas armazenados, mas também constantemente modificados para garantir garantias transacionais.

A falta de capacidade de criar backups de um sistema distribuído em tal escala foi um obstáculo para o uso prático de nossa plataforma por grandes empresas. A partir do relatório, você aprenderá como conseguimos preencher essa lacuna.

Tivemos que aprender:
- backup de dados sem parar o usuário;
- tornar os dados no backup de um sistema distribuído consistente e transacionalmente consistente;
- tornar os procedimentos de criação e recuperação de backup resistentes a alterações na topologia usando uma máquina de estados finitos distribuídos;
- implementar backups incrementais, ocupando uma ordem de magnitude menos espaço;
- restaurar backups de dados antigos criados em uma topologia de cluster significativamente diferente.