GridGain en Highload: dónde hablar sobre DBMS distribuidos, en memoria y de código abierto

Crear nuevas funciones es divertido. Pero, ¿cómo probarlos si su producto es un sistema distribuido y la operación real es una gran cantidad de núcleos y discos en diferentes servidores físicos, interacción de red, fallas de hardware y acciones impredecibles del usuario?

Le diremos cómo se prueba la nueva funcionalidad Apache Ignite, qué estamos haciendo bien y no tan bien:
- ¿Por qué nos encontramos con pruebas de integración y realmente no nos gustan unit, mock y XP?
- prueba de algoritmos multiproceso y distribuidos
- creación de un plan de prueba y revisión de código
- ¿Dónde perforamos más a menudo?

GridGain donó una vez el producto Apache Software Foundation del mismo nombre, ahora se lo conoce como Apache Ignite. Desde entonces, los ingenieros de GridGain han estado combinando dos roles: empleados de una empresa comercial con fines de lucro y desarrolladores independientes de un proyecto abierto. Y, por supuesto, entre estos roles hay relaciones de amor y odio. En la reunión, hablaremos sobre cómo el desarrollo en código abierto ayuda y dificulta la resolución de problemas comerciales.

Comenzaremos y te unirás.
Desde el lado del código abierto: Dmitry Pavlov, Gerente de la comunidad Apache Ignite
Desde el lado comercial: Stanislav Lukyanov de GridGain Customer Success

Puede agregar funcionalidades sin fin y corregir errores en el producto, pero todo esto no tiene sentido si la nueva versión no llega al usuario. Y para lanzar una nueva versión, está lejos de ser suficiente para ejecutar el ensamblaje y las pruebas. Y para el lanzamiento de la versión, no es lo mismo que comenzar el ensamblaje.

¿Qué hacer si necesita soportar muchas versiones del producto? ¿Cómo hacer que el usuario cambie de una versión a otra sin sorpresas? ¿Y qué tiene que ver el código abierto?

Hablemos de qué manera van los cambios desde la carta del usuario hasta la atención al cliente hasta que reciban la codiciada versión con la corrección.

No importa cómo se desarrolle la tecnología, una copia de seguridad en tiempos difíciles continúa ahorrándonos nervios y, a veces, funciona. La plataforma GridGain se ejecuta sobre el sistema de código abierto distribuido Apache Ignite, donde no hay forma de hacer una copia de seguridad de los datos. Hasta la fecha, la cantidad máxima de datos en el producto GridGain del cliente es de 200 terabytes en 160 nodos. Los datos no solo se almacenan, sino que también se modifican constantemente para garantizar garantías transaccionales.

La falta de la capacidad de crear copias de seguridad de un sistema distribuido a tal escala fue un obstáculo para el uso práctico de nuestra plataforma por parte de las grandes empresas. Del informe aprenderá cómo logramos llenar este vacío.

Tuvimos que aprender:
- copia de seguridad de datos sin detener al usuario;
- hacer que los datos en el respaldo de un sistema distribuido sean consistentes y transaccionalmente consistentes;
- haga que los procedimientos de creación y recuperación de copias de seguridad sean resistentes a los cambios de topología utilizando una máquina de estados finitos distribuidos;
- implementar copias de seguridad incrementales, ocupando un orden de magnitud menos espacio;
- restaurar copias de seguridad de datos antiguas creadas en una topología de clúster significativamente diferente.