GridGain on Highload: Hier können Sie über verteilte DBMS, In-Memory und Open Source sprechen

Das Erstellen neuer Funktionen macht Spaß. Aber wie kann man sie testen, wenn es sich bei Ihrem Produkt um ein verteiltes System handelt und der eigentliche Betrieb viele Kerne und Festplatten auf verschiedenen physischen Servern, Netzwerkinteraktionen, Hardwarefehler und unvorhersehbare Benutzeraktionen umfasst?

Wir werden Ihnen sagen, wie die neue Apache Ignite-Funktionalität getestet wird, was wir gut und was nicht so gut machen:
- Warum stoßen wir auf Integrationstests und mögen Unit, Mock und XP nicht wirklich?
- Testen von Multithread- und verteilten Algorithmen
- Erstellen eines Testplans und einer Codeüberprüfung
- Wo stechen wir am häufigsten?

GridGain hat einst das gleichnamige Apache Software Foundation-Produkt gespendet - jetzt heißt es Apache Ignite. Seitdem kombinieren die GridGain-Ingenieure zwei Rollen - Mitarbeiter eines gewinnorientierten Handelsunternehmens und unabhängige Entwickler eines offenen Projekts. Und natürlich liegen zwischen diesen Rollen Beziehungen der Liebe und des Hasses. Während des Meetings werden wir darüber sprechen, wie die Entwicklung in Open Source die Lösung von Geschäftsproblemen unterstützt und behindert.

Wir werden beginnen und Sie schließen sich an.
Von der Open Source-Seite: Dmitry Pavlov, Apache Ignite Community Manager
Von der Geschäftsseite: Stanislav Lukyanov von GridGain Customer Success

Sie können dem Produkt endlos Funktionen hinzufügen und Fehler beheben. All dies ist jedoch nicht sinnvoll, wenn die neue Version den Benutzer nicht erreicht. Und um eine neue Version zu veröffentlichen, reicht es bei weitem nicht immer aus, nur die Assembly und die Tests auszuführen. Und für die Veröffentlichung der Version ist dies keineswegs gleichbedeutend mit dem Starten der Assembly.

Was tun, wenn Sie viele Versionen des Produkts unterstützen müssen? Wie kann der Benutzer ohne Überraschungen von einer Version zur anderen wechseln? Und was hat Open Source damit zu tun?

Lassen Sie uns darüber sprechen, in welche Richtung die Änderungen vom Brief des Benutzers an den Kundensupport gehen, bis er die begehrte Version mit der Korrektur erhält.

Unabhängig davon, wie sich die Technologie entwickelt, erspart uns ein Backup in schwierigen Zeiten weiterhin die Nerven und funktioniert manchmal. Die GridGain-Plattform läuft auf dem verteilten Open-Source-System Apache Ignite, auf dem keine Daten gesichert werden können. Bisher beträgt die maximale Datenmenge im Client-Produkt GridGain 200 Terabyte an 160 Knoten. Die Daten werden nicht nur gespeichert, sondern auch ständig geändert, um Transaktionsgarantien zu gewährleisten.

Das Fehlen der Fähigkeit, Backups eines verteilten Systems in einem solchen Umfang zu erstellen, war ein Stolperstein für die praktische Nutzung unserer Plattform durch große Unternehmen. Aus dem Bericht erfahren Sie, wie wir diese Lücke geschlossen haben.

Wir mussten lernen:
- Daten sichern, ohne den Benutzer anzuhalten;
- Daten in der Sicherung eines verteilten Systems konsistent und transaktionskonsistent machen;
- die Erstellung und Wiederherstellung von Backups mithilfe einer verteilten Finite-State-Maschine gegen Topologieänderungen resistent machen;
- inkrementelle Sicherungen implementieren, die eine Größenordnung weniger Platz beanspruchen;
- Wiederherstellen alter Datensicherungen, die in einer erheblich anderen Clustertopologie erstellt wurden.