GridGain on Highload: tempat berbicara tentang DBMS, In-Memory, dan sumber terbuka yang didistribusikan

Membuat fitur baru itu menyenangkan. Tetapi bagaimana cara mengujinya, jika produk Anda adalah sistem terdistribusi, dan operasi sebenarnya adalah banyak core dan disk pada server fisik yang berbeda, interaksi jaringan, kegagalan perangkat keras, dan tindakan pengguna yang tidak dapat diprediksi?

Kami akan memberi tahu Anda bagaimana fungsionalitas Apache Ignite baru diuji, apa yang kami lakukan dengan baik dan tidak begitu baik:
- mengapa kita mengalami tes integrasi, dan tidak terlalu menyukai unit, mock, dan XP?
- pengujian algoritma multithreaded dan terdistribusi
- membuat rencana pengujian dan tinjauan kode
- di mana kita paling sering menembus?

GridGain pernah menyumbangkan produk Apache Software Foundation dengan nama yang sama - sekarang dikenal sebagai Apache Ignite. Sejak itu, para insinyur GridGain telah menggabungkan dua peran - karyawan sebuah perusahaan komersial yang berorientasi pada laba, dan pengembang independen dari sebuah proyek terbuka. Dan tentu saja, di antara peran-peran ini adalah hubungan cinta dan benci. Pada pertemuan tersebut, kita akan berbicara tentang bagaimana pengembangan di Open Source membantu dan menghambat penyelesaian masalah bisnis.

Kami akan mulai, dan Anda bergabung.
Dari sisi open source: Dmitry Pavlov, Manajer Komunitas Apache Ignite
Dari sisi bisnis: Stanislav Lukyanov dari GridGain Customer Success

Anda dapat menambahkan fungsionalitas dan memperbaiki bug dalam produk tanpa henti, tetapi semua ini tidak masuk akal jika versi baru tidak mencapai pengguna. Dan untuk merilis versi baru, masih jauh dari cukup hanya dengan menjalankan perakitan dan tes. Dan untuk rilis versi - sama sekali tidak sama dengan memulai perakitan.

Apa yang harus dilakukan jika Anda perlu mendukung banyak versi produk? Bagaimana cara membuat pengguna beralih dari satu versi ke versi lain tanpa kejutan? Dan apa hubungannya open source dengan itu?

Mari kita bicara tentang perubahan dari surat pengguna ke dukungan pelanggan sampai mereka menerima versi yang didambakan dengan koreksi.

Tidak peduli bagaimana teknologi berkembang, cadangan di masa-masa sulit terus menyelamatkan kita, dan kadang-kadang bekerja. Platform GridGain berjalan di atas sistem open source Apache Ignite yang terdistribusi, di mana tidak ada cara untuk membuat cadangan data. Sampai saat ini, jumlah maksimum data di klien menghasilkan GridGain adalah 200 terabyte pada 160 node. Data tidak hanya disimpan, tetapi juga terus dimodifikasi untuk memastikan jaminan transaksional.

Kurangnya kemampuan untuk membuat cadangan sistem terdistribusi pada skala seperti itu adalah batu sandungan bagi penggunaan praktis platform kami oleh bisnis besar. Dari laporan Anda akan belajar bagaimana kami berhasil mengisi celah ini.

Kami harus belajar:
- Mencadangkan data tanpa menghentikan pengguna;
- membuat data dalam cadangan sistem terdistribusi konsisten dan konsisten secara transaksi;
- membuat pembuatan cadangan dan prosedur pemulihan tahan terhadap perubahan topologi menggunakan mesin negara hingga terdistribusi;
- mengimplementasikan cadangan inkremental, mengambil urutan besarnya lebih sedikit ruang;
- mengembalikan cadangan data lama yang dibuat pada topologi klaster yang sangat berbeda.