Cara memadatkan hingga 90% penyimpanan cadangan dalam penyimpanan objek

Klien Turki kami meminta kami untuk mengonfigurasi cadangan untuk pusat data dengan benar. Kami sedang melakukan proyek serupa di Rusia, tetapi di sinilah ceritanya lebih tentang meneliti cara terbaik untuk melakukannya.

Mengingat: ada penyimpanan S3 lokal, ada Veritas NetBackup, yang telah memperoleh fungsionalitas canggih baru untuk memindahkan data ke penyimpanan objek sekarang dengan dukungan deduplikasi, dan ada masalah dengan ruang kosong di penyimpanan lokal ini.

Tujuan: untuk membuat semuanya sehingga proses penyimpanan cadangan cepat dan murah.

Sebenarnya, sebelum itu, dalam S3 semuanya hanya file, dan ini adalah cetakan lengkap dari mesin pusat data penting. Itu tidak begitu sangat dioptimalkan, tetapi semuanya bekerja pada awalnya. Sekarang saatnya untuk mencari tahu dan melakukannya dengan benar.

Dalam gambar, apa yang telah kita ketahui:



Seperti yang Anda lihat, cadangan pertama dilakukan secara lambat (70 Mb / s), dan cadangan selanjutnya dari sistem yang sama jauh lebih cepat.

Sebenarnya, lebih jauh sedikit lebih detail tentang fitur apa saja yang ada.

Apa masalahnya?

Pelanggan ingin mencadangkan sesering mungkin dan menyimpan semurah mungkin. Adalah murah untuk menyimpannya paling baik dalam penyimpanan objek tipe S3, karena mereka adalah yang termurah dengan harga pemeliharaan per megabyte dari tempat Anda dapat menggulung kembali dalam jumlah waktu yang wajar. Ketika ada banyak cadangan, itu menjadi tidak terlalu murah, karena sebagian besar penyimpanan ditempati oleh salinan dari data yang sama. Dalam kasus HaaS dari kolega Turki, penyimpanan dapat dipadatkan sekitar 80-90%. Jelas bahwa ini berlaku khusus untuk spesifikasinya, tetapi saya pasti akan mengandalkan setidaknya 50% dari dedup.

Untuk mengatasi masalah tersebut, vendor utama telah lama membuat gateway di Amazon S3. Semua metode mereka kompatibel dengan S3 lokal jika mereka mendukung API Amazon. Di pusat data Turki, cadangan dilakukan di S3 kami, serta di "Kompresor" T-III di Rusia, karena skema kerja seperti itu terbukti baik bagi kami.

Dan S3 kami sepenuhnya kompatibel dengan metode cadangan di Amazon S3. Yaitu, semua alat cadangan yang mendukung metode ini memungkinkan Anda untuk menyalin semuanya ke penyimpanan "di luar kotak".

Veritas NetBackup membuat fitur CloudCatalyst:



Yaitu, antara mesin yang perlu dicadangkan dan gateway ada server Linux perantara yang melaluinya lalu lintas cadangan dari agen CPC dilewati dan deduplikasi dilakukan dengan cepat sebelum mentransfernya ke S3. Jika sebelum ada 30 cadangan masing-masing 20 GB dengan kompresi, sekarang (karena kesamaan mesin) mereka telah menjadi 90% lebih kecil dalam volume. Mesin deduplikasi digunakan sama seperti ketika disimpan pada disk biasa menggunakan Netbackup.

Inilah yang terjadi sebelum server pementasan:



Kami menguji dan sampai pada kesimpulan bahwa ketika diimplementasikan di pusat data kami, ini menghemat ruang penyimpanan S3 untuk kami dan untuk pelanggan. Sebagai pemilik pusat data komersial, tentu saja, kami membebankan biaya untuk volume yang ditempati, tetapi tetap sangat bermanfaat bagi kami juga - karena kami mulai mendapatkan penghasilan di tempat yang lebih skalabel dalam perangkat lunak, dan bukan pada penyewaan besi. Nah, ini adalah pengurangan biaya internal.


Akselerator memungkinkan Anda untuk mengurangi lalu lintas dari agen, karena hanya perubahan data yang ditransmisikan, yaitu, bahkan cadangan penuh tidak dituangkan secara keseluruhan, karena server media mengumpulkan cadangan lengkap berikutnya dari cadangan tambahan.

Server perantara memiliki repositori sendiri di mana ia menulis "cache" data dan memegang basis untuk deduplikasi.

Dalam arsitektur penuh, tampilannya seperti ini:

1. Server master mengelola konfigurasi, pembaruan, dan banyak lagi, dan terletak di cloud.
2. Server media (mesin * nix perantara) harus ditempatkan paling dekat dengan sistem redundan dalam hal ketersediaan jaringan. Di sini cadangan didupuplikasi dari semua mesin yang berlebihan.
3. Ada agen di mesin redundan yang umumnya mengirim ke server media hanya apa yang tidak ada dalam penyimpanannya.

Semuanya dimulai dengan pemindaian penuh - ini adalah cadangan lengkap penuh. Pada titik ini, server media mengambil semuanya, mendupuplikasinya, dan mentransfernya ke S3. Kecepatan ke server media rendah, dari sana - lebih tinggi. Keterbatasan utama adalah kekuatan pemrosesan server.

Cadangan berikut dibuat lengkap dari sudut pandang semua sistem, tetapi dalam kenyataannya itu adalah sesuatu seperti cadangan penuh sintetis. Artinya, transfer dan perekaman aktual ke server media hanya blok data yang belum pernah dilihat dalam cadangan VM sebelumnya. Dan transfer dan perekaman ke S3 hanya blok data yang hashnya tidak ada dalam database deduplikasi server media. Jika dengan kata yang lebih sederhana - bahwa tidak ada VMs dalam cadangan apa pun sebelumnya.

Saat memulihkan, server media meminta objek terdeduplikasi yang diperlukan dari S3, rehydrate mereka dan meneruskannya ke agen CPC, mis. perlu untuk memperhitungkan volume lalu lintas selama pemulihan, yang akan sama dengan volume nyata dari data yang dipulihkan.

Begini tampilannya:




Integritas data dipastikan oleh perlindungan S3 itu sendiri - ada redundansi yang baik di sana untuk melindungi terhadap kegagalan perangkat keras seperti spindle hard disk mati.

Server media membutuhkan 4 terabyte cache - ini adalah rekomendasi Veritas untuk ukuran minimum. Lebih baik lagi, tapi kami melakukan hal itu.

Ringkasan

Ketika seorang mitra melempar 20 GB ke S3 kami, kami menyimpan 60 GB, karena kami menyediakan tiga kali reservasi geo data. Sekarang lalu lintas jauh lebih sedikit, yang baik untuk saluran dan untuk pengisian daya penyimpanan.

Dalam hal ini, rute ditutup melewati "Internet besar", tetapi Anda dapat mengarahkan lalu lintas melalui VPN L2 melalui Internet, tetapi lebih baik mengatur server media ke pintu masuk penyedia.

Jika Anda tertarik untuk mempelajari fitur-fitur ini di pusat data Rusia kami atau jika Anda memiliki pertanyaan tentang bagaimana mengimplementasikannya, tanyakan dalam komentar atau email ekorotkikh@croc.ru.