Pengalaman menggunakan Starwind VSAN dan EMC ScaleIO (VxFlexOS) + cheat sheet untuk penyimpanan mini Enterprise (1 bagian)

Terkadang menjadi perlu untuk mengatur penyimpanan volume penyimpanan kecil yang toleran terhadap kesalahan hingga 20Tb, tetapi dengan fungsionalitas Enterprise - All-Flash, cache SSD, MPIO, HA (Activ-Activ) dan semua ini dengan harga anggaran. Solusi perangkat keras yang siap pakai dengan fungsi-fungsi ini mulai dari ratusan terabyte dan harga 8 tanda atau lebih dalam rubel. Memiliki anggaran kecil 6-7 karakter di sungai. dan kebutuhan akan penyimpanan yang kecil dan cepat (tetapi dapat diandalkan), sejak 2009 dua versi sistem penyimpanan telah diuji dan dioperasikan secara komersial (Hal yang umum dengan sistem ini adalah mereka adalah sistem yang sangat andal tanpa satu titik kegagalan + Anda dapat menyentuh mereka sebelum membeli atau “melakukannya tanpa” (GRATIS)).

Siapa yang tertarik dengan pengalaman ini, berikut ini akan dijelaskan di bawah ini:

1. Pengalaman Perangkat Lunak StarWind Virtual SAN (VSAN) .
2. Cara membuat penyimpanan Enterprise kecil.
3. Sejarah overclocking IOPS (latihan).
4. Lembar curang untuk penyebaran dan pengoperasian sistem penyimpanan EMC ScaleIO (VxFlexOS) (tanpa adanya dukungan teknis oleh para spesialis "BUKAN Linux-guru") 1 bagian.

1. Pengalaman Operasi Perangkat Lunak StarWind Virtual SAN (VSAN)

StarWind Virtual SAN (VSAN) - dalam solusi Activ-Activ (replikasi sinkron pada 3 server), beroperasi dari 2009-2016 dalam edisi yang berbeda (Starwind ISCSI SAN HA-3) berdasarkan server dengan array RAID perangkat keras.

Pro :

• Mudah dan cepat, bahkan tidak dipasang oleh seorang profesional;
• MPIO melalui iSCSI Ethernet;
• HA (Activ-Activ);
• Pada server baru (garansi) (dengan disk baru), Anda dapat melupakan pemeliharaan penyimpanan selama beberapa tahun (pengguna bahkan tidak akan melihat kegagalan dua dari tiga server);
• Volume cache RAM dan SSD;
• Cepat Sinkronisasi cepat untuk pemadaman jaringan kecil.

Cons :

• Sebelumnya, hanya ada versi untuk platform Windows;
• Dengan operasi jangka panjang (lebih dari 3 tahun) - sulit untuk menemukan drive untuk menggantikan yang gagal (keluar dari produksi) untuk memperbaiki array RAID (dengan disk heterogen, kegagalan array dapat terjadi);
• Peningkatan jumlah antarmuka jaringan dan slot PCI yang ditempati oleh mereka (selain untuk sinkronisasi, kartu jaringan, sakelar);
• Saat menggunakan LSFS- “sistem file penjurnalan”, shutdown sistem yang berkepanjangan, yang dapat merugikan saat UPS dipicu ketika daya dimatikan;
• Sinkronisasi penuh waktu yang sangat lama dengan volume yang besar.

Mungkin masalah sudah sembuh (sebelumnya terjadi selama operasi di pusat data kami):

• Ketika array RAID runtuh, server tetap terlihat melalui sinkronisasi dan saluran data, tetapi disk di server Windows adalah off-jaringan, Starwind log meningkat dan memori server dikonsumsi, sebagai akibat dari pembekuan server. Perawatan yang mungkin: penugasan file kontrol dan penghapusan pesan yang tidak penting dari pengaturan log.
• Jika sakelar atau antarmuka jaringan gagal, pilihan yang tidak jelas dari server host (kadang-kadang terjadi, sistem tidak dapat memahami dengan siapa harus disinkronkan).

Berita berguna (belum diuji):
StarWind Virtual SAN for vSphere (solusi hiper-konvergen), memungkinkan Anda untuk menanamkan virtualisasi Vmware di sebuah cluster tanpa mengikat ke server Windows (berdasarkan mesin virtual Linux).

Rangkuman : Solusi yang toleran terhadap kesalahan jika ada program penggantian server perangkat keras yang normal di akhir garansi dan dukungan teknis StarWindSoftWare tersedia.

2. Cara membuat penyimpanan Perusahaan kecil

Pernyataan masalah:

Buat jaringan penyimpanan data volume kecil yang gagal-aman dengan total 4 TB-20TB, dengan operasi yang terjamin dalam jangka menengah tanpa biaya keuangan tambahan yang signifikan.

• Sistem harus toleran terhadap kesalahan (dengan tenang mentransfer kegagalan setidaknya satu sakelar, satu server, disk, dan kartu jaringan di server).
• Untuk maksimal, gunakan semua sumber daya dari armada perangkat keras server yang tersedia (server dan sakelar berusia 3-10 tahun).
• Pastikan berfungsinya volume level yang berbeda: All-Flash dan HDD + cache SSD.

Sumber data:

• anggaran terbatas;
• peralatan pembangkit 3-10 tahun yang lalu;
• Spesialis - Bukan Linux-Guru.

Perhitungan karakteristik

Untuk menghindari hambatan kinerja saat menggunakan disk SSD, yang akan terpotong oleh sesuatu dari rantai peralatan: kartu jaringan, pengontrol RAID (HBA), expander (keranjang), disk.

Diperlukan pada saat penciptaan untuk menyediakan, berdasarkan karakteristik yang diperlukan, konfigurasi peralatan tertentu.

Anda tentu saja dapat menjalankan konfigurasi dengan caching SSD SAS SAS pada jaringan 1Gb / s dan pengontrol 3G, tetapi hasilnya akan 3-7 kali lebih buruk daripada pada jaringan 6Gb RAID dan 10Gb / s (diverifikasi oleh tes).
Instruksi penyetelan VxFlexOS menggambarkan instruksi sederhana untuk menghitung bandwidth yang diperlukan, berdasarkan peringkat SSD -450 MB / C dan HDD -100 MB / C, untuk perekaman berurutan (misalnya, ketika server menyeimbangkan kembali dan membangun kembali).


Sebagai contoh:

• (Cache SSD + 3 HDD), kami dapatkan ((450 * 1) + (3 * 100)) * 8/1000 = 6GB
• (SEMUA FLASH SSD) + (Cache SSD + 3 HDD) ((450 * 2) + (3 * 100)) * 8/1000 = 9,6 GB

Untuk menentukan bandwidth jaringan oleh IOPS (beban standar pada server database dan server virtual yang dimuat), ada tabel indikatif dari StariWindSoftware


Konfigurasi akhir :

• Perangkat lunak penyimpanan, yang mungkin tidak menggabungkan disk ke dalam array RAID, tetapi mentransfernya ke penyimpanan dalam bentuk disk terpisah (sehingga tidak ada masalah mengganti disk setelah periode waktu tertentu ketika mereka gagal, tetapi cukup pilih berdasarkan kapasitas);
• Server generasi prosesor e55xx-x56xx dan lebih tinggi, bus pci-express v 2.0 dan lebih tinggi, pengendali Raid (HBA) 6G-12G dengan memori, keranjang ekspansi untuk 6-16 disk;
• Sakelar SMB 10G Layer 2 (JUMBO FRAME, LACP).

Metode solusi

Saat ini, tidak ada opsi anggaran untuk "Penyimpanan Perusahaan Kecil" dengan volume kecil dengan persyaratan di atas telah ditemukan.

Kami berhenti pada solusi perangkat lunak yang memungkinkan Anda untuk mengambil keuntungan dari Enterprise Storage, dengan opsi untuk menggunakan server yang ada, yang dalam hal ini memiliki hak untuk mati karena usia tua tanpa mengurangi penyimpanan.

• Ceph - tidak cukup spesialis Linux;
• EMC ScaleIO - selama beberapa tahun dukungan teknis - Anda dapat bertahan dengan staf yang ada.
• (Ternyata, pengetahuan di Linux bisa minimal, lebih banyak tentang itu nanti di lembar contekan).

3. Sejarah overclocking IOPS (praktik anggaran)

Untuk mempercepat operasi baca, tulis dalam sistem penyimpanan, perangkat SSD berikut digunakan:

3.1. Pengontrol dengan fitur caching SSD.

Pada 2010, pengontrol RAID dengan fungsi caching Adaptec 5445 SSD dengan disk MaxIQ muncul (untuk hasil yang nyata, Anda harus memiliki setidaknya 10% dari disk MaxIQ dari volume volume yang di-cache), hasilnya hanyalah tidak signifikan * diuji pada diri sendiri;
Kemudian ada pengendali yang dapat menggunakan disk SSD sewenang-wenang untuk caching, baik seri Adaptec Q dan LSI CacheCade (tetapi lisensi terpisah di sana);

3.2. Caching perangkat lunak menggunakan disk, seperti Intel DC S3700 , yang dilihat oleh pengontrol dan expander server server bermerek HP, IBM, FUJI (sebagian besar server berhasil mengenalinya, mahal untuk All-Flash, tetapi untuk 10% pada cache SSD dapat ditoleransi untuk tidak melepaskannya di bawah mitra IBM, HP, FUJI, dan hanya Intel). * Tapi sekarang ada opsi yang kompatibel lebih murah (lihat paragraf 3.5.);

3.3. Caching perangkat lunak menggunakan adaptor PCIe-M.2, SSD Synology M.2 M2D18 , diperiksa, ini bekerja di server biasa (tidak hanya di Synology), hal ini berguna ketika pengontrol RAID dan keranjang menolak untuk melihat SSD yang tidak ditunjukkan oleh pabrikan yang tidak sesuai dengan yang kompatibel (n HP D2700)? *;

3.4. Seagate EXOS Hybrid Drive 600Gb Seagate Exos 10E2400 (ST600MM0099) {SAS 12Gb / s, 10000rpm, 256Mb, 2.5 "}, * diverifikasi diakui oleh HP, IBM, server FUJI (alternatif untuk versi 3.1.-3.3.);

3.5. Drive SSD dengan sumber daya yang besar dan harga yang sebanding dengan SAS kelas perusahaan,
Crucial Micron 5200 MAX MTFDDAK480TDN-1AT1ZABYY, * diverifikasi diakui oleh server HP, IBM, FUJI
(alternatif untuk mengganti drive HDD dengan yang kompatibel dengan klausa 3.4 dan kompatibel dengan server SAS lama: SAS2.5 "600GB AL14SEB060N hard disk TOSHIBA *,
C10K1800 0B31229 HGST, ST600MM0099 SEAGATE). Mengizinkan anggaran untuk beralih dari HDD + SSD ke volume All-Flash.;

4. Lembar cheat untuk penyebaran dan operasi penyimpanan EMC ScaleIO (VxFlexOS) 1 bagian

Penyimpanan ScaleC EMC (VxFlexOS)

Setelah menguji solusi sebelum membeli, saya sampai pada kesimpulan bahwa untuk fungsi normal dari sistem lebih dari 3 node diperlukan (failover tidak stabil pada 3), misalnya, mengambil konfigurasi 8 server (itu akan bertahan dari kegagalan berturut-turut dari 4 server tanpa kehilangan volume).

Bagian perangkat keras :

FUJI CX2550M1 (E5-2xxx) - 3 pcs. (VmWare VSphere + ScaleIO server virtualisasi cluster inti klien SDC dan server SDS);
Server +5 generasi HP G6 (G7) atau IBM M3 (e55xx-x56xx) - Server ScaleIO SDS;
+ 2 Switch NetGear XS712T-100NES

Saat menjalankan penyimpanan dalam mode RFCache, saya dapat melakukan overclock ke 44KIops menggunakan Iometer



Konfigurasi Penyimpanan:

Kapasitas minyak mentah 12TB (lisensi minimum pada saat masih dijual sebagai perangkat lunak)



8 server SDS 28 drive



Baca cache RAM 14 Gb



Baca Flash cashe 1,27 TB (RFCashe)



Dalam versi menengah, di mana hanya 3 server 2x10Gb yang memiliki kartu jaringan, sisanya 2 x1Gb.


Terlihat jelas bahwa bahkan dengan caching SSD pada 1Gb dan bukan 10Gb, ada kehilangan bandwidth SDS tiga kali atau lebih, dengan media yang identik.

Tanpa caching, jika Anda mempertimbangkan sesuai dengan "standar" ini maka dengan 28 HDD,
kita mendapatkan 28X140 = 3920 IOPS, mis. untuk mendapatkan 44.000 IOPS, Anda akan membutuhkan disk 11 kali lebih banyak. Secara ekonomis lebih menguntungkan untuk persyaratan volume kecil, bukan untuk menambah jumlah disk tetapi, cache SSD.

Untuk pertanyaan mengapa kecepatan seperti itu dengan volume kecil, saya akan segera menjawab!

Ada organisasi kecil seperti itu (seperti milik kami) di mana ada sejumlah besar dokumen elektronik yang diproses dalam perangkat lunak untuk waktu yang lama (setiap registri mengontrol pengiriman perangkat lunak hingga 1 jam, bahkan pada penyimpanan yang di-overclock ini). Semua opsi lain telah diterapkan sebelumnya (peningkatan RM-RAM, CPU i5, SSD, 1Gb-NET). Bahkan penggunaan hanya bundel SSD + SAS pada penyimpanan (tanpa ALL-Flash sejauh ini) memungkinkan untuk menggunakan sebagian besar sumber daya server virtualisasi, mentransfer VM yang dimuat ke ScaleIO - menggandakan beban pada prosesor FUJI CX400M1 (sebelumnya menahan penyimpanan).