[Superkomputer 2019]. Penyimpanan multi-cloud sebagai aplikasi untuk drive Kingston DC1000M baru

Bayangkan Anda memulai bisnis medis yang inovatif - pilihan obat-obatan berdasarkan analisis genom manusia. Setiap pasien memiliki 3 milyar pasang gen, dan server tipikal pada prosesor x86 akan membutuhkan waktu beberapa hari untuk menghitungnya. Anda tahu bahwa Anda dapat mempercepat proses di server dengan prosesor FPGA yang memparalelkan perhitungan di ribuan utas. Dia akan menghitung genom dalam waktu sekitar satu jam. Server-server ini dapat disewa di Amazon Web Services (AWS). Tapi inilah nasib buruknya - pelanggan secara pribadi dari rumah sakit secara kategoris menentang penempatan data genetik di cloud penyedia layanan. Bagaimana menjadi Kingston dan startup berbasis cloud memamerkan arsitektur Private MultiCloud Storage (PMCS) di Supercomputing 2019 untuk mengatasi tantangan ini.

Tiga kondisi untuk komputasi kinerja tinggi

Perhitungan genom manusia bukan satu-satunya tugas di bidang komputasi kinerja tinggi (HPC, High Performance Computing). Para ilmuwan menghitung bidang fisik, insinyur - detail pesawat terbang, pemodal - model ekonomi, dan bersama-sama mereka menganalisis data besar, membangun jaringan saraf dan melakukan banyak perhitungan rumit lainnya.

Tiga kondisi untuk HPC adalah daya komputasi yang luar biasa, kapasitas yang sangat tinggi dan penyimpanan yang cepat, dan bandwidth jaringan yang tinggi. Oleh karena itu, praktik standar dalam melakukan perhitungan LDC adalah di pusat data perusahaan sendiri (di tempat) atau di penyedia di cloud.

Tetapi tidak semua perusahaan memiliki pusat data sendiri, dan siapa pun yang memilikinya sering kehilangan pusat data komersial dalam hal efisiensi sumber daya (pengeluaran modal diperlukan untuk pembelian dan pembaruan perangkat keras dan lunak, pembayaran untuk personel yang berkualifikasi tinggi, dll.) . Penyedia cloud, sebaliknya, menawarkan sumber daya IT sesuai dengan model biaya operasi Pay-as-you-go, yaitu sewa hanya dikenakan untuk saat penggunaan. Ketika perhitungan selesai, server dari akun dapat dihapus, dan dengan demikian menghemat anggaran TI. Tetapi jika ada larangan legislatif atau perusahaan dalam mentransfer data ke penyedia, komputasi HPC di cloud tidak tersedia.

Penyimpanan MultiCloud Pribadi

Arsitektur Private MultiCloud Storage dirancang untuk memberikan akses ke layanan cloud dengan secara fisik meninggalkan data itu sendiri di situs perusahaan atau di kompartemen aman terpisah dari pusat data menggunakan layanan colocation. Pada dasarnya, ini adalah model komputasi terdistribusi data-sentris di mana server cloud bekerja dengan sistem penyimpanan jarak jauh dari cloud pribadi. Dengan demikian, menggunakan gudang data lokal yang sama, Anda dapat bekerja dengan layanan cloud dari penyedia terbesar: AWS, MS Azure, Google Cloud Platform, dll.

Menampilkan contoh implementasi PMCS di Supercomputing-2019, Kingston memperkenalkan sistem penyimpanan berkinerja tinggi (DCS) berdasarkan DC1000M SSD, dan salah satu startup berbasis cloud adalah perangkat lunak manajemen StorOne S1 untuk penyimpanan yang ditentukan oleh perangkat lunak dan saluran komunikasi khusus dengan penyedia cloud utama .

Perlu dicatat bahwa PMCS sebagai model kerja komputasi awan dengan penyimpanan pribadi dirancang untuk pasar Amerika Utara dengan konektivitas jaringan yang dikembangkan antara pusat data, yang didukung pada infrastruktur AT&T dan Equinix. Jadi, ping antara sistem penyimpanan di kolokasi di simpul Equinix Cloud Exchange dan cloud AWS kurang dari 1 milidetik (sumber: ITProToday ).

Dalam demonstrasi arsitektur PMCS yang ditampilkan di pameran, sistem penyimpanan DCMe DC1000M digabungkan, dan mesin virtual melakukan ping satu sama lain dalam awan AWS, MS Azure, Google Cloud Platform. Aplikasi client-server bekerja jarak jauh dengan sistem penyimpanan Kingston dan server HP DL380 di pusat data dan melalui infrastruktur saluran komunikasi, Equinix memperoleh akses ke platform cloud dari penyedia utama yang disebutkan di atas.



Slide dari presentasi Private MultiCloud Storage di Supercomputing-2019. Sumber: Kingston

Perangkat lunak serupa untuk mengelola arsitektur penyimpanan multi-cloud pribadi ditawarkan oleh berbagai perusahaan. Persyaratan untuk arsitektur ini juga dapat terdengar berbeda - Private MultiCloud Storage atau Private Storage for Cloud.

"Superkomputer modern berjalan pada sejumlah aplikasi HPC yang berada di garis depan dalam segala hal mulai dari eksplorasi minyak dan gas hingga prakiraan cuaca, pasar keuangan, dan pengembangan teknologi baru," kata Keat Shimmenti, Corporate Governance Manager untuk SSD di Kingston. "Aplikasi HPC ini membutuhkan kecocokan yang jauh lebih baik antara kinerja prosesor dan kecepatan I / O." Kami bangga berbicara tentang bagaimana solusi Kingston membantu terobosan dalam komputasi, memberikan kinerja yang Anda butuhkan di lingkungan dan aplikasi komputasi paling ekstrem di dunia. "

Drive DC1000M dan contoh sistem penyimpanan yang berbasiskan padanya

DC1000M U.2 NVMe SSD dirancang oleh Kingston untuk pusat data, dan dirancang khusus untuk data intensif dan aplikasi HPC seperti aplikasi kecerdasan buatan (AI) dan pembelajaran mesin (ML).



3.84TB DC1000M U.2 NVMe drive. Sumber: Kingston

Drive DC1000M U.2 dibangun berdasarkan memori Intel 3D NAND 96-lapisan yang dikendalikan oleh pengontrol Silicon Motion SM2270 (PCIe 3.0 dan NVMe 3.0). Silicon Motion SM2270 adalah pengendali perusahaan NVMe 16-kanal dengan antarmuka PCIe 3.0 x8, bus data DRAM 32-bit ganda dan tiga prosesor ARM Cortex R5 ganda.

DC1000M dengan berbagai ukuran ditawarkan untuk dirilis: dari 0,96 hingga 7,68 TB (yang paling populer dianggap 3,84 dan 7,68 TB). Performa drive diperkirakan mencapai 800 ribu IOPS.



Sistem penyimpanan dengan 10x DC1000M U.2 NVMe 7.68 TB. Sumber: Kingston

Sebagai contoh sistem penyimpanan untuk aplikasi HPC, Kingston meluncurkan solusi rack-mount dengan 10 DC1000M U.2 NVMe drive, masing-masing dengan kapasitas 7,68 TB, di Supercomputing-2019. Sistem penyimpanan didasarkan pada SB122A-PH, platform 1U form factor AIC. Prosesor: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Nomor Komponen: KSM24RS4 / 16HAI). Sebagai OS, Ubuntu 18.04.3 LTS, Linux kernel ver 5.0.0-31 diinstal. Tes gfio v3.13 (Fleksibel I / O tester) menunjukkan kinerja baca 5,8 juta IOPS dengan throughput 23,8 Gb / s.

Sistem penyimpanan yang disajikan menunjukkan karakteristik yang mengesankan dalam parameter pembacaan stabil 5,8 juta IOPS (operasi input-output per detik). Ini adalah dua urutan besarnya lebih cepat dari SSD untuk sistem pasar massal. Kecepatan baca ini diperlukan untuk aplikasi HPC yang berjalan pada prosesor khusus.

Penyimpanan Cloud Pribadi HPC di Rusia

Tugas melakukan komputasi kinerja tinggi dengan penyedia, tetapi secara fisik menyimpan data di tempat, juga relevan untuk perusahaan Rusia. Kasus umum lainnya dalam bisnis domestik adalah ketika, ketika menggunakan layanan cloud asing, data harus ditempatkan di wilayah Federasi Rusia. Kami diminta untuk mengomentari situasi ini atas nama penyedia cloud Selectel sebagai mitra lama Kingston.

“Di Rusia, Anda dapat membangun arsitektur yang sama, apalagi, dengan layanan dalam bahasa Rusia dan semua dokumen pelaporan untuk akuntansi pelanggan. Jika perusahaan perlu melakukan komputasi kinerja tinggi menggunakan penyimpanan di tempat, kami di Selectel menyewa server dengan berbagai jenis prosesor, termasuk FPGA , GPU atau CPU multi-core. Selain itu, kami akan mengatur peletakan saluran optik khusus antara kantor pelanggan dan pusat data kami melalui mitra, "komentar Alexander Tugov, Direktur Pengembangan Layanan Selectel. - Klien juga dapat menempatkan penyimpanannya di colocation di ruang mesin dengan mode akses khusus dan menjalankan aplikasi baik di server kami dan di awan penyedia global AWS, MS Azure, Google Cloud. Tentu saja, keterlambatan sinyal dalam kasus yang terakhir akan lebih tinggi daripada jika penyimpanan klien di AS, tetapi koneksi broadband multi-cloud akan disediakan. "

Pada artikel selanjutnya, kita akan berbicara tentang solusi Kingston lainnya, yang dipresentasikan pada pameran Supercomputing-2019 (Denver, Colorado, USA) dan ditujukan untuk aplikasi pembelajaran mesin dan analisis data besar menggunakan prosesor grafis. Ini adalah teknologi Penyimpanan GPUDirect, yang menyediakan transfer data langsung antara penyimpanan NVMe dan memori prosesor GPU. Selain itu, kami akan menjelaskan bagaimana kami berhasil mencapai kecepatan membaca data 5,8 juta IOPS dalam penyimpanan rack-mount pada disk NVMe.

Untuk informasi lebih lanjut tentang produk Teknologi Kingston, kunjungi situs web perusahaan .