Keandalan flash: diharapkan dan tidak terduga. Bagian 2. Konferensi XIV dari asosiasi USENIX. Teknologi penyimpanan file

Keandalan flash: diharapkan dan tidak terduga. Bagian 1. Konferensi XIV dari asosiasi USENIX. Teknologi penyimpanan file

4.2.2. RBER dan usia disk (tidak termasuk siklus PE).

Gambar 1 menunjukkan korelasi yang signifikan antara RBER dan usia, yang sama dengan jumlah bulan operasi disk di lapangan. Namun, ini mungkin korelasi yang salah, karena ada kemungkinan bahwa disk lama memiliki lebih banyak PE dan karena itu RBER lebih saling berhubungan dengan siklus PE.

Untuk menghilangkan efek usia pada keausan yang disebabkan oleh siklus PE, kami mengelompokkan semua bulan operasi ke dalam wadah menggunakan desil dari distribusi siklus PE sebagai cut-off antara kontainer, misalnya, wadah pertama berisi semua bulan operasi disk sampai desil pertama distribusi siklus PE, dan seterusnya selanjutnya. Kami memeriksa bahwa di dalam setiap wadah, korelasi antara siklus PE dan RBER agak kecil (karena setiap kontainer hanya mencakup sedikit siklus PE), dan kemudian kami menghitung koefisien korelasi antara RBER dan usia disk untuk setiap wadah secara terpisah.

Kami melakukan analisis ini secara terpisah untuk masing-masing model, karena korelasi yang diamati bukan karena perbedaan antara model yang lebih muda dan yang lebih tua, tetapi semata-mata karena usia disk dari model yang sama. Kami mengamati bahwa bahkan setelah membatasi pengaruh pengaruh siklus PE seperti dijelaskan di atas, untuk semua model disk, masih ada korelasi yang signifikan antara jumlah bulan operasi disk di lapangan dan RBER-nya (koefisien korelasi berkisar 0,2 hingga 0,4).


Fig. 3. Hubungan antara RBER dan jumlah siklus PE untuk drive baru dan lama menunjukkan bahwa usia drive mempengaruhi nilai RBER terlepas dari siklus PE yang disebabkan oleh keausan.

Kami juga secara visual memvisualisasikan pengaruh usia drive dengan memisahkan hari-hari pengoperasian disk pada usia "muda" hingga 1 tahun dan hari-hari pengoperasian disk selama usia 4 tahun, setelah itu kami merencanakan ketergantungan RBER masing-masing kelompok pada jumlah siklus PE. Gambar 3 menunjukkan hasil ini untuk model drive MLC-D. Kami melihat perbedaan nyata dalam nilai-nilai koefisien RBER antara kelompok disk lama dan baru di seluruh nilai siklus PE.

Dari ini kami menyimpulkan bahwa usia, diukur dengan hari-hari penggunaan disk di lapangan, memiliki efek signifikan pada RBER, terlepas dari keausan sel memori karena efek dari siklus PE. Ini berarti bahwa faktor-faktor lain, seperti penuaan silikon, memainkan peran penting dalam kerusakan fisik disk.

4.2.3. RBER dan beban kerja.

Kesalahan bit diduga disebabkan oleh salah satu dari empat mekanisme:

1. Kesalahan penyimpanan ketika sel memori kehilangan data seiring waktu
   Baca galat gangguan, di mana operasi baca merusak konten sel tetangga;
2. Tulis galat gangguan, di mana operasi baca merusak konten sel tetangga;
3. kesalahan penghapusan yang tidak lengkap ketika operasi penghapusan tidak sepenuhnya menghapus isi sel.

Kesalahan yang terkait dengan tiga jenis terakhir (gangguan baca, gangguan tulis, penghapusan tidak lengkap) berkorelasi dengan beban kerja, jadi memahami korelasi antara RBER dan beban kerja membantu kita memahami prevalensi berbagai mekanisme kesalahan. Dalam sebuah studi baru-baru ini, "Sebuah studi skala besar kegagalan memori flash di lapangan" (MEZA, J., WU, Q., KUMAR, S., MUTLU, O. "Sebuah studi skala besar tentang kegagalan memori flash di lapangan." Prosiding Konferensi Internasional ACM SIGMETRICS 2015 tentang Pengukuran dan Pemodelan Sistem Komputer, New York, 2015, SIGMETRICS '15, ACM, hlm. 177–190) menyimpulkan bahwa kesalahan penyimpanan mendominasi di lapangan, sementara kesalahan membaca pelanggaran cukup kecil.

Gambar 1 menunjukkan hubungan yang signifikan antara nilai RBER dalam bulan tertentu operasi disk dan jumlah operasi baca, tulis, dan hapus pada bulan yang sama untuk beberapa model (misalnya, koefisien korelasi di atas 0,2 untuk model MLC-B dan di atas 0,6 untuk model SLC-B). Namun, ini mungkin korelasi yang salah, karena beban kerja bulanan mungkin terkait dengan jumlah total siklus PE.

Kami menggunakan metodologi yang sama yang dijelaskan dalam Bagian 4.2.2 untuk mengisolasi efek beban kerja dari efek siklus PE dengan mengisolasi bulan operasi drive berdasarkan pada siklus PE sebelumnya, dan kemudian kami menentukan koefisien korelasi secara terpisah untuk setiap wadah.

Kami melihat bahwa korelasi antara jumlah operasi baca pada bulan tertentu operasi disk dan nilai RBER pada bulan yang sama dipertahankan untuk model MLC-B dan SLC-B, bahkan dengan batasan siklus PE. Kami juga mengulangi analisis yang sama, di mana kami mengecualikan efek operasi baca pada jumlah operasi tulis dan hapus paralel, dan menyimpulkan bahwa korelasi antara RBER dan jumlah operasi baca dipertahankan untuk model SLC-B.

Gambar 1 juga menunjukkan korelasi antara RBER dan operasi tulis dan hapus, jadi kami mengulangi analisis yang sama untuk operasi baca, tulis, dan hapus. Kami menyimpulkan bahwa sambil membatasi efek loop PE dan operasi baca, tidak ada hubungan antara nilai RBER dan jumlah operasi tulis dan hapus.

Jadi, ada model disk di mana kesalahan pelanggaran baca berdampak signifikan pada RBER. Di sisi lain, tidak ada bukti bahwa RBER dipengaruhi oleh kesalahan penulisan atau kesalahan penghapusan yang tidak lengkap.

4.2.4 RBER dan litografi.

Perbedaan dalam ukuran objek sebagian dapat menjelaskan perbedaan dalam nilai RBER untuk model disk menggunakan teknologi yang sama, yaitu, MLC atau SLC. (lihat Tabel 1 untuk ikhtisar litografi berbagai model yang terlibat dalam penelitian ini).

Sebagai contoh, 2 model SLC dengan litografi 34nm (model SLC-A dan SLC-D) memiliki RBER, yang merupakan urutan besarnya lebih tinggi dari 2 model dengan litografi mikroelektronika 50 nm (model SLC-B dan SLC-C). Dalam kasus model MLC, hanya model 43nm (MLC-B) yang memiliki RBER median, yang 50% lebih tinggi dari 3 model lainnya dengan litografi 50 nm. Selain itu, perbedaan RBER ini meningkat 4 kali lipat saat disc dipakai, seperti yang ditunjukkan pada Gambar 2. Akhirnya, litografi yang lebih tipis dapat menjelaskan RBER yang lebih tinggi untuk drive eMLC dibandingkan dengan drive MLC. Secara keseluruhan, kami memiliki bukti yang jelas bahwa litografi mempengaruhi RBER.

4.2.5. Adanya kesalahan lain.

Kami memeriksa hubungan antara RBER dan jenis kesalahan lainnya, misalnya, kesalahan fatal, kesalahan batas waktu, dll., Khususnya, apakah nilai RBER akan menjadi lebih tinggi setelah sebulan dari pengaruh jenis kesalahan lainnya.

Gambar 1 menunjukkan bahwa sementara nilai RBER untuk bulan sebelumnya memungkinkan kami untuk memprediksi nilai-nilai RBER di masa depan (koefisien korelasi di atas 0,8), tidak ada korelasi yang signifikan antara kesalahan fatal dan RBER (kelompok elemen dalam yang paling kanan di Gambar 1). Untuk jenis kesalahan lainnya, koefisien korelasinya bahkan lebih rendah (tidak diperlihatkan dalam gambar). Kami terus menyelidiki hubungan antara RBER dan kesalahan fatal di bagian 5.2 artikel ini.

4.2.6. Pengaruh faktor lain.

Kami menemukan bukti bahwa ada faktor-faktor yang memiliki dampak signifikan pada RBER dan yang tidak dapat menjelaskan data yang kami terima. Secara khusus, kami perhatikan bahwa RBER untuk model disk tertentu bervariasi tergantung pada cluster di mana disk digunakan. Contoh yang baik adalah Gambar 4, yang menunjukkan ketergantungan RBER pada siklus PE untuk drive MLC-D dalam tiga cluster yang berbeda (garis putus-putus) dan perbandingannya dengan RBER untuk model ini relatif terhadap jumlah total disk (garis padat). Kami percaya bahwa perbedaan ini tetap ada bahkan ketika kami membatasi pengaruh faktor-faktor seperti usia disk atau jumlah operasi baca.

Satu penjelasan yang mungkin untuk faktor ini adalah perbedaan dalam jenis beban kerja dalam kelompok yang berbeda, karena kami mengamati bahwa kelompok yang beban kerjanya memiliki koefisien baca / tulis tertinggi memiliki RBER tertinggi.


Fig. 4 a), b). Nilai-nilai RBER median tergantung pada siklus PE dalam tiga kelompok yang berbeda dan ketergantungan dari koefisien baca / tulis pada jumlah siklus PE dalam tiga kelompok yang berbeda.

Sebagai contoh, Gambar 4 (b) menunjukkan koefisien baca / tulis dari kluster berbeda untuk model penggerak MLC-D. Namun, rasio baca / tulis tidak menjelaskan perbedaan antara cluster untuk semua model, oleh karena itu, mungkin ada faktor-faktor lain yang tidak diperhitungkan oleh data kami, misalnya, faktor lingkungan atau parameter eksternal lain dari beban kerja.

4.3. RBER selama tes ketahanan yang dipercepat.

Sebagian besar karya ilmiah, serta tes yang dilakukan saat membeli media pada skala industri, memprediksi keandalan perangkat di lapangan berdasarkan hasil uji ketahanan yang dipercepat. Kami memutuskan untuk memahami bagaimana hasil pengujian tersebut sesuai dengan pengalaman praktis mengoperasikan media penyimpanan solid-state.
Analisis hasil pengujian yang dilakukan sesuai dengan metodologi umum pengujian dipercepat untuk peralatan yang dipasok ke pusat data Google menunjukkan bahwa nilai-nilai bidang RBER secara signifikan lebih tinggi dari yang diperkirakan. Misalnya, untuk model eMLC-a, median RBER untuk cakram yang dioperasikan di lapangan (pada akhir tes jumlah siklus PE mencapai 600) adalah 1e-05, sedangkan menurut hasil pengujian dipercepat awal, nilai RBER seperti itu harus sesuai dengan 4000 siklus PE. Ini menunjukkan bahwa sangat sulit untuk secara akurat memprediksi nilai RBER di lapangan berdasarkan estimasi RBER yang diperoleh dari tes laboratorium.

Kami juga mencatat bahwa beberapa jenis kesalahan sulit direproduksi selama pengujian yang dipercepat. Misalnya, dalam kasus model MLC-B, hampir 60% drive di lapangan memiliki kesalahan yang tidak dapat diperbaiki dan hampir 80% drive memiliki blok yang rusak. Namun, selama tes ketahanan yang dipercepat, tidak satu pun dari enam perangkat mengalami kesalahan yang tidak dapat diperbaiki hingga disk mencapai lebih dari tiga kali batas siklus PE. Untuk model eMLC, kesalahan yang tidak dapat diperbaiki di lapangan terjadi di lebih dari 80% disk, sementara dalam pengujian dipercepat, kesalahan tersebut terjadi setelah mencapai 15.000 siklus PE.

Kami juga meninjau RBER yang dijelaskan dalam makalah penelitian sebelumnya, yang didasarkan pada eksperimen dalam lingkungan yang terkendali, dan sampai pada kesimpulan bahwa kisaran variasi nilai sangat tinggi. Misalnya, L.M. Grup dan lainnya dalam pekerjaan 2009-2012 menunjukkan nilai RBER untuk disk yang hampir mencapai nilai batas untuk siklus PE. Misalnya, untuk perangkat SLC dan MLC dengan ukuran litografi yang sama dengan yang digunakan dalam pekerjaan kami (25-50nm), nilai RBER berkisar dari 1e-08 hingga 1e-03, dan untuk sebagian besar model drive yang diuji, nilai RBER mendekati 1e-06.

Dalam penelitian kami, tiga model disk yang mencapai batas siklus PE memiliki RBER mulai dari 3e-08 hingga 8e-08. Bahkan dengan mempertimbangkan bahwa angka-angka kami adalah batas bawah dan dalam kasus yang benar-benar terburuk mereka dapat mengambil nilai 16 kali lebih besar, atau dengan mempertimbangkan RBER persentil ke-95, nilai yang kami peroleh masih jauh lebih rendah.

Secara umum, walaupun nilai RBER nyata di lapangan lebih tinggi dari nilai prediksi berdasarkan uji ketahanan yang dipercepat, nilai RBER nyata untuk perangkat serupa dilaporkan dalam makalah penelitian lain, dan yang dihitung berdasarkan laboratorium tes. Ini berarti bahwa Anda tidak harus bergantung pada nilai prediksi RBER di lapangan, yang diperoleh berdasarkan hasil dari tes ketahanan yang dipercepat.

5. Kesalahan yang tidak dapat dipulihkan.

Mengingat banyaknya kesalahan yang tidak dapat diperbaiki (UE), yang dibahas dalam bagian 3 artikel ini, pada bagian ini kami mempelajari karakteristik mereka secara lebih rinci. Kami mulai dengan membahas metrik mana yang akan digunakan untuk mengukur UE, mempertimbangkan bagaimana mereka terkait dengan RBER, dan bagaimana berbagai faktor mempengaruhi UE.

5.1. Mengapa koefisien UBER tidak masuk akal.

Metrik standar yang mengkarakterisasi kesalahan yang tidak dapat diperbaiki adalah UBER, rasio kesalahan bit yang tidak dapat diperbaiki, yaitu rasio jumlah kesalahan bit yang tidak dapat diperbaiki dengan total jumlah bit yang dibaca.

Metrik ini secara implisit mengasumsikan bahwa jumlah kesalahan yang tidak dapat diperbaiki entah bagaimana terkait dengan jumlah bit yang dibaca, yang berarti harus dinormalisasi dengan angka ini.

Asumsi ini berlaku untuk kesalahan yang dapat diperbaiki, di mana ditemukan bahwa jumlah kesalahan yang diamati pada bulan tertentu berkorelasi kuat dengan jumlah operasi baca selama periode waktu yang sama (koefisien korelasi Spearman lebih besar dari 0,9). Alasan untuk korelasi yang kuat adalah bahwa bahkan satu bit yang rusak, sementara mengoreksi dengan ECC, akan terus meningkatkan jumlah kesalahan dengan setiap operasi membaca ditujukan kepadanya, karena evaluasi sel yang mengandung bit yang rusak tidak diperbaiki segera ketika kesalahan terdeteksi (cakram). hanya menulis ulang halaman secara berkala dengan bit yang rusak).

Asumsi yang sama tidak berfungsi untuk kesalahan yang tidak dapat diperbaiki. Kesalahan yang tidak dapat dipulihkan mengecualikan penggunaan lebih lanjut dari blok yang rusak, karena itu, setelah terdeteksi, blok seperti itu tidak akan mempengaruhi jumlah kesalahan di masa depan.

Untuk mengkonfirmasi asumsi ini secara resmi, kami menggunakan berbagai metrik untuk mengukur hubungan antara jumlah operasi baca dalam bulan tertentu operasi disk dan jumlah kesalahan fatal untuk periode waktu yang sama, termasuk berbagai koefisien korelasi (Pearson, Spearman, Kendall), serta studi visual grafik. . Selain jumlah kesalahan yang tidak dapat diperbaiki, kami juga memeriksa frekuensi insiden dengan kesalahan yang tidak dapat diperbaiki (misalnya, kemungkinan bahwa disk akan memiliki setidaknya satu insiden seperti itu untuk periode waktu tertentu) dan hubungannya dengan operasi baca.
Kami tidak menemukan bukti korelasi antara jumlah pembacaan dan jumlah kesalahan fatal. Untuk semua model drive, koefisien korelasi berada di bawah 0,02, dan grafik tidak menunjukkan peningkatan UE dengan peningkatan jumlah operasi baca.

Pada bagian 5.4 artikel ini, kami menganggap bahwa operasi tulis dan hapus juga tidak ada hubungannya dengan kesalahan yang tidak dapat diperbaiki, oleh karena itu, definisi alternatif UBER, yang dinormalisasi dengan operasi tulis atau hapus alih-alih operasi baca, tidak memiliki arti.

Oleh karena itu, kami menyimpulkan bahwa UBER bukan metrik yang signifikan, dengan kemungkinan pengecualian pengujian di lingkungan terkontrol di mana jumlah operasi baca diatur oleh eksperimen. Jika UBER digunakan sebagai metrik selama uji coba lapangan, ini akan secara artifisial mengurangi tingkat kesalahan untuk drive dengan jumlah pembacaan yang tinggi dan secara buatan meningkatkan frekuensi ini untuk drive dengan jumlah pembacaan yang rendah, karena kesalahan yang tidak dapat diperbaiki terjadi terlepas dari jumlah operasi pembacaan.

5.2. Kesalahan fatal dan RBER.

Relevansi RBER dijelaskan oleh fakta bahwa ia berfungsi sebagai ukuran menentukan keandalan keseluruhan drive, khususnya, berdasarkan probabilitas terjadinya kesalahan yang tidak dapat diperbaiki. Dalam pekerjaan mereka, N. Mielke dan lainnya pada 2008 adalah yang pertama untuk menentukan frekuensi kesalahan fatal yang diharapkan sebagai fungsi RBER. Sejak itu, banyak pengembang sistem telah menggunakan metode yang serupa, misalnya, memperkirakan frekuensi kesalahan yang tidak dapat diperbaiki tergantung pada RBER dan jenis ECC.

Tujuan bagian ini adalah untuk mengkarakterisasi seberapa baik RBER memprediksi kesalahan yang tidak dapat diperbaiki. Mari kita mulai dengan Gambar 5a, yang memperlihatkan grafik nilai median RBER untuk sejumlah model drive generasi pertama, relatif terhadap fraksi hari-hari operasi mereka selama kesalahan UE yang tidak dapat diperbaiki terjadi. Perlu dicatat bahwa beberapa dari 16 model yang ditunjukkan dalam grafik tidak ditunjukkan pada Tabel 1 karena kurangnya informasi analitis.


Fig. 5a. Korelasi median RBER dengan kesalahan yang tidak dapat diperbaiki untuk berbagai model drive.


Fig. 5b. Korelasi median RBER dengan kesalahan yang tidak dapat diperbaiki untuk berbagai drive dari model yang sama.

Ingatlah bahwa semua model dalam generasi yang sama menggunakan mekanisme ECC yang sama, sehingga perbedaan antara model tidak bergantung pada perbedaan ECC. Kami tidak melihat korelasi antara insiden RBER dan UE. Kami menciptakan grafik yang sama untuk RBER persentil ke-95 dibandingkan dengan probabilitas UE dan sekali lagi tidak melihat korelasi.

Selanjutnya, kami mengulangi analisis ketika merinci masing-masing disk, yaitu, kami mencoba mencari tahu apakah ada disk di mana nilai RBER yang lebih tinggi sesuai dengan frekuensi UE yang lebih tinggi. Sebagai contoh, Gambar 5b menunjukkan grafik nilai median RBER untuk setiap penggerak model MLC-c versus jumlah UE (hasilnya serupa dengan yang diperoleh untuk RBER persentil ke-95). Sekali lagi, kami tidak melihat korelasi antara RBER dan UE.

Akhirnya, kami melakukan analisis waktu yang lebih akurat untuk menentukan apakah bulan-bulan pengoperasian drive dengan RBER yang lebih tinggi akan sesuai dengan bulan-bulan di mana UE terjadi. Gambar 1 sudah menunjukkan bahwa koefisien korelasi antara kesalahan yang tidak dapat diperbaiki dan RBER sangat rendah. Kami juga bereksperimen dengan berbagai cara merencanakan kemungkinan UE sebagai fungsi RBER dan tidak menemukan tanda-tanda korelasi.

Dengan demikian, kami menyimpulkan bahwa RBER adalah indikator yang tidak dapat diandalkan untuk memprediksi UE. Ini mungkin berarti bahwa mekanisme kegagalan yang mengarah ke RBER berbeda dari mekanisme yang menyebabkan terjadinya kesalahan yang tidak dapat diperbaiki (misalnya, kesalahan yang terkandung dalam sel individu versus masalah yang lebih besar yang muncul dengan seluruh perangkat).

5.3. Kesalahan fatal dan keausan.

Karena keausan adalah salah satu masalah utama dengan memori flash, Gambar 6 menunjukkan kemungkinan harian dari kesalahan drive yang tidak dapat diperbaiki tergantung pada siklus PE.


Gambar 6. Probabilitas harian dari kesalahan drive yang tidak dapat diperbaiki tergantung pada siklus PE.

Kami mencatat bahwa kemungkinan UE terus meningkat seiring usia drive. Namun, seperti dalam kasus RBER, peningkatannya lebih lambat dari yang biasanya diharapkan: grafik menunjukkan bahwa UE tumbuh dengan siklus PE secara linier, bukan secara eksponensial.

Dua kesimpulan yang kami buat untuk RBER juga berlaku untuk UE: pertama, tidak ada peningkatan yang jelas dalam kemungkinan kesalahan setelah mencapai batas siklus PE, misalnya, pada Gambar 6 untuk model MLC-D, yang batas siklus PE-nya adalah 3000. kedua, frekuensi terjadinya kesalahan bervariasi di antara model yang berbeda bahkan dalam kelas yang sama. Namun, perbedaan ini tidak sebesar untuk RBER.

Akhirnya, untuk mendukung temuan kami di Bagian 5.2, kami menemukan bahwa, dalam kelas model yang sama (MLC vs SLC), model dengan nilai RBER terendah untuk sejumlah siklus PE tidak harus yang memiliki probabilitas kejadian UE terendah. Misalnya, untuk 3000 siklus PE, drive model MLC-D memiliki nilai RBER 4 kali lebih rendah dari model MLC-B, namun, kemungkinan UE dengan jumlah siklus PE yang sama dalam model MLC-D sedikit lebih tinggi daripada model MLC-B.


Gbr. 7. Probabilitas bulanan terjadinya kesalahan drive yang tidak dapat diperbaiki sebagai fungsi ketergantungan pada adanya kesalahan sebelumnya dari berbagai jenis.

5.4. Kesalahan fatal dan beban kerja.

Untuk alasan yang sama bahwa beban kerja dapat memengaruhi RBER (lihat bagian 4.2.3), dapat diperkirakan bahwa hal itu juga akan memengaruhi UE. Misalnya, karena kami telah mengamati bahwa kesalahan pelanggaran baca mempengaruhi RBER, operasi baca juga dapat meningkatkan kemungkinan kesalahan yang tidak dapat diperbaiki.

Kami melakukan studi rinci tentang dampak beban kerja pada UE. Namun, seperti yang disebutkan di bagian 5.1, kami tidak menemukan hubungan antara UE dan jumlah operasi baca. Kami mengulangi analisis yang sama untuk operasi tulis dan hapus dan sekali lagi tidak melihat adanya korelasi.
Perhatikan bahwa pada pandangan pertama, Anda dapat melihat kontradiksi dengan pengamatan kami sebelumnya, yang menurutnya kesalahan yang tidak dapat diperbaiki berkorelasi dengan siklus PE. Oleh karena itu, korelasi dengan jumlah operasi tulis dan hapus dapat diharapkan.

PE PE, , . , , / / , , . . / / .

, , .

Terima kasih telah tinggal bersama kami. Apakah Anda suka artikel kami? Ingin melihat materi yang lebih menarik? Dukung kami dengan melakukan pemesanan atau merekomendasikannya kepada teman-teman Anda, diskon 30% untuk pengguna Habr pada server entry-level analog unik yang kami ciptakan untuk Anda: Seluruh kebenaran tentang VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps mulai dari $ 20 atau cara membagi server? (opsi tersedia dengan RAID1 dan RAID10, hingga 24 core dan hingga 40GB DDR4).

Dell R730xd 2 kali lebih murah? Hanya kami yang memiliki 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV dari $ 199 di Belanda! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - mulai dari $ 99! Baca tentang Cara Membangun Infrastruktur Bldg. kelas menggunakan server Dell R730xd E5-2650 v4 seharga 9.000 euro untuk satu sen?