Server Anda sendiri untuk belajar seperti sebuah mesin di abad ke-20: jika Anda benar-benar terlibat dalam Ilmu Data, cepat atau lambat Anda akan sampai pada titik bahwa Anda memerlukan lingkungan khusus yang disatukan, kepercayaan pada sumber daya yang tidak tergantung pada aturan majikan dan admin. Seseorang akan mengatakan bahwa semuanya dapat dilakukan di awan, tetapi akses konstan, eksperimen panjang 24/7, dan bahkan dengan penyimpanan data akan menghabiskan satu sen.
Jadi, jika Anda memutuskan - Anda perlu membangun kota taman Anda.
Mari kita lihat apa yang kita butuhkan:
- Kumpulan data harus terletak di suatu tempat. Perlu kemampuan untuk menyimpan dan memiliki akses cepat ke sejumlah besar data.
- Kartu video Resnet dan Unet sedang menunggu.
- Prosesor multi-core. Banyak orang lupa, tetapi banyak operasi dalam algoritma numpy, panda, dan gradient boost yang diparalelkan dengan sempurna untuk multithreading, tetapi masih tidak berfungsi pada kartu video.
- RAM Harus mengandung semuanya.
- Dan sisanya yang harus melayani parameter: sumber daya yang memadai, kasing dan motherboard, di mana semua kebahagiaan ini cocok, sistem operasi.
Faktor penentu yang paling penting, tentu saja, adalah anggaran. Saya mendefinisikan tambang di wilayah 150 ribu rubel.
Jadi, yang pertama dan paling mahal adalah
kartu video . Mari kita akui dengan jelas: Nvidia sekarang adalah pemimpin absolut dalam kinerja dan kompatibilitas kerangka kerja, dan jika Anda menulis jaringan saraf, maka Anda perlu cudnn dan cuda. Tetapi kartu grafis yang bagus bernilai total: jika kita menginginkan setidaknya 11 Gb memori dan kinerja yang sesuai, kita perlu membayar $ 1000 + untuk model teratas. Kartu video terbang dan harga naik. Bagaimana menjadi Kita harus ingat bahwa saat ini kita hidup dalam waktu yang unik: gelembung cryptocurrency meledak di lapisannya, dan sejumlah besar kartu video dari penambang memasuki pasar. Saya adalah pemilik bangga 1080 Ti bekas untuk 30 ribu rubel, dan selama hampir setahun dia tidak pernah mengecewakan saya, bekerja 24/7. Ambil komputer Windows (untuk beberapa alasan, sebagian besar program pengujian kartu video dirancang khusus untuk sistem ini), persediaan pada program, periksa kuda kerja Anda jauh dan luas, dan dengan berani mengambil akselerator grafis 1,5-2 kali lebih murah.
Melanjutkan gagasan kalkulator, mari beralih ke
prosesor . Di sini saya ingin mengatakan, dengan analogi dengan yang sebelumnya, bahwa Intel adalah pemimpin absolut (terutama karena saya pernah bekerja di sana). Ini benar ... hanya jika kita berbicara tentang aplikasi single-threaded atau anggaran yang tidak terbatas. Namun, kami tidak memiliki satu atau lain kasus, tetapi kami ingin memparalelkan dan meninggalkan uang, di sini AMD Ryzen secara keseluruhan datang kepada kami dan jalur Threadripper mereka pada khususnya. Untuk $ 700-1.000, Anda dapat membeli chip nuklir 24-32 di mana Catboost akan terbang, parameter serupa Intel dua kali lebih mahal. Tentu saja, ada "TETAPI" besar: Threadripper berutang kinerjanya untuk desain tertentu, dan ini harus diperhitungkan (lebih lanjut tentang itu di bawah) ...
Sedikit lirik dari assembler: “Saya pikir, setelah kegagalan Intel baru-baru ini dengan 10980XE, pertanyaan prosesor mana yang akan dipilih untuk komputasi multi-threaded memiliki jawaban yang cukup jelas. Tapi ... semuanya bisa berubah. "
Dan kemudian kita beralih ke
memori . Aneh membuat server dengan RAM kurang dari 32 gigabyte (maka lebih mudah untuk mengandalkan gelang kebugaran) dan lebih baik untuk mengambil memori dengan frekuensi tinggi (3200+, prosesor arsitektur ZEN dan ZEN 2 menyukainya). Tentu saja, RAM bukan komponen yang paling sulit di sirkuit, yang berarti ada banyak produsen, tetapi lebih baik mengambil yang terbukti (saya mengambil Corsair). Di sini Anda perlu memutuskan berapa banyak yang harus diambil, dan dengan jumlah saluran. Jawaban paling sederhana adalah: lebih dari itu pada setiap die ya 16 gigabytes duduk. Tampaknya Anda bisa mendapatkan 256 pertunjukan di PC Anda. Tapi tidak sesederhana itu. Jika Anda mengambil memori dual-channel, maka dua core aktif akan pergi ke jumlah informasi yang sama dalam memori, yang berarti bahwa kecepatan akses berkurang - di sini Anda perlu mengingat perlunya akses cepat ke memori, sebagai persyaratan penting. Jadi kami mengambil empat saluran. Pada setiap dadu kita akan memiliki 8 gigs memori.
Wawasan lain dari kolektor, atau lebih tepatnya, detail yang dijanjikan tentang Threadripper: "Secara umum, jika Anda memiliki mantra" semua saluran memori harus penuh "(dan Threadripper memiliki 4 saluran), Anda dapat menggulir ke bawah. Saya mengingatkan yang lain bahwa prosesor arsitektur lama ini memiliki struktur 4 NUMA node yang menarik, node dengan akses memori yang heterogen. Mereka dapat bekerja dengan satu saluran, tetapi kemudian Anda akan mengumpulkan penundaan yang disebabkan oleh arsitektur ini. Di Threadrippers yang lebih baru, yang sudah dibangun di ZEN 2, fitur ini dihilangkan, tetapi keinginan komputer untuk banyak saluran memori tetap ada. "
Jadi, kami telah menyimpulkan batas
motherboard pada jumlah slot untuk memori, setidaknya 4 (untuk mendapatkan 32 gigabytes), dan lebih baik 8. Sebaiknya segera pikirkan apakah Anda akan mengambil kartu video kedua, dan, tentu saja, lihat pada produsennya. Di sini kami menemukan bahwa tidak ada begitu banyak penawaran di pasaran untuk PC (bukan yang server) yang sesuai dengan batasan kami (setidaknya ada beberapa saat mesin ini akan dibuat). Tentu saja, ASUS muncul di benak, dan dengan anggaran tak terbatas saya akan menerimanya, tetapi mencoba menyesuaikan dengan kerangka kerja, kami mengambil ASRock, adik dari sebuah perusahaan besar, tersedia bahkan setelah rubel jatuh.
Tentu saja, dengan kalkulator yang begitu cepat, aneh untuk mengandalkan kecepatan hard drive, yang berarti kita membutuhkan SSD. Mereka tentu saja lebih mahal, tetapi ternyata beberapa tugas memerlukan data terabyte dalam akses konstan. Jadi, Anda dapat mengambil 512 GB, dan menyimpan kumpulan data yang belum ingin Anda hapus, bersama dengan koleksi film rumah - pada disk terabyte klasik yang terpisah. Atau lebih. Berapa banyak yang dibutuhkan dan apa yang akan memungkinkan anggaran.
Setelah mengumpulkan komponen utama, kami bertanya-tanya apa yang dapat memberi kekuatan ekonomi. Kemudian pikirkan tentang pengembangan dan, misalnya, kartu video kedua (lebih baik untuk mengambil dengan margin). Dan, tentu saja, perlu untuk memutuskan siapa yang akan mendinginkan kekuatan ini. Threadrippers hangat seperti harga bunga pada 8 Maret, jadi Anda membutuhkan sistem pendingin yang kuat. Secara formal, pendekatan udara dan air yang kuat, tetapi saya menyarankan Anda untuk mengambil air: harganya sebanding dengan udara yang kuat, tetapi tidak akan ada perasaan terus-menerus bahwa Anda hidup di landasan. Plus, dalam beberapa tahun terakhir jumlah produsen yang menawarkan pendingin waras khusus untuk Threadripper telah bertambah - ada banyak pilihan.
Secara umum, semuanya sudah terkumpul, masih harus dikemas dalam gedung yang luas - tidak akan ada saran, ini kesempatan untuk mengekspresikan diri - Anda bisa memilih yang Anda suka.
Ada beberapa opsi berikut untuk membeli semua kebahagiaan :
- Memesan untuk mengumpulkan seseorang di luar
- Pro : dapat memeriksa paket lagi, tidak ada masalah kompatibilitas
- minus : ~ 10-15% dari biaya tergantung pada kompleksitas pekerjaan dan biaya komponen
- Tulis semuanya di selembar kertas, datang ke Savelovsky / Gorbushka (jika Anda tinggal di Moskow) dan kumpulkan di sana.
- plus : seolah-olah tidak ada yang mengalahkan selama pengiriman, mereka akan melakukan segalanya dengan Anda, lebih sedikit uang untuk perakitan
- Cons : mungkin tidak ada komponen termurah (bahkan dalam kerangka satu pasar harga melonjak hingga 50%, plus untuk harga ini saya dapat mencoba menggunakan B / Y)
- Pesan semuanya di Yandex Market
- pro : tersedia opsi murah
- kontra : sulit untuk memverifikasi pengiriman
- Memesan semuanya di luar negeri (aliexpress / ebay)
- plus : opsi termurah, kejutan pada saat kedatangan
- minus : kejutan pada saat kedatangan (serius, jangan lakukan itu - mereka menang lebih sering di Sportloto)
Saya sendiri memilih opsi pertama (secara pribadi saya dapat merekomendasikan orang tertentu).
Ketika semuanya tiba dan berkumpul, itu tetap menggulung sistem.
Ini adalah cerita untuk pos terpisah, saya akan memberi tahu Anda secara singkat: karena saya juga ingin menggunakannya sebagai desktop dan memiliki pengalaman sebelumnya di Linux, saya memilih Ubuntu Linux karena popularitasnya.
Ketika semuanya berfungsi, minta ISP Anda untuk IP statis - gratis atau murah dan akan memberikan akses ke laptop Jupiter Anda dari hampir di mana saja.
Pada akhirnya, saya akan mengatakan bahwa saya menyatakan pendapat saya, yang dibentuk sebagai hasil mempelajari pasar dan berkomunikasi dengan spesialis. Saya memenuhi anggaran, dan hampir setahun keajaiban teknologi modern telah bekerja dengan lancar. Setelah beberapa waktu saya menginstal jupyterhub dan mulai menjalin pertemanan, jadi kami tinggal di komune kecil kami di server, dan kami melatih grid, yang merupakan apa yang saya inginkan untuk Anda.
Perhitungan akhir (harga mulai 2019):
Diposting oleh Nikolai Knyazev, Kepala Kelompok Pembelajaran Mesin, Jet Infosystems