Tamasya singkat ke sistem pendingin pusat data. Pro dan kontra

Entah bagaimana, Habr mengumumkan hari pendinginan pusat data.

Kita harus berpartisipasi, karena Saya akan segera membahas topik ini selama dua dekade.
KDPV - kecil.



Turnya singkat. Sangat singkat.

Freon

Bagus tua Dia seorang DX. Dia adalah perpanjangan langsung. Dia adalah Goga ...

Pro:

• Murah dan ceria;
• Cukup atur tingkat keandalan apa pun untuk mendapatkan sertifikat dari Uptime Institute;
• Sulit di dunia untuk menemukan tempat di mana tidak ada spesialis yang dapat melayani dan / atau memperbaikinya.

Cons:

• PUE tertinggi (yang buruk. Saya tidak akan menjelaskan di sini tentang PUE. Saya perlu menulis artikel terpisah tentang hal itu. Semuanya tidak sesederhana seperti yang terlihat pada pandangan pertama. Tapi di lain waktu.);
• Kegagalan daya dan ... tidak ada pendinginan. Yaitu atau menempatkan UPS pada semua AC freon, atau menemukan keseimbangan antara beban dan volume udara di ruang mesin sehingga ada cukup cadangan udara dingin selama operasi UPS; (Di sini, ngomong-ngomong, terdapat argumen utama melawan para pembela dari “koridor dingin.” Tetapi tentang “koridor” - ini juga merupakan kisah sedih yang terpisah.) Ada juga masalah dengan UPS pada pendingin udara freon - kompresor “makan” dari 3 hingga 7 peringkat pada saat startup. UPS khas dengan ejekan seperti itu - melempar beban. Tentu saja, ada AC dengan pengatur frekuensi untuk kompresor, tapi ... sejauh ini, opsi seperti itu tidak bekerja dengan perangkat suhu rendah di musim dingin. Tidak siap untuk menjelaskan fisika proses, tetapi dari pengalaman orang-orang yang dihormati - ini benar. Akibatnya, baik UPS dengan margin tujuh kali lipat, atau meletakkan kembali volume udara di ruangan;
• Performa buruk pada beban terlalu rendah. Atau Anda perlu meninggalkan "presisi", atau bahkan menempatkan pemanas di ruangan sehingga beban pada AC jatuh ke kisaran yang diijinkan, atau tahan dengan penggantian kompresor yang sering. Lebih buruk - banyak AC memiliki perlindungan non-shutdown terhadap kompresor yang terlalu sering dinyalakan dan AC dimatikan dengan pesan kesalahan. (Ini adalah topik lain yang terpisah, tentang fitur dari siklus Freon ...);
• Ada risiko dengan perubahan signifikan yang tiba-tiba pada beban, seperti, misalnya, pada superkomputer. Misalnya: mereka menghitung tugas, beban turun dari 100% menjadi 5%, tugas baru dimuat, beban naik dari 5% menjadi 100 ... Tapi 3 menit tidak berlalu! Dan beberapa AC memiliki timer yang memblokir kompresor selama 3 menit setelah mematikan ... Dan pada beban 100% di superkomputer di ruang mesin, suhu naik dari satu derajat per detik atau lebih ... Maka itu sudah beruntung;
• Masalah besar dengan bekerja pada suhu yang sangat rendah. -10 - -15 tidak ada yang lain. -30 dan di bawah ini - menarik penerima tambahan, katup dan otomatisasi. Tidak semua orang tahu cara mendesain. Tidak semua orang tahu cara mengonfigurasi. Tidak semua kit "suhu rendah" benar-benar tahan terhadap suhu yang disebutkan. Jika Anda memerlukan "freonka" yang pasti akan berfungsi di -40, hubungi perusahaan yang memiliki fasilitas tempat tinggal di daerah di mana -40 di musim dingin.
• Agak kurang menyeramkan pada model pendingin ruangan yang baru. Tapi tetap saja - mereka mengurangi kelembaban. Suhu evaporator tipikal dari AC freon berada di bawah titik embun untuk standar 20C 50% RH untuk ruang tamu. Karenanya, humidifikasi udara diperlukan. Bergantung pada metode penerapan pelembapan, desain ruangan, pengaturan ventilasi, dapat menarik 0,1-0,2 ditambah lagi ke PUE ...

Freon dengan freecooling

DX yang sama, tetapi di kabinet pendingin udara ada penukar panas lain di mana solusi (etilen) glikol hidup. Pada suhu di bawah sekitar lima derajat dari "titik setel" - sirkuit freon dimatikan, pompa di "sirkuit glikol" dihidupkan, dan semua biaya pendinginan adalah listrik untuk pengoperasian pompa dan kipas.

Pro:

• Semua sama seperti untuk freon, karena jika ada masalah dengan sirkuit glikol, bagian freon AC hampir selalu secara otomatis kembali bekerja;
• Penurunan yang nyata (yang baik) di PUE bahkan di negara-negara panas;
• Dengan pemesanan yang benar di bagian glikol, penggunaan kit suhu rendah di bagian freon tidak diperlukan. Agak, tetapi dalam Norilsk, misalnya, mungkin berguna.

Cons:

• Beruntung sekali. Bergantung pada firmware, pengaturan, pabrikan, Anda bisa mendapatkan semua minus dari sistem freon di musim panas, dan di musim dingin Anda bisa mendapatkan semua minus dari sistem chiller dengan freecooling (akan dijelaskan di bawah). Setidaknya di musim panas akan ada semua masalah dengan memastikan kekuatan yang tidak terputus;
• Komplikasi blok internal sistem dengan penurunan jumlah pengrajin yang akan melakukan perbaikan;
• Menggandakan jalur pipa (tidak juga, tapi tetap saja ...);
• Menggandakan ruang untuk blok eksternal (hampir selalu), karena pendingin kering sirkuit glikol ditambahkan ke kapasitor dari sirkuit freon;
• Sebagai hasil dari semua kerugian di atas, sistem ini lebih mahal dalam desain, konstruksi dan operasi.

Sistem pendingin

Di sini Anda dapat menulis serangkaian artikel selama satu tahun publikasi harian. Ya, atau buku pelajaran yang sangat tebal.
Ada banyak opsi untuk implementasi.

Secara singkat:

Chiller - alat untuk mendinginkan cairan dan mempertahankan suhu (rendah) cairan yang diberikan di outlet.

Akibatnya, sistem pendingin terdiri dari pendingin yang mendinginkan air, saluran pipa dengan alat kelengkapan dan pendingin udara yang sangat sederhana (Anda sering dapat menemukan kata "lebih dekat" dalam sumber-sumber Rusia) di mana terdapat penukar panas air-udara, katup kontrol dan kipas.

Secara global, apa yang digambarkan dalam pro dan kontra dalam bentuk murni hampir tidak pernah diterapkan.

Pro:

• Karena kapasitas panas yang lebih besar dari air, ada sekitar tidak adanya masalah dengan beban yang sangat bervariasi. Terutama jika plus berikut diterapkan;
• Anda bisa meletakkan tangki di sirkuit. Yang besar. Atau sangat besar. Hampir gratis di tengah harga pendingin. Dan tiriskan air dingin di sana dulu. Kemudian, jika ada masalah dalam sistem pendingin atau catu daya, itu cukup untuk memberikan sirkulasi cairan di sirkuit sehingga komputer tidak terlalu panas segera, dalam 15-40 detik, seperti untuk superkomputer biasa, misalnya, dan terlalu panas setelah 15-20 menit yang bahkan admin tidur bangun dan memperbaiki semuanya atau memadamkan segalanya.
• Untuk memastikan operasi yang tidak terputus, cukup untuk menyalakan pompa sirkulasi dari UPS. Jika pompa memiliki pengontrol frekuensi, maka Anda bahkan tidak perlu memberikan margin untuk arus masuk;
• Ya, lebih banyak spesialis diperlukan untuk pemeliharaan, selain pendingin udara freon, tukang ledeng juga diperlukan, tetapi sulit untuk menemukan tempat di planet ini di mana tidak ada setidaknya satu tukang ledeng yang memenuhi syarat.

Cons:

• Sangat tergantung pada bagaimana sistem diatur. Terlalu banyak opsi implementasi;
• Dalam kasus umum, ini terasa lebih mahal daripada sistem freon;
• Dalam sistem besar, Anda harus membuat dua sirkuit - glikol "ke jalan" dan melalui penukar panas "air" di dalam pusat data / gedung;
• PUE adalah sama atau lebih buruk daripada freon. Karena pompa sirkulasi ditambahkan ke freon.

Sistem pendingin chiller gratis

Opsi 1. Yang tidak begitu baik.

Ini adalah sistem pendingin. Tetapi di dalamnya ada kelompok drycooler yang terpisah, atau drycooler built-in, dimana sistem beralih ke pada saat semua daya pendinginan yang diperlukan dapat disediakan oleh freecooling.

Pro:

• “Setengah tahun adalah cuaca buruk, Setengah tahun benar-benar tidak ada di mana-mana” ... Walaupun cuacanya buruk, dingin dan tidak menyenangkan di jalan ... pendinginan hampir gratis. Hanya pompa dan kipas yang berfungsi;
• Implementasi sederhana untuk sebagian besar variasi sistem chiller;
• Utara Sochi adalah PUE yang cukup bagus.

Cons:

• Hanya saja ada opsi yang lebih benar, jika pada umumnya.

Sistem pendinginan-dingin yang benar

Hingga relatif baru, hanya satu produsen memilikinya. Paten Tolley sekarang telah kedaluwarsa, mereka hanya membeli lisensi, tetapi ada lebih banyak opsi.

Pro:

• Semua itu untuk sistem chiller pendingin gratis;
• Selain itu, jika suhu luar lebih rendah dari suhu cairan pendingin pada saluran masuk ke pendingin, cairan pertama-tama digunakan untuk melawan freecooling. Jika cairan masih memiliki suhu di atas titik setel setelah rangkaian pendinginan gratis, cairan dikirim ke evaporator freon dan sirkuit freon terhubung ke operasi. Tampaknya menjadi hal yang sepele, tetapi untuk Moskow, itu meningkatkan rata-rata per tahun waktu manfaat freecooling oleh 2-4 bulan dan, kadang-kadang, bahkan pada bulan Juli menghemat listrik.

Cons:

• Ya, secara umum, tidak. (Pernahkah Anda memperhatikan? Ini adalah opsi favorit saya!). Ya, sistem ini lebih mahal daripada freon, dan sedikit lebih mahal daripada sistem chiller konvensional. Tapi, anehnya, biasanya tidak lebih mahal daripada sistem chiller pendingin "biasa".

Freecooling udara

Secara kasar, ada tiga opsi - penukar panas putar, sirkuit udara terbuka dan sirkuit udara tertutup. Plus, di setiap opsi Anda dapat menambahkan "adiabatik" ...

Penukar panas rotary

Ada sirkuit sirkulasi udara internal, di mana udara panas memasuki unit, melewati setengah dari "roda" yang berputar perlahan, di mana ia didinginkan dan pergi ke gym. Dan garis luarnya. Ketika udara jalan memasuki unit, itu melewati bagian lain dari "roda" yang berputar perlahan, di mana ia memanas, dan masuk ke jalan. Plus, biasanya, jika cuaca sangat panas, evaporator ditambahkan ke sistem pada output dari sirkuit internal dan sebuah kondensor ditambahkan ke output dari sirkuit eksternal.

Pro:

• PUE bagus;
• Lingkaran dalam yang hampir tertutup; pelembapan udara jarang diperlukan;
• Sirkuit freon hanya digunakan dalam cuaca yang sangat panas.

Cons:

• Ketidakmungkinan dari sepenuhnya ketatnya persimpangan dengan roda pertukaran panas. Akibatnya, ada aliran udara;
• Karena itu, ada potensi masalah dengan detektor kebakaran ketika ada sesuatu yang terbakar di luar;
• Untuk beberapa alasan, produsen menginginkan banyak uang untuk sistem ini. Meskipun kesederhanaan yang tampak.

Sirkuit udara terbuka

Facebook paling terkenal, tetapi ada beberapa lebih banyak pabrikan dan instalasi. Secara umum, opsi ini hampir selalu dapat didorong ke dalam kerangka kerja kualitas-harga yang ditentukan oleh pelanggan.

Pro:

• Sistem yang sangat sederhana dari sudut pandang mekanik - kipas, dua peredam yang dikendalikan;
• Murah di konstruksi "di lapangan terbuka" (Lapangan Hijau);
• PUE yang sangat bagus. Biaya hanya untuk penggemar, pelembapan dan filter;
• Ini diterapkan dengan baik untuk pusat data modular dan peternakan penambangan kontainer.

Cons:

• Hujan Ya, dia sendiri: basah, tetesan air jahat dari atas. Setelah di pusat data Facebook, awan berkumpul dari langit-langit tempat hujan mulai turun ... Dan hanya serangga kecil dalam sistem kontrol suhu dan kelembaban ...;
• Diperlukan sistem pendingin freon jika suhu "laut" bisa lebih tinggi dari suhu yang diizinkan di aula;
• Diperlukan untuk memiliki daya 100% pada pendingin udara freon jika Anda perlu terus bekerja jika terjadi kebakaran di luar pusat data (misalnya, untuk Moskow dan sekitarnya, jika membakar rawa gambut);
• Humidifikasi di daerah dengan kelembaban rendah mungkin membutuhkan banyak air.

Sirkuit udara tertutup

Biasanya menggunakan penukar panas udara-ke-udara lintas-aliran. Udara di sirkuit internal didinginkan oleh udara di sirkuit eksternal. Tanpa adiabatik, pro dan kontra hampir sama dengan untuk penukar panas putar dan sirkuit terbuka dengan pengecualian:

Pro:

• Tidak ada aliran udara;
• Mengurangi biaya pelembapan dibandingkan dengan loop dan roda terbuka;
• Tidak perlu mengubah mode operasi jika terjadi kebakaran di luar.

Cons:

• Suhu di dalam akan selalu lebih tinggi dari suhu di luar jika Anda tidak menggunakan sistem freon untuk pendinginan setelah di musim hangat. Atau, plus, adiabatik ...

Freecooling dengan adiabatik (saya juga sangat suka opsi ini ...).

Arti umum adalah bahwa panas penguapan air adalah sekitar 2,2 MJ per kg. Air di aliran udara hampir selalu menguap. Jika kita menyemprotkan air dalam aliran udara, kita tidak hanya akan meningkatkan kelembaban, tetapi juga menurunkan suhu.

Pro:

1. Dengan implementasi yang tepat (dengan sirkuit tertutup) - untuk operasi di sebagian besar Eropa, 15-20% dari kapasitas sistem freon dari total kapasitas sistem pendingin sudah cukup;
2. Jika diterapkan dengan benar, PUE dapat 1,1 untuk sebagian besar Eropa dan lebih rendah untuk sebagian besar Rusia.

Cons:

• Aliran airnya cukup besar. Mulai dari suhu urutan +12 - +14 derajat;
• Tier III membutuhkan sumber air cadangan atau pasokan air untuk seluruh waktu operasi yang diperlukan dari generator diesel (sekitar 36 jam ... Ini banyak air, pompa cadangan untuk memompanya, tiga ketukan untuk setiap tee dan kegembiraan lain dari Tier III);
• Di beberapa daerah, air itu mahal. Sangat mahal Dan bahkan tidak terlalu "mahal" sebagai "nilai besar" dan Anda hanya penduduk setempat akan mengatur pogrom kecil jika mereka mengetahui bahwa Anda tidak minum air ini ...

Pendinginan air langsung

Entah tidak langsung atau tidak berair. Tapi ...

Pro:

• Tidak ada kebisingan di aula;
• ... adakah yang lain?

Cons:

• Sejumlah besar sambungan, sambungan, saluran, klem, dll. Sejauh ini, Anda perlu mendinginkan dua atau empat prosesor dan chipset terkait - semuanya hebat. Ketika datang ke 15.000 server prosesor ganda di pusat data cloud ... Tiba-tiba ternyata sistem tersebut mengalir. Selalu. Karena sambungan di dalamnya ratusan ribu. Pernahkah Anda melihat tukang ledeng di gedung apartemen gemuk di ruang belakang selama setahun tanpa harus membuat panggilan untuk menghilangkan kebocoran? Tidak ada hal seperti itu. Dan di gedung apartemen, dibandingkan dengan pusat data kecil berpendingin air, ada ratusan kali lebih sedikit sambungan dan pasangan tempat kebocoran dapat terjadi;
• Air Setiap kebocoran, kebocoran, tumpahan - ini setidaknya merupakan kehilangan satu rak. Dengan sedikit keberuntungan. Seperti yang ditunjukkan oleh praktik pusat data menggunakan pendinginan semacam itu, biasanya ini merupakan penghentian lebih dari satu hari untuk seluruh infrastruktur tumpukan pusat data karena salah satu sakelar penting dibanjiri air.
• Kesulitan besar dengan bahan. Jika sistem memiliki aluminium yang bersentuhan dengan air, seharusnya tidak ada yang mengandung tembaga dalam sistem. Sampai pada titik Anda perlu hati-hati memilih paduan stainless steel;
• Yang mengarah ke kelompok masalah berikutnya. Untuk membuat semua radiator hanya dari tembaga sangat mahal. Dan sangat sulit. Dengan bodoh, massa rak ternyata lebih mudah, alih-alih memperkuat plafon, tuangkan semua ruang bawah tanah dan lantai di bawah aula dengan beton. Jadi akan ada aluminium. Jadi, Anda perlu hati-hati memilih semua bahan yang bersentuhan dengan air. Jika tidak, semua tabung, saluran, radiator akan tersumbat dengan bubur putih. Yang, ketika digunakan dengan benar dalam instrumen, disebut "korundum" ... Dan ini juga berarti impeler yang telah dikeringkan di semua pompa ...;
• BRS (koneksi cepat lepas). Yang bagus lebih mahal daripada seluruh rak dengan platform, prosesor, memori, disk. Dan mereka membutuhkan setidaknya 80 di rak ... Semua yang lain - menyebabkan downtime yang sama selama beberapa hari. Dan ini belum lagi sepele bahwa "mereka" "baik" BRS diproduksi sedikit. Untuk peluncur roket dan beberapa pesawat militer ... Saya mencoba BRS dari excavator. Tidak cocok (Tapi ini cerita lain lagi ...)
• Bagaimanapun, air saja tidak bisa digunakan. Ini bisa berupa larutan penghambat air, glikol dan korosi, atau air suling, atau cairan lain. Dia bernilai uang. Bahkan air suling biasa - dari 10 rubel per liter. Atau sistem pengolahan air. Yang ... (Anda tidak akan percaya!) ... juga membutuhkan biaya!

Sistem pendingin submersible

Ada juga banyak pilihan. Pertimbangkan tiga yang paling modis dan sering.

Pendinginan perendaman menggunakan minyak mineral.

Pro:

• ... pertanyaan yang menarik. Apakah mereka punya? Tolong beri tahu saya jika ada. (dan ya, saya tidak bertanya tentang skala 2-3 unit, tetapi tentang skala 8000 atau lebih unit ...)

Cons:

• Bagi saya pribadi, yang terburuk. Fobia, atau apa? Saya benci ketika tangan saya berlendir dan berminyak ... Jika bukan karena ini, saya sekarang akan dengan senang hati memutar kacang di beberapa layanan mobil ...;
• Terlepas dari fobia, semuanya ada dalam minyak. Overall tahan minyak mulai dari sepatu bot hingga topi untuk semua orang yang memasuki gym;
• Kompatibel dengan plastik. Tidak pernah ada jaminan bahwa casing kapasitor / resistor / prosesor tidak akan meleleh dalam minyak mineral. Dan ini bukan kasus garansi;
• Viskositas tinggi. Akibatnya, konsumsi energi tinggi untuk memastikan sirkulasi dalam sistem;
• Viskositas tinggi. Akibatnya, ada kemungkinan bahwa di dekat beberapa elemen panas di papan akan ada stagnasi bubur panas. Dan ya, orang benar-benar menemukan ini, tapi, maafkan saya, detailnya “diklasifikasikan”;
• Bagaimanapun, Anda memerlukan penukar panas dan "sirkuit eksternal" dengan larutan glikol. Kalau tidak, ada terlalu banyak masalah di musim dingin;
• Alhasil, banderol harganya tidak jauh berbeda dengan sistem chiller. Dengan banyak masalah dan karyawan yang menolak untuk pergi ke gym. Yah dan ya, organisasi yang mencoba memperdagangkan benda ini ... Mereka memiliki semua rendering yang sama di situs yang menggantung 10 tahun yang lalu. Bukan instalasi tunggal yang nyata ...
• Bagi mereka yang akan secara resmi merancang sistem seperti itu dan lulus ujian - beban api. Minyak - dari sudut pandang hukum - adalah cairan yang mudah terbakar. Kemudian penyergapan dimulai - Volume apa pun yang lebih besar dari sekitar 1000 liter - Anda tidak dapat menempatkannya di dalam ruangan. Dan 1000 liter, permisi, satu bathtub per 24 unit plus perpipaan. Semua yang lebih mudah dilakukan melalui pengembangan STU. Tapi ini dalam hal apapun - persyaratan lain untuk kamar yang berdekatan, persyaratan lain untuk keberadaan ruang depan, persyaratan lain untuk jarak ke pintu keluar darurat. Rata-rata - jika Anda meletakkan sebuah wadah di bidang yang bersih dalam jarak beberapa kilometer dari bangunan tempat tinggal - ada kemungkinan untuk memformalkan semuanya untuk uang yang lebih atau kurang masuk akal. Jika Anda mencoba untuk meletakkan ini di Moskow, St. Petersburg, Yekaterinburg atau Novosibirsk - jangan lupa untuk memiliki persediaan kerupuk jika terjadi kunjungan mendadak dari otoritas inspeksi.

Pendinginan perendaman dengan Seri Novek 7000 Seri

cairan Novek ini memiliki titik didih lebih dari 60C. Dengan demikian, mandi dengan Novek, penukar panas dengan "air". Sesuatu untuk dicampur atau hanya konveksi.

Pro:

• Itu bekerja;
• Anda dapat membuat Tingkat III, meskipun tidak terlalu sepele untuk membuktikan kepada Uptime nanti bahwa Tingkat III;
• Novek untuk masa mendatang, seperti dekade besar, tidak menyebabkan kerusakan pada perumahan sirkuit mikro, oksidasi kontak, dll;
• Masih dianggap tidak berbahaya bagi homo-sapiens, meskipun organisasi yang bersaing mencoba untuk menceritakan kisah tentang kerusakan hati ...
• . , .

Cons:

• . , . … .

/ .

Pro:

• ;
• ;
• / — , , «» .

Cons:

• - . . 40-50 .
• . - ;
• Label harga. Tentang seratus cu yang sama per kg Kepadatan yang sama di wilayah satu setengah kg per liter.
• Saya berkendara untuk 100 cu per liter di jalan - terlalu mahal. Jadi, akan ada penukar panas, pendingin, glikol, pompa ukuran ...
• Otomasi, yang belum dilakukan siapa pun untuk pusat data nyata ... Agak, tetapi tidak semua pemilik pusat data ingin menjadi pengamat hujan pertama dari Novek. Meskipun hujan seperti itu secara resmi dan benar-benar aman untuk ...

Kesimpulan:

Sudah ada banyak pilihan untuk sistem pendingin. Sebelum membuat keputusan akhir tentang memilih opsi untuk pusat data Anda - Anda harus mempertimbangkan uang dengan cermat. Berapa banyak uang yang ingin Anda investasikan segera, berapa banyak uang yang bersedia Anda keluarkan untuk fakta bahwa pusat data Anda akan menjadi "hijau", seberapa cepat Anda ingin "menangkap kembali" investasi Anda untuk "hijau".