Tiga cerita modernisasi di pusat data

Halo, Habr! Tahun ini adalah peringatan 10 tahun peluncuran pusat data OST-1 pertama kami. Selama waktu ini, kolega saya dari operasi dan layanan konstruksi modal berhasil melakukan lebih dari satu modernisasi infrastruktur rekayasa pusat data. Hari ini saya akan memberi tahu Anda tentang kasus-kasus yang paling menarik.



Sebuah derek 200 ton memasang chiller Stulz baru ke rangka. Modernisasi sistem pendingin sistem pusat data OST-1 pada tahun 2015.

Pusat data adalah organisme hidup, tumbuh, berubah, rusak :) Segala sesuatu yang dapat dikaitkan dengan modernisasi, secara kondisional saya bagikan pada:

• penggantian dan perbaikan terjadwal. Peralatan menjadi usang, masa pakainya berakhir. Kami menganggarkan, merencanakan, dan melakukan pekerjaan seperti itu tanpa tergesa-gesa, ketika hal itu nyaman bagi kami (misalnya, pemutakhiran penuh "bagian dalam" dari UPS atau penggantian baterai yang habis).
  
• kesalahan desain . Menurut ajaran Uptime, semuanya harus dihabiskan dan diakhiri pada saat yang sama. Karena desain yang tidak tepat, keseimbangan "tempat dingin - listrik - tempat" dapat dilanggar, misalnya: ada tempat untuk meletakkan rak, tetapi aula tidak lagi ditarik oleh listrik atau pendingin udara. Hal yang paling tidak menyenangkan dengan kesalahan ini adalah mereka tidak muncul dengan segera, tetapi ketika pusat data mendekati kapasitas desainnya.
  
• kecelakaan. Kebetulan bahwa peralatan rusak sepenuhnya, tidak dapat dibatalkan dan tiba-tiba, dan itu perlu diubah.
  

Saya tidak akan memikirkan penggantian / perbaikan yang direncanakan. Di sana, hampir semuanya ada dalam kekuasaan kita. Saya akan memberi tahu Anda tiga cerita tentang kesalahan desain dan peningkatan pasca-kecelakaan.

Sejarah 1. Ruang mesin tidak cukup dingin

Ini adalah kisah tentang salah satu aula pertama kami di Borovaya. Dia masih bekerja. Aula dengan kapasitas desain 80 rak 5 kW.

Ketika aula terisi, hawa dingin tidak lagi mencukupi: suhu di koridor dingin lebih tinggi dari yang diperlukan, overheating lokal terus-menerus muncul. Baru setelah itu, dari puncak pengalaman kami, kami menyadari bahwa kami telah membuat kesalahan dalam desain, dan karena itu, pendingin ruangan menderita.

Kesalahan	Masalah
Deretan panjang rak - lebih dari 20 berturut-turut	Udara panas mandek di tengah barisan
Langit-langit rendah - hingga 3 meter	Tidak ada cukup ruang untuk pertukaran udara yang tepat. Ada zona overheating lokal
Lantai rendah dengan banyak komunikasi di bawahnya	Gangguan sirkulasi udara dingin di bawah lantai yang ditinggikan

Barisnya begitu panjang sehingga AC di ujung yang berlawanan nyaris tidak terlihat. Foto tahun 2009.

Kami tidak melihat "pil ajaib" dari masalah ini, jadi kami memutuskan untuk bertindak secara bertahap dan di semua lini.

Pertama, kami memeriksa apakah semua peralatan dipasang dengan benar dan apakah colokannya ada dalam unit gratis. Kami juga memeriksa ulang tata letak ubin berlubang dan menghapus kelebihannya, memasang panduan udara tambahan di bawah lantai yang ditinggikan. Kami berusaha menemukan dan menutup semua lubang tempat udara dingin dapat keluar. Saya juga menyarankan Anda untuk memeriksa apa yang Anda miliki antara AC dan dinding. Jarak bebas 5-7 cm sudah banyak.


Inilah hasilnya kami diberi penempatan bertopik sederhana di unit gratis.

Sudah lebih baik, tetapi tidak cukup baik. Kemudian kami memutuskan untuk mengisolasi koridor dingin. Mereka membangun atap, pintu yang terbuat dari polycarbonate. Ternyata murah dan ceria. Akibatnya, kami menyingkirkan campuran parasit udara panas dan dingin dan meningkatkan efisiensi sistem pasokan dingin.


Koridor dingin terisolasi dari aula yang sama.

Kami mengerti bahwa ini cukup untuk sementara waktu. Dengan bertambahnya beban kerja TI, kurangnya daya akan kembali terasa.

Mereka mencoba untuk memecahkan masalah ini dengan menambahkan pendingin udara freon, meskipun aula bekerja pada pendingin glikol. Kami sangat memperhatikan dimensi AC (apakah akan melewati pintu, akan ada cukup sudut belok), jadi kami memilih model dengan kemungkinan pembongkaran sebagian. Pendingin udara dipasang bukan dari sisi koridor panas, seperti biasanya, tetapi di mana mereka bisa memerasnya. Ini menambah kami 80 kilowatt pendinginan.


Berikut adalah AC "gutta-percha" yang sama dengan Emerson.

Seluruh cerita ini ternyata rumit: perlu untuk mengetahui bagaimana membawa freon track ke unit eksternal, bagaimana membawa listrik ke AC ini, di mana menempatkan unit pendingin udara eksternal. Semua ini di ruang kerja.


Hanya untuk memahami betapa sedikitnya ruang yang ada.

Setelah semua manipulasi ini, kami menyingkirkan overheating lokal, suhu didistribusikan secara merata di koridor dingin dan panas. Ternyata untuk meningkatkan kapasitas aula dan menempatkan rak lima kilowatt yang dinyatakan di dalamnya.

Moral dari cerita ini adalah Anda tidak perlu takut untuk memecahkan masalah dalam langkah-langkah kecil. Dalam dirinya sendiri, masing-masing tindakan mungkin tampak (dan bagi kami tampaknya) tidak efektif, tetapi secara total ini memberikan hasil.

Sejarah 2. Pendingin udara dan catu daya telah habis di ruang mesin

Ruang pelanggan dirancang untuk 100 rak masing-masing 5 kW. Desain lebar rak 800 mm, di setiap baris 10 rak. Kemudian klien berubah pikiran untuk memanggil, dan aula disewakan secara umum. Dalam kehidupan, rak dengan lebar 800 mm terutama diperlukan untuk peralatan jaringan, untuk yang lainnya dibutuhkan enam ratus. Hasilnya, bukannya 10 rak berturut-turut, kami mendapat 13, dan masih ada ruang. Tetapi listrik dan dingin tidak cukup.

Selama modernisasi, sebuah ruangan baru dialokasikan untuk dua UPS 300 kW tambahan.



Papan distribusi tambahan muncul di aula.



Kekuatan baru perlu didistribusikan secara merata. Untuk memisahkan balok baru dan lama, baki kabel terpisah diletakkan di bawah lantai yang ditinggikan. Bagian dari peralatan IT yang berfungsi dialihkan ke switchboards baru dengan berganti-ganti setiap daya.

Untuk mengatasi masalah kekurangan dingin, kami menempatkan 1 AC tambahan per 100 kW dingin.



Selama rigging, instalasi dan commissioning semua peralatan, aula terus beroperasi secara normal. Ini adalah saat yang paling sulit dalam proyek ini.

Sebagai hasil dari modernisasi, kami menambahkan listrik dan ruang dingin untuk 30 rak masing-masing 5 kW.


Kapasitas desain dan kapasitas aula meningkat sebesar 30%.

Sejarah 3. Tentang mengganti pendingin

Sedikit latar belakang. Semuanya dimulai pada 2010, ketika 3 pendingin dari pusat data OST rusak parah selama badai. Kemudian, untuk bertahan hidup, perlu untuk mengarahkan pendingin tanpa perlindungan selama beberapa hari, dan kompresor dengan cepat bengkok. Awalnya mereka berubah.

Beban IT bertambah ketika pusat data menjadi penuh, dan pendingin Emicon tidak mencapai kapasitas pendinginan yang dinyatakan. Pada 2012, mereka memasang chiller Hiref tambahan di sirkuit hidrolik yang sama. Jadi kami hidup selama tiga tahun lagi.

Seiring waktu, pendingin Emicon telah memperburuk masalah operasional. Kekuatan mereka tidak cukup, sehingga dalam panas harus menuangkan air dari Karcher. Selama bertahun-tahun, penukar panas ditumbuhi banyak deposit berkapur. Bulu poplar dan puing-puing lain yang tidak dapat dihilangkan karena struktur spesifik dari penukar panas mengisi celah antara penukar panas freecooling dan kondensor Freon. Sepatu boot nyata terasa terbentuk di sana, yang tidak membiarkan udara masuk secara normal.

Pada 2015, kami baru saja membeli batch pendingin Stulz untuk NORD-4 . Kami memutuskan untuk mengganti dua dari tiga pendingin Emicon di bawah bisnis ini. Sekarang untuk detailnya.

Menginstal chiller Hiref tambahan tanpa menginstal ulang pompa. Beban IT meningkat, dan efisiensi pendingin yang dipengaruhi oleh badai menurun. Di musim panas, cadangan itu hampir tidak cukup. Kami memutuskan untuk menambahkan pendingin lain untuk meningkatkan kapasitas total mereka. Selama durasi pekerjaan, sistem pendingin seharusnya terus berfungsi. Bagian tersulit dalam operasi ini adalah pengaturan sirkuit glikol. Kami membuat pengikat glikol: dari setiap chiller, sebuah cincin glikol ditugaskan ke sebuah chiller baru. Pendingin diambil dari layanan satu per satu, dan pipa glikol dibawa ke pendingin baru.


Fragmen konsep hidrolika. Ini menunjukkan bahwa dari masing-masing cabang tiga pendingin dibuat ke pendingin baru.

Tugas utama chiller ini adalah untuk mendukung sistem pendingin di musim panas. Berkat Hiref, kami memiliki cadangan N + 1 yang terjamin di bulan-bulan panas. Tetapi pendingin yang rusak akibat badai perlahan mulai mengering, dan kami harus berpikir untuk menggantinya.


"Musim panas" chiller Hiref yang sama.

Mengganti Emicon dengan Stulz. Penggantian seperti itu paling baik dilakukan di musim gugur atau musim semi: di musim panas tanpa cadangan itu benar-benar menakutkan, dan di musim dingin itu hanya tidak menyenangkan untuk melakukan pekerjaan. Operasi itu direncanakan untuk Februari / Maret, tetapi persiapan dimulai pada bulan Oktober.

Selama bulan-bulan persiapan ini, kami memasang kabel baru, bagian pipa yang dimasak, mengembangkan rencana untuk mendekati mesin dengan peralatan (kami memiliki halaman belakang yang ketat), dan membersihkan area yang akan dimasuki derek. Pendingin harus diubah di pusat data yang berfungsi, dan selama sekitar 1,5 hari ia dibiarkan tanpa pendingin cadangan. Pada tahap persiapan, kami melakukan tes untuk memahami bagaimana pusat data akan terasa tanpa cadangan, menemukan berbagai situasi di mana ada yang tidak beres selama bekerja (misalnya, pemadaman yang lama selama penggantian pendingin), dan mengembangkan rencana tindakan . Ini adalah kronik singkat dari karya-karya itu.
Sebuah chiller tiba di malam hari. Setelah check-in derek yang berhasil masuk ke wilayah pusat data, dimungkinkan untuk mematikan chiller lama.


Chiller lama masih ada sementara pekerjaan persiapan sedang berlangsung. Kami memasak bingkai untuk chiller baru.

Kemudian sebuah mobil dengan chiller seharusnya menuju ke tempat kerja langsung. Kami harus, dengan kata lain, agak ramai di sana. Saya harus berkeringat agar cocok dengan semua belokan kompleks ini dalam ruang terbatas.





Chiller dibongkar dan digergaji menjadi dua dibongkar.



Ukuran chiller lama dan baru berbeda. Butuh waktu lebih lama untuk menyiapkan bingkai logam. Tetap mengangkat dan memasang chiller.



Di latar belakang, foto menunjukkan bahwa bagian-bagian dari rangkaian glikol untuk pendingin baru ditambahkan secara paralel.





Setelah instalasi, semua hidraulik dipasang pada bingkai, chiller terhubung ke catu daya. Crimping dilakukan pada malam hari. Hari berikutnya, commissioning dan koneksi ke sistem pemantauan berlangsung.

Butuh waktu kurang dari dua hari untuk menyelesaikan operasi: di pagi hari chiller lama dimatikan, dan pada akhir hari berikutnya chiller baru dihidupkan.

Dua minggu kemudian, chiller kedua diganti. Tampaknya Anda hanya perlu melakukan segalanya sesuai dengan skema yang terbukti, tetapi ada yang salah. Salju turun sepanjang malam. Pertama, saya harus menghabiskan waktu membersihkan wilayah tersebut agar crane dapat menelepon. Kami mulai membongkar pendingin lama, karena dua ratus meter dari kami sebuah mobil mogok dengan pendingin baru. Titik tidak bisa kembali telah dilewati, dan gerobak roda trailer (panel kontrol darinya) telah mogok di gerobak.

Itu tidak berhasil di situs, kami pergi untuk remote control tambahan, yang pada hari Sabtu secara ajaib berakhir di kantor perusahaan ini. Dengan remote control, saya berhasil memutar mobil. Akibatnya, kami membutuhkan lebih dari 3 jam untuk menyelesaikan satu putaran. Dengan semua lapisan logistik, pekerjaan itu berlangsung sampai malam. Adalah baik bahwa kami memikirkan pencahayaan untuk bekerja dalam gelap. Pekerjaan yang tersisa berjalan seperti biasa, dan mulai Senin di pusat data, chiller baru mulai bekerja.

Pada bulan Maret tahun ini, rekan-rekan saya mengganti pendingin ketiga, yang terakhir dari yang selamat dari badai. Sekarang Borova memiliki tiga pendingin Stulz dan satu Hiref. Berkat modernisasi bertahap, kami sekarang memiliki persediaan dingin yang besar, dan kami tidak takut dengan cuaca terpanas dan bulu poplar. Pendingin baru mendukung mode beku pada rentang suhu yang lebih luas, mengonsumsi lebih sedikit energi dan bekerja dengan sangat tenang. Mereka juga sangat nyaman untuk dirawat karena kompartemen kompresor yang terpisah: perbaikan dapat dilakukan tanpa berhenti sepenuhnya dari chiller.