在某种程度上，发生在哈伯（Habr）宣布冷却数据中心的那一天。
我们必须参与，因为 我即将在这个主题上呆了二十年。
KDPV-小。
行程很短。 很简短
氟利昂好老。 他是DX。 他是直接的延伸。
他是Goga ...优点：- 便宜而开朗；
- 只需安排任何程度的可靠性即可从Uptime Institute获得证书；
- 在世界上很难找到没有可以提供服务和/或维修的专家的地方。
缺点：- 最高的PUE（这很糟糕。我在这里不对PUE进行解释。我必须写一篇有关它的文章。一切都不像乍看起来那样简单。
- 任何电源故障，...无冷却。 即 或将UPS放在所有氟利昂空调上，或在负载和机房空气量之间找到平衡，以便在UPS运行期间有足够的冷空气储备； （顺便说一句，这是反对“冷走廊”辩护人的主要论点。但是关于“走廊”，这也是一个可悲的故事。）氟利昂空调上的UPS也有问题-压缩机在启动时从3到7的额定值“吃掉”。 具有这种嘲弄性的典型UPS会引发负载。 当然，有一些带有用于压缩机的频率调节器的空调，但是……到目前为止，这种选件在冬天不适用于低温机组。 还没有准备好解释该过程的物理原理，而是从受人尊敬的人们的经验中解释了-事实就是如此。 结果，要么是具有七倍余量的UPS，要么是重新布置了房间中的空气量；
- 在太低的负载下性能不佳。 或者，您需要放弃“精确”，或者甚至将取暖器放在房间中，以使空调的负载落在允许的范围内，或者忍受频繁更换压缩机。 更糟糕的是，许多空调都具有非关机保护功能，可防止压缩机频繁开启，并且空调仅会关闭并显示一条错误消息。 （这是另一个有关氟利昂循环特性的主题...）；
- 例如，在超级计算机中，存在负载突然突然变化的风险。 例如：他们计算了任务，负载从100％下降到5％，加载了新任务，负载从5％上升到了100。但是3分钟没有过去！ 而且有些空调器有一个计时器，在关机后3分钟内它会关闭压缩机。而在机房中超级计算机100％的负载下，温度会升高到每秒一度甚至更高。
- 在非常低的温度下工作存在很大的问题。 -10--15没别的。 -30及以下-拉动其他的接收器，阀门和自动化装置。 并非每个人都知道如何设计。 并非所有人都知道如何配置。 并非所有的“低温”套件都确实能够承受规定的温度。 如果您需要绝对可以在-40度使用的“ freonka”，请与在冬季-40度有居住设施的公司联系。
- 新鲜的空调模型中的恐惧感要少一些。 但仍然-它们会降低湿度。 对于泥浆房，氟利昂空调的典型蒸发器温度低于露点（对于标准20C 50％RH）。 因此，需要空气加湿。 根据实施加湿的方法，房间的设计，通风设置的不同，它可以将PUE值再增加0.1-0.2。
带有自然冷却的氟利昂相同的DX，但在空调柜中有另一个热交换器，乙二醇（乙二醇）溶液在其中生活。 在距“设定点”约5度以下的温度下，关闭氟利昂回路，打开“乙二醇回路”中的泵，并且所有冷却成本都是用于泵和风扇运行的电力。
优点：- 和氟利昂一样，因为 如果乙二醇回路出现问题，空调的氟利昂部分几乎总是自动恢复工作；
- 即使在炎热的国家，PUE也会显着下降（很好）；
- 如果正确保留了乙二醇部分，则不需要在氟利昂部分使用低温套件。 琐事，例如在诺里尔斯克，可能会有用。
缺点：- 真幸运 根据固件，设置和制造商的不同，您可以在夏天获得氟利昂系统的所有缺点，而在冬天，可以通过自然冷却获得冷却器系统的所有缺点（将在下面进行描述）。 至少在夏天，要确保不间断电源存在所有问题；
- 系统内部部件的复杂化，相应地减少了负责维修该系统的工匠人数；
- 管道加倍（不是真的，但仍然...）；
- 使外部块的空间加倍（几乎总是），因为 将乙二醇回路干式冷却器添加到氟利昂回路的电容器中；
- 由于上述所有缺点，该系统在设计，构造和操作上更昂贵。
冷却系统在这里，您可以撰写一年的日常出版物的系列文章。 好吧，还是一本很厚的教科书。
有很多实施选项。
简要地：
冷水机-用于冷却液体并在出口处保持液体的给定（低）温度的设备。
因此，冷却系统由冷却水的冷却器，带配件的管道和非常简单的空调（在俄罗斯的排放源中经常可以看到“ closer”一词）组成，其中装有水-空气热交换器，控制阀和风扇。
在全球范围内，以纯形式描述其优缺点的方法几乎从未应用。
优点：- 由于水的热容量更大，因此在负载变化很大的情况下几乎完全没有问题。 特别是如果应用以下加号；
- 您可以在回路中放置一个水箱。 大一个 还是很大。 冷水机价格几乎免费。 然后先将冷水排到那里。 然后，如果冷却系统或电源存在任何问题，则足以在回路中提供流体循环，以使计算机不会在15至40秒内立即过热，例如对于普通的超级计算机，在15至20分钟后就会过热，即使管理员正在睡觉醒来，要么修理一切，要么扑灭一切。
- 为了确保不间断运行，从UPS为循环泵供电就足够了。 如果泵有一个频率控制器，那么您甚至不需要为涌入电流留出余量。
- 是的，除了氟利昂空调外，还需要更多的专家进行维护，还需要一名管道工，但是很难在这个星球上找到一个甚至没有合格的管道工的地方。
缺点：- 在很大程度上取决于系统的布置方式。 实施选项太多；
- 在一般情况下，它比氟利昂系统贵得多。
- 在大型系统中，您必须建立两个回路-乙二醇“到街上”和通过数据中心/建筑物内的“水”热交换器；
- PUE与氟利昂相同或较差。 因为 循环泵被添加到氟利昂中。
自然冷却冷却系统选项1.不太好。
这是一个冷却系统。 但是其中有一个单独的干式冷却器组或内置的干式冷却器，当通过自然冷却可以提供所有必要的冷却功率时，系统会切换为干式冷却器。
优点：- “半年是恶劣的天气，半年是完全没有地方”……虽然天气不好，但街上却又寒冷又令人讨厌……冷却几乎是免费的。 只有泵和风扇可以工作；
- 对于大多数冷水机系统的简单实现；
- 索契北部是个不错的PUE。
缺点：正确的自然冷却系统直到最近，只有一家制造商拥有它。 Tolley的专利现在已经过期，他们只购买了许可证，但是还有更多选择。
优点：- 所有这些都是免费的冷却器系统；
- 此外，如果室外温度低于冷却器入口处的冷却液温度，则液体首先会进行自然冷却。 如果在自然冷却回路之后液体仍具有高于设定点的温度，则将液体送至氟利昂蒸发器，并将氟利昂回路连接至操作装置。 这似乎是一件小事，但对于莫斯科来说，每年平均免费冷却的时间增加了2-4个月，有时甚至在7月也可以节省电。
缺点：- 是的，通常不是。 （您是否注意到了？这是我最喜欢的选项！）。 是的，该系统比氟利昂更昂贵，并且比常规冷却器系统稍贵。 但是，奇怪的是，它通常不比“常规”的自然冷却冷却器系统贵。
空气自然冷却大致上有三种选择-旋转热交换器，开放式空气回路和封闭式空气回路。 另外，您可以在每个选项中添加“绝热” ...
旋转式换热器有一个内部空气循环回路，加热的空气进入装置，经过缓慢旋转的“轮子”的一半，在那里被冷却并进入健身房。 和外轮廓。 街道空气进入装置的地方，它穿过缓慢旋转的“轮子”的另一半，在那里变热，然后进入街道。 另外，通常，在天气非常炎热的情况下，在内部回路的输出端将蒸发器添加到系统中，而在外部回路的输出端添加冷凝器。
优点：- 良好的PUE；
- 内部回路大致封闭；几乎不需要加湿空气；
- 氟利昂电路仅在高温时使用。
缺点：- 与换热轮的连接处不可能完全密封。 结果，有气流；
- 因此，当外部有东西燃烧时，火灾探测器可能会出现问题。
- 由于某种原因，制造商希望为此系统投入大量资金。 尽管表面上很简单。
露天回路Facebook是最著名的，但还有更多制造商和装置。 通常，此选项几乎总是可以驱动到客户指定的价格质量框架中。
优点：- 从机械角度来看，这是一个非常简单的系统-风扇，两个受控风门；
- 在“开放领域”（绿色领域）中建造便宜；
- 很好的PUE。 仅用于风扇，加湿和过滤器的费用；
- 对于模块化数据中心和集装箱采矿场，它实施得很好。
缺点：- 下雨了 是的，他本人：上面是湿的，令人讨厌的水滴。 进入数据中心Facebook之后，云朵从天花板上聚集起来，开始下雨了……还有温湿度控制系统中的一个小虫子……；
- 如果“舷外”温度可能高于大厅允许的温度，则需要使用氟利昂冷却系统。
- 如果您需要继续工作以防数据中心外发生火灾（例如，对于莫斯科及其周边地区，如果燃烧泥炭沼泽），则必须为氟利昂空调提供100％的电源；
- 在湿度低的区域加湿可能需要大量的水。
封闭空气回路通常使用横流空气-空气热交换器。 内部回路中的空气被外部回路中的空气冷却。 如果没有绝热，则其优点和缺点与旋转热交换器和开路的优点和缺点大致相同，不同之处在于：
优点：- 没有气流；
- 与开环和砂轮相比，降低了加湿成本；
- 如果发生外部火灾，则无需更改操作模式。
缺点：- 如果在温暖的季节中不使用氟利昂系统进行后冷却，则内部温度将始终高于外部温度。 或者，加上绝热...
带有绝热的自然冷却 （我也很喜欢这个选项...）。
一般含义是水的蒸发热约为2.2 MJ / kg。 气流中的水几乎总是会蒸发。 如果我们在空气流中喷水，不仅会增加湿度，还会降低温度。
优点：- 如果实施得当（带有闭合回路），则在整个欧洲大部分地区，氟利昂系统的容量应占冷却系统总容量的15-20％；
- 如果实施正确，则在欧洲大部分地区，PUE可以为1.1，而在俄罗斯大部分地区，PUE可以更低。
缺点：- 大量的水流。 从+12-+14度的温度开始；
- Tier III在柴油发电机组的整个要求的运行时间中需要备用水源或供水（约36小时……这是大量的水，有抽水的专用泵，每个T型管三个水龙头，以及Tier III的其他乐趣）；
- 在某些地区，水很昂贵。 很贵 甚至还不如“高价值”那么“昂贵”，如果当地人发现您不喝这种水，您将为他们安排一个小规模的大屠杀...
直接水冷它不是很直接或不是很含水。 但是...
优点：缺点：- 大量的接头，接头，管道，夹具等 到目前为止，您需要冷却两个或四个处理器和相关的芯片组-一切都很好。 当谈到云数据中心中的15,000个双处理器服务器...突然发现系统正在运行。 总是 因为其中的关节是数十万。 您是否曾经见过一间公寓房里的水管工在后屋里饱满地呆了一年，而不必打个电话消除泄漏？ 没有这样的事情。 与一间小型水冷数据中心相比，在一栋公寓楼中，发生泄漏的接缝和配合减少了数百倍；
- 水。 任何泄漏，泄漏，溢出-至少损失一个机架。 运气好的话。 正如使用这种冷却的数据中心的实践所表明的那样，由于其中一个重要的交换机被水淹没，这对于整个数据中心堆的整个基础架构来说通常要停机一天以上。
- 材料上的巨大困难。 如果系统中铝与水接触，则系统中不应包含铜。 直到您需要仔细选择不锈钢合金为止；
- 这导致了下一组问题。 仅由铜制成所有散热器非常昂贵。 而且非常辛苦。 愚蠢的是，机架的质量变得如此容易，而不是加固天花板，而是在大厅下的所有地下室和地板上浇筑混凝土。 因此会有铝。 因此，您需要仔细选择与水接触的所有材料。 否则，所有的管道，通道，散热器都会被白粥堵塞。 当在仪器中正确使用时，它们被称为“刚玉”。这也意味着所有泵上的叶轮都已排出。
- BRS（快速可拆卸连接）。 好的硬盘比带有平台，处理器，内存和磁盘的整个机架贵。 而且他们至少需要在机架上放置80个设备。所有其余的设备-导致几天的停机时间相同。 更不用说“那些”“好”的BRS很少产生了。 对于火箭发射器和一些军用飞机……我从挖掘机上尝试了BRS。 不适合。 （但这又是另一个故事...）
- 无论如何，不能用水。 它可以是水，乙二醇和缓蚀剂的溶液，也可以是蒸馏水或其他液体的溶液。 她值得。 甚至是普通的蒸馏水-每升10卢布起。 或水处理系统。 哪...（您不会相信！）...也要花钱！
潜水冷却系统也有很多选择。 考虑三个最时髦和最频繁。
使用矿物油浸入冷却。优点：- ...一个有趣的问题。 他们有吗？ 请告诉我是否有。 （是的，我不是在问2-3个单位的规模，而是在8000个或更多单位的规模...）
缺点：- 对我个人而言，最糟糕的情况。 恐惧症还是什么？ 当我的手又粘又油腻时，我会讨厌它。如果不是因为这个原因，我现在会很高兴地在某些汽车服务中转动螺母……；
- 无论恐惧症如何，一切都存在于石油中。 参加运动会的每个人都可以从靴子到帽子的防油工作服；
- 与塑料兼容。 永远不能保证电容器/电阻器/处理器的外壳不会在矿物油中融化。 这不是保修案例；
- 高粘度。 因此，高能量消耗以确保系统中的循环；
- 高粘度。 因此，很可能在板上的某些热元件附近会停滞热浆料。 是的，人们确实碰到了这一点，但是，对不起，细节是“保密的”。
- 无论如何，您都需要一个热交换器和一个带有乙二醇溶液的“外部回路”。 否则，冬天会有太多问题。
- 因此，价格标签与冷水机系统差别不大。 带着很多问题，员工拒绝去健身房。 好吧，是的，正在尝试交易这种东西的组织……他们在十年前挂起的网站上都拥有相同的效果图。 没有一个真正的安装...
- 对于打算正式设计这种系统并通过考试的人-火灾负荷。 从法律的角度来看，油是易燃液体。 然后开始伏击-容积大于1000升的任何物体-您都不能将其放置在室内。 请问，每24个单位1000升浴缸，再加上管道系统。 通过STU的开发，最容易实现的就是所有这些。 但是无论如何，这都是-相邻房间的其他要求，前庭存在的其他要求，到紧急出口的距离的其他要求。 平均而言-如果您将集装箱放在距离住宅楼数公里的干净场地中-有机会以合理的价格或其他方式将一切都正规化。 如果您想将其放入莫斯科，圣彼得堡，叶卡捷琳堡或新西伯利亚-不要忘了手拿饼干，以防视察当局突然来访。
使用Novek 7000系列进行浸入冷却该Novek系列液体的沸点超过60℃。因此，使用诺维克（Novek）浴，使用“水”的热交换器。混合或对流的东西。优点：- 它有效；
- 您可以创建Tier III，尽管稍后向Uptime证明它是Tier III并不是很容易。
- Novek在可预见的未来（例如几十年）不会导致微电路外壳损坏，触点氧化等；
- 尽管竞争组织试图讲述有关肝损害的故事，但它仍然被认为对智人无害。
- . , .
缺点：/ .优点：缺点：- - . . 40-50 .
- . - ;
- 价格标签。大约一样的百立方米 每公斤 密度相同，约为每升半公斤。
- 我开车要一百立方 每升在街上-太贵了。因此，将会有热交换器，干式冷却器，乙二醇，调整尺寸的泵...
- 自动化，还没有人为真正的数据中心做过……一个琐碎的事情，但并不是所有的数据中心所有者都希望成为Novek的第一个下雨观察家。尽管这样的雨对于电子产品来说是正式且绝对安全的...
结论：冷却系统已经有很多选择。在最终决定为数据中心选择选项之前，您需要仔细考虑这笔钱。您愿意立即投入多少资金，您愿意在数据中心为“绿色”这一事实上花费多少资金，您想以多快的速度将投资重新“收回”为“绿色”。