戴尔Project Triton服务器及其冷却系统

数据中心工程师深知，液体比空气更有效的冷却设备的方法。该解决方案非常流行，不仅在用于冷却芯片的超级计算机领域中是需要的。但是，由于技术还没有停滞不前，并且常规服务器平台中组件的密度在不断增长，因此该技术开始在常规数据中心中使用。它使用eBay电子商务巨头。



该开发工作由美国戴尔公司的极端规模基础架构（ESI）部门完成，该部门从事为全球最大的数据中心生产定制设备的工作。其中之一是针对Ebay服务器硬件的液体冷却系统（LLS）的独特开发。



在LSS中，主要元素是水。值得注意的是，戴尔系统具有其优势：它直接将水从数据中心的冷却塔转移到服务器系统机箱内每个芯片上的热交换器。该设计没有提供工作流体的中央分配块，该分配块通常放置在超级计算机和液冷数据中心的冷却塔和服务器机架之间。该项目的另一个特点是代号为“ Triton项目”，与传统的液体冷却系统相比，它使用的是热水。



戴尔开发的系统已经在一个Ebay数据中心中使用，进水温度达到33摄氏度。这不是冷却剂系统的限制，目前热交换器在热处理器上使用水，热处理器以非常高的时钟速度运行，并具有散热增加的特点。如果将Triton项目与低功耗处理器一起使用，则供水的温度可能会达到60摄氏度。

eBay处理器需要更有效的散热；它提供了Intel Xeon E5 v4家族芯片的修改版。基本版本中的每个芯片都包含22个物理内核，并且可以同时执行多达44条指令流。每个核心的缓存为2.5 MB，即总计最多55 MB。根据核心数量，TDP的范围为55到145瓦。在Broadwell-EP设备中，最多可以看到40条PCI-Express线和一个四通道DDR4控制器。处理器将设计为安装在Socket R3插槽中。此外，eBay和英特尔工程师修改了这些芯片，现在它们可以以更高的频率运行。以此类推，英特尔多年来一直在为其他超大规模数据中心（如Facebook和Amazon）开发芯片。



Project Triton系统不仅涵盖单电路LSS。它是机架安装式解决方案：也就是说，构成机架的所有组件（包括热交换器，PDU和服务器）都被整体设计为一个系统。在为超大型数据中心开发专用解决方案时，戴尔工程师使用类似的方法。

数据中心设备的贸易商传统上一直专注于开发各种自给自足的产品-无论是服务器，存储系统还是网络交换机，都没有关系。创建机架安装式解决方案时，您可以更有效地利用电源和冷却系统的宝贵资源以及机架空间和网络连接。可以在计算节点之间更合理地划分列出的资源，以提高数据中心的整体效率。

Triton项目使用21英寸宽的服务器机架，该机架与Facebook工程师作为Open Compute Project计划的一部分开发的机架非常相似。系统中的水通过连接到每个服务器机柜内处理器上方的热交换器的铜管循环。无需额外分配工作流体和泵，可以实现非常低的能耗。使用Triton项目的数据中心的能效比（PUE）仅为1.03（根据Dell）。



根据戴尔的数据，与普通的数据中心空气冷却系统相比，Project Triton的服务器冷却能耗降低了97％。此外，与竞争对手HPE（Hewlett Packard Enterprise）生产的Apollo 8000水冷高性能计算解决方案相比，这种新颖性所消耗的电力最多可减少62％。

为了保护数据中心操作员避免水泄漏到其他电子设备，戴尔工程师使用模拟测试了高压焊接管接头。因此，管道中的压力上升到350 PSI（在正常运行期间，进料时管道中的水压力为70 PSI）。此外，服务器机架中以及服务器本身中的每个元素都配备了附加的泄漏检测机制和紧急关闭设备。戴尔工程师还使用军用密封塞来防止流体进入服务器的电气组件。

Source: https://habr.com/ru/post/zh-CN395261/