Kühlsysteme in Selectel-Rechenzentren

Wettbewerbsfähige Preise für Dienstleistungen waren für Kunden bei der Auswahl eines Rechenzentrums immer der „König der Argumente“. Und woraus bestehen diese Preise? Die ersten, die in den Sinn kommen, sind die Kosten für IT-Ausrüstung und Strom, aber ein erheblicher Anteil an der Preisstruktur besteht aus den Kosten für Kühlserver, Speichersysteme (SHD) und Netzwerkgeräte. Beispielsweise gibt ein Server mit mehreren Prozessoren bis zu 600 W oder mehr Wärmeenergie ab, die effektiv entfernt werden muss, und dem Einlass der Lüftungsöffnungen des Servers wird kalte Luft zugeführt.

In diesem Artikel stellen wir Ihnen die Technologie von Klimasystemen in Selectel-Rechenzentren vor und erläutern Ihnen, wie neue Produkte in diesem Bereich die Betriebskosten von Rechenzentren und indirekt den Betrag auf den Konten unserer Kunden senken.

3 Servicemärkte - 3 Kühlanforderungen

Auf dem Markt für Rechenzentrumsdienste gibt es ungefähr drei Hauptsegmente. Dies ist zunächst Colocation, dann IaaS-Infrastruktur - dedizierte Server plus Cloud-Speicher - und das dritte Segment - Cloud-Server (VPC, VPS, VMware Cloud), einschließlich öffentlicher, privater und Hybrid-Clouds.



Egal wie überraschend es auch erscheinen mag, die Kunden jedes Segments haben unterschiedliche Anforderungen an Klimasysteme. Die anspruchsvollsten Kunden platzieren ihre eigenen Geräte (Colocation) im Rechenzentrum. Darunter befinden sich viele IT-Manager mit langjähriger Erfahrung und einer konservativen Vorstellung davon, wie hoch die Temperatur in den Serverräumen sein sollte. Vor 10-15 Jahren war die Anforderung, in einem kalten Korridor + 18 ° C bereitzustellen, wirklich kritisch. Moderne Server und Speicher arbeiten jedoch stabil bis zu einer Temperatur von + 27 ° C.

Der spezifische Lufttemperaturbereich für die Serverräume des Rechenzentrums wird übrigens streng durch die Empfehlungen von ASHRAE (Amerikanische Gesellschaft für Heizungs-, Kühlungs- und Klimaingenieure) geregelt, die weltweit, einschließlich Russland, geführt werden. Der empfohlene Temperaturbereich ändert sich im Laufe der Zeit, irgendwo in den frühen 2000er Jahren waren es tatsächlich 16-20 ° C, dann 18-22 ° C, und heute beträgt die empfohlene Lufttemperatur für Kühlserver bereits 20-27 ° C.

„Selectel in seinen Rechenzentren ist bestrebt, die Lufttemperatur gemäß ASHRAE im Durchschnitt bei 23 ° C zu halten“, so Kirill Malevanov, Technischer Direktor von Selectel für den Artikel.

Welche davon kann für ein Rechenzentrumsgeschäft geschlossen werden? Eine teure Kühlung mit Klimaanlagen sollte hauptsächlich für Serverräume verwendet werden, die für den Colocation-Service vorgesehen sind. Dementsprechend können Sie für Serverräume für IaaS-Dienste und insbesondere für Cloud-Server Geräte verwenden, die den Einsatz der Kühlung aufgrund der Umgebung maximieren - bis hin zum einfachen Ausblasen der Server mit Außenluft.

Da Selectel mehrere Rechenzentren und in verschiedenen Regionen besitzt, besteht gleichzeitig Handlungsspielraum. Mit anderen Worten, es ist möglich, die Kühlanforderungen in dem ausgewählten Leistungssegment bereits in der Phase des Entwurfs, des Baus von Rechenzentren und der Auswahl von HLK-Geräten zu berücksichtigen. Und später im Betrieb, um die Klimasysteme unter Berücksichtigung der Reduzierung der Gesamtbetriebskosten bei der Bereitstellung dieser Dienste zu modernisieren.

Was ist ein PUE?

Das Hauptmaß für die Effizienz von Rechenzentren ist das PUE-Verhältnis (Power Usage Effectiveness), das seit 2007 in der Rechenzentrumsbranche verwendet wird. Was ist dieser Koeffizient:

Mit anderen Worten, je näher der PUE an 1 liegt, desto perfekter ist das Rechenzentrum. Grundsätzlich ist es jedoch unmöglich, Werte von 1,0 zu erreichen, da dies dem Energieeffizienzniveau der Perpetual-Motion-Maschine entspricht. Eine vollständige Definition des Begriffs PUE finden Sie übrigens im Dokument PUE, Eine umfassende Untersuchung der Metrik (PDF) .
In der Praxis werden PUE-Werte zwischen 1,10 und 1,15 als ausgezeichnet angesehen. Laut Veröffentlichungen beträgt der für alle Rechenzentren in verschiedenen Regionen und zu verschiedenen Jahreszeiten gemittelte PUE-Wert für Google-Rechenzentren beispielsweise 1,12.
Als Nächstes werden wir uns die Kühlsysteme in ausgewählten Selectel-Rechenzentren genauer ansehen.

"Blume 1" - Freon

Das erste Rechenzentrum in Tsvetochnaya 1 wurde 2008 in Betrieb genommen, als der Colocation-Service auf dem Markt dominierte. Außerdem ist dies das Zentrum von St. Petersburg - die Situation mit freiem Speicherplatz war damals etwas eingeschränkt. Dementsprechend wurden im Rechenzentrum "Flower 1" klassische Industrieklimageräte für Freon-Rechenzentren installiert, die bis heute in Betrieb sind.
Das Funktionsprinzip einer solchen Klimaanlage basiert auf dem Übergang von Freon in verschiedene Aggregatzustände. Kalte Luft unter dem Doppelboden wird den sogenannten „kalten Korridoren“ mit Computergeräten zugeführt, und die erwärmte Luft gelangt in den Serverraum (in die „heißen Korridore“), von wo aus sie erneut in den Wärmetauscher der Klimaanlage gesaugt, gekühlt und den Servern und Speichersystemen wieder zugeführt wird.


^{Kühlung des Rechenzentrums mit Klimaanlage}

Der Wirkungsgrad einer klassischen Klimaanlage lässt zu wünschen übrig, und daher ist der Energieeffizienzkoeffizient für das Rechenzentrum Flower 1 nach modernen Maßstäben recht hoch: PUE = 1,7. Angesichts der Tatsache, dass hier Colocation-Dienste bereitgestellt werden, ist es durchaus möglich, diese Situation bis zu einer radikalen Modernisierung des gesamten Rechenzentrums in Kauf zu nehmen.


^{Inspektion von Klimaanlagen im Rechenzentrum "Flower 1"}

"Dubrovka 1", "Berzarina 1", "Flower 2" - Kältemaschinen

Die nächste Kühltechnologie bei Selectel wurde 2010 getestet, als das Rechenzentrum Dubrovka 1 im Dorf Dubrovka in der Region Leningrad gebaut wurde. Darin wurde erstmals in der Praxis des Unternehmens ein Kühlsystem eingesetzt.
Der Unterschied zwischen dem Kühlsystem und Freon-Klimaanlagen besteht darin, dass nicht gefrierende Glykollösung in den Rohren zwischen den Innen- und Außengeräten zirkuliert, die die ganze Zeit flüssig bleibt und nicht gasförmig wird. Die Lösung wird durch die Klimaanlage im Serverraum gepumpt, wo sie vom heißen Kühler der Klimaanlage erwärmt und von dort in einen externen externen Wärmetauscher gepumpt wird, der als Kühler bezeichnet wird.
In der Kältemaschine wird die Glykollösung mit Außenluft und einer zusätzlichen Kondensationseinheit gekühlt. Anschließend wird die bereits abgekühlte Glykollösung erneut in die Klimaanlage im Serverraum des Rechenzentrums eingespeist. In diesem Fall erfolgt die Kühlung der Computerausrüstung nach dem traditionellen Schema: Kalte Luft wird von unten durch einen Doppelboden zu den „kalten Korridoren“ geleitet, und heiße Luft gelangt in den Gemeinschaftsraum und weiter zum Wärmetauscher.

^{Rechenzentrumskühler}

Das System mit kalten und heißen Korridoren spart bis zu 5% Energie, daher ist es so wichtig, kalte und heiße Luftpools (Korridore und Luftspeicher) zu isolieren.
Die Energieeffizienz des Kühlerkreislaufs ist im Vergleich zu Klimaanlagen höher. Dies liegt daran, dass der externe Kompressor und die Kondensatoreinheit des Kühlers nur bei Umgebungstemperaturen über + 12 ° C aktiviert werden und die Lüfter des Außengeräts mit steigender Temperatur des Glykolkühlmittels allmählich eingeschaltet werden. Dies ist sehr ähnlich der Funktionsweise des Motorkühlsystems eines herkömmlichen Autos.
Nach dem Kühlschema baute Selectel die Kühlung von drei Rechenzentren - Dubrovka 1 (2010), Berzarina 1 (2011) und Flower 2 (2015). Im Fall des Rechenzentrums Tsvetochnaya 2 wurde die über 5 Jahre Betriebserfahrung des Rechenzentrums Dubrovka 1 gesammelte Betriebserfahrung in Bezug auf die vielen Nuancen der Wartung berücksichtigt. Wie sich herausstellte, ist das Kühlsystem trotz der äußerlich einfachen Funktionsweise ziemlich launisch im Betrieb und erfordert eine sorgfältige Wartung und Einhaltung der Vorschriften. Weitere Informationen zum Betrieb des Kühlsystems im Rechenzentrum Berzarina 1 finden Sie in unserem Unternehmensblogartikel .


^{Kalter Korridor im Flower Center 2-Rechenzentrum}

"Dubrovka 3", "Berzarina 2" - Freikühlung

Der nächste Schritt zur Verbesserung der Energieeffizienz von Kühlsystemen wurde bei Selectel beim Übergang zu einem direkten Freikühlsystem unternommen. Das Funktionsprinzip der klassischen direkten Freikühlung ist die Zurückweisung von Wärmetauschern, und die Kühlung von Computergeräten erfolgt durch Blasen mit Außenluft.
Außenbordluft strömt durch Filter, wo sie von Staub gereinigt wird, und gelangt dann in den Maschinenraum. Im Winter wird kalte Luft nach Bedarf mit warmer Luft von den Servern in der Mischkammer vorverdünnt, um eine konstante Temperatur für die Blasausrüstung aufrechtzuerhalten.


^{Direkte Freikühlung mit Nachkühlung ohne Doppelboden}

Wie oben erwähnt, arbeiten moderne Server und Speichersysteme zuverlässig bei Temperaturen in kalten Korridoren bis + 27 ° C. Angesichts des Klimas in der Region Leningrad, wo die langfristige durchschnittliche Tagestemperatur selbst im Juli bei + 20 ° C liegt, schien eine solche Lösung durchaus praktikabel. Angesichts des Temperaturrekords von + 37,8 ° C, der 2010 in der Region Leningrad verzeichnet wurde, war es jedoch unmöglich, sich ausschließlich auf die Gnade der Natur zu verlassen. Der „heiße Sommer 2018“ bestätigte übrigens die Richtigkeit dieser Berechnungen.
Dementsprechend nutzt das 2013 in Betrieb genommene Rechenzentrum Dubrovka 3 bei Sommerhitze die direkte Freikühlung mit einer zusätzlichen Kühleinheit (ABHM, Absorptionskältemaschine). Außenborderluft strömt durch die Filter und dann durch den ABXM-Wärmetauscher. In den kalten Korridoren des Serverraums wird Luft unter dem Doppelboden zugeführt.


^{Kühl-Rechenzentrum nach dem Schema der Freikühlung mit Doppelboden}

Wie die Betriebserfahrung gezeigt hat, funktioniert eine solche Lösung, ohne das ABCM auf eine Umgebungstemperatur von + 21 ° C einzuschalten, was praktisch bedeutet, dass das ABCM nur in den Sommermonaten arbeitet. Somit ist es eine ziemlich energieeffiziente Lösung mit einem PUE von ~ 1,25.
Ein wichtiger Vorteil von ABCHM ist die Umweltsicherheit, da es mit normalem Wasser ohne Verwendung von Freon funktioniert. Zu den Nachteilen des ABXM zählen die riesigen externen Wärmetauscher. Angesichts der nahezu sauberen Platzierung des Dubrovka 3-Rechenzentrums spielt dies jedoch keine besondere Rolle in Bezug auf die Größe der Flächen für ABXM-Geräte.


^{Das Kühlsystem des Rechenzentrums "Dubrovka 3" mit ABHM}

Seit 2013 hat das direkte Freikühlsystem mit Nachkühlung seine hohe Effizienz bewiesen und wird beim Bau des Rechenzentrums Berzarina 2 in Moskau erneut implementiert. Aufgrund des begrenzten Platzes wird die Nachkühleinheit jedoch unter Verwendung eines adiabatischen Systems implementiert.

Ein paar Worte zur Reservierung

Traditionell werden Kühlsysteme in Tier III-Rechenzentren nach einem Schema von mindestens N + 1 reserviert. Dies bedeutet, dass immer mindestens eine Kühleinheit auf Lager sein muss, die im Falle eines Unfalls oder einer Reparatur (planmäßige Wartung) eines der beteiligten Systeme in Betrieb genommen wird. Im Rechenzentrum von Dubrovka 1 werden 4 Lüftungsmaschinen zum Freikühlen verwendet, wenn 3 benötigt werden, und im Rechenzentrum von Dubrovka 3 sind drei ABHM-Maschinen, von denen eine ausgeschaltet und im Standby-Modus ist, startbereit.
Übrigens versucht Selectel in seinen Rechenzentren, die Anforderungen an die N + 1-Redundanz so weit wie möglich zu verschärfen, und hat nicht nur ein, sondern zwei redundante Kühlsysteme auf Lager. Im Rechenzentrum „Flower 1“ und „Flower 2“ befinden sich beispielsweise 2 Backup-Klimaanlagen bzw. eine Kältemaschine.


^{Klimaanlagen im Serverraum des Rechenzentrums Flower Center 1 (in der Mitte)}

"Berzarina 2" - bald in Betrieb

Im November 2018 wurde in Moskau ein neues Berzarina 2-Rechenzentrum in Betrieb genommen, in dem erstmals in der Unternehmenspraxis ein Freikühlsystem mit Nachkühlung mit einem adiabatischen System angewendet wird. Wenn die Außenluft zu warm ist und die Temperatur in Moskau im Sommer häufig 23 ° C überschreitet, schaltet sich das adiabatische Kühlsystem ein.


^{Freikühlung mit adiabatischem Nachkühlsystem im Rechenzentrum "Berzarina 2"}

Die adiabatische Kühltechnologie basiert auf der Zerstäubung von Wasser in Form winziger Tröpfchen im Luftströmungsweg, wodurch die Luft durch Verdampfen des Wassers gekühlt werden kann. Bei Verwendung von Sprühbefeuchtern sind die Energiekosten für den Kühlprozess selbst im Vergleich zu anderen Kühlsystemen gering. Die komplexe Zellstruktur der benetzbaren Barriere im Weg der zugeführten Luft ermöglicht es nicht, dass Mikrotröpfchen Wasser weiter in die Kanäle des Rechenzentrums gelangen. Gleichzeitig bleibt die Luftfeuchtigkeit innerhalb akzeptabler Werte für IT-Geräte.


^{Adiabatisches System}

„Es gibt weltweit viele interessante Lösungen für Kühlsysteme, die Energie sparen. Es ist jedoch unmöglich, alle neuen Produkte auszuprobieren - Sie müssen eine Finanzierung erhalten, das Design durchführen und dann den Kauf der Ausrüstung, die Vorbereitung und Inbetriebnahme der Ausrüstung abschließen. Die Phasen Lieferung, Installation, Einstellung und Einlauf sind sehr langwierig. Daher werden Klimasysteme nach mindestens zehnjähriger Arbeitsaufnahme selten radikal modernisiert, wenn ein bereits errichtetes Rechenzentrum betrieben wird. Und interessante neue Produkte kommen bereits in das neue Rechenzentrum, in dem sie 10 bis 15 Jahre halten werden “, fasste Kirill Malevanov, technischer Direktor von Selectel, zusammen.