Tetris-Spiele oder was ist Kapazitätsmanagement in einem Rechenzentrum?

Halle des NORD-4-Rechenzentrums im Jahr 2016.

Hier ist ein leerer Maschinenraum im Rechenzentrum. Denken Sie, dass das Rack an jedem Ort aufgestellt werden kann? Wenn es nur so einfach wäre!

Mein Name ist Alexey, ich bin im Kapazitätsmanagement in DataLine-Rechenzentren tätig. Heute sage ich Ihnen, dass es richtig ist, die Gestelle in der Halle anzuordnen - dies ist eine ganze Wissenschaft und manchmal auch Kunst.

Was ist Kapazitätsmanagement?

Der Maschinenraum im Rechenzentrum verfügt über drei Hauptressourcen: Platz, Strom und Kälte.
Alle drei Ressourcen sollten gleichmäßig verbraucht und gleichzeitig aufgebraucht werden. Tatsächlich folgt eine Person, die mit dem Kapazitätsmanagement befasst ist.

Wenn Sie das Gerät auf schreckliche Weise aufstellen, kann dies zu folgenden unangenehmen Situationen führen:

• Der Strom im Raum ist vollständig ausgewählt und die Hälfte des Raums ist leer.
• Die Halle ist voll mit Gestellen für die Augäpfel, Strom oder Kälte sind kaum genug.

Warum ist alles so kompliziert? Das Rechenzentrum ist für Racks mit einer bestimmten Leistung, Größe und Kühlung ausgelegt. Wenn wir Racks mit Designparametern in den Hallen platzieren, gibt es keine Probleme. Im Leben passiert dies jedoch nicht, insbesondere in einem kommerziellen Rechenzentrum. Die Ausrüstung ist auf verschiedene Arten erhältlich: Einige Kunden möchten ein Paar Racks mit jeweils 20 kW platzieren, andere möchten 100 Racks mit jeweils 5 kW, andere möchten 20 breite Racks mit jeweils 800 mm und zum vierten Mal gibt die Ausrüstung warme Luft von der Seite ab. So wird jede Platzierungsanfrage zu einer kleinen Optimierungsaufgabe mit drei Variablen: Standort, Strom und Kälte. Wir werden weiter darüber sprechen.

Über Ort

Dies ist vielleicht der unflexibelste Parameter, daher zählt jeder Zentimeter. Wenn ich das sage, bedeutet das, dass ich alle neuen Hallen mit einem Maßband vermesse, um die Realität mit den Zeichnungen zu vergleichen. Ich begann damit, als sich bei der Installation der Racks herausstellte, dass der Abstand zwischen den Stützpfosten 1 Zentimeter kleiner war als auf dem Plan. Dann musste ich die Ummantelung der Säule zerlegen, um mich hineinzuquetschen.

Auf den Plänen der Hallen bezeichne ich zusätzlich alle Objekte unter dem Doppelboden, an den Wänden und in den Netzablagen. Diese Informationen sind nützlich, wenn der Kunde an einem Zaun bleiben möchte, der vom Erdgeschoss bis zur Decke verläuft.

Auf den Plänen markiere ich auch die Servicebereiche von technischen Geräten. Dieser reservierte Platz befindet sich neben der Klimaanlage, der Schalttafel und anderen Geräten für die Reparatur. Racks sollten nicht klettern und sich insbesondere vollständig im Servicebereich befinden.

Normalerweise wird der Servicebereich gemäß dem Ausrüstungspass registriert, aber wir nehmen die Größe des Objekts selbst als Richtlinie. Beispielsweise beträgt bei einer Klimaanlage mit einer Tiefe von 900 mm der Servicebereich davor mindestens 900 mm. Bei Bedarf können wir diese Ausrüstung aus der Halle ziehen. Und so musste es wirklich gehen .


Der rot markierte Stand ist bereits in einer Reihe überflüssig und steigt in den Servicebereich der Klimaanlage. Das Durcheinander.

Über Elektrizität

Das Wichtigste in diesem Teil ist, die verfügbaren Kapazitäten nicht zu überlasten. Um die Last zu verfolgen, müssen Sie wissen, was wir im Projekt haben, und die installierten Racks verfolgen. Dies ist theoretisch so, in der Praxis werden Sie nicht immer alle einführenden haben. Hier sind einige dieser Situationen:

Die Halle ist leer, es gibt die Entwurfskapazität des Rechenzentrums / der Halle / des Racks, und wir stoßen sie ab. Auf der Grundlage dieser Daten füllen wir den Raum, führen Aufzeichnungen über belegte und freie Kapazitäten und verhindern deren Überlastung.

Wenn Sie bereits eine teilweise gefüllte Halle haben und keine Informationen über die belegten Kapazitäten vorliegen, kümmern wir uns zunächst um die installierten Racks. Wir finden heraus, wie viel sie derzeit konsumieren und wie viel sie „essen“ dürfen. Zum Beispiel kann ein Rack jetzt 2 kW verbrauchen, aber wenn es darunter installiert wird, waren 5 kW für das Wachstum reserviert. Als nächstes überprüfen wir anhand der Projektdokumentation: Wir prüfen, wie viel Kapazität wir im Prinzip haben. Nach einigen einfachen Berechnungen verstehen wir, ob wir Racks weiter platzieren können; Wenn ja, wie viel und wie viel Leistung.

Es ist wirklich schlimm, wenn sich Geräteträger im Raum befinden, es keine Dokumentation gibt und niemand dies berücksichtigt. Auch hier ist es besser, mit einer Bestandsaufnahme der installierten Racks zu beginnen. Als nächstes müssen wir verstehen, was wir über das Projekt haben. Wir gehen zur USV, wir überprüfen ihre Kapazität gemäß dem Pass und was diese USV speist. Der Einfachheit halber werde ich im Beispiel 1 USV betrachten.

Angenommen, die Leistung beträgt 450 kW. 10% von dieser Gangreserve abziehen und mit der Zahl 405 kW weiterarbeiten. 405 kW kommen an die Schalttafel. Es gibt 4 automatische Maschinen im Schild, jede automatische Maschine - 1 Reihe mit 19 Gestellen. In einer Reihe - 101,25 kW. Zusätzlich überprüfen wir die Einstellungen an den Eingangsleistungsschaltern der Serie und der USV-Verteilerplatine. Die Einstellungen können niedrig sein, und anstelle von 101,25 kW können 90 kW verwendet werden. Wenn Sie mit den Einstellungen nichts gemacht haben, stellt sich heraus, dass das Rack 5,3 kW leistet. Dies bedeutet nicht, dass wir jetzt nur Racks mit 5,3 kW installieren können. Sie können mehr oder weniger, die Hauptsache ist, die verbleibende Leistung jedes Mal neu zu berechnen.

Wichtig: 5,3 kW ist die Leistung eines Strahls. Nähert sich der gleichen Nummer von der Sekunde. Jeder Strahl sollte nur mit der Hälfte der Nennleistung belastet werden. Wenn ein Balken abfällt, kann der zweite eine doppelte Last aufnehmen.

Zusammen mit der gepaarten Belastung der Strahlen muss die gepaarte Belastung der Phasen in den Verteilern beobachtet werden. Wenn eine oder zwei Phasen überlastet sind, tritt ein sogenanntes Phasenungleichgewicht auf. Dies bedeutet zumindest, dass die verfügbare Kapazität nicht optimal genutzt wird. Kollegen haben mehr darüber in Artikeln über das Gerät und die Überwachung der Stromversorgung im Rechenzentrum geschrieben.

Über die Kälte

Kälte ist eng mit Elektrizität verbunden. Wenn das Rack 5 kW verbraucht, gibt es ungefähr 5 kW Wärme ab. Wir glauben normalerweise, dass, wenn ein Raum für 500 kW ausgelegt ist, die Kühlleistung aller Klimaanlagen in diesem Raum ebenfalls 500 kW betragen sollte (zuzüglich der Leistung einer Ersatzklimaanlage). Das heißt, die Kälte- und Stromreserven müssen miteinander kämpfen.

Nicht standardmäßige Racks und Geräte

Wenn Sie ein Standard-Rack (Breite 600 mm, 42 Einheiten, 5 kW) aufstellen müssen, können Sie es an jedem Ort aufstellen, an dem Strom und Kälte vorhanden sind. Nuancen entstehen, wenn Sie hoch beladene Racks (8-30 kW) in der Halle installieren müssen.

Zum Beispiel müssen Sie ein Rack mit 30 kW aufstellen. Wir haben einen leeren Raum, der ganz am Anfang des Raumes neben der Klimaanlage steht.

Stellen Sie sich nun vor, dass die Klimaanlage in der Nähe ausgeschaltet ist. Ruhig, wir haben ein Backup. Wenn es gewöhnliche Racks mit jeweils 5 kW wären, würden die funktionierenden Klimaanlagen die heiße Luft ruhig wegziehen und die Ausrüstung würde nichts bemerken. Das 30-kW-Rack erzeugt jedoch eine ganze Wärmewolke, die sich nicht entlang des heißen Korridors verteilt. Es ist wichtig, dass die nächste Klimaanlage funktioniert. Wenn es bricht, beginnt die heiße Luft wieder in den kalten Korridor zu laden und tritt wieder in das Gerät ein. In wenigen Minuten wird die Ausrüstung in diesem Rack sehr schwierig, die Überwachung funktioniert, das Rack läuft, um mit Hilfe von Lüftern zu helfen. Die Ausrüstung wird gerettet, aber das Problem mit dem schlechten Rack-Layout bleibt bestehen.

Empirisch haben wir in der Halle eine Zone identifiziert, in der solche leistungsstarken Racks platziert werden können. Wenn eine Klimaanlage ausfällt, kann der Rest heiße Luft aus diesem Rack ziehen (siehe Abbildung).


Die roten Ständer zeigen die Stellen an, an denen Sie kein schwer beladenes Rack aufstellen können. Grün - wo immer du kannst. Gelb ist akzeptabel, aber nur, wenn es unbedingt erforderlich ist.

Um das Kühlsystem in Racks ab 8 kW zu unterstützen, verwenden wir Lüftungstüren, Lüftungsplatten und die Isolierung von kalten Korridoren. Sie geben keine zusätzliche Kälte ab und sparen nicht, wenn die Kaltleistung bereits ausgewählt wurde. Sie helfen jedoch, den Luftstrom zu steuern und die Effizienz der Klimaanlage zu verbessern.

Ventdoors sind an der Rückwand der Racks 8-11 kW installiert. Sie geben keine heiße Luft in den heißen Korridor ab und leiten sie mit Hilfe von Ventilatoren sofort nach oben.


Belüftungstür

In Gestellen ab 11 kW werden den Lüftungstüren aktive Lüftungskacheln (Lochkacheln mit Ventilator) hinzugefügt. Sie leiten zusätzlich den Kaltluftstrom zum Gerät. Lüfterplatten sind intelligent: Sie lesen Anzeigen von Sensoren im Rack und passen die Lüftergeschwindigkeit an.


Dies ist eine Belüftungskachel. Dieser hat sogar ein kleines Display

Wenn der Kunde zwei Reihen leistungsstarker Racks hat, beispielsweise jeweils 15 kW, ist es sinnvoll, diese zu isolieren.


Isolierter kalter Gang

Oft bringen Kunden dreiphasige Racks mit. Nicht, dass dies nicht dem Standard entspricht, wir haben einfach unsere ersten Rechenzentren hauptsächlich für einphasige Racks mit einem kleinen Spielraum für dreiphasige Last (10-15% der Gesamtkapazität) entworfen. Wenn der Client ein dreiphasiges Rack benötigte, stellte er einfach eine dreiphasige Maschine in den Sicherungsbereich der Telefonzentrale. Wie der Name schon sagt, ist eine Dreiphasenmaschine dreimal so groß wie eine Einphasenmaschine, nimmt mehr Platz ein und Sie können nicht viele davon einsetzen. Manchmal hatte der Kunde so viele dreiphasige Racks, dass die Reserve in der Schalttafel ausgewählt wurde und zusätzliche Schalttafeln installiert werden mussten.

In unserem neuesten NORD-4-Rechenzentrum haben wir diesen Moment vorausgesehen. Dort wird die Energie über die Sammelschiene unter dem Doppelboden verteilt, sodass Sie ein Rack für jede Phase aufstellen können.


Auf der Sammelschiene können Sie sowohl einphasige als auch dreiphasige Automatik installieren

In der Regel nimmt das Gerät Luft von vorne aus dem kalten Korridor und wirft sie von hinten in den heißen Korridor. Aber es passiert anders. Beispielsweise saugen Geräte kalte Luft von vorne und hinten an, während heiße Luft aufbläst. Für ein solches Gestell organisierten sie mit Hilfe der Isolierung einen Zweig eines kalten Korridors in einem heißen. Es ist nicht wirklich Feng Shui, aber es funktioniert.


Bei "nicht standardmäßigen" Geräten in den Racks 030 und 040 wurde die Isolierung in der Mitte des heißen Korridors vorgenommen

Es gibt Geräte, die Luft von einer Seite aufnehmen und heiße Luft auf die andere Seite werfen. Wir haben dieses Gerät auf einem 800-mm-Gestell installiert, sodass kalte und heiße Luft zirkulieren konnte. Von der Seite des kalten Korridors vor der Theke platzierten sie eine seitliche Luftstrom-Organisationseinheit: Sie nimmt kalte Luft vor sich auf und nimmt sie seitlich und nach oben. Der Raum an den Seiten des Racks ist isoliert, so dass kein störender Luftaustausch stattfindet.


Die untere Einheit belegt dieselbe seitliche Luftstromeinheit


Von dieser Seite tritt kalte Luft in das Gerät ein. Im Hintergrund ist eine Isolierung vom heißen Korridor sichtbar.


Links neben dem Gerät befindet sich eine sichtbare Isolierung, die keine heiße Abluft in den kalten Korridor abgibt.

Zäune

Zusammen mit Gestellen bestellen Kunden häufig Gestellzäune, insbesondere Dosen. Sie müssen so angeordnet werden, dass sie nicht viel nützlichen Platz beanspruchen, was bedeutet, dass die Gestelle kompakt angeordnet werden müssen, damit Sie am Ende etwas erhalten, das zumindest entfernt einem Rechteck ähnelt. Aber manchmal stellt sich heraus, wie in der Abbildung unten).



Normalerweise wird der Zaun vom Hauptgeschoss (d. H. Es gibt auch einen Zaun unter dem Doppelboden) bis zur Decke gebaut, wodurch die Netzwerkablagen geschlossen werden.


Um hinter den Zaun zu gelangen, müssen Sie einen Pass am ACS-Sensor oder einen Finger am biometrischen Scanner anbringen


Zaunzeiten


Zaun zwei


Zusätzliche Überwachungskameras und manchmal Volumensensoren befinden sich im Zaun


Aber der Zaun mit eingebauter Isolierung des kalten Korridors, sozusagen 2 in 1

Tools für das Kapazitätsmanagement

Um den Platz- und Stromverbrauch in den Maschinenräumen zu überwachen, müssen keine teuren und modischen DCIM-Systeme (Data Center Infrastructure Management) verwendet werden. Statistiken über die Belegung der Halle können im üblichen Excel gehalten werden. Sammeln Sie dort Informationen über den aktuellen Zustand der Halle (die Position der Racks, ihre Leistung, Größe) und geben Sie diszipliniert Informationen zu Änderungen dort ein: Welche Racks wurden hinzugefügt, welche wurden ausgezogen.

Die Ausgabe wird ein ziemlich funktionierendes Werkzeug sein, das Ihnen hilft zu verstehen, wo, wie viel und welche Racks in diesem Raum installiert werden können.

Damit ist mein kurzer Ausflug ins Kapazitätsmanagement abgeschlossen. Stellen Sie Fragen, wenn etwas, das Sie interessiert, nicht in der Post enthalten ist.

Schließlich ist hier ein klares Bild davon, wie die Halle von der Inbetriebnahme im Jahr 2014 bis heute im OST-3-Rechenzentrum gefüllt war.