Ich widme diesen Beitrag den Leuten, die in Zertifikaten gelogen haben, weshalb wir fast Wunderkerzen in unseren Hallen installiert haben.
Die Geschichten sind mehr als vier Jahre alt, aber ich veröffentliche sie jetzt, weil die NDA beendet ist. Dann stellten wir fest, dass wir das Rechenzentrum (das wir vermieten) fast vollständig geladen haben und dass sich seine Energieeffizienz nicht wesentlich verbessert hat. Die frühere Hypothese war, dass je stärker wir es füllen, desto besser, weil der Ingenieur an alle verteilt ist. Aber es stellte sich heraus, dass wir uns in dieser Hinsicht täuschten, und mit einer guten Ladung gab es irgendwo Verluste. Wir haben in vielen Bereichen gearbeitet, aber unser mutiges Team begann sich abzukühlen.
Das reale Leben des Rechenzentrums unterscheidet sich ein wenig vom Projekt. Ständige Probleme mit der Serviceabteilung, um die Effizienz zu steigern und die Einstellungen für neue Aufgaben zu optimieren. Hier nehmen Sie eine mythische Mittelstellung ein. In der Praxis existiert es nicht, die Lastverteilung ist ungleichmäßig, irgendwo dicht, irgendwo leer. Also musste ich etwas für eine bessere Energieeffizienz neu konfigurieren.
Unser Rechenzentrumskompressor wird für eine Vielzahl von Kunden benötigt. Daher kann es in der Mitte der üblichen Zwei-Vier-Kilowatt-Racks durchaus 23 Kilowatt oder mehr geben. Dementsprechend wurden die Klimaanlagen so eingestellt, dass sie gekühlt wurden, und durch weniger leistungsstarke Gestelle strömte die Luft einfach vorbei.
Die zweite Hypothese war, dass sich die warmen und kalten Korridore nicht vermischen. Nach den Messungen kann ich sagen, dass dies eine Illusion ist und die reale Aerodynamik sich in fast allem vom Modell unterscheidet.
Umfrage
Zuerst begannen wir die Luftströmungen in den Hallen zu beobachten. Warum bist du da reingekommen? Da sie verstanden haben, dass das Rechenzentrum für fünf bis sechs kW pro Rack ausgelegt ist, wussten sie, dass sie tatsächlich zwischen 0 und 25 kW liegen. Es ist fast unmöglich, all dies mit Fliesen zu regulieren: Die ersten Messungen zeigten, dass sie fast gleich gut bestehen. Und Fliesen mit 25 kW gibt es überhaupt nicht, sie müssen nicht nur leer sein, sondern mit Flüssigkeitsvakuum.
Wir kauften ein Anemometer und begannen, den Durchfluss zwischen Racks und über Racks zu messen. Im Allgemeinen ist es notwendig, mit ihm in Übereinstimmung mit GOST und einer Reihe von Standards zu arbeiten, die schwer zu erreichen sind, ohne die Halle anzuhalten. Wir waren nicht an Genauigkeit interessiert, sondern am Grundbild. Das heißt, sie haben ungefähr gemessen.
Durch die Messung von 100 Prozent der Luft, die aus den Fliesen austritt, gelangen 60 Prozent in die Gestelle, der Rest fliegt vorbei. Dies ist darauf zurückzuführen, dass es schwere Racks mit 15 bis 25 kW gibt, entlang derer die Kühlung aufgebaut wird.
Wir können die Klimaanlagen nicht nehmen und löschen, da es auf den warmen Racks im Bereich der oberen Server sehr warm ist. In diesem Moment verstehen wir, dass es notwendig ist, etwas von etwas zu isolieren, damit die Luft nicht von Reihe zu Reihe springt und ein Wärmeaustausch im Block stattfindet.
Parallel dazu fragen wir uns, ob es finanziell sinnvoll ist.
Wir sind überrascht, dass wir im Allgemeinen den Stromverbrauch des Rechenzentrums haben, aber wir können die Fancoils für einen bestimmten Raum einfach nicht berechnen. Das heißt, analytisch können wir, aber in der Tat - nein. Und wir können die Einsparungen nicht bewerten. Die Aufgabe wird interessanter und interessanter. Wenn wir 10% der Leistung von Klimaanlagen einsparen - wie viel Geld kann für die Isolierung aufgewendet werden? Wie zählt man?
Wir gingen zu den Automatisierungsingenieuren, die das Überwachungssystem fertiggestellt haben. Vielen Dank an die Jungs: Sie hatten alle Sensoren, alles was benötigt wurde, war den Code hinzuzufügen. Sie begannen, Kältemaschinen, USV und Beleuchtung separat anzuzeigen. Mit dem neuen Pribluda wurde es möglich zu beobachten, wie sich die Situation auf den Elementen des Systems ändert.
Experimente mit Vorhängen
Parallel dazu beginnen wir Experimente mit Vorhängen (Zäunen). Wir beschließen, sie an den Stiften der Kabelrinnen zu befestigen (sonst gibt es sowieso nichts), da sie leicht sein sollten. Mit Vordächern oder Kämmen schnell entschieden.
Der Hinterhalt ist, dass wir zuvor mit einer Reihe von Anbietern zusammengearbeitet haben. Jeder hat Lösungen für seine eigenen Rechenzentren von Unternehmen, aber für das kommerzielle Rechenzentrum gibt es im Wesentlichen keine vorgefertigten Lösungen. Unsere Kunden kommen und gehen ständig. Wir sind eines der wenigen „schweren“ Rechenzentren ohne Begrenzung der Rackbreite und können diese Dreschserver bis zu 25 kW akzeptieren. Keine Infrastrukturplanung im Voraus. Das heißt, wenn wir modulare Systeme zum Zwischenspeichern von Anbietern verwenden, wird es immer zwei Monate lang Lücken geben. Das heißt, ein Mashroom wird im Prinzip niemals energieeffizient sein.
Wir haben uns dazu entschlossen, da wir unsere eigenen Ingenieure haben.
Das erste, was sie nahmen, waren Bänder von Industriekühlschränken. Dies sind so flexible Polyethylen-Rotzen, die Sie angehen können. Sie haben sie wahrscheinlich irgendwo am Eingang zur Fleischabteilung des größten Lebensmittelgeschäfts gesehen. Sie begannen nach ungiftigen und nicht brennbaren Materialien zu suchen. Gefunden, in zwei Reihen gekauft. Verschleiert begann zu beobachten, was passiert.
Sie verstanden, dass es nicht sehr sein würde. Aber es stellte sich sehr direkt sehr nicht sehr allgemein heraus. Sie fangen an, wie Nudeln auf Bächen zu flattern. Gefunden Magnetbänder wie Kühlschrankmagnete. Sie klebten sie an diese Streifen, klebten aneinander, die Wand erwies sich als mäßig monolithisch.
Sie begannen herauszufinden, was in der Halle passieren würde.
Wir gingen zu den Bauherren und zeigten ihr Projekt. Sie sehen aus, sie sagen: Ihre Vorhänge sind etwas sehr Schweres. 700 Kilogramm in der ganzen Halle. Geh, sagen sie, gute Leute, zur Hölle. Genauer gesagt an das SCS-Team. Lassen Sie sie überlegen, wie viele Nudeln sie in den Schalen haben, denn maximal 120 kg pro Quadratmeter.
SCS sagt: Erinnern Sie sich, ein großer Kunde kam zu uns? Er hat Zehntausende von Häfen in einer Halle. An den Rändern ist die Mashzola noch normal, kommt aber nicht näher an das Kreuz heran: Die Tabletts fallen ab.
Weitere Bauherren baten um ein Zertifikat für das Material. Ich stelle fest, dass wir zuvor an der Bewährung des Lieferanten gearbeitet haben, da es sich nur um einen Testlauf handelte. Wir haben uns an diesen Lieferanten gewandt und sagen: OK, bereit für die Beta-Version, holen wir uns alle Zettel. Sie senden etwas von einem nicht sehr etablierten Muster.
Wir sagen: Hör zu, woher hast du dieses Stück Papier? Sie haben es uns von unserem chinesischen Hersteller auf Anfrage geschickt. Auf einem Stück Papier brennt dieses Ding überhaupt nicht.
In diesem Moment wurde uns klar, dass es Zeit war, anzuhalten und die Fakten zu überprüfen. Wir gehen zu den Mädchen vom Brandschutz des Rechenzentrums, sie nennen uns ein Labor, das die Brennbarkeit überprüft. Es ist ziemlich terrestrisches Geld und Bedingungen (obwohl wir alles verflucht haben, bis wir die richtige Menge Papier gemacht haben). Dort sagen Wissenschaftler: Bring das Material mit, wir werden Tests machen.
Zusammenfassend wurde geschrieben, dass von einem Kilogramm einer Substanz etwa 50 Gramm Asche übrig bleiben. Der Rest brennt hell, läuft ab und unterstützt sehr gut das Brennen in einer Pfütze.
Wir verstehen - es ist gut, dass sie nicht gekauft haben. Sie begannen nach anderem Material zu suchen.
Gefundenes Polycarbonat. Es stellte sich als härter heraus. Transparentes Blatt - zwei mm, Türen - ab vier Millimeter. In der Tat ist es Plexiglas. Gemeinsam mit dem Hersteller beginnen wir ein Gespräch mit dem Brandschutz: Geben Sie ein Zertifikat. Sie senden. Vom selben Institut unterzeichnet. Wir rufen dort an, wir sagen: Nun, warum, Leute, habt ihr das überprüft?
Sie sagen: Ja, sie haben es getan. Zuerst haben sie es zu Hause verbrannt, dann haben sie es nur zu Testzwecken mitgebracht. Aus einem Kilogramm Material verbleiben etwa 930 Gramm Asche (wenn sie mit einem Brenner verbrannt werden). Es schmilzt und tropft, aber die Pfütze brennt nicht.
Überprüfen Sie sofort unsere Magnete (sie befinden sich auf einer Polymerauskleidung). Überraschenderweise brennen sie schlecht.
Montage
Daraus beginnen wir zu sammeln. Polycarbonat ist schön, weil es leichter als Polyethylen ist, das sich viel schlechter biegt. Es stimmt, sie bringen Blätter von 2,5 mal 3 Metern mit, und dem Lieferanten ist es egal, was er dagegen tun soll. Und wir brauchen 2,8 breite 20-25 Zentimeter. Die Türen wurden zu Büros geschickt, die das Blatt so schnitten, wie es sollte. Und die Lamellen wurden von selbst geschnitten. Der Schneidvorgang selbst kostet doppelt so viel wie ein Blech.
Folgendes ist passiert:
Fazit: Das Caching-System zahlt sich in weniger als einem Jahr aus. Wir haben dies bei 200–250 kW kontinuierlich bei Gebläsekonvektorleistung eingespart. Wie viel mehr über Kältemaschinen, wie viel genau - wir wissen es nicht. Server saugen mit konstanter Geschwindigkeit, Fancoils blasen. Und der Kühler wird mit einem Kamm ein- und ausgeschaltet: Es ist schwierig, Daten daraus zu extrahieren. Es ist unmöglich, den Mashroom für Tests anzuhalten.
Wir sind froh, dass es früher eine Regel gab, 5x5-Racks in Module einzubauen, so dass ihr durchschnittlicher Verbrauch maximal sechs kW betrug. Das heißt, die Wärme wird nicht von der Insel konzentriert, sondern in der Halle verteilt. Es gibt jedoch eine Situation, in der sich 10 Stück 15-Kilowatt-Racks in der Nähe befinden, gegenüber ein 100-Stunden-Rack. Ihm ist kalt. Ausgeglichen.
Wo es kein Gestell gibt, brauchen Sie einen Zaun zum Boden.
Und wir haben auch einige Kunden, die mit Gittern isoliert sind. Sie hatten auch mehrere Funktionen.
Sie schneiden in Lamellen, weil die Breite der Gestelle nicht festgelegt ist und die Häufigkeit des Kamms der Befestigungselemente bestimmt wird: Drei oder vier cm entweder rechts oder links werden immer sein. Wenn Sie einen Block von 600 unter der Theke haben, steigt er mit einer Wahrscheinlichkeit von 85 Prozent nicht an. Und kurze und lange Lamellen existieren nebeneinander und halten zusammen. Manchmal schneiden wir die Lamelle mit dem Buchstaben G entlang der Konturen der Gestelle.
Sensoren
Bevor die Leistung der Gebläsekonvektoren reduziert werden konnte, musste an verschiedenen Stellen in der Halle eine sehr genaue Temperaturüberwachung eingerichtet werden, um keine Überraschungen zu erleben. Es gab also drahtlose Sensoren. Verkabelt - an jeder Reihe müssen Sie Ihr eigenes Ding aufhängen, um diese Sensoren und manchmal Verlängerungskabel daran zu kreuzen. Es verwandelt sich in eine Girlande. Sehr schlecht. Und wenn diese Kabel in die Zellen der Kunden gelangen, werden die Sicherheitskräfte sofort aufgeregt und bitten mit einem Zertifikat zu erklären, was durch diese Kabel entfernt wird. Die Nerven der Sicherheit müssen geschützt werden. Aus irgendeinem Grund berühren sie keine drahtlosen Sensoren.
Und weitere Gestelle kommen und gehen. Der Sensor am Magneten lässt sich leichter wieder montieren, da er jedes Mal höher oder niedriger aufgehängt werden muss. Wenn sich die Server im unteren Drittel des Racks befinden, müssen Sie sie aufhängen und nicht gemäß den üblichen anderthalb Metern über dem Boden an der Rack-Tür im kalten Korridor. Es ist sinnlos, dort zu messen, es ist notwendig zu messen, was sich im Eisen befindet.
Ein Sensor auf drei Racks - öfter kann man nicht hängen. Die Temperatur ist nicht anders. Sie hatten Angst, dass Luft durch die Gestelle strömen würde - das geschah nicht. Wir geben aber immer noch etwas mehr kalte Luft als die berechneten Werte. Wir haben Fenster in den Lamellen 3, 7 und 12 gemacht, über der Theke machen wir ein Loch. Beim Umgehen setzen wir ein Anemometer ein: Wir sehen, dass der Durchfluss wo nötig fließt.
Dann hängten sie helle Schnüre auf: eine alte Praxis für Scharfschützen. Es sieht seltsam aus, ermöglicht es Ihnen jedoch, ein mögliches Problem schneller zu erkennen.
Lustig
Während wir dies alles schweigend machten, kam ein Anbieter, um einen Ingenieur für Rechenzentren zu produzieren. Er sagt: Kommen wir und erzählen wir uns etwas über Energieeffizienz. Sie kommen an, beginnen über die nicht optimale Halle zu sprechen, Luftströmungen. Wir nicken verständnisvoll. Weil wir drei Jahre als etabliert haben.
Sie hängen drei Sensoren an jedes Rack. Überwachungsbilder sind verletzt, wunderschön. Mehr als die Hälfte dieser preislichen Lösung ist Software. Auf der Alarmstufe in Zabbix, aber proprietär und sehr teuer. Der Hinterhalt ist, dass sie Sensoren und Software haben und dann vor Ort nach einem Auftragnehmer suchen: Es gibt keine Anbieter für Käfige.
Es stellt sich heraus, dass ihre Hände fünf- bis siebenmal teurer sind als wir.
Referenzen