Das Haupttransportproblem in St. Petersburg sind Brücken. Nachts müssen sie von der Taverne weglaufen, ohne das Bier getrunken zu haben. Oder zahlen Sie ein Taxi doppelt so viel wie gewöhnlich. Am Morgen - berechnen Sie die Zeit sorgfältig, damit Sie es geschafft haben, mit einem geschickten Mungo zum Bahnhof zu gelangen, sobald die Brücke heruntergefahren ist. Wir halten die Option, „die Nacht irgendwo im Zentrum neben dem Bahnhof zu verbringen“, nicht für ideologisch schädlich.
... "Wanderfalke", der um 5:30 Uhr abreist, wurde von Menschen erfunden, die Eulen hassen. Nein, natürlich ist es sehr praktisch, um neun Uhr morgens in Moskau zu sein, und Peter ist in den weißen Nächten wahnsinnig schön, aber um halb fünf, als ich in ein Taxi stieg, wollte ich meinen Kopf um 270 Grad zu der Lerche drehen, die der Zug heute Morgen erfunden hat.
"Alle guten Rechenzentren sind gleich", dachte ich, als ich herausfand, dass die Jungs von DataLine uns zu einem Besuch einluden.
Wie sich herausstellte, ist jedes Rechenzentrum auf seine Weise ein wenig gut (oder schlecht), insbesondere wenn Sie Unebenheiten bekommen, alle Rechen in der Umgebung sammeln und die Lehren aus Ihrer eigenen (und ein wenig fremden) Erfahrung ziehen. Hier sind wir (als Teil der fünf führenden Linkmeups und Freunde und Sympathisanten, die sich ihnen angeschlossen haben) und haben uns entschlossen zu überprüfen, wie gut (oder nicht) die Rechenzentren OST und NORD sind.
Nachdem wir es geschafft haben, ein bisschen auf der Straße zu arbeiten (es hätte eine Werbung für einen Mobilfunkbetreiber geben können, aber nein - die Abdeckung war immer noch schlecht und es blieb), werden wir am Leningrader Bahnhof entladen. Zumindest nicht unter Gazmanov.
Wir haben unsere Tour durch die "hellgrünen" Rechenzentren mit OST begonnen - dem "einen", der vor nicht allzu langer Zeit "gebrannt" hat. Warum in Anführungszeichen - danach. In der Zwischenzeit stehen wir, rauchen, warten auf die Verspätung. Wir fotografieren das Büro von RT in der Nachbarschaft. Es gibt viele lustige Geschichten in dieser Nachbarschaft - angefangen beim Verlegen von frischem Asphalt bis hin zum Malen Bordsteine grenzt vor der Ankunft der High Personals und endet mit Ermäßigungen in den umliegenden Cafés, die die Dalaynians wegen der Ähnlichkeit der Abzeichen gemacht haben.
Das Sprachrohr der totalitären Propaganda
Strenger (Zugriffs-) Modus des Rechenzentrums
Der Pass, die Verhaltensregeln, der Fleischwolf am Eingang - fast das gleiche, was wir bei einem Ausflug zum Linxdatacenter gesehen haben . Haben Sie viele Kaffeehäuser in den Rechenzentren gesehen? Wir kennen jetzt ein Paar. Mitarbeiter und Kunden auf den Ausweisen haben "Kaffee" -Einlagen, die regelmäßig aufgefüllt werden. so dass Sie sich innerhalb einer angemessenen Auswahl an Kaffee kostenlos verwöhnen können. Wir als liebe Gäste wurden auch behandelt.
Ich kann nichts schlechtes über Kaffee sagen - es ist normalerweise für ein "vernetztes" Café, aber die Lage fesselt unfreiwillig und das Interieur ist in den besten modernen Traditionen.
Das Innere des örtlichen Coffeeshops
In den Fotos Rechenzentren NORD
Die Tour beginnt im Büro. Zusätzlich zu den Graffiti, die auf dem gesamten Runet bekannt sind, und der weiß-hellgrünen Farbskala gibt es alle möglichen lustigen Dinge. Dies sind die Requisiten, die von den Aufführungen des Unternehmenstheaters übrig geblieben sind (können Sie sich vorstellen, dass der technische Direktor des Netzwerks von Rechenzentren im Stück spielt? Und wir kennen ihn persönlich.).
Und die Wahrheit
Fotos von den Aufführungen
Das Rechenzentrum (oder besser gesagt die vier Rechenzentren) befindet sich in einem Komplex von Industriegebäuden, die im vorletzten Jahrhundert erbaut wurden (damals das Citroen-Werk und in den Tagen der UdSSR das Hydrodrive-Werk). Auf der einen Seite gibt es also hartes Industriemetall Balken, Loftatmosphäre und industrielle Artefakte aus verschiedenen Epochen, die noch bei verschiedenen Arbeiten zu finden sind. Andererseits müssen Druckzonen im Rechenzentrum in vorhandene Strukturen integriert werden und regelmäßig Kompromisse mit der Realität eingehen. Ich würde jedoch nicht sagen, dass diese Kompromisse die Qualität beeinträchtigten - aber die Jungs mussten wahrscheinlich während des Designs schwitzen. Gerüchten zufolge fährt Metro-2 immer noch irgendwo in der Nähe vorbei, aber das ist nicht korrekt.
Neben dem Theater gibt es auch ein Museum. Exponate, naturarchäologische Funde
Ein paar Worte zum Feuer . Ja, das Gebäude (oder besser gesagt das Dach) hat wirklich gebrannt. Die externen Einheiten der Kühlsysteme und der Kühlspur wurden beschädigt. Irgendwo brannten die Kabel aus und die Klimaanlagen blieben ohne Strom. Irgendwo explodierten Freon-Pipelines. Trotzdem hielten die Druckzonen Tonnen von Wasser aus, die auf sie gegossen wurden, und die Ausrüstung überlebte. Sie wurden unter der Kontrolle des „Hauptquartiers“ in der Person der obersten Führung der ganzen Welt restauriert - sie haben im Allgemeinen alle Kupferrohre in Moskau und Umgebung (auch nachts zum BMW X5 gebracht) und alle nüchternen Installateure herausgeholt. Kritische Geräte aus den betroffenen Datenhallen (betroffen durch den Mangel an Kälte, nicht durch Feuer!) Wurden schnell in andere Räume verlegt, so dass sie bereits um fünf Uhr morgens nicht nur alle ihre Dienste, sondern auch ihre Kunden in Anspruch nahmen.
Wir haben den Raum, der am meisten „gelitten“ hat, persönlich überprüft - abgesehen vom Geruch von Brennen und Ersetzen von Doppelfliesen erinnert er überhaupt nicht an das Feuer (mit Ausnahme von Geräteträgern, die „vorübergehend“ in eine andere Datenhalle gebracht wurden, und denen, die dort zurückgelassen wurden).
Statusleiste
Wenn wir die Korridore entlang gehen, sehen wir einen Touchscreen, der dem Schaltkreis der Rechenzentrumshallen sehr ähnlich ist. Dies ist die Statusleiste. Sie sitzen der Reihe nach in den Korridoren fest und ermöglichen es den Ingenieuren vor Ort, schnell die richtige Klimaanlage zu finden. Sie melden lediglich den aktuellen Status.
Die Überwachung basiert auf Nagios (jetzt gibt es mehrere unabhängige Cluster) und deckt alle Rechenzentren (sowohl OST als auch NORD) ab. Darüber hinaus gibt es Anwendungen für Android und iOS (für Kunden und Mitarbeiter) sowie eine Statusseite direkt auf der Website.
Auf dem Display stelle ich einen ungewöhnlich hohen PUE fest - nicht überall in Russland wird er als in Betracht gezogen, aber 1,90 sind immer noch ein bisschen viel. Die Antwort darauf ist rein ökonomisch: In den Jahren 2012-2013 gingen die Racks in den Rechenzentren wie heiße Kuchen auseinander, sodass keine Zeit für Stimmung und Energieeffizienz blieb. Wir bringen das auf den Markt, machen es so schnell wie möglich und kümmern uns überhaupt nicht um diese PUEs, denn warum? Bereits in der Entwurfsphase werden 80-90% der Racks gekauft, aber die Gesetzgebung in der Russischen Föderation über Energieeffizienz will nichts wissen. Obwohl es in Amsterdam einen Auftrag gab, hätte Kondraty aus solchen Zahlen gereicht.
Nichts persönliches. Nur ein Geschäft.
Ein weiteres Merkmal ist die Kennzeichnung von Datenhallen. Auf jeder Site haben Datenhallen zusätzlich zur „offiziellen“ alphanumerischen Codierung „menschliche“ Pseudonyme aus dem Marinealphabet (Alpha Bravo-Charlie Delta ...). Aus irgendeinem Grund lieben alle Kunden die Whisky Hall.
Es gibt keine Kleinigkeiten in der Kundenbetreuung
Solche "Zäune" sind für einige Kunden festgelegt. Wir durften nicht in den Mashrooms schießen, also das DataLine © Foto
DataLine-Kunden sind sehr große und angesehene Unternehmen, die es beim Fotografieren ihrer Geräte wirklich nicht mögen. Darüber hinaus, wenn der Name (oder das Logo) des Kunden in großen Buchstaben direkt auf die Theke geschrieben ist. Sie mögen es nicht - und das war's. Deshalb haben wir die bereits berühmten Wände mit verschiedenen Inschriften und den Ingenieur geschossen. Der Ingenieur kann weder ganz noch überall fotografiert werden, aber wir haben es versucht. Da es unter den Kunden große und angesehene Kunden gibt, haben sie spezielle Anforderungen - spezielle Racks (oder sogar eine Art Überlagerung von mehreren Lieferanten-Racks), ihre Zäune, ihr ACS, ihre Videoüberwachung und schnelle Reaktionsgruppe mit Sturmgewehren . Im Allgemeinen besteht eine der unausgesprochenen (und auch Vokale) DataLine-Regeln darin, sich um den Kunden zu kümmern und ihm ein gutes Gefühl zu geben. Angefangen von Westen und ausgestatteten Arbeitsplätzen mit Internetzugang und Aufladung bis hin zu verschiedenen Veranstaltungen für Kunden. Letztere sind andererseits auch sehr nützlich, da dieselben Personen, die von Unternehmen zu Unternehmen wechseln, sie zu DataLine bringen. Nur weil hier alles gemütlich, bequem und zuverlässig ist. Business DataLine - ist nicht nur die Lieferung von Rack-Räumen. Es ist auch eine Cloud, die gleichzeitig von 152- und PCI-DSS zertifiziert ist (wir werden einen Podcast darüber erstellen, den Ankündigungen folgen) und Konnektivität bereitstellt (Ihre Fasern zwischen den Standorten und von jedem von ihnen zu M9, Ihrem eigenen optischen Ring Stadt usw. bis zur letzten Meile zum Büro des Kunden).
M - Motivation
Übrigens zu Inschriften - Ideen kommen nicht nur von Mitarbeitern, sondern auch von Partnern und Kunden. Danach können Sie auf der offiziellen DataLine- Seite in FB für die erfolgreichsten stimmen. Nun, dort können Sie Ihre Idee anbieten.
Treffen an der Elbe
Kreuz (Foto bereitgestellt von DataLine)
Wir halten am Meet-Me-Room, in dem sich die Betreiber befinden. In MMR (es gibt drei Paare von ihnen in OST, entsprechend der Anzahl der Hauptoptikeingänge für aktive und passive) werden Verbindungen von allen Datenhallen reduziert. Im Kreuz ist alles langweilig und ordentlich. Aber wo die Aktivität des Bedieners ist, erinnern Sie sich an die besten Jahre und Aufnahmen einiger BM18: Drahtnudeln und verschiedene Geräte (DLink, Extreme, Juniper, Mikrotik ... und so weiter bis ASR9k). Es gibt mehr als fünfzig Betreiber, also ist alles bunt. Von MMR weichen Optik und Kupfer in den Hallen ab. Mindestens zwei Spuren für jede (Optionen sind möglich), sodass Sie sich keine Sorgen über die Zuverlässigkeit der Verbindung machen können. MMR heißt "Elba", was sehr subtil ist.
IBM Power n-nada?
Ein weiterer Fund ist die IBM P-Serie, die noch nie eingeschaltet wurde und seit mehreren Jahren in einem der Korridore steht. Ein Auto (zusammen mit einer Bandbibliothek und einem Speicher) wurde von einem der Kunden bestellt, aber "war nicht nützlich", so dass es einem Rechenzentrum präsentiert wurde. Seitdem lohnt es sich.
Es ist wahrscheinlich gut, wohlhabende Leute zu sein und solche Geschenke zu machen, oder? (Oder vielleicht haben sie es nicht gegeben, aber vergessen. Oder sie haben die Karten verloren. Aber es ist lange her.)
Hier steht so ein gutaussehender Mann in NORD-4
Wir gehen zum Energiezentrum - drei (oder sogar vier) DGUs für jedes Rechenzentrum (ich erinnere mich, in OST gibt es vier davon). Der Dieselmotor erreicht in 30-40 Sekunden die volle Leistung und produziert 1900 kVA. N + 1-Redundanz, Synchronisation und mehr sind enthalten. Die längste Zeit für Dieselmotoren in OST beträgt 12 Stunden. in NORD - 2,5 Tage (immerhin ist eine Lagerung von 85 Tonnen nichts für Sie Khukh-Mukhras).
Natürlich gibt es Verträge mit verschiedenen Kraftstoffunternehmen über die Lieferung von Kraftstoff. Die Umstellung auf Diesel erfolgt regelmäßig, damit Kraftstoff produziert und Verträge überprüft werden. Übrigens, laut Kollegen, kann das Gras bei NORD beim Testen eines Dieselgenerators, der normalerweise länger als eine Stunde dauert, auch im Winter an der Stelle grün werden, an der die heiße Luft der Dieselmotoren ausgestoßen wird.
Nach einer kurzen Pause gehen Sie zu einem NORD-Veranstaltungsort in einem vertrauten Café. Dies ist auch nicht ein Rechenzentrum, sondern vier unabhängige Gebäude auf demselben Gebiet. Jedes hat seine eigenen Stromeingänge, seine eigenen Dieselmotoren und seine eigene Kühlung. NORD-1 und NORD-2 werden vom Uptime Institute M & O geprüft. Das frischeste (und beste DataLine-Rechenzentrum) ist NORD-4, also gehen wir dorthin.
Bei einer riesigen Anzahl von Rechenzentren in Moskau scheint es immer noch einen Mangel zu geben. Nein, natürlich werden ein oder zwei Racks ohne Probleme an Sie geliefert. Sogar zwanzig werden gegeben. Mehr ist eine Frage (und DataLine-Clients mit solchen Anforderungen haben nicht eine oder zwei). Insbesondere gibt es (bisher) einen Platz in NORD-4, weil ein großer Keil in sein eigenes frisch gebautes Rechenzentrum umgezogen ist, aber an anderen Orten hat er möglicherweise nicht so viel Glück. Trotzdem ist das NORD-5-Design jetzt in vollem Gange und soll Anfang 2020 auf den Markt kommen.
Aber zurück zu unserer Tour. Da wir mit dem Auto unterwegs waren, wurden wir in das Tor gestartet, in denen Maschinengewehre uns zum Anblick brachten Die Nummer unseres Autos wurde mit dem Antrag überprüft, und alle Passagiere wurden gebeten, auszugehen, um Pässe zu erhalten (natürlich laut Reisepass). Für B ist Sicherheit.
NORD-4 ist der Stolz des Unternehmens und die Sammlung langjähriger Erfahrung im Bau und Betrieb von Rechenzentren. Es verfügt über Tier III-Zertifikate des Uptime Institute für das Entwurfsprojekt und die Einrichtung (d. H. Das gebaute Rechenzentrum) sowie für die betriebliche Nachhaltigkeit - die Mitarbeiter haben sich so weit wie möglich mit der Angelegenheit befasst verantwortungsbewusst. Innen - vier unabhängige hermetische Zonen, zwei Hallen in einem Gebäude. Jedes verfügt über ein eigenes Energiezentrum (DGU, Batterieräume), Kühlkreisläufe und Feuerlöschsysteme. Allgemein - Optikeingänge (es gibt zwei davon pro Gebäude) und MMR.
Einen gesunden Ingenieur modifizieren
Am Eingang zum Rechenzentrum wartet ein uns bekanntes Café auf uns (na ja, warum nicht?). Wir steigen zum Überwachungszentrum auf. Jetzt gibt es zwei Hauptpunkte - in OST und NORD-4 (in NORD-1,2,3 sitzen auch ihre Dienstschichten). Von jedem Zentrum aus können Sie beide Standorte beobachten, sodass auch hier Redundanz n + 1 bereitgestellt wird. An der Videowand - wir kennen die Dashboards bereits im Kalkfarbbereich (natürlich gibt es viel mehr Parameter als in der Statusanzeige). Wir kommunizieren ein wenig zur Überwachung - keine ausgefallenen Prometheus und Grafans, nur Nagios, nur Hardcore und selbstgemachte Visualisierung. Seit zehn Jahren (jedoch noch mehr) werden bereits viele benutzerdefinierte Überprüfungen und Skripte geschrieben, sodass es wie dieses Abenteuer aussieht, zu etwas anderem überzugehen. Ungefähr einmal im Monat erscheint ein anderes Unternehmen, das anbietet, alle Probleme "schnell und schmerzlos" zu lösen, aber bisher summiert es sich nicht. Die Videowand funktioniert übrigens auch mit einer selbstorganisierten Lösung, die sich als um ein Vielfaches billiger als kommerzielle Analoga herausstellte.
Das lokale Kundencenter
Wenn Sie Rechenzentren über viele Jahre hinweg entwerfen, bauen und betreiben, haben Sie weniger Angst davor, etwas selbst zu tun, als fertige zu kaufen. DataLine zögert beispielsweise nicht zu sagen, dass sie einfach auf Kosten der Skalierung die maximale Anzahl von Rechen überschritten haben, und jedes neue Rechenzentrum ist der Sohn schwieriger Fehler und Erfahrungen, die seit mehr als zehn Jahren bestehen. Natürlich hat jedes neue Rechenzentrum sein eigenes Know-how, und wenn Sie NORD entlang gehen, denken Sie hin und wieder, die Leute haben es einfach genommen und es gut gemacht. Nicht um, nicht um Ratings und Zertifikaten willen - der übliche Engineering-Prozess, wenn Sie bei jeder Iteration über sich selbst hinauswachsen und immer besser werden. Ein externer Beobachter wird sagen, dass es langweilig und konservativ ist, aber der Kunde unterstützt diese Stabilität im Gegenteil mit seinem eigenen Geld. Und um gut abzuschneiden, ist es überhaupt nicht notwendig, technische Systeme oder Software für viel, viel Geld zu kaufen (wenn auch manchmal in irgendeiner Weise ohne). Häufig entscheidet Erfahrung, Wissen und Ingenieurskunst.
Zum Beispiel hat das NORD-4-Gebäude 3,5 Stockwerke. Die ersten drei sind vollwertig, mit Decken von 4,5 Metern, wo sich die Hallen befinden. Und letzteres ist technisch, mit einer Höhe von nur 1,8 Metern, und wird rein unter dem Kühlsystem gegeben. Da der Boden technisch ist, sind die Anforderungen dafür viel geringer, was es möglich machte, das Projekt zu vereinfachen und Geld zu sparen.
Ansicht des dreieckigen Rechenzentrums
Max hat ein spezielles Kung Fu, um nicht auf Bilder hereinzufallen
Wir beenden die Tour auf dem Dach - es bietet einen hervorragenden Blick auf das nahe gelegene BHKW und die Wohnsiedlung sowie andere NORD-Gebäude. Zwei von ihnen sind dreieckig. Bei dieser Gelegenheit lachten Kollegen sogar darüber, dass "DataLine Idioten sind, aus irgendeinem Grund bauen sie ein dreieckiges Rechenzentrum". Um dort dreieckige Racks und dreieckige Server zu platzieren. Aber nichts - sie haben gebaut und erfolgreich betrieben, aber gleichzeitig nutzen sie das bestehende Territorium effizient (was in Moskau, muss ich sagen, nicht frei ist). Eine weitere überraschende (für mich) Tatsache ist, dass die meisten gewerblichen Kunden in Moskau ansässig sein möchten. Ein Standort über ein halbes Hundert Kilometer entlang der Autobahn Minsk (auch wenn alle erforderlichen Kapazitäten und Kommunikationsmöglichkeiten vorhanden sind) ist für niemanden bereits von geringem Interesse. So ist alles in Gummi eingebettet.
Kühltürme sind kein Rechenzentrum mehr, sondern ein BHKW
Damit ging unsere nächste Reise zu Ende.
Nachdem es noch ein langes und produktives Gespräch über gemeinsame Pläne und zukünftige Podcasts gab (ich hoffe, Sie müssen nicht lange warten), sollten Sie sich bald auf weitere interessante Dinge einstellen.
Nun, DataLine lädt diejenigen, die alles mit eigenen Augen sehen möchten, zu einer Tour ein. Völlig kostenlos, aber nach Vereinbarung. Diejenigen, die das Codewort "linkmeup" nennen, sind ein Plus im Karma.
Bleib dran!