El principal problema de transporte en San Petersburgo son los puentes. Por la noche, tienen que huir de la taberna sin haber terminado de beber cerveza. Bueno, o paga un taxi el doble de lo habitual. Por la mañana: calcule cuidadosamente la hora para que, tan pronto como se derribe el puente, haya logrado llegar a la estación con una hábil mangosta. No consideramos la opción de "pasar la noche en algún lugar del centro, al lado de la estación de tren" como ideológicamente perjudicial.
... "El halcón peregrino", que sale a las 5:30, fue inventado por personas que odian a los búhos. No, por supuesto, es muy conveniente estar en Moscú a las nueve de la mañana, y Peter es increíblemente hermoso durante las noches blancas, pero a las cuatro y media, cuando subí a un taxi, quería girar la cabeza 270 grados hacia la alondra que inventó este tren de la mañana.
"Todos los buenos centros de datos son iguales", pensé cuando descubrí que los chicos de DataLine nos estaban invitando a visitar.
Al final resultó que, cada centro de datos es bueno (o malo) un poco a su manera, especialmente cuando tienes golpes, recoge todos los rastrillos en el área y aprende las lecciones de tu propia (y, un poco, extraña) experiencia enriquecedora. Aquí estamos (como parte de los cinco enlaces de enlaces principales y amigos y simpatizantes que se unieron a ellos) y decidimos verificar qué tan buenos (o no) son los centros de datos OST y NORD.
Habiendo logrado trabajar un poco en el camino (podría haber habido un anuncio para un operador de telefonía móvil, pero no, la cobertura aún era mala y se mantuvo), estamos descargados en la estación de Leningrado. Bueno, al menos no bajo Gazmanov.
Comenzamos nuestro recorrido por los centros de datos "verde claro" con OST, el "que" se "quemó" no hace mucho tiempo. ¿Por qué entre comillas? Después. Mientras tanto, nos paramos, fumamos, esperamos hasta tarde. Fotografiamos la oficina de RT en el vecindario. Hay muchas historias divertidas con este vecindario, comenzando con la colocación de asfalto fresco y pintura bordillos limita antes de la llegada de los Altos Personales, y termina con descuentos en los cafés de los alrededores, que los dalayianos hicieron debido a la similitud de las insignias.
El portavoz de la propaganda totalitaria
Modo estricto (acceso) del centro de datos
El pase, las reglas de conducta, la picadora de carne en la entrada, casi lo mismo que vimos durante una excursión al centro de Linxdata . ¿Has visto muchas cafeterías en los centros de datos? Nosotros, ahora, conocemos a una pareja ahora. Los empleados y clientes en las tarjetas tienen depósitos de "café", que se reponen regularmente. para que dentro de un rango razonable de café puedas darte un capricho gratis. Nosotros, como queridos invitados, también fuimos tratados.
No puedo decir nada malo sobre el café: generalmente es para una cafetería "en red", pero la ubicación cautiva involuntariamente y el interior está en las mejores tradiciones modernas.
El interior de la cafetería local.
En las fotos centros de datos NORD
El recorrido comienza en la oficina. Además del graffiti conocido en todo el Runet y la gama blanca y verde claro, hay todo tipo de cosas divertidas. Estos son los accesorios que quedan de las actuaciones del teatro corporativo (¿te imaginas al director técnico de la red de centros de datos jugando en la obra? Y personalmente lo conocemos).
Y la verdad
Fotos de las actuaciones.
El centro de datos (o más bien, los cuatro centros de datos) se encuentran en un complejo de edificios industriales construidos en el siglo anterior (entonces la planta de Citroën, y en los días de la URSS, la planta Hydrodrive), por lo que, por un lado, hay metales industriales duros. vigas, atmósfera loft y artefactos industriales de diferentes épocas, que todavía se encuentran durante varias obras. Por otro lado, las zonas presurizadas del centro de datos deben integrarse en las estructuras existentes y comprometerse periódicamente con la realidad. Sin embargo, no diría que estos compromisos afectaron la calidad, pero los muchachos probablemente tuvieron que sudar durante el diseño. Aún así, según los rumores, Metro-2 pasa en algún lugar cercano, pero esto no es exacto.
Además del teatro, también hay un museo. Exposiciones naturales - hallazgos arqueológicos
Algunas palabras sobre el fuego . Sí, el edificio (o más bien el techo) realmente se quemó. Las unidades externas de los sistemas de enfriamiento y la vía fría fueron dañadas. En algún lugar, el cableado se quemó y los aires acondicionados quedaron sin electricidad. En algún lugar explotaron las tuberías de freón. Pero, a pesar de esto, las zonas de presión soportaron toneladas de agua vertidas sobre ellos, el equipo sobrevivió. Fueron restaurados bajo el control de la "sede" en la persona de la alta dirección del mundo entero; en general, rastrillaron todos los tubos de cobre en Moscú y sus alrededores (traídos incluso por la noche al BMW X5) y todos los instaladores sobrios. El equipo crítico de los datahalls afectados (¡afectado por la falta de frío, no por el fuego!) Fue transferido rápidamente a otras habitaciones, de modo que ya a las cinco de la mañana no solo recaudaron todos sus servicios, sino también a sus clientes.
Verificamos personalmente la habitación que "sufrió" más, excepto por el olor a quemado y el reemplazo de las baldosas elevadas, no recuerda el incendio en absoluto (excepto por los bastidores de equipos "temporalmente" llevados a otra sala de datos, y los que quedaron allí).
Barra de estado
Al caminar por los pasillos, vemos una pantalla táctil con algo muy similar al circuito de los pasillos del centro de datos. Esta es la barra de estado. Están atrapados en los corredores en orden, y permiten que los ingenieros en el sitio encuentren rápidamente, por ejemplo, el aire acondicionado correcto, bueno, solo informan el estado actual.
La monitorización se basa en Nagios (ahora hay varios grupos independientes) y cubre todos los centros de datos (tanto OST como NORD). Además, hay aplicaciones para Android e iOS (para clientes y empleados) y una página de estado directamente en el sitio.
En la pantalla, noto un PUE inusualmente alto: no se considera que en todas partes de Rusia se considere, pero aún así, 1.90 es un poco demasiado. La respuesta a esto es puramente económica: en 2012-2013, los estantes en los centros de datos divergieron como pasteles calientes, por lo que no hubo tiempo para el sentimiento y la eficiencia energética. Ponemos lo que hay en el mercado, lo hacemos lo más rápido posible y no nos importan estos PUE en absoluto, porque ¿por qué? Incluso en la etapa de diseño, se compran entre el 80 y el 90% de los bastidores, pero la legislación de la Federación de Rusia sobre eficiencia energética no quiere saber nada. Aunque alguna comisión en Amsterdam, Kondraty habría sido suficiente con tales números.
Nada personal Solo un negocio.
Otra característica es el etiquetado de las salas de datos. En cada sitio, las salas de datos, además de la codificación alfanumérica "oficial", tienen seudónimos "humanos" del alfabeto naval (Alpha Bravo-Charlie Delta ...). Por alguna razón, a todos los clientes les encanta Whiskey Hall.
No hay pequeñeces en la atención al cliente.
Tales "cercas" se establecen para algunos clientes. No se nos permitió disparar en los mashrooms, por lo que la foto DataLine ©
Los clientes de DataLine son compañías muy grandes y respetadas, realmente no les gusta cuando fotografían sus equipos. Además, si el nombre (o logotipo) del cliente está escrito directamente en el mostrador en letras grandes. No les gusta, y eso es todo. Por lo tanto, filmamos las paredes ya famosas con diferentes inscripciones, y el ingeniero. El ingeniero no puede ser fotografiado ni en todas partes ni en todas partes, pero lo intentamos. Como hay clientes grandes y respetados entre los clientes, tienen solicitudes específicas: bastidores especiales (o incluso algún tipo de almacenamiento súper de varios bastidores de proveedores), sus cercas, su ACS, su videovigilancia y grupo de reacción rápida con rifles de asalto . En general, una de las reglas tácitas (y también vocales) de DataLine es cuidar al cliente y hacerlo sentir bien. Comenzando desde chalecos y estaciones de trabajo equipadas con acceso a Internet y carga, y terminando con varios eventos para clientes. Estos últimos también son muy útiles, ya que las mismas personas, al pasar de una compañía a otra, los llevan a DataLine. Solo porque aquí todo es acogedor, conveniente y confiable. Business DataLine: no es solo la entrega de espacios en rack. También es una nube certificada simultáneamente por 152- y PCI-DSS (vamos a hacer un podcast al respecto, seguir los anuncios) y proporcionar conectividad (sus fibras entre los sitios y de cada uno de ellos a M9, su propio anillo óptico ciudad, y así sucesivamente hasta la última milla hasta la oficina del cliente).
M - motivación
Por cierto, sobre las inscripciones: las ideas provienen no solo de los empleados, sino también de los socios y clientes, después de lo cual puede votar por los más exitosos en la página oficial de DataLine en FB. Bueno, puedes ofrecer tu idea allí.
Encuentro en el Elba
Cruz (foto proporcionada por DataLine)
Nos detenemos en Meet-Me-Room, donde se encuentran los operadores. En MMR (hay tres pares de ellos en OST, de acuerdo con la cantidad de entradas ópticas principales, para conexiones activas y pasivas), se reducen las conexiones de todos los pasillos de datos. En la cruz, todo es aburrido y ordenado. Pero donde está la actividad del operador, recuerdas los mejores años y fotos de algunos BM18: fideos de alambre y varios equipos (DLink, Extreme, Juniper, Mikrotik ... y así hasta ASR9k). Hay más de cincuenta operadores, por lo que todo es colorido. Desde MMR, la óptica y el cobre divergen a lo largo de los pasillos. Al menos dos pistas para cada una (opciones posibles), por lo que no puede preocuparse por la fiabilidad de la conexión. MMR se llama "Elba", que es muy sutil.
IBM Power n-nada?
Otro hallazgo es la serie P de IBM, que nunca se ha encendido, y ha estado parada en uno de los corredores durante varios años. Uno de los clientes ordenó un automóvil (junto con una biblioteca de cintas y almacenamiento), pero "no fue útil", por lo que se presentó a un centro de datos. Desde entonces vale la pena.
Es bueno, probablemente, ser ricos y hacer tales regalos, ¿verdad? (O tal vez no lo dieron, pero lo olvidaron. O perdieron las cartas. Pero ha pasado mucho tiempo)
Aquí hay un hombre tan guapo parado en NORD-4
Vamos al centro de energía: tres (o incluso cuatro) DGU para cada centro de datos (recuerdo, en OST hay cuatro de ellas). El motor diesel alcanza la potencia máxima en 30-40 segundos y produce 1900kVA. Se incluye redundancia N + 1, sincronización y más. El tiempo más largo empleado en motores diesel en OST es de 12 horas. en NORD - 2.5 días (después de todo, un almacenamiento de 85 toneladas no es para usted khukh-mukhras).
Por supuesto, hay contratos con diferentes compañías de combustible para el suministro de combustible. El cambio a diesel ocurre regularmente, de modo que se produce combustible y se verifican los contratos. Por cierto, según sus colegas, en NORD cuando se prueba un generador diesel, que generalmente demora más de una hora, la hierba se vuelve verde incluso en invierno en el lugar donde se emite el aire caliente de los motores diesel.
Después de un breve bocado para ir a un lugar NORD en una cafetería familiar. Tampoco es un centro de datos, sino cuatro edificios independientes en el mismo territorio. Cada uno tiene sus propias entradas de electricidad, sus propios motores diesel y su propio enfriamiento. NORD-1 y NORD-2 son auditados por Uptime Institute M&O. El más reciente (y el mejor centro de datos DataLine) es NORD-4, así que vamos allí.
Con un enorme, al parecer, el número de centros de datos en Moscú, todavía hay una escasez. No, por supuesto, se le enviarán uno o dos bastidores sin problemas. Incluso se darán veinte. Más es una pregunta (y los clientes de DataLine con tales necesidades no tienen uno o dos). Específicamente, hay un lugar (hasta ahora) en NORD-4, porque una gran cuña se ha mudado a su propio centro de datos recién construido, pero en otros lugares podría no ser tan afortunado. Sin embargo, ahora el diseño NORD-5 está en pleno apogeo, que prometen lanzar a principios de 2020.
Pero volvamos a nuestro recorrido. Como viajábamos en automóvil, fuimos lanzados a la puerta de entrada, en el que los artilleros nos llevaron a la vista Se verificó el número de nuestro automóvil con la solicitud, y se pidió a todos los pasajeros que salieran para obtener pases (por supuesto, de acuerdo con el pasaporte). Para B es seguridad.
NORD-4 es el orgullo de la compañía y la recopilación de muchos años de experiencia en la construcción y operación de centros de datos, tiene certificados Uptime Institute Tier III para el proyecto de diseño y la Instalación (es decir, el centro de datos construido), así como la Sustentabilidad Operacional: los chicos abordaron el asunto lo más posible responsablemente Interior: cuatro zonas herméticas independientes, dos pasillos dentro de un edificio. Cada uno tiene su propio centro de energía (DGU, salas de baterías), circuitos de enfriamiento y sistemas de extinción de incendios. General: entradas ópticas (hay dos de ellas por edificio) y MMR.
Modificando un ingeniero saludable
En la entrada del centro de datos, una cafetería que nos es familiar nos está esperando (bueno, ¿por qué no?). Nos elevamos al centro de monitoreo. Ahora hay dos principales: en OST y NORD-4 (en NORD-1,2,3 sus turnos de trabajo también están sentados). Desde cada centro puede ver ambos sitios, por lo que incluso aquí se proporciona redundancia n + 1. En la pared de video, ya conocemos los tableros en el rango de color lima (por supuesto, hay muchos más parámetros en él que en la pantalla de estado). Nos comunicamos un poco para el monitoreo: no hay prometeos y grafanos sofisticados, solo Nagios, solo visualización hardcore y hecha a sí misma. Durante diez años (sin embargo, incluso más) de uso, muchas comprobaciones y scripts personalizados ya se han escrito, por lo que mudarse a otra cosa parece esa aventura. Aproximadamente una vez al mes, aparece otra compañía que ofrece "resolver rápida y sin dolor" todos los problemas, pero hasta el momento no cuadra. Por cierto, el video wall también funciona en una solución autoensamblada, que resultó ser varias veces más barata que los análogos comerciales.
El MCC local
Cuando diseñas, construyes y operas centros de datos durante muchos años, no tienes tanto miedo de hacer algo tú mismo, en lugar de comprar uno ya hecho. DataLine, por ejemplo, no duda en decir que ellos, simplemente a expensas de la escala, pisaron la cantidad máxima de rastrillos, y cada nuevo centro de datos es el hijo de errores y experiencia difíciles, que ha estado sucediendo durante más de diez años. Por supuesto, cada nuevo centro de datos tiene su propio conocimiento y, caminando a lo largo de NORD, te encuentras pensando de vez en cuando, la gente simplemente lo tomó y lo hizo bien. No por el bien de las calificaciones y certificados, el proceso de ingeniería habitual, cuando en cada iteración creces por encima de ti mismo y te vuelves cada vez mejor. Un observador externo dirá que es aburrido y conservador, pero el cliente, por el contrario, apoya esa estabilidad con su propio dinero. Y para hacerlo bien, no es necesario comprar sistemas de ingeniería o software por mucho, mucho dinero (aunque sin él, a veces, de ninguna manera). Más a menudo decide experiencia, conocimiento y conocimientos de ingeniería.
Por ejemplo, el edificio NORD-4 tiene 3.5 pisos. Los tres primeros son completos, con techos de 4,5 metros, donde se encuentran los pasillos. Y este último es técnico, con una altura de solo 1,8 metros, y se entrega únicamente bajo el sistema de enfriamiento. Como el piso es técnico, los requisitos son mucho más bajos, lo que permitió simplificar el proyecto y ahorrar dinero.
Vista del centro de datos triangular.
Max tiene un kung fu especial para no caer en fotos
Terminamos el recorrido en el techo: ofrece una excelente vista del CHPP cercano y la urbanización, así como otros edificios NORD. Dos de ellos son triangulares. En esta ocasión, los colegas incluso se rieron de que "DataLine son imbéciles, por alguna razón están construyendo un centro de datos triangular" Para poner allí bastidores triangulares y servidores triangulares. Pero nada: construyeron y operaron con éxito, pero al mismo tiempo usan eficientemente el territorio existente (que en Moscú, debo decir, no es gratuito). Otro hecho sorprendente (para mí) es que la mayoría de los clientes comerciales quieren estar ubicados en Moscú. Un sitio de medio centenar de kilómetros a lo largo de la carretera de Minsk (incluso si hay todas las capacidades y comunicaciones necesarias) ya no tiene mucho interés para nadie. Así que todo está enclavado en no goma.
Las torres de enfriamiento ya no son un centro de datos, sino un CHP
En esto nuestro próximo viaje llegó a su fin.
Después de una conversación larga y productiva sobre planes conjuntos y futuros podcasts (espero que no tengas que esperar mucho), mantente atento a las cosas más interesantes pronto.
Bueno, DataLine invita a aquellos que quieren ver todo con sus propios ojos en un recorrido. Completamente gratis, pero con cita previa. Aquellos que nombran la palabra clave "linkmeup" son una ventaja en el karma.
Estén atentos!