Descripción general del centro de datos IXcellerate (la sala de máquinas más grande de la Federación de Rusia)



Lo más importante es que aquí se sirven toallitas húmedas calientes después del gimnasio, como en los restaurantes japoneses. Esto no tiene nada que ver con la parte técnica, pero es humanamente agradable.

Y esta es una guitarra autografiada por Paul McCartney, y sí, cuelga a la entrada del gimnasio:



Este centro de datos tiene un cierto estado de ánimo.

Todo parece un enorme hangar en el área industrial cerca de la estación de metro Otradnoye. La altura del hangar es de 14 metros, en el interior se construye un centro de datos con una altura de 9 metros. El espacio restante desempeña el papel de un aislante térmico, lo que afecta las características locales de enfriamiento. El edificio se eligió para que no saliera a la carretera (de acuerdo con los protocolos de certificación, es imposible alcanzar niveles altos si se puede llegar al gimnasio en camión, embistiendo la pared, aparentemente hubo casos), tenía dos rutas de llegada diferentes y estaba relativamente cerca del metro. La estación de MCC se abrió cerca, pero el camino pasa por lugares tan divertidos ...



Canarias Todavía nos gusta todo aquí, por lo que la historia en su conjunto es positiva. Pero juro que si algo sale mal, seremos los primeros en contarlo. Bueno, o simplemente elimine este párrafo de la publicación si estamos conectados por el NDA.

¿Qué tipo de centro de datos IXcellerate


Tenemos una nube Technoserv. Esta es una nube natural para los clientes rusos, donde hay segmentos certificados por PCI DSS y clase para PD "pesados" y sistemas de información gubernamentales. También hay clientes comerciales en la nube que necesitan S3 y AWS API en Rusia. Hasta este año, brindamos un servicio del centro de datos DataPRO, sobre el cual ya había una historia corta .

Naturalmente, no importa cuán empinado sea el centro de datos, siempre necesitará un segundo en caso de que un meteorito golpee al primero. Sitio geodistribuido: la clave para la salud y la larga vida.

Elegimos el segundo sitio tan cuidadosamente como el primero. Necesitábamos una interfaz de usuario T3 (más precisamente, regulaciones de la misma), la capacidad de trabajar con PCI DSS (es decir, nuestro propio certificado para la protección física del centro de datos) y una gran cantidad de otras características. Como resultado, ingresamos al centro de datos IXcellerate, donde los stands de Orange están amurallados dentro de uno de los pasillos, mirando * una gran compañía de juegos *, hay grandes bancos y empresas estatales, Reuters y Nestlé. Kommersant escribió que Apple y Booking for Persdans en Rusia también eligieron este lugar. En general, si algo cae, solo tienen una tapa. Es decir, la motivación para hacer todo bien es lo suficientemente buena.

La segunda característica es que el líder no es un novato. Lejos de ser un principiante. Guy Wilner es un empresario de Inglaterra. Ha estado construyendo centros de datos por primera vez y no por décima vez. Antes del proyecto, era dueño de su propia red de 14 centros de datos en Europa occidental y luego la vendió a Equinix (el operador de centros de datos número 1 del mundo). Después de eso, decidió repetir la aventura y abrir un gran centro de datos en Brasil, Rusia o Turquía. Su esposa e hijos no lo dejaron entrar a Brasil (porque lo necesitaban en casa), y en Rusia conoció a Cliff Gauntlett. Esta es la persona legendaria en Runet en el campo de las telecomunicaciones: una vez fue el vicepresidente de los famosos Golden Telecom y ROL, tal vez usted comenzó a conectarse en línea desde sus tarjetas de acceso a Internet. Entonces, también quería construir un gran centro de datos. E incluso logró atraparlo durante su vida.

¿Por qué digo todo esto? El centro de datos fue construido por un empresario británico con buenas conexiones europeas, por lo que los clientes europeos entraron de inmediato. Esto significa un informe muy claro sobre todas las transacciones, lo que da cierta certeza de que los procesos y las regulaciones dentro del centro de datos están completamente implementados.

El centro de datos fue construido en partes, comenzando la sala de máquinas detrás de la sala de máquinas. La primera etapa fue de 220 bastidores (comenzaron a construirse en 2012, se pusieron en funcionamiento a mediados de 2013). La segunda sala de máquinas - 515 bastidores (1040 metros cuadrados, nuestros primeros servidores están allí), y la tercera fase (donde está nuestro núcleo) - 1100 asientos de bastidor (esto es 2500 cuadrados).

Tres máquinas son independientes entre sí, pero estos no son tres centros de datos diferentes, porque existe una reserva cruzada de una parte de los nodos. Los dos primeros están certificados por IBM L3, el tercero tiene certificación Uptime TIER III. En resumen, son casi lo mismo y la diferencia a nivel de proyecto, por ejemplo, es que para la interfaz de usuario necesita estacionamiento dedicado para ingenieros, barreras físicas para automóviles, en algún lugar la resistencia a la combustión es de 45 minutos (ventanas en la interfaz de usuario) frente a una hora (IBM), Diferentes tamaños de puerta, etc.



El plan maestro fue hecho por Arup. La instalación cuenta con un certificado Arup para la mejor solución en el campo de la refrigeración y el suministro de energía. Esto se debe a que el centro de datos es comercial: cuanto más bajo es el PUE, más barato es operar. Por lo tanto, todo se introdujo en partes (es decir, ningún equipo estaba inactivo, el ingeniero se compró a medida que se escalaba), mientras que hubo una lucha por cada kilovatio. Ahora PUE es 1.15–1.4 dependiendo de la temporada. El centro de datos alberga una gran cantidad de clientes chinos, para quienes, con su enfoque de la ecología y el uso de la electricidad, estos números son solo espacio. Tienen un PUE regular que puede alcanzar hasta dos.

En el momento del inicio de la operación, el saldo de clientes que tenían era de aproximadamente 50/50 nacionales a extranjeros. En ese momento, todos se movieron bajo la ley sobre la protección de datos personales y, como resultado, hubo una mayor demanda de centros de datos en el mercado ruso de infraestructuras en la nube (esto es lo que hacemos) (aquí es donde los proveedores de la nube necesitaban estar ubicados).

Es aquí donde cada vez más empresas del exterior van a ir, porque hay un cliente importante aquí: el proveedor extranjero Orange, que para muchos es tanto un hito vital como un estándar corporativo. Y la tercera sala de máquinas fue financiada por el Grupo Goldman Sachs, que agrega confiabilidad al proyecto a los ojos de los líderes extranjeros. Los centros de datos no cambian todos los años, por lo que es importante que piensen en los próximos 10 años.

Dada la abundancia de contactos externos, el soporte de primera línea se comunica por escrito en ruso, inglés y chino. Todas las inscripciones están duplicadas en chino:



Gracias a Guy, el centro de datos se compone de dos alianzas de centros de datos: europeos y asiáticos. Es como las alianzas de aerolíneas, cuando puedes comprar un boleto de transferencia entre los miembros de la alianza y tu equipaje será transferido sin tu participación. Mucha gente necesita ubicaciones distribuidas geográficamente y, por lo tanto, se están haciendo tales alianzas. El cliente de uno de los centros de datos de la alianza en realidad trabaja con toda la red en una ventana. Este es un fenómeno único en nuestro mercado.

Protección física




Para los objetos PCI DSS, la protección del edificio es muy importante. El primer perímetro es una cerca externa, que está equipada con sensores, cámaras y alambre de púas. En la entrada al puesto de control. Luego debe ingresar al edificio en sí (abrir por un pase o una celda), luego debe pasar por seguridad (insignias, inspección, extracción de botellas de kéfir), luego debe ir al gimnasio (escáneres biométricos de su palma, huellas digitales o códigos). En el pasillo, los estantes se encuentran con mayor frecuencia en las cercas (quienquiera que lo ponga, generalmente también huellas dactilares o llaves, como si hubiera una mantra para el banco: este es un vestíbulo, donde puede ingresar con un pase o un dedo, y la segunda puerta, solo con el permiso del guardia de seguridad de la cámara). Video vigilancia en todas partes.





El perímetro físico subjetivo en DataPro es ligeramente más fuerte si está parado sin una cerca. Aquí todo es mucho más interesante con la cerca, porque, por ejemplo, los japoneses están parados a nuestro lado. Tienen su propio estándar de celda y un grosor de varilla de 6 mm. Dicen que hay quienes tienen 8 mm, pero no lo medí. Muchos en las cercas tienen sensores infrarrojos de movimiento o intersección, y hay un par de celdas desde el piso hasta el techo.



Hay muchas vallas. Más que en cualquier otro lugar en centros de datos comerciales en Rusia. Al menos por lo que sé.

Revisar




Las rarezas comienzan inmediatamente después de entrar. El baño para administradores es más como una biblioteca:



Puedes mirar un poco y ver un tocadiscos con vinilo real. Hay vinilos Led Zeppelin y Deep Purple. Deepi no gear.



Esto se debe a que un inversor ama el rock aún más que los centros de datos. Estos mismos camaradas hacen el festival Rockin'Russia. Cliff (que era el director antes de la comisión) escribió dos canciones para Scorpions (por ejemplo, One and One Is Three).

Hay una zapatería y un ladrón:





Cerca hay una máquina que seca y calienta servilletas:



Y comida con agua (gratis):



Área de descarga


Aquí está la preparación de equipos para patinar al gimnasio. Aquí, quizás, el área de descarga más interesante entre los centros de datos rusos. En primer lugar, ella es grande. En segundo lugar, hay una mesa de tenis. En tercer lugar, hay una purificación de aire especial. Esta es la cámara de aclimatación para la primera sala de máquinas (cargamos el equipo principal a través de otro, similar):



Presta atención a la altura de la puerta.

El equipo se trae aquí, lo atraviesan con una aspiradora Karcher (el modelo habitual de los más potentes), luego se deposita el hierro en las cajas, luego se libera de las cajas (el cartón está prohibido en el interior y, en general, todo el combustible está prohibido).

El énfasis muy conveniente con la posibilidad de la atadura de la puerta:



Proveedores


En general, se necesitan tres cosas del centro de datos: enfriamiento adecuado, comunicación adecuada y nutrición adecuada. Sobre el enfriamiento, agrego que tienen un zoológico de aires acondicionados ordinarios, enfriadores de ventilador y freecooling en diferentes habitaciones. Pero sobre la conexión, es muy importante que haya una conexión directa con el M-9 y que haya nodos punto a punto. Es decir, si el tráfico se ejecuta desde un servidor de centro de datos a otro servidor de centro de datos (posiblemente otra compañía) a través de los "nueve" o nodos europeos similares, entonces el nodo de igual a igual lo ejecutará directamente a través de la red local. Bueno, entonces proveedores de servicios. Dado que hay una gran compañía de juegos aquí, supongo que quién la necesitaba en primer lugar para que los usuarios no se retrasen.

En el sitio en el momento de la publicación de la publicación 43 proveedores. Hace un año, era el segundo en Rusia en términos de conectividad. Ahora, posiblemente, IXcellerate ya ha alcanzado el primero, pero aún no se ha realizado ninguna investigación.

En el techo hay una plataforma para equipos satelitales, puede colocar antenas, pero hasta ahora no hay nada. Dicen que uno de los clientes planeó poner un teletransporte por satélite allí, pero al final no lo hizo.

Mashzal






Vamos y te mostraré lo que fue posible disparar.

Muchas celdas:



Optimización de la refrigeración: vallas y paneles con láminas extraíbles:





Sensores térmicos:



Las PDU se fabrican para ellos de acuerdo con su proyecto en una planta cerca de Moscú. Dicen que esta es una sustitución de importaciones que podría. Por cierto, están bloqueados:



Aquí está el gran salón:













Detrás de tales puertas de salas técnicas y niveles secretos:



Sucede que detrás de ellos hay habitaciones cerradas con 25–35 bastidores para mayor privacidad. Pero puede resultar recargable. En la primera habitación hay baterías comunes, en la tercera ya hay baterías de iones de litio. Estos últimos son buenos por telemetría separada de cada batería, con una vida útil de hasta 12 años (las de plomo tienen un máximo de 7, pero más bien 5), son más resistentes a los cambios de temperatura y calefacción, además de dos grados no dejan el año fuera de servicio. En el futuro, durante más de 5 años, son más baratos que el plomo. Cada batería tiene su propia carcasa separada:



Aquí están las bandejas ópticas. Mire, qué preocupación para las personas: estos enchufes no permiten que el cable se corte en los bordes del soporte:



Este es un gravitsap. Sugiero adivinar de qué se trata:



En algunas celdas, los clientes almacenan taburetes, escaleras de tijera, terminales. Hay un par de armarios con repuestos. Solo hay un requisito: el de material no combustible. En un par de estantes hay maletas (que se colocan en un portaobjetos y están diseñadas específicamente para almacenar cosas en un estante). Y aquí hay un detalle característico: tubos metálicos para baja corriente.



Nuestro hierro:



Nutrición


Dos haces de ciudad independientes de 13 MW entran al territorio.

Ahora el poder es 2N. El próximo año debería ser 3N: construya un centro de energía para tres turbinas de gas.

Aquí están los diesels:



Bloques de concreto para que el automóvil ni siquiera ingrese accidentalmente a un motor diesel:



Enfriamiento cercano:







Y al final estamos esperando el césped para festivales de música y fútbol. Allí puedes relajarte:





Centro de datos TTX


  • Certificados: PCI DSS, ISO 27000 (27001), ISO 9000 (9001), ISO 14001: 2004.
  • El edificio cubre un área de 6 mil metros cuadrados, 1835 stands, capacidad - 13.7 MW.
  • Energía - 2N, UPS + DGU, enfriamiento - enfriadores con enfriamiento gratuito, reserva - N + 1.

Eso es todo por ahora. El centro de datos emplea a 50 personas, incluido personal que no es de ingeniería. Tomamos un segundo lugar durante mucho tiempo y parecía haber elegido el correcto (al menos nuestro equipo ha estado aquí por más de un año). Pero una vez más noto: si algo cambia, me mantendré en contacto.

Source: https://habr.com/ru/post/es420345/


All Articles