Dónde almacenar datos: una excursión al centro de datos IXcellerate

A menudo se escucha que almacenar datos y poner sus sistemas a outsourcing de TI es peligroso y poco confiable. Supuestamente, los datos pueden no estar disponibles debido a problemas técnicos del proveedor, el centro de datos puede ser objeto de un ataque de piratas informáticos, y es más tranquilo cuando todo el equipo de TI y todos los datos de la empresa están cerca, "al alcance de la mano", y no se almacenan y mantienen "en lado ".

Propongo ver cómo se organiza el centro de datos IXcellerate, en el que almacenamos nuestros datos y los datos de los clientes. Somos un proveedor de servicios de Onlanta . Nuestra nube OnCloud.ru se basa en varios centros de datos distribuidos geográficamente. El centro de datos IXcellerate es solo uno de ellos.


El centro de datos IXcellerate se encuentra en el territorio de la antigua zona industrial y la planta de hormigón prefabricado en el área de Altufevo en un sitio de más de 15 mil metros cuadrados. m es uno de los mayores centros de datos en Moscú.


La elección del territorio de la planta de productos de hormigón armado para la creación de un centro de datos no fue accidental: tales empresas suelen tener poderosas líneas de entrada de energía, que es exactamente lo que necesita el centro de datos. En el territorio del centro de datos hay dos líneas de este tipo: de dos subestaciones de distribución diferentes. La distancia entre sus entradas al edificio es de al menos 150 m. Esto aumenta seriamente la confiabilidad y disponibilidad de los servicios del centro de datos, ya que la probabilidad de fallas debido a accidentes en la red eléctrica se reduce considerablemente.

El centro de datos IXcellerate comenzó a construirse en 2012 y un año después se puso en marcha la primera sala de máquinas. El fundador de IXcellerate es un conocido inversor internacional y empresario británico Guy Wilner .

Guy Willner (derecha)

Guy Wilner fue cofundador de otro empresario internacional, Cliff Gauntlett, quien comenzó a trabajar en la Unión Soviética a fines de la década de 1980. Resultó ser uno de esos extranjeros que vinieron aquí durante la época de la perestroika, se enamoraron del país y, a pesar de todos sus problemas, se quedaron aquí para siempre (Cliff falleció en 2013). Probablemente muchos recuerden las tarjetas telefónicas ROL. Fueron liberados por el proveedor ruso Golden Telecom, donde Cliff trabajó como vicepresidente senior. Además, Cliff también era un ávido "rockero": encabezó la famosa banda ROL, y sus canciones están incluso en el repertorio de Scorpions. De ahí el lema del centro de datos IXcellerate: Rockin'Russia.

Festival Corporativo Rockin'Russia: Cliff Gauntlett con una guitarra, detrás de la batería - Alexander Vershbow, Embajador de los Estados Unidos en Rusia. (foto www.passportmagazine.ru )

En honor a Cliff Gauntlett Sam, se nombró la primera sala de máquinas del centro de datos IXcellerate.

La guitarra de Cliff todavía está colgada en el centro de datos, con el autógrafo original de Paul McCartney

La capacidad de diseño del centro de datos es de 13.7 megavatios, y la capacidad es de 1835 asientos en rack, y este número está creciendo. Área de construcción - 6000 metros cuadrados. m. Además, el centro de datos tiene más de 600 metros cuadrados. m de espacio de almacenamiento para los clientes, donde pueden almacenar el equipo necesario para el trabajo.

Dos vías de acceso conducen al edificio del centro de datos. El territorio está alejado de aeropuertos, ferrocarriles, carreteras, varios tipos de centros comerciales y de entretenimiento, así como de edificios residenciales.

La construcción del centro de datos con dispositivos de enfriamiento instalados (enfriadores)

Además del suministro de energía principal de dos subestaciones de energía en la región de Moscú, el centro de datos también tiene generadores diesel de respaldo que generan electricidad en situaciones de emergencia, por ejemplo, si ambas subestaciones fallan durante un desastre natural.

Se suministra un combustible especial para generadores diésel: verano e invierno. Se entregaron bloques especiales de concreto protector cerca de los generadores diesel para que no se dañen accidentalmente al mover maquinaria.

Contenedor de calle con generador diesel detrás de bloques protectores de concreto

El funcionamiento de los motores diesel se controla en línea las 24 horas del día, e incluso el oficial de servicio realiza un recorrido cada cuatro horas. Durante nuestra visita, los generadores diesel estaban siendo reparados y había vehículos con instrumentación en el área.

En caso de falla de la red eléctrica, las baterías crean el intervalo de tiempo necesario hasta que los generadores diesel de respaldo, después de arrancar, alcancen la potencia requerida.

Mantenimiento del generador diesel

El centro de datos observa estrictamente los requisitos de seguridad física y de información, así como la seguridad de las redes eléctricas. El edificio del centro de datos está revestido con el llamado paneles sándwich tanto por fuera como por dentro. Proporcionan aislamiento térmico y protección física. El centro de datos se construyó según el principio de "caja en caja", es decir, los árboles, una cerca de concreto, un césped y paneles sándwich separan el interior de la calle.

El techo del edificio se encuentra a una altura de 14 m, y el techo de la sala de máquinas es de 9 m. Entre ellos hay una capa protectora contra fugas.

Las capas le permiten mantener ciertos parámetros de temperatura y humedad que son óptimos para el hardware del servidor. El microclima también es creado por enfriadores de aire (enfriadores) y aires acondicionados de precisión.

Premios del centro de datos
El centro de datos cuenta con los certificados ISO 27001 e ISO 9001, un certificado para el estándar de seguridad de datos para tarjetas de pago PCI DSS v3.2, y también un certificado de cumplimiento con el nivel de confiabilidad de IBM Nivel 3 en las categorías Proyecto, Construcción y Operación. En 2018, el centro de datos IXcellerate recibió un certificado del Uptime Institute para cumplir con el nivel Tier III en la categoría Diseño.

El nivel de servicio SLA proporcionado a los clientes es, como dicen los expertos en TI, "cinco nueves". Esto significa que la infraestructura del centro de datos está disponible el 99.999% del tiempo de trabajo. Es decir, el posible tiempo de inactividad por año no supera los cinco minutos y dieciséis segundos.

Por tercer año consecutivo, el Centro de datos ha sido el ganador y ganador de los Premios DC de Rusia por la solución de refrigeración y suministro de energía más efectiva, por una solución innovadora para reducir el costo total de propiedad de TCO (Costo total de propiedad), así como la localización de datos personales.

Las inversiones en el centro de datos ascienden a aproximadamente $ 50 millones, mientras que el nivel de equilibrio operativo se logró después de 4 años de operación, y no para lo habitual en los centros de datos de esta clase de 8-10 años.

"Gabinete de orgullo" con premios y certificados del centro de datos

Crear un centro de datos


El centro de datos IXcellerate se construyó de forma modular en tres fases. La sala de máquinas de la primera etapa durante la construcción en 2012 fue la más grande de Moscú. Los pasillos de la segunda y tercera fases rodean el pasillo de la primera fase alrededor del perímetro con la letra G.

Cada sala de máquinas tiene sus propias áreas de carga y descarga. También se proporciona un área de descarga separada para la estación de bomberos.

Diagrama del centro de datos IXcellerate

IXcellerate se creó como un centro de datos "neutral", independiente de los proveedores de servicios de telecomunicaciones y en la nube, y se centró exclusivamente en servicios de ubicación conjunta, es decir colocación del equipo del cliente, su protección y provisión de la infraestructura de ingeniería requerida con un nivel establecido de servicio bajo un contrato estándar.

Sucede que los clientes preguntan sobre los servicios en la nube. Para tales casos, el centro de datos tiene un ecosistema de socios en cuyo equipo se proporcionan soluciones en la nube. Estamos haciendo exactamente eso.

Veamos que hay dentro


El centro de datos obliga a los empleados y clientes autorizados a pasar doble identificación, incluida una tarjeta de identificación estándar y control biométrico (escáner de palma de mano).

Control de acceso para empleados

El acceso a las celdas ("celdas") donde está instalado el equipo del cliente está bajo control las 24 horas, es decir, solo los empleados del centro de datos autorizados por el cliente pueden llegar allí. Estas celdas están cercadas entre sí por una malla metálica.

Las celdas también tienen sus propios medios de protección física, por ejemplo, cerraduras de combinación y cámaras de video. En total, se proporcionan cinco líneas de seguridad física con un sistema de monitoreo y control de edificios (BMS) Computrols que se ejecuta constantemente.

Se ha convertido en una buena tradición en el centro de datos nombrar cada sala de máquinas en honor a la empresa o persona que hizo la mayor contribución a su creación.

La sala de la primera fase, llamada así por Cliff Gauntlett, está diseñada para 220 bastidores con equipo para el cliente.

Durante la construcción de la sala de la segunda fase, se utilizaron las inversiones de la compañía japonesa Sumitomo Corp., por lo que se llama The Summit Hall. La sala de la tercera fase se llama "Altura" en honor al director técnico del centro de datos Sergey Vladimirovich Vyshemirsky, que solía trabajar en el aeropuerto de Chkalovsky.

Placa de identificación de la tercera sala de máquinas

Poder y enfriamiento


La electricidad de alta calidad se utiliza para alimentar los equipos de los clientes. ¿Qué significa la palabra "calidad" en relación con la electricidad? No es ningún secreto que la corriente eléctrica industrial a veces tiene picos de tensión que pueden dañar el equipo del cliente. Por lo tanto, el centro de datos tiene una "sala eléctrica" ​​especial donde se eliminan estas emisiones. El resultado es una corriente eléctrica con una frecuencia de 50 Hz, que tiene la forma de una sinusoide "pura", sin sobretensiones ni picos. El equipo de distribución de energía monitorea constantemente nueve parámetros de calidad actuales.

La redundancia de energía del centro de datos se organiza en el nivel 2N: como ya se mencionó, dos haces de suministro de energía independientes se acercan al centro de datos. El daño a una ruta de colocación no implica detener el centro de datos o su parte, ya que siempre hay una ruta de respaldo.

Así es como las líneas entrantes de las subestaciones eléctricas miran una de las rutas de tendido.

Entrada de energía desde la subestación transformadora

Aquí hay otro pequeño toque al tema de la seguridad eléctrica y contra incendios. El cableado eléctrico de los interruptores automáticos se coloca en tuberías de metal para que con un posible cortocircuito no salgan chispas.

Interruptores para encender lámparas con cableado en tubos metálicos

Todos los cables de alimentación pasan por debajo de un piso elevado con una altura de 1 m. Bajo el piso elevado, se suministra aire frío con una humedad determinada a los bastidores del equipo de acuerdo con la norma internacional ASHRAE.

Las celdas con equipo del cliente están equipadas con sensores de temperatura y humedad, que no solo muestran visualmente estos parámetros, sino que también los transmiten regularmente al sistema de control centralizado de la infraestructura de ingeniería del centro de datos.

Sensor de temperatura y humedad

Para alimentar cada bastidor debajo del piso elevado, hay dos enchufes, cada uno desde una línea de entrada separada desde diferentes subestaciones eléctricas. Para una confiabilidad aún mayor, se colocan en canales separados.

Dos tomas de corriente de rack (a través de la rejilla del piso elevado)

Para mayor seguridad, algunos clientes también instalan sus propias videocámaras en sus cajas de equipos.

Hay "zonas de telecomunicaciones" en el centro de datos, donde están instalados los equipos de 44 operadores de telecomunicaciones, incluidos Orange, Sprint, Beeline, MegaFon, MTS, Telia, otros operadores y proveedores de Internet, así como el sitio MSK-IX y la plataforma de intercambio de tráfico Eurasia Peering IX, que reúne a 38 operadores residentes.


El equipo del cliente de cualquier tamaño y funcionalidad, incluso unidades de cinta, se acepta en el centro de datos para la instalación.

Uno de nuestros clientes, un canal de televisión con una audiencia multimillonaria, hace reservas aquí para transmitir en HD.

Seguridad contra incendios


La capacidad de extinguir un incendio de manera rápida y efectiva, y es mejor no permitirlo, es una de las características más importantes de cualquier centro de datos.

IXcellerate utiliza un sistema de detección y extinción de incendios de tres niveles. El primer nivel es el sistema de detección temprana de humo Vesda, que responde a los cambios en la densidad del aire y la cantidad de impurezas y polvo en solo 0.01%. Un sistema de autoaprendizaje con elementos de inteligencia artificial guarda en la memoria una determinada matriz de parámetros aéreos. Tal sistema puede reconocer el humo en una etapa temprana, así como determinar el sector donde ocurrió un cambio en los parámetros.

Apollo, un sistema integrado de alarma contra incendios y sistemas de advertencia, es el siguiente paso en la seguridad contra incendios del centro de datos.

Pero el orgullo de IXcellerate es el sistema de extinción de incendios automático HI-FOG, que puede localizar incendios en un área de 4 x 4 metros cuadrados. m (con la posibilidad de encontrar personal directamente en la sala de máquinas y sin impacto y consecuencias para otros sitios). Para hacer esto, se utilizan rociadores de agua (rociadores) en el sistema HI-FOG, que están bajo presión constante y se colocan sobre cada perímetro local de 4 x 4 m.

Es importante tener en cuenta que HI-FOG utiliza un sistema de tubería seca, es decir, el agente de extinción de incendios utilizado en el modo normal (agua destilada) se almacena en un tanque, que se encuentra en la estación de bomberos.

Uno de los aspersores

En el aspersor hay una bola con una sustancia etérea, que explota a una temperatura de 57 ° C, después de lo cual el sistema de extinción de incendios se inicia automáticamente.

El sistema HI-FOG crea una niebla fina que cierra la zona de ignición, desplaza el oxígeno y reduce la temperatura. Es decir, el sistema le permite eliminar dos posibles causas del incendio de sus tres posibles. La tercera causa teóricamente posible del incendio es la presencia de material combustible. Sin embargo, los paneles sándwich ya mencionados, que están revestidos con paredes externas e internas, así como placas de piso elevadas en el pasillo, están hechos de material incombustible. Estos paneles pueden proporcionar hasta 90 minutos de protección contra incendios. Además, solo se utilizan cables con poco humo en el centro de datos.

El sistema HI-FOG es quizás óptimo para su uso en un centro de datos, ya que proporciona extinción local y no llena toda la habitación con espuma de gas, lo que causa daños a los equipos no cubiertos por el incendio. Además, su uso no requiere la evacuación obligatoria de personas.

El certificado aprobado por FM, emitido por el líder internacional en pruebas independientes, permite el uso de la tecnología HI-FOG también en la industria energética, en el procesamiento y procesamiento de empresas industriales, así como en submarinos y cruceros.

Estación de bomberos

Un tanque con agua destilada (azul, visible en la parte posterior de la foto) está diseñado para extinguir toda el área del centro de datos. El mismo sistema funciona en el metro de Moscú y en el Teatro Bolshoi.

Panel de control y monitoreo.


En el panel de control y monitoreo en modo 24 x 7 hay personas de turno que monitorean el funcionamiento de los sistemas de ingeniería y reciben aplicaciones de los clientes. El sistema de videovigilancia le permite cambiar rápidamente de mostrar el esquema general de un centro de datos a imágenes de habitaciones individuales, celdas, pasillos y bastidores de equipos, componentes del sistema de extinción de incendios (incluidos rociadores), fuentes de alimentación y control de clima.

El contrato estándar de SLA estipula que la primera respuesta a una solicitud de soporte debe darse en 30 minutos. Sin embargo, en el centro de datos, el tiempo real de retroalimentación del cliente no supera los seis minutos, según las estadísticas del portal de Zendesk, que se utiliza para registrar llamadas.

El soporte se proporciona en ruso, inglés y chino.

Control remoto y sistema de monitoreo

Desde el lanzamiento del centro de datos desde su lanzamiento en 2013, no ha habido un solo tiempo de inactividad (tiempo de inactividad), ni una sola violación del SLA.

El centro de datos y su equipo bien coordinado dejan la impresión de un organismo vivo.

Incluso hay espacio para la música dentro del centro de datos: cuando te mueves por el pasillo de una habitación a otra, no puedes perderte el equipo para la banda de rock en la que Cliff Gauntlett tocó una vez y que actúa en eventos corporativos y el obligatorio IX festival anual al aire libre - Rockin ' Rusia

El corredor entre los pasillos del centro de datos.

IXellerate planea construir nuevos sitios, además de Moscow One habrá centros de datos Moscow Two, Moscow Three, etc.

Nuestra empresa, Ontlanta , comenzó a cooperar con IXcellerate con dos bastidores para la implementación de un proyecto que en ese momento era ambicioso para crear un clúster geodistribuido. Entonces nadie en el mercado ruso tenía tal solución. Los canales de óptica oscura nos cuestan dinero espacial en comparación con las ganancias de los servicios que brindamos. Nadie nos compró un servicio en la nube catastrófico por separado, así que comenzamos a desarrollar nuestra nube en dos sitios a la vez. Luego apareció un tercero, ya que se hizo evidente que era imposible garantizar la tolerancia a fallas y el equilibrio de carga sin un "testigo" separado que no estaría vinculado a uno de los dos sitios. Pero objetivamente, podemos decir que de los tres sitios, IXcellerate es el mejor, tanto en términos de organización del servicio como de adecuación general de la administración.

Comparte y tú, ¿qué valoras más en tu centro de datos y, por el contrario, qué es lo que más te molesta?

Source: https://habr.com/ru/post/es432654/


All Articles