Aceptación del centro de datos independiente

Hola a todos! Mi nombre es Cyril Shadsky, soy el jefe del Departamento para administrar los centros de datos externos de DataLine.

Este artículo está dedicado a los aspectos más importantes de las pruebas de aceptación, así como a los posibles problemas y dificultades que pueden estropear muchos nervios a los "probadores" novatos.

Entonces, imagine: un contratista satisfecho nos informará sobre el plan quinquenal en cuatro años que no hay problemas y que la instalación (centro de datos o una sala separada) está lista para funcionar. Parece que ahora es el momento de comenzar las pruebas, pero ... de hecho, ya llegamos tarde. Las pruebas de aceptación deben planificarse al menos en la etapa de diseño.

La primera pregunta es a quién confiar las pruebas. ¡Por supuesto, constructores! Después de todo, es mucho más fácil que verificar independientemente cada nodo o contratar una comisión independiente. Por si acaso, aclaro: esto es una broma. Si todo fuera tan simple, este artículo no habría sido escrito.

Cualquier contratista estará encantado de verificar lo que construyó. Es muy bueno buscar jambas en ti mismo y esconderlas en otro lugar.

Recuerde: incluso el mejor y más confiable contratista es una persona interesada y todo lo que oculta puede convertirse en un problema en el futuro. Por lo tanto, siempre realice las pruebas de aceptación usted mismo o póngase en contacto con una organización independiente.

Si tiene experiencia y las pruebas no lo asustan, puede realizarlas usted mismo. Intentaré decirle en detalle cómo se organizan las pruebas de aceptación con nosotros y qué problemas encontramos en las distintas etapas.

En Data Line hay una Dirección de Construcción de Capital, que se dedica a la construcción de nuevas salas y centros de datos. Después de la construcción, todo esto se convierte en responsabilidad del servicio de mantenimiento. Para ella es importante que todo se construya con alta calidad. Nuestro director técnico Sergey Mishchuk es una especie de "juez mundial" entre estas dos divisiones de la empresa.

A pesar de toda nuestra experiencia, cada vez durante las pruebas encontramos una variedad de escuelas: serias y pequeñas. Esto es absolutamente normal. Debe atraparlos durante la prueba, en lugar de esperar hasta que se conviertan en problemas. Aquí hay algunos ejemplos.

En el 99% de los casos, hay quejas sobre el sellado de agujeros entre paredes o habitaciones. Esta situación es comprensible: primero debe tender SCS, cables de alimentación, tuberías de freón y otras tuberías, y el sellado se pospone hasta el último momento. Por lo tanto, asegúrese de asegurarse de que se complete antes del inicio de las pruebas.

Obligatoriamente estamos haciendo un derrame de germozona. Todas las instalaciones del centro de datos están ubicadas en áreas separadas presurizadas, "casa en casa".


Vista superior de Hermozone

Si su centro de datos tiene zonas de contención, deben eliminarse con agua de la manguera y asegurarse de que no haya fugas.

No hay escapatoria de la basura. Debajo del piso elevado inevitablemente se encontrarán cortes de cable, dientes, tornillos y otros archivos olvidados por los trabajadores. No importa cuántos controles realice, siempre hay comentarios.

Si no obliga a los trabajadores a que limpien de inmediato, todo permanecerá mintiendo cuando traigan e instalen el equipo. ¿Qué crees que es más fácil? ¿Eliminar en el lugar o sudar con una linterna debajo de los bastidores de trabajo y limpiar los escombros de la construcción?

Y todo esto es solo la punta del iceberg, los problemas dados para una comprensión general de la imagen. Ahora, analizaremos cada etapa de las pruebas en detalle y comenzaremos con una "marca cero", es decir, planificación.

Preparación de la prueba

En casi todos los artículos, hablamos sobre la importancia de la planificación previa, y hoy, también, no interrumpiremos esta gloriosa tradición. Además, la planificación debe ser su primer paso (si no "cero") en la realización de las pruebas.

El Uptime Institute recomienda comenzar a planificar y crear una comisión para la aceptación en la etapa del diseño preliminar del centro de datos, y el comienzo del trabajo de verificación ya se encuentra en la etapa de diseño.

Comenzamos con la aceptación del proyecto, no hay forma de hacerlo sin él. Es mejor aceptar antes de la construcción, en la etapa de diseño. Recuerde: siempre es más fácil arreglar lo que está "en papel" que un objeto ya construido. En algunos casos, "ajustar ligeramente" el centro de datos terminado generalmente no es posible.

Los siguientes puntos también deben incluirse en su plan de prueba:

• ¿Qué pruebas se llevarán a cabo?
  
• ¿Cuándo se realizarán las pruebas?
  
• ¿Quién será probado?
  
• ¿Qué empleados de la compañía estarán involucrados?
  
• ¿Qué herramientas y equipos se necesitarán (pinzas de corriente, vibrómetros, cámaras termográficas, anemómetros y muchas otras cosas oscuras pero necesarias)?
  

Para cada prueba, compilamos una lista de los sistemas a probar, ya que en diferentes centros de datos cada unidad es responsable de su equipo. En un lugar verificaremos solo la electricidad y el aire acondicionado. En otro, se les pueden agregar otros sistemas, por ejemplo, AUGPT, video vigilancia, ACS (según lo acordado con el personal de seguridad).

Prestamos especial atención al edificio en sí. Como regla general, la marca de concreto y cómo se vierten los pisos no es nuestro patrimonio y especialización, pero debemos verificar el piso elevado, las puertas, el suministro de agua y el sistema de alcantarillado .

En otras palabras, antes de comenzar la prueba, debe saber claramente qué y dónde realizaremos la prueba para evitar superposiciones y confusión.

Una nota importante: cuando verifica este o aquel sistema, la persona que lo construyó u otra persona responsable debe estar cerca de usted. Aplica a todas las etapas.

En general, las pruebas de aceptación incluyen los siguientes pasos:

• Verificación de proyecto
  
• Verificación de documentación
  
• Pruebas independientes
  
• Controles integrales
  

Consideraremos por separado cada uno de ellos.

Verificación de documentos

En ningún caso debe omitir esta etapa y, aún más, realizarla en paralelo con las pruebas independientes. Incluso si el tiempo se acaba, debe asegurarse de que cada pieza del equipo y cada sistema correspondan a lo declarado en el proyecto. Sin consultar la documentación, no podrá realizar pruebas cualitativas adicionales, sin mencionar el lado legal del problema.

Una lista completa de documentos para verificar es individual y depende de su configuración.

Doy un ejemplo de documentos que deben verificarse durante las pruebas:

• documentación ejecutiva para cada sistema;
  
• pasaporte para equipo;
  
• acto de puesta en marcha tecnológica;
  
• acto de medidas y pruebas;
  
• actos de prueba del sistema de engarzado;
  
• informe de laboratorio sobre la medición de la resistencia del circuito de tierra y otras comunicaciones por cable;
  
• instrucciones de instalación del equipo.
  

Todavía hay documentación operativa. No siempre se indica en el contrato de construcción, y si no es así, solicite al contratista un acuerdo adicional. La documentación operativa debe contener instrucciones y algoritmos básicos de conmutación, pero volveremos a esto en la sección sobre pruebas complejas.

Además de todo lo anterior, es altamente deseable, incluso diría, asegúrese de compilar tablas de carga. Desafortunadamente, no siempre se hacen, pero este es un documento importante y conveniente.

¿Por qué es necesario?

Por lo general, la redundancia en el centro de datos está organizada por dos rutas de alimentación, y debe comprender qué carga irá a un haz debido a un corte de energía completo en el otro.

Parece que un esquema común para esto es suficiente. Pero será mucho más conveniente para sus especialistas trabajar con tablas. Menos probabilidades de perder o confundirse.

Por supuesto, no podemos conciliar cada acto con la realidad, pero es necesario asegurarnos de que todos los actos existan.

Cheques sin conexión

Las verificaciones autónomas son el siguiente paso en las pruebas de aceptación del centro de datos. Aquí es necesario verificar manualmente cada pieza del equipo: operabilidad, ajustes, operación con carga máxima y, por supuesto, marcado, donde sin él :) Es importante que el marcado coincida con el diseño. Pero es igualmente importante que coincida con la realidad.


Ejemplo de marcado de circuito de glicol

Por ejemplo, para un sistema de distribución de energía, aplicamos una carga de prueba y encendemos / apagamos físicamente cada máquina en la centralita. Y, comenzando con el equipo de TI, revisamos cada bastidor por turno, hacemos una mesa y nos aseguramos de que cuando la máquina se apaga, el hardware correspondiente también se apaga.

Por supuesto, a veces en las centralitas aparecen mágicamente máquinas que no estaban en el proyecto. Está bien, lo principal es que la carga no excede la norma, y ​​esto se señaló en la documentación.


Centralita derecha

Para equipos como aires acondicionados, grupos electrógenos diesel y UPS, llevamos a cabo verificaciones simples e independientes: encendido / apagado, modos de operación, configuraciones, etc. Por extraño que parezca, es importante verificar qué tan bien se repara el equipo. Tuvimos casos en los que las tuercas importantes se podían desenroscar con casi un dedo.

La primera ronda ha terminado, y les damos tiempo a los instaladores para que corrijan los defectos, después de lo cual regresamos, y todo transcurre en la segunda ronda.

Dicen que entre ellos los trabajadores los llaman círculos de infierno en aumento; muy a menudo en la segunda inspección encontramos jambas que no habíamos notado antes. Y comienza: "¿Qué no dijiste de inmediato?"

Puedes entender a las personas, pero con nosotros es casi como en la película "Cuidado con el coche": te estás poniendo al día y me estoy escapando. Todo lo contrario: eliminas, pero me parece.


Cuando todo funciona como debería, se completan las pruebas independientes y comienza la parte más divertida: pruebas exhaustivas.

Pruebas exhaustivas

Permítanme hacer una digresión aquí y hablar sobre qué es un centro de datos y qué es importante para su funcionamiento.

En primer lugar, el centro de datos es un sistema único, un organismo casi vivo. Y su "salud" en su conjunto depende de cómo interactúan todos sus órganos.

Por ejemplo, los aires acondicionados a menudo nos dicen: “¿Qué no te gusta? Mira, ¡sopla y se enfría! ¡Todo está como debería!

Los especialistas de la DGU les hacen eco: "¡Mira, todo se pone en marcha e incluso da electricidad!" En general, cada equipo funciona bien (lo verificamos en pruebas autónomas), pero solo por sí solo. Vale la pena comenzar todo junto, y el sistema se desmorona. Es para identificar problemas asociados con la operación conjunta del equipo, se utilizan verificaciones exhaustivas.

El alcance de las pruebas puede variar según el nivel de redundancia: cuantos más sistemas interconectados, más opciones de trabajo necesita verificar y depurar.

Por ejemplo, si estamos construyendo un centro de datos de Nivel III, es imperativo que todos los elementos de la infraestructura, incluidos los cables y las rutas de distribución, puedan cerrarse de manera segura para su reemplazo o reparación. En consecuencia, el número de pruebas necesarias está creciendo. Apagamos / deshabilitamos constantemente diversos equipos cuando el centro de datos está funcionando bajo carga. Los cambios en un sistema de ninguna manera deberían conducir a fallas en los adyacentes.

Aclaración importante n. ° 1: todas las pruebas exhaustivas se llevan a cabo bajo carga. En el 99% de los casos, las pistolas de calor se colocan directamente en la sala de máquinas, y el centro de datos se "quema": así es como verificamos la calidad de los sistemas de ingeniería.

Aclaración importante n. ° 2: las DGU son la fuente de alimentación principal del centro de datos. La ciudad es una fuente alternativa "barata", por lo que realizamos todos los controles complejos del diésel.

Uno de los sistemas clave en cualquier centro de datos es la automatización en la centralita principal y el grupo electrógeno diesel. Este sistema debe verificarse con mucho cuidado. Jamba estándar: no hay transición a DGU si la entrada de ciudad está desactivada. Esto se debe a que algunas personas montan la DGU, mientras que otras instalan la automatización y el equipo no encaja.

Cuando se depura el sistema, vale la pena preparar una tabla de configuración y prescribir los algoritmos del ATS. Si se encuentra con un contratista muy bueno y responsable (diseñador, constructor) que documenta todo independientemente, mejor. De lo contrario, no seas perezoso y escribe los siguientes puntos tú mismo:

1. después de cuántos segundos llega el comando para iniciar el generador diesel;
   
2. después de cuántos segundos la transición a la DGU;
   
3. párrafo 1 y párrafo 2 en orden inverso.
   

Luego se verifica el sistema de aire acondicionado. Apagamos los aires acondicionados por turno y, si tienen un sistema ABP integrado, también lo verificamos.

Si los aires acondicionados están configurados para trabajar en grupo y cambian automáticamente de respaldo a primario, asegúrese de verificar cómo funciona.

• eliminar todas las conexiones;
  
• reinicie el controlador responsable de la conmutación;
  
• apague el interruptor de distribución que conecta los aires acondicionados;
  
• prueba de automatización: se bloquea aquí con demasiada frecuencia;
  
• estamos haciendo todo lo que podría escribirse en la novela "50 sombras del centro de datos".
  

Para un sistema de glicol, es imperativo verificar el sistema hidráulico apagando las bombas y apagando uno de los intercambiadores de calor y una o más secciones de la ruta.


Aquí puede ver que cada escudo está marcado y provisto de una breve instrucción

Importante: si el cambio se realiza manualmente, es imprescindible que el contratista proporcione un algoritmo. Las marcas de las válvulas y los pestillos deben indicar las posiciones de operación (normal abierto, normal cerrado).

A menudo, los contratistas dicen: esto no estaba en el plan de prueba proporcionado. Puede responder esto: los planes de accidentes no proporcionan :)

También ocurren situaciones ocasionales. Por ejemplo, durante la prueba de un UPS, un mal acondicionador de aire puede funcionar para descargar:

"¿Qué estás haciendo Herodes?" ¿Por qué apagaste las bombas?
- No apagamos nada, estamos probando el UPS.
- ¿Y por qué violar a los enfriadores? Se pueden romper!
- Es por eso que estamos probando para encontrar momentos tan estrechos.

Otra prueba frecuente es verificar el sistema de extinción de incendios. Para hacer esto, desconectamos toda la automatización de los cilindros y probamos cómo funcionan las instrucciones. Sucede que las direcciones son confusas, la apertura / cierre no funciona.

No te olvides del sistema de monitoreo (escribimos más sobre esto aquí y aquí ). Tan pronto como habilitemos o desactivemos algo, este cambio debe aparecer en el panel. También verificamos si el monitoreo está comenzando a ser "estúpido" con una gran cantidad de alarmas.

Asegúrese de probar la potencia de monitoreo. En ningún caso debe perder el control del centro de datos en caso de emergencia.

Hacemos todo con las manos de un constructor.

Al principio, escribí que las pruebas de aceptación deberían ser realizadas por especialistas externos. Pero hay cosas que deben cargarse directamente al contratista. Esta es una demostración dentro y fuera del equipo (así como otros trabajos). La parte receptora va con una lista de verificación y anota los resultados. Algo como esto:

• El lado receptor dice: “Necesitamos apagar el aire acondicionado No. 34. Colegas, apáguelos, muéstrenos cómo lo hace ".
  
• El constructor muestra y explica.
  
• El lado receptor está grabando.
  

Esta es una regla de buena forma.

Una cuestion de tiempo

Como ya puede entender, las pruebas de aceptación son un proceso largo. Su duración depende en gran medida del tamaño del centro de datos y la cantidad de equipo, por lo que a continuación daré los indicadores promedio (centro de datos para 50-100 bastidores).

• Verificación de la documentación: 3-5 días hábiles de diseñadores fuertes.
  
• Verificaciones autónomas: 3-5 días para la iteración, ya que debe verificar cada elemento del centro de datos y darle al contratista tiempo para corregir los errores. Cuántas iteraciones serán, solo Dios lo sabe.
  
• Verificaciones exhaustivas: 2-3 días, si todo funciona correctamente.
  

Por supuesto, estas cifras son muy aproximadas. No espere cumplir 2-3 semanas. Algunas veces las inspecciones pueden tomar varios meses.

Construimos una sala, lanzamos el sistema: puede realizar una verificación fuera de línea. Comprobado, solucionado todo, lanzó otro sistema. También fue revisada y firmó actos. Bueno, entonces, cuando todo está listo, se lleva a cabo una verificación exhaustiva.

Sobre cómo arrojamos pipas

Esta historia sucedió con el director técnico mencionado anteriormente Sergei Mishchuk.

Una vez que tomó el centro de datos dentro de la línea de datos e inspeccionó uno de los pasillos nuevos. Era joven y verde de las ensaladas, caminaba con una mirada inteligente y escribía. Lo primero que hizo fue pedir levantar la baldosa elevada. Los constructores lo levantan, y debajo de él se descubre un tubo de un metro de largo con un diámetro de 10 cm.

Los constructores inmediatamente agarran su cabeza: "No estaba allí, todo fue revisado, ¡no lo estaba!". El origen de la pipa seguía siendo un misterio, y los constructores acordaron que el mismo Mishchuk la llevaba secretamente en la manga de su camisa. Verano Blanco

Unos años más tarde, cuando no me volví tan joven, pero aún permanecía verde claro, se verificó el nuevo centro de datos. Durante el control, yo primero pido levantar el piso elevado.

¿Qué crees que hay ahí? Bien, la pipa. Cuatro veces menos, pero lo mismo extra y misterioso.

Los constructores estaban completamente seguros de que nosotros mismos les arrojaríamos tuberías para atormentar. No los disuadí, lo principal es que todo se elimina.

La moraleja de la historia: no importa cuán experimentado y profesional sea, siempre habrá una tubería misteriosa, una ametralladora que funcione mal o una marca ilegible. No sea perezoso para verificar todo con la máxima meticulosidad "aquí y ahora", de modo que más tarde, cuando se instalen equipos informáticos críticos en su centro de datos, no corra de cabeza y no cure jambas mientras viaja. La profesionalidad no es solo para construir un sistema de calidad, sino también para probar su rendimiento.

Si tiene alguna pregunta, me complacerá responderla en los comentarios.