A veces, las ideas surgen sin un estudio adecuado en la etapa inicial, y estas ideas, debido a la credibilidad de su autor, parecen muy prometedoras para todos los miembros del equipo. Entonces, hace algún tiempo, al grupo de compañías VIT y ComBox Technology se les ocurrió la idea de implementar un servidor basado en muchas microcomputadoras. El propósito del servidor es la ejecución de redes neuronales en la CPU y GPU de microcomputadoras. El factor de forma estimado del futuro servidor es 1U, versión de montaje en bastidor. Y todo estaría bien, solo la idea incluía el enfriamiento pasivo, ya que la emisión de calor anunciada de las microcomputadoras propuestas para su uso era de 25 W. En realidad, la microcomputadora propuesta para la implementación fue Intel NUC con un procesador Intel Core i5 y una GPU Iris Plus 655 integrada.25 W, 1U, refrigeración pasiva, un servidor: todo esto suena alentador, pero surgieron más matices.
En primer lugar, se suponía que 8 computadoras eran microcomputadoras en el servidor. Es decir, la disipación de calor proporcional al consumo de energía ya es igual a 25 * 8 = 200 vatios. Y ya en esta etapa no se puede decir enfriamiento pasivo, pero el experimento continuó. Incluyendo, por razones de una mayor adaptación de la tecnología para la ejecución de recintos exteriores. El desarrollo del hardware tuvo lugar en paralelo con el OCD en el uso del software necesario. Utilizamos un complejo para la detección y reconocimiento de placas y marcas / modelos de vehículos VIT llamado EDGE. Resultó que, al medir el consumo de energía al 100% de la carga, Intel NUC8i5BEK consume 46 vatios en lugar de los 25. Con este enfoque, el consumo de energía y la disipación de calor del servidor ya se convierten en 46 * 8 = 368 vatios. Y esto sin tener en cuenta las fuentes de alimentación y los componentes adicionales.
Como disipador de calor, utilizamos placas de cobre después de la molienda y el grabado especial. Además, la placa de cobre emitió calor al intercambiador de calor de aluminio en la parte superior del servidor. Debido a errores en los cálculos, el intercambiador de calor ocupaba 2/3 de la cubierta superior y estaba ubicado en ambos lados en paralelo con 4 microcomputadoras a lo largo de los lados izquierdo y derecho del servidor. En el área central, había una fuente de alimentación de 550 W en la parte posterior y un enrutador Mikrotik de 1 Gbit en la parte delantera.
Fase de diseño del servidor basada en 8 microcomputadorasY el resultado que resultó:
Servidor NUC con enfriamiento pasivoPor supuesto, este diseño funcionó a carga media, pero al 100% continuó calentándose lentamente y dando una parte significativa del calor al medio ambiente. Incluso dentro de un gabinete de servidores con un corredor frío y caliente, el diseño inevitablemente calienta a un "vecino" más alto. La reducción del número de microcomputadoras a 4 piezas permitió estabilizar la temperatura de calentamiento y evitar el estrangulamiento incluso al 100% de la carga, pero el problema de un "vecino" más alto persistió.
La pila de soluciones tecnológicas ha divergido en dos direcciones:
- Refrigeración pasiva de Intel NUC8i5BEK en el caso de uso externo
- Refrigeración por aire activa en chasis de servidor de 1U
Servidor 1U con 8 procesadores Core i5 y 8 GPU instalados
Sí, sí, es mucho y sí, es posible. ¿Cómo preguntas? Al combinar múltiples microcomputadoras dentro de un chasis de 1U a nivel de red a través de un enrutador. Específicamente, para la implementación de redes neuronales y el procesamiento de flujos RTSP entrantes, esta solución es óptima. Además, le permite construir sistemas escalables basados en un montón de Docker, Docker Swarm y Ansible.
Durante el proceso de desarrollo, tuvimos que diseñar varias versiones diferentes:
Prototipo de la futura decisión.
La idea original dejó disipadores de calor de cobre y radiadores de aluminio bien probados, pero ahora se encuentra directamente en cada nodo informático dentro de la carcasa. Además, para eliminar el calor, se utilizaron 2 ventiladores, instalados frente a cada módulo de cómputo, dirigiendo el aire caliente de un corredor frío a caliente (desde la parte frontal del servidor). Para el control activo del ventilador, se desarrollaron tableros especiales que cambiaron su velocidad en función de los sensores de temperatura de cada microordenador. Debido a la falta de necesidad de PoE, el enrutador se vio privado de refrigeración activa; se cambió a pasivo con una liberación de calor de no más de 10 vatios. La fuente de alimentación en la primera versión permaneció 500 W, pero se instaló en soportes especiales con la posibilidad de reemplazo rápido, pero con un corte de energía. Para monitorear el estado de los nodos de computación, se agregó una indicación de 8 diodos en el panel frontal.
Prototipo de servidor NUC de ComBox Technology, 8 CPU Core i5 y 8 GPU Iris Plus 655 en factor de forma 1UCaracterísticas técnicas de la primera versión del servidor en Intel NUC:
- Intel NUC8i5BEK (sin carcasa con un sistema de enfriamiento modificado), 8 piezas.
- Módulos de memoria AMD Radeon R7 Performance DDR4 SO-DIMM, 8 GB, 8 piezas.
- Módulos de memoria adicionales DDR4 SO-DIMM Kingston, 4 GB, 8 piezas.
- Unidad SSD M.2 WD Green, 240 Gb, 8 piezas.
- Caja 1U (producción propia)
- MikroTik RB4011iGS + Router RM (sin carcasa con un sistema de enfriamiento modificado), 1 pc.
- Cables de conexión (cables de conexión), 11 piezas.
- BP 94Y8187, 550 vatios.
Cómo se ve en el proceso de trabajo:
Versión de producción del servidor NUC
La versión de producción ha sufrido cambios significativos. En lugar de una fuente de alimentación, 2 aparecieron en el servidor con la posibilidad de intercambio en caliente. Utilizamos una fuente de alimentación de servidor compacta de 600 W de Supermicro. Para los módulos informáticos, aparecieron huellas especiales y la posibilidad de su intercambio en caliente sin apagar todo el servidor. Muchos bucles de red fueron reemplazados por barras colectoras fijas fijadas a los asientos. El microordenador de arquitectura ARM Nano Pi de FriendlyARM se ha agregado para administrar el servidor, para lo cual se ha escrito e instalado software para verificar y monitorear el estado de los nodos informáticos, informar fallas y restablecer el hardware de nodos informáticos específicos a través de GPIO, si es necesario. Los ventiladores en la versión de producción se instalan detrás del panel frontal en la dirección del corredor frío hacia el caliente, y las aletas del intercambiador de calor de aluminio ahora se dirigen hacia abajo en lugar de hacia arriba, lo que hace que la memoria y los discos de cada nodo de computación sean accesibles.
Caja Intel NUC para exteriores
Dado que los microordenadores en sí no son industriales, el uso en exteriores requiere no solo un caso, sino también condiciones climáticas apropiadas. Necesitábamos protección contra el polvo y la humedad IP66, así como una operación de temperatura de -40 a +50 grados Celsius.
Probamos dos hipótesis para una disipación de calor eficiente: tuberías de calor y placas de cobre como disipador de calor. Este último resultó ser más efectivo, aunque con un área grande y soluciones más caras. Como intercambiador de calor, también se utilizan durmientes de aluminio con las dimensiones calculadas de las costillas.
Para iniciar el dispositivo en temperaturas bajo cero, utilizamos cerámica para calentar. Para facilitar la operación y la implementación en varios campos, se instalaron fuentes de alimentación de una amplia gama de 6-36 V.
El objetivo principal del dispositivo resultante: la ejecución de redes neuronales intensivas en recursos en las inmediaciones de la fuente de datos. Dichas tareas incluyen el cálculo del tráfico de pasajeros en vehículos (turismos, trenes), así como el procesamiento centralizado de datos sobre detección y reconocimiento de rostros en operaciones industriales.
Intel NUC en gabinete para exteriores, IP66 con módulo climáticoEsquema general de inferencia híbrida
Por lo general, se utilizan tres tipos de dispositivos para la inferencia: un servidor en un centro de datos, cámaras con software instalado para detectar y reconocer objetos y microcomputadoras de una instalación al aire libre (a las que se conectan las cámaras, por ejemplo, mediante un interruptor). Además, desde múltiples dispositivos (por ejemplo, 2 servidores, 15 cámaras, 30 microcomputadoras), se requiere la agregación y el almacenamiento de datos (eventos).
En nuestras soluciones, utilizamos el siguiente esquema de agregación y almacenamiento de datos mediante sistemas de almacenamiento:
El esquema general de inferencia híbrida