L'histoire d'un serveur unique avec refroidissement passif

Parfois, les idées surgissent sans étude appropriée au stade initial, et ces idées, en raison de la crédibilité de leur auteur, semblent très prometteuses pour tous les membres de l'équipe. Il y a quelque temps, le groupe de sociétés VIT et ComBox Technology a eu l'idée d'implémenter un serveur basé sur de nombreux micro-ordinateurs. Le but du serveur est l'exécution de réseaux de neurones sur le CPU et le GPU des micro-ordinateurs. Le facteur de forme estimé du futur serveur est 1U, version rackable. Et tout irait bien, seule l'idée incluait le refroidissement passif, puisque l'émission de chaleur annoncée des micro-ordinateurs proposés à l'utilisation était de 25 W. En fait, le micro-ordinateur proposé pour la mise en œuvre était Intel NUC avec un processeur Intel Core i5 et un processeur graphique intégré Iris Plus 655.25 W, 1U, refroidissement passif, un serveur - tout cela semble encourageant, mais des nuances sont apparues plus loin.

Premièrement, 8 ordinateurs étaient censés être des micro-ordinateurs sur le serveur. Autrement dit, la dissipation thermique proportionnelle à la consommation d'énergie est déjà égale à 25 * 8 = 200 watts. Et déjà à ce stade aucun refroidissement passif ne peut être dit, mais l'expérience s'est poursuivie. Y compris, pour des raisons de poursuite de l'adaptation de la technologie pour l'exécution des enceintes extérieures. Le développement du matériel s'est déroulé en parallèle avec l'OCD sur l'utilisation du logiciel nécessaire. Nous avons utilisé un complexe pour la détection et la reconnaissance des plaques d'immatriculation et des marques / modèles de véhicules VIT appelé EDGE. Il s'est avéré que, lors de la mesure de la consommation d'énergie à 100% de charge, Intel NUC8i5BEK consomme 46 watts au lieu des 25 déclarés. Avec cette approche, la consommation d'énergie et la dissipation thermique du serveur deviennent déjà 46 * 8 = 368 watts. Et cela sans tenir compte des alimentations et des composants supplémentaires.

Comme dissipateur de chaleur, nous avons utilisé des plaques de cuivre après meulage et gravure spéciale. De plus, la plaque de cuivre a dégagé de la chaleur à l'échangeur de chaleur en aluminium sur le dessus du serveur. En raison d'erreurs dans les calculs, l'échangeur de chaleur occupait 2/3 du capot supérieur et était situé des deux côtés en parallèle avec 4 micro-ordinateurs le long des côtés gauche et droit du serveur. Dans la zone centrale, il y avait une alimentation de 550 W à l'arrière et un routeur Mikrotik 1 Gbit à l'avant.


Phase de conception du serveur basée sur 8 micro-ordinateurs

Et le résultat qui s'est avéré:


Serveur NUC avec refroidissement passif

Bien sûr, cette conception fonctionnait à charge moyenne, mais à 100%, elle continuait de chauffer lentement et de donner une partie importante de la chaleur à l'environnement. Même dans l'armoire serveur avec un couloir chaud et froid, la conception a inévitablement chauffé un «voisin» supérieur. La réduction du nombre de micro-ordinateurs à 4 pièces a permis de stabiliser la température de chauffe et d'éviter les étranglements même à 100% de charge, mais le problème d'un «voisin» supérieur est resté.

La pile de solutions technologiques a divergé dans deux directions:

• Refroidissement passif d'Intel NUC8i5BEK en cas d'utilisation externe
• Refroidissement par air actif dans un châssis de serveur 1U

Serveur 1U avec 8 processeurs Core i5 et 8 GPU installés

Oui, oui, c'est beaucoup et oui, c'est possible. Comment, demandez-vous? En combinant plusieurs micro-ordinateurs à l'intérieur d'un châssis 1U au niveau du réseau via un routeur. Concrètement, pour la mise en place de réseaux de neurones et le traitement des flux RTSP entrants, cette solution est optimale. En outre, il vous permet de créer des systèmes évolutifs basés sur un tas de Docker, Docker Swarm et Ansible.

Au cours du processus de développement, nous avons dû concevoir plusieurs versions différentes:

Prototype de la future décision

L'idée originale a laissé des dissipateurs de chaleur en cuivre et des radiateurs en aluminium éprouvés, mais maintenant situés directement sur chaque nœud informatique à l'intérieur du boîtier. De plus, pour évacuer la chaleur, 2 ventilateurs ont été utilisés, installés devant chaque module informatique, dirigeant l'air chaud d'un couloir froid à chaud (depuis l'avant du serveur). Pour le contrôle actif du ventilateur, des cartes spéciales ont été développées qui ont changé leur vitesse en fonction des capteurs de température sur chaque micro-ordinateur. En raison de l'absence de besoin de PoE, le routeur a été privé de refroidissement actif; il est passé à passif avec un dégagement de chaleur d'au plus 10 watts. L'alimentation dans la première version est restée 500 W, mais a été installée sur des supports spéciaux avec la possibilité d'un remplacement rapide, mais avec une panne de courant. Pour surveiller l'état des nœuds de calcul, une indication de 8 diodes a été ajoutée sur le panneau avant.


Prototype de serveur NUC de ComBox Technology, 8 CPU Core i5 et 8 GPU Iris Plus 655 au format 1U

Caractéristiques techniques de la première version du serveur sur Intel NUC:

• Intel NUC8i5BEK (sans boîtier avec système de refroidissement modifié), 8 pièces.
• Modules de mémoire AMD Radeon R7 Performance DDR4 SO-DIMM, 8 Go, 8 pièces.
• Modules de mémoire supplémentaires DDR4 SO-DIMM Kingston, 4 Go, 8 pcs.
• SSD M.2 drive WD Green, 240Gb, 8 pcs.
• Boîtier 1U (propre production)
• MikroTik RB4011iGS + RM Router (sans boîtier avec système de refroidissement modifié), 1 pc.
• Fils de connexion (cordons de brassage), 11 pcs.
• BP 94Y8187, 550 watts.

À quoi cela ressemble dans le processus de travail:

Version de production du serveur NUC

La version de production a subi des changements importants. Au lieu d'une alimentation, 2 sont apparus sur le serveur avec la possibilité de remplacement à chaud. Nous avons utilisé une alimentation de serveur compacte 600 W de Supermicro. Pour les modules informatiques, des empreintes spéciales sont apparues et la possibilité de leur remplacement à chaud sans éteindre l'ensemble du serveur. De nombreuses boucles de réseau ont été remplacées par des jeux de barres fixes fixés aux sièges. Le micro-ordinateur à architecture Nano Pi ARM de FriendlyARM a été ajouté pour gérer le serveur, pour lequel un logiciel a été écrit et installé pour vérifier et surveiller l'état des nœuds de calcul, signaler les erreurs et réinitialiser le matériel de nœuds de calcul spécifiques via GPIO, si nécessaire. Les ventilateurs de la version de production sont installés derrière le panneau avant dans la direction du couloir froid vers le chaud, et les ailettes de l'échangeur de chaleur en aluminium sont désormais dirigées vers le bas plutôt que vers le haut, ce qui a rendu la mémoire et les disques de chaque nœud de calcul accessibles.

Boîtier d'extérieur Intel NUC

Étant donné que les micro-ordinateurs eux-mêmes ne sont pas industriels, une utilisation en extérieur nécessite non seulement un boîtier, mais également des conditions climatiques appropriées. Nous avions besoin d'une protection contre la poussière et l'humidité IP66, ainsi que d'un fonctionnement en température de -40 à +50 degrés Celsius.

Nous avons testé deux hypothèses pour une dissipation thermique efficace: les caloducs et les plaques de cuivre comme dissipateur thermique. Ce dernier s'est avéré plus efficace, bien qu'avec une grande surface et des solutions plus coûteuses. En tant qu'échangeur de chaleur, tout est également utilisé des traverses en aluminium avec les dimensions calculées des nervures.

Pour démarrer l'appareil à des températures inférieures à zéro, nous avons utilisé de la céramique pour le chauffage. Pour une facilité de fonctionnement et de mise en œuvre dans divers domaines, des alimentations d'une large gamme de 6-36 V. ont été installées.

L'objectif principal du dispositif résultant: l'exécution de réseaux de neurones gourmands en ressources au voisinage immédiat de la source de données. Ces tâches comprennent le calcul du trafic de passagers dans les véhicules (voitures particulières, trains), ainsi que le traitement centralisé des données sur la détection et la reconnaissance des visages en exploitation industrielle.


Intel NUC dans un boîtier extérieur, IP66 avec module climatique

Schéma général d'inférence hybride

À titre d'inférence, trois types d'appareils sont généralement utilisés: un serveur dans un centre de données, des caméras avec un logiciel installé pour détecter et reconnaître des objets à l'intérieur, et des micro-ordinateurs d'une installation extérieure (auxquels les caméras sont connectées, par exemple, via un commutateur). De plus, à partir de plusieurs appareils (par exemple, 2 serveurs, 15 caméras, 30 micro-ordinateurs), l'agrégation et le stockage des données (événements) sont nécessaires.

Dans nos solutions, nous utilisons le schéma suivant d'agrégation et de stockage de données à l'aide de systèmes de stockage:


Le schéma général de l'inférence hybride