Às vezes, as idéias surgem sem um estudo adequado no estágio inicial, e essas idéias, devido à credibilidade do autor, parecem muito promissoras para todos os membros da equipe. Então, há algum tempo, o grupo de empresas VIT e ComBox Technology teve a idéia de implementar um servidor baseado em muitos microcomputadores. O objetivo do servidor é a execução de redes neurais na CPU e GPU dos microcomputadores. O fator de forma estimado do futuro servidor é 1U, versão para montagem em rack. E tudo ficaria bem, apenas a idéia incluía refrigeração passiva, já que a emissão de calor anunciada dos microcomputadores propostos para uso era de 25 W. Na verdade, o microcomputador proposto para implementação foi o Intel NUC com um processador Intel Core i5 e uma GPU Iris Plus 655 integrada. 25 W, 1U, refrigeração passiva, um servidor - tudo isso parece encorajador, mas as nuances surgiram ainda mais.
Primeiramente, 8 computadores deveriam ser microcomputadores no servidor. Ou seja, a dissipação de calor proporcional ao consumo de energia já é igual a 25 * 8 = 200 watts. E já nesta fase não se pode dizer resfriamento passivo, mas o experimento foi continuado. Inclusive, por razões de maior adaptação da tecnologia para a execução de gabinetes externos. O desenvolvimento do hardware ocorreu em paralelo com o TOC no uso do software necessário. Utilizamos um complexo para a detecção e reconhecimento de placas e marcas / modelos de veículos VIT chamados EDGE. Como se viu, ao medir o consumo de energia a 100% da carga, o Intel NUC8i5BEK consome 46 watts em vez dos 25 declarados. Com essa abordagem, o consumo de energia e a dissipação de calor do servidor já se tornam 46 * 8 = 368 watts. E isso sem levar em consideração fontes de alimentação e componentes adicionais.
Como dissipador de calor, usamos chapas de cobre após retificação e gravação especial. Além disso, a placa de cobre emitia calor para o trocador de calor de alumínio na parte superior do servidor. Devido a erros nos cálculos, o trocador de calor ocupava 2/3 da tampa superior e estava localizado nos dois lados em paralelo com 4 microcomputadores nos lados esquerdo e direito do servidor. Na área central, havia uma fonte de 550 W na parte traseira e um roteador Mikrotik de 1 Gbit na frente.
Fase de design do servidor com base em 8 microcomputadoresE o resultado que acabou:
Servidor NUC com refrigeração passivaObviamente, esse projeto funcionou com carga média, mas a 100% continuou a aquecer lentamente e a fornecer uma parte significativa do calor ao meio ambiente. Mesmo dentro de um gabinete de servidor com um corredor quente e frio, o design inevitavelmente aquecia um "vizinho" mais alto. Reduzir o número de microcomputadores para 4 peças tornou possível estabilizar a temperatura de aquecimento e evitar a aceleração mesmo com carga de 100%, mas o problema de um “vizinho” mais alto permaneceu.
A pilha de soluções tecnológicas divergiu em duas direções:
- Arrefecimento passivo do Intel NUC8i5BEK no caso de uso externo
- Refrigeração a ar ativa no chassi do servidor 1U
Servidor 1U com 8 processadores Core i5 e 8 GPUs instaladas
Sim, sim, é muito e sim, é possível. Como você pergunta? Combinando vários microcomputadores dentro de um chassi de 1U no nível da rede através de um roteador. Especificamente, para a implementação de redes neurais e o processamento de fluxos RTSP recebidos, essa solução é ideal. Além disso, permite criar sistemas escaláveis com base em vários Docker, Docker Swarm e Ansible.
Durante o processo de desenvolvimento, tivemos que projetar várias versões diferentes:
Protótipo da decisão futura
A idéia original deixou dissipadores de calor de cobre e radiadores de alumínio comprovados, mas agora localizados diretamente em cada nó de computação dentro do gabinete. Além disso, para remover o calor, foram utilizados 2 ventiladores, instalados na frente de cada módulo de computação, direcionando o ar quente de um corredor frio para quente (da frente do servidor). Para o controle ativo do ventilador, foram desenvolvidas placas especiais que alteravam sua velocidade com base nos sensores de temperatura em cada microcomputador. Devido à falta de necessidade de PoE, o roteador foi privado de resfriamento ativo; passou para passivo com uma liberação de calor de não mais que 10 watts. A fonte de alimentação na primeira versão permaneceu 500 W, mas foi instalada em suportes especiais com possibilidade de substituição rápida, mas com falta de energia. Para monitorar o status dos nós de computação, uma indicação de 8 diodos foi adicionada no painel frontal.
Protótipo NUC Server da ComBox Technology, 8 CPU Core i5 e 8 GPU Iris Plus 655 no formato 1UCaracterísticas técnicas da primeira versão do servidor no Intel NUC:
- Intel NUC8i5BEK (sem caixa com um sistema de refrigeração modificado), 8 peças.
- Módulos de memória AMD Radeon R7 Performance DDR4 SO-DIMM, 8 GB, 8 pcs.
- Módulos de memória adicionais DDR4 SO-DIMM Kingston, 4 GB, 8 pcs.
- Unidade SSD M.2 WD Verde, 240Gb, 8 pcs.
- Caixa 1U (produção própria)
- MikroTik RB4011iGS + RM Router (sem caixa com um sistema de refrigeração modificado), 1 pc.
- Fios de conexão (cabos de conexão), 11 un.
- BP 94Y8187, 550 watts.
Como fica no processo de trabalho:
Versão de produção do servidor NUC
A versão de produção passou por mudanças significativas. Em vez de uma fonte de alimentação, 2 apareceram no servidor com a possibilidade de troca a quente. Utilizamos uma fonte de alimentação compacta de servidor de 600 W da Supermicro. Para os módulos de computação, surgiram pegadas especiais e a possibilidade de troca a quente sem desligar o servidor inteiro. Muitos loops de rede foram substituídos por barramentos fixos fixados nos assentos. O microcomputador da arquitetura Nano Pi ARM da FriendlyARM foi adicionado para gerenciar o servidor, para o qual o software foi escrito e instalado para verificar e monitorar o status dos nós de computação, reportando falhas e redefinição de hardware de nós de computação específicos via GPIO, se necessário. Os ventiladores na versão de produção são instalados atrás do painel frontal na direção do corredor frio em direção ao quente, e as aletas do trocador de calor de alumínio agora estão direcionadas para baixo, em vez de para cima, o que tornou acessível a memória e os discos de cada nó de computação.
Gabinete para área externa Intel NUC
Como os microcomputadores em si não são industriais, o uso em exteriores exige não apenas um caso, mas também condições climáticas apropriadas. Precisávamos de proteção contra poeira e umidade IP66, bem como operação de temperatura de -40 a +50 graus Celsius.
Testamos duas hipóteses para dissipação de calor eficiente: tubos de calor e placas de cobre como dissipador de calor. Este último mostrou-se mais eficaz, embora com uma área grande e soluções mais caras. Como trocador de calor, tudo também é usado dormentes de alumínio com as dimensões calculadas das nervuras.
Para iniciar o dispositivo em temperaturas abaixo de zero, usamos cerâmica para aquecimento. Para facilitar a operação e a implementação em vários campos, foram instaladas fontes de alimentação de uma ampla faixa de 6 a 36 V.
O principal objetivo do dispositivo resultante: a execução de redes neurais com uso intensivo de recursos nas imediações da fonte de dados. Tais tarefas incluem o cálculo do tráfego de passageiros em veículos (automóveis de passageiros, trens), bem como o processamento centralizado de dados sobre detecção e reconhecimento de faces em operações industriais.
Intel NUC em gabinete externo, IP66 com módulo climáticoEsquema Geral de Inferência Híbrida
Por inferência, geralmente são utilizados três tipos de dispositivos: um servidor em um datacenter, câmeras com software instalado para detectar e reconhecer objetos neles e microcomputadores de uma instalação externa (à qual as câmeras estão conectadas, por exemplo, por um comutador). Além disso, em vários dispositivos (por exemplo, 2 servidores, 15 câmeras, 30 microcomputadores), é necessária a agregação e armazenamento de dados (eventos).
Em nossas soluções, usamos o seguinte esquema de agregação e armazenamento de dados usando sistemas de armazenamento:
O esquema geral da inferência híbrida