Crie um cluster de alto desempenho com 12 nós NanoPi-Fire3 por menos de £ 100 (£ 550, incluindo doze Fire3)

Meu cluster anterior no Raspberry Pi 3 no ano passado atraiu muito interesse público, por isso estou tentando fazer projetos semelhantes em outros excelentes computadores de placa única no mercado. O FriendlyARM da China me enviou muito generosamente 12 de suas mais recentes placas ARM NanoPi-Fire3 de 64 bits , cada uma das quais com oito SoC ARM A53 nuclear, operando a 1,4 GHz, com Ethernet de gigabit.





O tamanho do cluster é 146,4 (w) × 151 (h) × 216 mm (d) e o peso é de 1,67 kg.

Software para executar em um cluster?

ou ... Por que é necessário?

Os clusters são frequentemente usados ​​para tarefas que consomem muitos recursos (pesquisa médica, modelagem climática, IA / aprendizado profundo, mineração de criptomoedas) e / ou serviços de alta disponibilidade (nós redundantes são usados ​​em caso de falhas de hardware). É claro que esse cluster é lento do ponto de vista dos supercomputadores modernos, mas o pequeno sistema portátil é ideal para treinar ou desenvolver software distribuído, que pode ser transferido para sistemas muito mais poderosos.

Planejo escrever vários artigos para avaliar esse cluster para mineração e aprendizado profundo.

O Docker Swarm ou o Kubernetes parecem ótimas opções para gerenciar um cluster, embora eu ainda não os tenha experimentado.

NanoPi-Fire3 vs. Raspberry Pi 3

O NanoPi-Fire3 é muito mais avançado em comparação com o Raspberry Pi 3, tanto em termos de desempenho quanto em termos de funções, em um fator de forma menor, ao mesmo tempo, aproximadamente ao mesmo preço:

	NanoPi-Fire3	Raspberry pi 3 modelo b
SoC	BRAÇO Octa-core A53 S5P6818 a 1,4 GHz	ARM quad-core A53 BCM2837 a 1,2 GHz
A memória	1 GB DDR3	1 GB DDR2
GPU	Mali-400 MP4 500 MHz	Broadcom VideoCore IV 400 MHz
Rede	1000 Mbps	100 Mbps
Wifi	não	802.11bgn
Bluetooth	não	4.1 + BLE
Armazenamento	Cartão microSD	Cartão microSD
USB	1 conector 1 microUSB	4 conectores
Vídeo	Micro HDMI 1.4a, RGB-LCD	HDMI, DSI
Interface da câmera	DVP	CSI
Áudio	não	3,5 mm
Tamanho	75 × 40 mm	85 × 56 mm
Nutrição	1,2 → 3,6 W 2A máx., MicroUSB	1,2 → 2,1 Watt 2,5A máx., MicroUSB
Lançamento	Quarto trimestre de 2017	1º trimestre de 2016
Preço (UK)	£ 34,30 1	£ 33.59
1 $ 35 para Fire3 + 5 $ frete + 20% de IVA + 0% de imposto de importação = £ 34,30

Benchmarks

CPU

A maioria dos computadores modernos possui processadores multinúcleo capazes de executar duas ou mais tarefas simultaneamente. Podem ser aplicativos diferentes (por exemplo, um servidor da Web que processa três páginas da Web e um banco de dados) ou uma tarefa dividida em vários threads para obter a velocidade máxima (por exemplo, um traçador de raios, compactação de arquivos etc.). Este teste do pacote hpcc usa todos os núcleos da CPU, testando efetivamente o desempenho geral do processador em operações de ponto flutuante.


Linpack TPP v1.4.1 (solucionador de equações lineares). Número de MFLOPS (milhões de operações de ponto flutuante por segundo)

A placa Fire3 tem o dobro de núcleos, uma freqüência de clock mais alta e memória mais rápida: como resultado, o resultado é 6,6 vezes maior que no Pi 3.

60.000 MFLOPS - não muitos pelos padrões de desempenho atuais, mas já em 2000 esse cluster de 12 Fire3 seria incluído nos 250 principais dos supercomputadores mais rápidos do mundo (!). Um cluster de cinco Fire3 é executado 8,2 vezes mais rápido que um cluster Pi 3 do mesmo tamanho, o que é explicado por núcleos de CPU adicionais, memória mais rápida e uma rede muito mais rápida para troca de dados entre nós.

O supercomputador Cray C90 de 16 núcleos, lançado em 1992, produziu 10.780 MFLOPS, mas custou US $ 30,5 milhões, pesou 10,9 toneladas e precisava de 495 kW de potência!

Configurar um cluster para obter o máximo de resultados é uma arte: otimizar o compilador, configurar bibliotecas de matemática etc. Mas tiramos estimativas do pacote hpcc padrão no Ubuntu 16.04.4, usando a configuração padrão.

Gráficos

Tanto o Fire3 quanto o Pi 3 usam GPUs de quatro núcleos para processamento paralelo de grandes quantidades de dados em gráficos de computador. Recentemente, eles também foram usados ​​para computação especializada, como mineração de criptomoedas.


glmark2-es2 2014.03 (OpenGL ES 2.0). Classificação quanto mais, melhor

A placa Fire3 neste teste mostrou ser 7,5 vezes mais rápida que o Pi 3. Os resultados do cluster são simplesmente redimensionados pelo número de nós.

Assim como na CPU, existem muitas opções para definir gráficos, compilando com diferentes drivers, etc. Neste teste, apenas executamos o binário glmark2-es2 padrão no Ubuntu 16.04.4 usando a configuração padrão. É iniciado com o seguinte comando:

 sudo apt install glmark2-es2 glmark2-es2 --off-screen 

A renderização desatualizada do OpenGL para Pi 3 é bastante fraca, mas se você alternar para a renderização experimental do Mesa rpi-config via rpi-config , obterá desempenho como o Fire3.

A maioria dos dispositivos de placa única ARM possui GPUs relativamente antigas que mostram um desempenho muito modesto em comparação com os mais recentes smartphones, para não mencionar os PCs desktop com placas gráficas topo de linha caras e enormes fontes de alimentação. A GPU Mali-400 MP4 no Fire3 data de 2008 e a Broadcom VideoCore-IV no Pi 3 data de 2010. Existem vários dispositivos de placa única mais recentes, como o RockPro64 da PINE64, com GPUs mais poderosas e mais recentes (Mali-T860 MP4), enquanto o Samsung Galaxy S9 possui a última geração do Mali-G72 MP18.

Rede

Esses testes verificam a velocidade real de transferência de dados no iPerf entre duas placas conectadas a um comutador Ethernet 100 / 1000Mpbs.

iPerf v2.0.5 (TCP, Ethernet de 1000Mbps, entre cartões), Mbps

Com as configurações padrão, a interface de 1000 Mbps no Fire3 mostra uma enorme diferença de velocidade de 8,5 vezes em comparação com a interface de 100 Mbps no Pi 3.


Se você deseja aumentar o desempenho da rede no Raspberry Pi (mais antigo que o Pi 3 modelo B +), pode instalar um adaptador USB Ethernet de gigabit em vez da interface interna padrão. Aumentará a velocidade em 2,8 vezes , mas devido às limitações do USB2, ainda será muito mais lento que a interface real de 1000 Mbps. Essa interface de rede está integrada no mais novo modelo Pi 3 B +.

Desempenho do cluster por watt

Para avaliar o desempenho por watt, tomei os resultados do teste Linpack mais altos no MFLOPS e dividi-os pelo consumo de energia. Essa métrica é comumente usada para classificar sistemas de computador .


MFLOPS por watt

Um cluster Fire3 de cinco nós é 5,8 vezes mais eficiente em termos de energia do que um cluster Pi 3 do mesmo tamanho, embora consuma mais energia com 100% de carga.

Os watts foram medidos com carga de 100% para todo o cluster , incluindo comutadores de rede, ventiladores e fontes de alimentação. WiFi, Bluetooth, HDMI e mais são deixados nas configurações padrão.

O supercomputador Cray C90, mencionado acima, entregou apenas 0,02 MFLOPS por watt em 1992.

Design do corpo 3D

Alterei o design original do cluster Raspberry Pi na versão gratuita do SketchUp , esboçando modelos 3D NanoPi-Fire3, comutadores de rede, conectores etc. Decidi não incluir aberturas / grades de ventilação no modelo. O gabinete tem exatamente o mesmo tamanho dos clusters de cinco nós: a tarefa era acomodar 12 placas, o dobro de ventiladores e comutadores Ethernet, além de todos os cabos!





Baixar arquivo SKP para o SketchUp 2013

Corte a laser

Uso o programa Inkscape gratuito: ele prepara modelos 2D para serem carregados em um cortador a laser. Cores diferentes correspondem a diferentes níveis de potência / velocidade do laser. Primeiro, os contornos são cortados ao longo das linhas verdes, com orifícios para orifícios, ferrolhos e ventilação. Entalhes adicionais são indicados em rosa para facilitar a remoção de peças frágeis. Em seguida, o texto e as linhas laranja são gravados e, no final do painel, são cortados ao longo dos contornos azuis.



Você pode fazer o download de arquivos para cortar em uma folha de 600 × 400 × 3 mm, embora eu próprio tenha escolhido painéis diferentes, folhas transparentes ou pretas:

• Folha SVG
• Folha DXF

Uma pequena parte opcional é um difusor para um painel de LED (muito brilhante!) Que pode ser recortado em acrílico fosco ou apenas comprar o difusor Pimoroni oficial por três libras.

Para obter mais informações sobre sistemas de corte a laser e montagem de caixas sem parafusos, consulte meu primeiro artigo .

Alterações de design comparadas ao cluster Pi 3

Embora o gabinete permanecesse exatamente do mesmo tamanho, fiz muitas alterações e melhorias:

• O design do trilho de montagem horizontal é preservado, mas no Fire3 existem orifícios M3, para os quais é mais fácil encontrar peças do que no M2.5 no Pi. E os furos estão mais próximos um do outro porque o tamanho geral da placa é um pouco menor que o Pi. Apertar as porcas de plástico nos trilhos horizontais é um pouco tedioso, e eu gostaria de imprimir clipes de plástico em uma impressora 3D para prender as placas ao longo de cada trilho ou fazer arruelas elásticas apertadas?
• Fonte de alimentação externa em vez do hub USB interno : Substituí a fonte de alimentação USB interna por uma fonte de alimentação CA sem ventilador fora do gabinete. Isso libera espaço no interior (para mais placas Fire3 e dois ventiladores) e deve ajudar na dissipação de calor. Cada Fire3 pode extrair no máximo 2A, mas, na realidade, o cluster extrai muito menos, sem levar em consideração os periféricos adicionais pendurados no USB e GPIO.
• Duas cadeias microUSB em vez de 12 cabos separados : não havia cabos adequados à venda; portanto, transformei meus próprios cabos em uma “cadeia em série” usando fios mais curtos e mais grossos (classificação 11A) e soldou 12 conectores microUSB: como resultado, os cabos foram muito pouco espaço dentro do gabinete ... mais
• Duas ventoinhas em vez de uma : eu tinha certeza de que as placas Fire3 mais poderosas precisariam de um resfriamento muito mais ativo, então criei um lugar para duas ventoinhas ultra silenciosas de 92 mm no gabinete: o ventilador traseiro aspira ar frio no gabinete e o frontal expele ar quente.
• Ventilador Gelid Solutions Silent 9 em vez de Nanoxia Deep Silence : Estou muito satisfeito com o desempenho do ventilador Nanoxia (e seu excelente suporte técnico), mas queria tentar uma opção mais barata. As gaxetas de borracha gelada são mais espessas que a Nanoxia, por isso aumentei o diâmetro dos furos de montagem na caixa em 0,5 mm.
• Fonte de alimentação direta de 5V para ventiladores em vez de 5V do GPIO : em clusters anteriores, os ventiladores eram alimentados pela saída GPIO de uma das placas. Mas, considerando a instalação de duas ventoinhas em 12V, conectei um conversor de expansão com uma linha direta da fonte de alimentação principal do gabinete.
• Vários orifícios de ventilação, em vez de um grande número : em vez de cortar dezenas de orifícios de ventilação em todo o gabinete (o que leva tempo), só faço orifícios nos painéis frontal e traseiro, em frente aos ventiladores. Talvez isso otimize o fluxo de ar através da caixa?
• Conectores USB no gabinete : esses dois conectores USB integrados funcionaram bem no meu cluster original, mas nunca gostei deles por causa dos cabos longos que não dobram normalmente. Então agora peguei duas portas USB separadas com cabos curtos e conectores em ângulo, o que deixa mais espaço dentro do gabinete.
• Não há prateleira para conectar um hub USB : mover a fonte de alimentação para o exterior simplificou o design do gabinete, que agora pode ser cortado de uma folha de acrílico 600 × 400 mm. A remoção da prateleira reduz a rigidez da caixa, mas se você parafusar os trilhos de montagem horizontal nos painéis laterais, a rigidez será normal.
• Cabos LAN planos em vez de redondos : gostei dos cabos de rede multicoloridos do projeto RPi3, mas é muito difícil colocá-los dentro do gabinete. Os cabos planos dobram-se muito mais facilmente, o que é ainda mais importante com um pacote tão apertado de placas. No começo, tentei cabos de 25 cm, mas eles eram muito longos, mas os cabos de 15 cm deixaram mais espaço livre dentro do gabinete.
• Cabos de rede azuis em vez de cinzentos : o azul realmente colore a estrutura cinza ... mais o logotipo FriendlyARM é azul com verde.
• Switch Gigabit em vez de 10 Gigabit : Fire3 possui portas de rede de 1000 Mbps (dez vezes mais rápido que Pi), portanto, é óbvio que o switch deve ter pelo menos 1000 Mbps. Um switch de dez gigabytes eliminará completamente o gargalo neste local: assim, dez ou mais Fire3s poderão trocar dados com uma rede externa em velocidade máxima. No entanto, esses comutadores ainda são caros (de £ 200) e muito volumosos. O switch NETGEAR GS110MX parece promissor.
• Suportes de placa de 4 mm em vez de 6 mm : diminuindo a placa de interruptores, temos um pouco mais de espaço para cabeamento e troca de ar.
• Micro HDMI em vez de HDMI : as placas Fire3 possuem conectores Micro HDMI, então usei o menor cabo Micro HDMI → HDMI que encontrei (50 cm). Outra opção era um cabo mais curto com um adaptador HDMI → Micro HDMI separado, mas é volumoso e pode bloquear uma das portas LAN.
• Painéis de plexiglass preto em vez de transparentes : para "esconder" duas ventoinhas, mas deixar todos os componentes eletrônicos na vista lateral e superior. O painel frontal preto também chama a atenção para o painel LED Unicorn.
• Painel de LEDs pHAT unicórnio em vez de simples LEDs nas placas : há tantos nós no cluster que faz sentido colocar no painel frontal do gabinete um monitoramento visual de status que mostra a velocidade da CPU, temperatura, disco e atividade de rede para cada nó ... mais

Você pode ler mais sobre algumas decisões de design no cluster Pi original.

Indicadores de Status do Servidor com MQTT

Escolhi o excelente painel LEDs Unicorn pHAT 32x RGB da Pimoroni para criar uma "exibição de status" colorida do cluster. Ele mostra a carga do processador, temperatura, disco e atividade da rede para cada nó. Essas placas de baixo custo geralmente se conectam diretamente aos pinos do Raspberry Pi, mas você precisa mexer um pouco para conectá-las a outra placa. A biblioteca rpi_ws281x de Jeremy Garff usa um código PWM / DMA de baixo nível muito inteligente, específico para o Raspberry Pi, então mudei a biblioteca para usar um único pino SPI para controlar os LEDs, que devem funcionar em praticamente qualquer hardware.



O Unicorn pHAT está conectado à placa com apenas três fios: + 5V, GND e SPI0 MOSI (pino 19). No próximo artigo, descreverei em detalhes como tudo isso funciona. Os LEDs são muito brilhantes e, portanto, ficam muito melhores atrás do difusor, que é anexado à parte externa do gabinete com dois ou quatro parafusos M2.5. Você pode cortar seu próprio difusor em acrílico fosco ou comprar um modelo Pimoroni com parafusos por 3 libras.

O estado do cluster no nó do controlador é controlado pelo broker leve (servidor) do Mosquitto MQTT (Transporte de Telemetria da Fila de Mensagens). Cada nó, uma vez por segundo, informa ao broker a velocidade atual do processador, temperatura, atividade da rede etc.

Potência, temperatura e refrigeração

Sem carga, todo o sistema de doze Fire3s, dois comutadores de rede e duas ventoinhas de 7V consome apenas 24 watts e em carga máxima - 55 watts.

Você precisa de radiadores? Com o dobro do número de núcleos, o Fire3 SoC gera muito mais calor que o Pi3, portanto, ter um dissipador de calor é muito importante. Felizmente, o FriendlyARM fornece um grande dissipador de calor com graxa térmica que é montada com segurança na placa Fire3. É muito maior que os radiadores para outros jogadores de mesa única que eu vi no mercado e reduz perfeitamente a temperatura da pedra, mas os fãs ainda não machucam.

O adaptador de energia fornece no máximo 75 W (1,1 A no Fire3); portanto, os dispositivos USB externos (como discos rígidos) provavelmente exigirão uma fonte de energia separada. Medimos a temperatura:

 cat /sys/devices/virtual/thermal/thermal_zone0/temp 

Vemos que o processador sem carga aquece até 39 ° C com o resfriamento das duas ventoinhas de 12V.

A uma carga de 100% com ventiladores, a temperatura atinge um estável 58 ° C:

 sysbench --test=cpu --cpu-max-prime=20000000 --num-threads=8 run & 

Sem ventiladores, a temperatura atinge rapidamente 80 ° C com um abaixamento automático da frequência do relógio para evitar superaquecimento. Os processadores podem funcionar nessa temperatura por um longo período sem problemas, mas você não obtém desempenho máximo.

Exatamente o mesmo design de gabinete deve ser adequado para os modelos NanoPi Fire2s e Fire2As, que não esquentam tanto quanto o Fire3, para que um ventilador seja suficiente para eles. Para resfriar um Fire3, é adequado um ventilador muito menor, talvez 40-60 mm.

O que não é típico para computadores de placa única, o Fire3 pode dormir com consumo de energia ultrabaixo (cerca de 5 μA), o que sugere a idéia de embalar e remover nós individuais do sono, conforme necessário. Infelizmente, não há suporte para Wake-on-LAN Ethernet, mas apenas a configuração inflexível de "ativação após X minutos" . No entanto, as placas têm um cabeçalho PWR . Talvez ele possa ser conectado para acordar remotamente do pino GPIO no controlador?

Arrefecimento silencioso

Para resfriar o cluster, instalei duas ventoinhas de 92 mm no gabinete. Procurei os coolers mais silenciosos possíveis classificando Quietpc.com , e a escolha caiu no Gelid Silent 9 por £ 5,40.

Para ouvir pelo menos o menor ruído de um ventilador a 5V, você precisa aproximar seu ouvido a uma distância de 5 a 7 cm, e as almofadas de borracha do kit isolam perfeitamente o estojo de qualquer vibração. No entanto, em 12V, os fãs são bastante audíveis (20dBA) em uma sala silenciosa. Portanto, eu estava procurando por uma voltagem que proporcionasse refrigeração suficiente, mas mantivesse o silêncio. Usando um conversor de impulso, mudei a velocidade dos ventiladores, tentando opções de tensão entre 5V e 12V.

Fãs	Radiadores?	Sem carga	100% de carga	Desempenho
12V traseiro, 1500 rpm	sim	42 ° C	66 ° C	Ok
9V traseiro,? rpm	sim	44 ° C	71 ° C	Ok
7V traseiro,? rpm	sim	46 ° C	75 ° C	redução de frequência
Ambos 12V, 1500 rpm	sim	39 ° C	58 ° C	Ok
Ambos 7V,? rpm	sim	40 ° C	65 ° C	Ok
Ambos 5V,? rpm	sim	46 ° C	77 ° C	redução de frequência

(aqui estão as temperaturas médias para diferentes nós, ou seja, a uma média de 71 ° C, na realidade, duas placas estão próximas de uma redução de frequência de emergência).

Fiquei surpreso que o segundo ventilador não afeta particularmente o resultado e, no final, resta escolher entre um ventilador a 9V ou dois a 7V, enquanto a segunda opção é um pouco mais fria e silenciosa. Presumo que o segundo ventilador seja mais importante em um gabinete maior e / ou em um caminho de fluxo de ar mais complexo dentro do gabinete?

Cabos de alimentação: Saga de cinco peças

O mais difícil foi encontrar uma boa solução para alimentar 12 nós, dois comutadores Ethernet e dois ventiladores. Tentei evitar muitos cabos de solda e de fabricação própria ...

1. Fire3s são alimentados via microUSB, como um Pi, mas não encontrei um hub USB de 12 portas e 15A. Eu estava pensando em um hub de 6 portas com seis divisores microUSB de dois lados ou até dois hubs USB de 6 portas separados. Mas a primeira opção não forneceu energia suficiente para 12 nós e a segunda ocupou muito espaço dentro do gabinete.
2. Com um "bloco" externo como fonte CA, tentei alguns divisores 8x e 6x padrão. Os cabos foram projetados para câmeras de vigilância com conectores microUSB → DC angulares, mas ocupam muito espaço (ruim para o fluxo de ar) e não são classificados pela corrente, o que leva a uma queda de tensão em cada placa Fire3.
3. E se você usar trilhos de chassi de aço como condutor para 5V + GND ?! Isso não é tão louco quanto parece: cada trilho tem uma baixa resistência de apenas 0,5 Ohms e deve ser eletricamente isolado das placas. Mas não consegui descobrir como fazer uma conexão confiável de cada placa ao trilho, para que elas pudessem ser desconectadas facilmente no caso de substituir um nó, etc.
4. Nova esperança? Existe alguma maneira de alimentar as placas além de soldar 12 cabos microUSB caseiros? As placas Fire3 desocuparam pontos 5V + GND, como um cabeçalho UART. Seria mais simples e mais barato soldar um cabeçalho de dois pinos em cada nó e fornecer energia usando conectores DuPont de dois pinos prontos em vez do microUSB. , , … .
5. (daisy-chain), 0,5 (11A, 6 ) microUSB. , , . , DC. , , .

Os dois switches Ethernet também são alimentados por 5V, os conectores circulares DC são soldados.

Construindo um cluster Fire3

O processo de construção é semelhante ao cluster ARM de 40 núcleos no NanoPC-T3 , com apenas mais nós, um comutador de rede adicional e um ventilador. As placas Fire3 são colocadas a uma distância de 20 mm ao longo dos trilhos com roscas M3, cada uma presa com oito porcas. Para maior beleza, colei a placa do conversor de 5V a 12V na parte traseira do chassi e adicionei pinos para ligar e desligar os ventiladores com facilidade. Alguns cabos são roteados e presos com pequenas abraçadeiras. O display LED Pimoroni é conectado à placa controladora através de três pinos GPIO ... mais .

Lista de materiais

A maioria dos itens é proveniente de diferentes vendedores no AliExpress ou no eBay, o que aumenta muito o envio. Se houver demanda suficiente por clusters, é mais barato comprar peças a granel.

Comutador Ethernet Edimax ES-5800G V3 Gigabit (2 unid.)	£ 19.96
Cabos planos 15 cm Cat6 LAN (12 unid.)	£ 6.79
Parafusos de aço M3 12 mm (8 de 10 peças)	£ 1.45
Suporte de latão M3 de 4 mm (8 de 50 peças).	£ 0.99
Conector DC de 5,5 / 2,1 mm (2 de 5 peças).	£ 1.49
Fio de ponte de 1 m vermelho + preto	n / a
Cabo de alimentação de 1 m 2 núcleos 0,5 mm (11A) DC	£ 0.99
Conector de canto soldado MicroUSB (12 de 20 unid.)	£ 1.63
Conector DC de 5,5 / 2,1 mm para montagem no chassi (2 de 10 peças).	£ 0.65
Bloco de terminais 10A (4 de 12)	£ 1,29
PSU 100 W (5 V a 20 A) sem ventilador, 5,5 / 2,1 mm + tomada UK	£ 13.51
Montagem RJ45 com rosca para mamãe e papai (2 unid.)	£ 1,74
Parafusos de aço M3 8 mm (4 de 5)	£ 1,25
M3 150 (8 .)	£9,20
M3 (120 150)	£1,73
Micro HDMI «» HDMI «» 50	£2,19
USB «» «» 25 (2 .)	£2.38
3 600×400	£5,32
5V-to-12V	£2,04
	n/a
92 Gelid Silent 9 (2 .)	£11,65
(4 10)	£1,75
Unicorn pHAT 32x RGB LED	£10,00
M2.5 10 (2−4 20)	£1,02
(10 .)	n/a
	£97,73
NanoPi-Fire3 $35 (12 .) 1	£383,38
microSDHC- SanDisk Industrial class 10 8 (12 .)	£62,16
	£543,27

^{1 O} NanoPi-Fire3 pode ser importado com isenção de direitos para o Reino Unido, e o envio de 12 placas da China custa apenas US $ 29, mas, considerando o IVA do Reino Unido de 20%, você recebe £ 383,38.

Clusters de outros computadores de placa única

Até o momento, eu também construí:

• Um conjunto caseiro de cinco Raspberry Pi 3
• Cluster ARM de 40 núcleos do NanoPC-T3
• Conjunto de cinco Orange Pi Plus 2e
• Conjunto barato de cinco PINE A64 +
• ClusterHAT com quatro Raspberry Pi Zero