Cree un clúster de alto rendimiento con 12 nodos NanoPi-Fire3 por menos de £ 100 (£ 550, incluidos doce Fire3)

Mi grupo anterior en Raspberry Pi 3 el año pasado atrajo mucho interés público, por lo que estoy tratando de hacer proyectos similares en otras excelentes computadoras de una sola placa en el mercado. FriendlyARM de China me envió muy generosamente 12 de sus últimas placas ARM NanoPi-Fire3 de 64 bits , cada una de las cuales tiene ocho SoC ARM A53 nucleares, que funcionan a 1,4 GHz, con Gigabit Ethernet.





El tamaño del racimo es 146.4 (w) × 151 (h) × 216 mm (d) y el peso es 1.67 kg.

¿Software para ejecutar en un clúster?

o ... ¿Por qué es necesario?

Los clústeres a menudo se usan para tareas que requieren muchos recursos (investigación médica, modelado meteorológico, inteligencia artificial / aprendizaje profundo, minería de criptomonedas) y / o servicios de alta disponibilidad (se usan nodos redundantes en caso de fallas de hardware). Este clúster es, por supuesto, lento desde el punto de vista de las supercomputadoras modernas, pero el pequeño sistema portátil es ideal para entrenar o desarrollar software distribuido, que luego puede transferirse a sistemas mucho más potentes.

Planeo escribir varios artículos para evaluar este clúster para minería y aprendizaje profundo.

Docker Swarm o Kubernetes parecen excelentes opciones para administrar un clúster, aunque todavía no los he probado.

NanoPi-Fire3 contra Raspberry Pi 3

NanoPi-Fire3 es mucho más avanzado en comparación con el Raspberry Pi 3, tanto en términos de rendimiento como de funciones, en un factor de forma más pequeño, al mismo tiempo aproximadamente al mismo precio:

	NanoPi-Fire3	Raspberry pi 3 modelo b
SoC	Octa-core ARM A53 S5P6818 @ 1.4 GHz	BRAZO de cuatro núcleos A53 BCM2837 @ 1.2 GHz
El recuerdo	1 GB DDR3	1 GB DDR2
GPU	Mali-400 MP4 500 megaciclos	Broadcom VideoCore IV 400 megaciclos
Red	1000 Mbps	100 Mbps
Wifi	no	802.11bgn
Bluetooth	no	4.1 + BLE
Almacenamiento	Tarjeta microSD	Tarjeta microSD
USB	1 conector 1 microUSB	4 conectores
Video	Micro HDMI 1.4a, RGB-LCD	HDMI, DSI
Interfaz de la cámara	DVP	CSI
Audio	no	3,5 mm
Tamaño	75 × 40 mm	85 × 56 mm
Nutrición	1.2 → 3.6 W 2A máx., MicroUSB	1.2 → 2.1 vatios 2.5 A máx., MicroUSB
Lanzamiento	4T 2017	Q1 2016
Precio (Reino Unido)	£ 34,30 1	£ 33,59
1 $ 35 para Fire3 + $ 5 de envío + 20% de IVA + 0% de derechos de importación = £ 34.30

Puntos de referencia

CPU

La mayoría de las computadoras modernas tienen procesadores de múltiples núcleos capaces de realizar dos o más tareas simultáneamente. Pueden ser diferentes aplicaciones (por ejemplo, un servidor web que procesa tres páginas web y una base de datos), o una tarea dividida en varios subprocesos para obtener la máxima velocidad (por ejemplo, un rastreador, compresión de archivos, etc.). Esta prueba del paquete hpcc usa todos los núcleos de CPU, probando efectivamente el rendimiento general del procesador en operaciones de coma flotante.


Linpack TPP v1.4.1 (solucionador de ecuaciones lineales). Número de MFLOPS (millones de operaciones de punto flotante por segundo)

La placa Fire3 tiene el doble de núcleos, una frecuencia de reloj más alta y una memoria más rápida: como resultado, el resultado es 6.6 veces mayor que en el Pi 3.

60,000 MFLOPS: no demasiados para los estándares de rendimiento actuales, pero ya en el año 2000 este grupo de 12 Fire3 se incluiría en el top 250 de las supercomputadoras más rápidas del mundo (!). Un grupo de cinco Fire3 funciona 8.2 veces más rápido que un grupo Pi 3 del mismo tamaño, lo que se explica por núcleos de CPU adicionales, memoria más rápida y una red mucho más rápida para intercambiar datos entre nodos.

La supercomputadora Cray C90 de 16 núcleos, lanzada en 1992, produjo 10,780 MFLOPS pero costó $ 30.5 millones, pesó 10.9 toneladas y necesitó 495 kW de potencia.

Configurar un clúster para obtener los máximos resultados es todo un arte: optimizar el compilador, configurar bibliotecas matemáticas, etc. Pero tomamos estimaciones del paquete hpcc estándar en Ubuntu 16.04.4, usando la configuración predeterminada.

Gráficos

Tanto Fire3 como Pi 3 usan GPU de cuatro núcleos para el procesamiento paralelo de grandes cantidades de datos en gráficos de computadora. Recientemente, también se han utilizado para informática especializada, como la minería de criptomonedas.


glmark2-es2 2014.03 (OpenGL ES 2.0). Calificación cuanto más mejor

La placa Fire3 en esta prueba resultó ser 7.5 veces más rápida que la Pi 3. Los resultados del clúster simplemente se escalan por la cantidad de nodos.

Al igual que con la CPU, hay muchas opciones para configurar gráficos compilando con diferentes controladores, etc. En esta prueba, acabamos de ejecutar el binario glmark2-es2 estándar en Ubuntu 16.04.4 usando la configuración predeterminada. Se inicia con el siguiente comando:

 sudo apt install glmark2-es2 glmark2-es2 --off-screen 

El renderizado obsoleto de OpenGL para Pi 3 es bastante débil, pero si cambia al renderizado experimental Mesa rpi-config través de rpi-config , obtendrá un rendimiento como Fire3.

La mayoría de los ARM de placa única tienen GPU relativamente antiguas que muestran un rendimiento muy modesto en comparación con los últimos teléfonos inteligentes emblemáticos, sin mencionar las PC de escritorio con costosas tarjetas gráficas de alta gama y enormes fuentes de alimentación. La GPU Mali-400 MP4 en Fire3 data de 2008, y Broadcom VideoCore-IV en Pi 3 data de 2010. Hay varios dispositivos de placa única más recientes, como el RockPro64 de PINE64, con GPU más potentes y nuevas (Mali-T860 MP4), mientras que el Samsung Galaxy S9 tiene la última generación Mali-G72 MP18.

Red

Estas pruebas verifican la velocidad real de transferencia de datos en iPerf entre dos placas conectadas a un conmutador Ethernet de 100 / 1000Mpbs.

iPerf v2.0.5 (TCP, 1000Mbps Ethernet, entre tarjetas), Mbps

Con la configuración predeterminada, la interfaz de 1000 Mbps en Fire3 muestra una gran diferencia de velocidad de 8,5 veces en comparación con la interfaz de 100 Mbps en el Pi 3.


Si desea aumentar el rendimiento de la red en la Raspberry Pi (anterior a la Pi 3 modelo B +), puede instalar un adaptador Gigabit USB Ethernet en lugar de la interfaz estándar incorporada. Aumentará la velocidad en 2,8 veces , pero debido a las limitaciones de USB2, seguirá siendo mucho más lenta que la interfaz real de 1000 Mbps. Esta interfaz de red está integrada en el nuevo modelo Pi 3 B +.

Rendimiento del clúster por vatio

Para evaluar el rendimiento por vatio, tomé los resultados de la prueba Linpack más altos en MFLOPS y los dividí por consumo de energía. Esta métrica se usa comúnmente para clasificar los sistemas informáticos .


MFLOPS por vatio

Un clúster Fire3 de cinco nodos es 5.8 veces más eficiente energéticamente que un clúster Pi 3 del mismo tamaño, aunque consume más energía al 100% de carga.

Los vatios se midieron al 100% de la carga para todo el clúster , incluidos los conmutadores de red, los ventiladores y las fuentes de alimentación. WiFi, Bluetooth, HDMI y más quedan en la configuración predeterminada.

La supercomputadora Cray C90, mencionada anteriormente, entregó solo 0.02 MFLOPS por vatio en 1992.

Diseño del cuerpo 3D

Cambié el diseño original del clúster Raspberry Pi en la versión gratuita de SketchUp , esbozando plantillas 3D NanoPi-Fire3, conmutadores de red, conectores, etc. Decidí no incluir ranuras de ventilación / parrillas en el modelo. El caso es exactamente del mismo tamaño que los grupos de cinco nodos: ¡la tarea era acomodar 12 placas, el doble de ventiladores y conmutadores Ethernet, así como todos los cables!





Descargar el archivo SKP para SketchUp 2013

Corte por láser

Utilizo el programa gratuito Inkscape : prepara modelos 2D para cargar en una cortadora láser. Los diferentes colores corresponden a diferentes niveles de potencia / velocidad del láser. Primero, los contornos se cortan a lo largo de las líneas verdes con agujeros para puertos, pernos y ventilación. Las muescas adicionales se indican en rosa para facilitar la eliminación de las partes frágiles. Luego, el texto y las líneas de color naranja se graban, y al final del panel se cortan a lo largo de los contornos azules.



Puede descargar archivos para cortar en una hoja de 600 × 400 × 3 mm, aunque yo mismo tomé diferentes paneles, ya sean transparentes o negros:

• Hoja SVG
• Hoja DXF

Una parte pequeña opcional es un difusor para un panel LED (¡muy brillante!) Que se puede cortar de acrílico mate o simplemente comprar el difusor oficial Pimoroni por tres libras.

Para obtener más información sobre el corte por láser y los sistemas de ensamblaje de la carcasa sin tornillos, consulte mi primer artículo .

Cambios de diseño en comparación con el clúster Pi 3

Aunque el caso permaneció exactamente del mismo tamaño, hice muchos cambios y mejoras:

• El diseño del riel de montaje horizontal se conserva, pero en Fire3 hay agujeros M3, para los cuales es más fácil encontrar piezas que para M2.5 en Pi. Y los agujeros están más cerca uno del otro porque el tamaño general de la placa es ligeramente más pequeño que el Pi. Apretar las tuercas de plástico a los rieles horizontales es un poco tedioso, y ¿me gustaría imprimir clips de plástico en una impresora 3D para sostener las tablas a lo largo de cada riel o hacer arandelas elásticas apretadas?
• Fuente de alimentación externa en lugar del concentrador USB interno : reemplacé la fuente de alimentación USB interna con una fuente de alimentación de CA sin ventilador fuera de la carcasa. Esto libera espacio en el interior (para más placas Fire3 y dos ventiladores) y debería ayudar con la disipación de calor. Cada Fire3 puede extraer un máximo de 2A, pero en realidad el clúster extraerá mucho menos, sin tener en cuenta los periféricos adicionales que se cuelgan en USB y GPIO.
• Dos cadenas microUSB en lugar de 12 cables separados : no había cables adecuados para la venta, así que hice mis propios cables en una "conexión en cadena" usando cables más cortos y más gruesos (clasificación 11A) y soldeé 12 conectores microUSB: como resultado, los cables tomaron muy poco espacio dentro de la caja ... más
• Dos ventiladores en lugar de uno : estaba seguro de que las placas Fire3 más potentes necesitarían una refrigeración mucho más activa, por lo que hice un lugar para dos ventiladores ultra silenciosos de 92 mm en la carcasa: el ventilador trasero aspira aire frío en la carcasa y la delantera expulsa aire caliente.
• Ventilador Silent 9 de Gelid Solutions en lugar de Nanoxia Deep Silence : estoy muy satisfecho con el rendimiento del ventilador Nanoxia (y su excelente soporte técnico), pero quería probar una opción más barata. Las juntas de goma de gel son más gruesas que la nanoxia, así que aumenté el diámetro de los orificios de montaje en la carcasa en 0,5 mm.
• Fuente de alimentación directa de 5V para ventiladores en lugar de 5V de GPIO : en grupos anteriores, los ventiladores se alimentaban desde la salida GPIO de una de las placas. Pero teniendo en cuenta la instalación de dos ventiladores en 12V, conecté un convertidor elevador con una línea directa desde la fuente de alimentación principal de la carcasa.
• Varios orificios de ventilación en lugar de un gran número : en lugar de cortar docenas de orificios de ventilación en toda la carcasa (lo que lleva tiempo), corté orificios solo en los paneles frontal y posterior, frente a los ventiladores. ¿Quizás esto optimiza el flujo de aire a través de la carcasa?
• Conectores USB en la carcasa : estos dos conectores USB integrados funcionaron bien en mi clúster original, pero nunca me gustaron debido a los largos cables que no se doblan normalmente. Así que ahora tomé dos puertos USB separados con cables cortos y conectores en ángulo, lo que deja más espacio dentro de la carcasa.
• No hay estante para conectar un concentrador USB : mover la fuente de alimentación al exterior simplificó el diseño de la carcasa, que ahora se puede cortar de una hoja de acrílico de 600 × 400 mm. Quitar el estante reduce la rigidez de la carcasa, pero si atornilla los rieles de montaje horizontales a los paneles laterales, entonces la rigidez es normal.
• Cables LAN planos en lugar de redondos : me gustaron los cables de red multicolores del proyecto RPi3, pero es muy difícil colocarlos dentro de la carcasa. Los cables planos se doblan mucho más fácilmente, lo que es aún más importante con un paquete de placas tan ajustado. Al principio probé cables de 25 cm, pero resultaron ser demasiado largos, pero los cables de 15 cm dejaron más espacio libre dentro de la caja.
• Cables de red azules en lugar de aburridos grises : el azul realmente colorea la estructura gris ... además el logotipo de FriendlyARM es azul con verde.
• Switch Gigabit en lugar de 10 Gigabit : Fire3 tiene puertos de red de 1000 Mbps (diez veces más rápido que Pi), por lo que es obvio que el switch debe ser de al menos 1000 Mbps. Un conmutador de diez gigabytes eliminará por completo el cuello de botella en este lugar: por lo que diez o más Fire3 podrán intercambiar datos con una red externa a toda velocidad. Sin embargo, tales interruptores siguen siendo caros (desde £ 200) y demasiado voluminosos. El conmutador NETGEAR GS110MX parece prometedor.
• Soportes de la placa de 4 mm en lugar de 6 mm : bajando la placa del interruptor, tenemos un poco más de espacio para el cableado y el intercambio de aire.
• Micro HDMI en lugar de HDMI : las placas Fire3 tienen conectores Micro HDMI, por lo que utilicé el cable Micro HDMI → HDMI más corto que pude encontrar (50 cm). Otra opción era un cable más corto con un adaptador HDMI → Micro HDMI separado, pero es voluminoso y puede bloquear uno de los puertos LAN.
• Paneles de plexiglás negros en lugar de transparentes : para "ocultar" dos ventiladores, pero dejando todos los componentes electrónicos en la vista lateral y superior. El panel frontal negro también llama la atención sobre el panel LED Unicorn.
• Panel LED de pHAT de Unicorn en lugar de simples LED en las placas : hay tantos nodos en el clúster que tiene sentido colocar en el panel frontal de la carcasa un monitoreo de estado visual que muestra la velocidad de la CPU, la temperatura, el disco y la actividad de la red para cada nodo ... más

Puede leer más sobre algunas decisiones de diseño en el clúster original de Pi.

Indicadores de estado del servidor con MQTT

Elegí el excelente panel LED Unicorn pHAT 32x RGB de Pimoroni para crear una colorida "pantalla de estado" del clúster. Muestra la carga del procesador, la temperatura, el disco y la actividad de la red para cada nodo. Estas placas de bajo costo generalmente se conectan directamente a los pines de Raspberry Pi, pero debe jugar un poco para conectarlas a otra placa. La biblioteca rpi_ws281x de Jeremy Garff utiliza un código PWM / DMA de bajo nivel muy inteligente específico para Raspberry Pi, por lo que cambié la biblioteca para usar un solo pin SPI para controlar los LED, lo que debería funcionar en casi cualquier hardware.



Unicorn pHAT se conecta a la placa con solo tres cables: + 5V, GND y SPI0 MOSI (pin 19). En el próximo artículo describiré en detalle cómo funciona todo esto. Los LED son muy brillantes, por lo que se ven mucho mejor detrás del difusor, que está unido al exterior de la carcasa con dos o cuatro tornillos M2.5. Puede cortar su propio difusor de acrílico mate o comprar un modelo Pimoroni con tornillos por £ 3.

El intermediario ligero (servidor) de Mosquitto MQTT (Transporte de telemetría de la cola de mensajes) controla el estado del clúster en el nodo del controlador. Cada nodo una vez por segundo le dice al corredor la velocidad actual del procesador, la temperatura, la actividad de la red, etc.

Potencia, temperatura y enfriamiento.

Sin carga, el sistema completo de doce Fire3, dos conmutadores de red y dos ventiladores de 7 V consume solo 24 vatios y a plena carga: 55 vatios.

¿Necesitas radiadores? Con el doble de núcleos, Fire3 SoC genera mucho más calor que Pi3, por lo que tener un disipador térmico es muy importante. Afortunadamente, FriendlyARM suministra un gran disipador térmico con grasa térmica que se monta de forma segura en la placa Fire3. Es mucho más grande que los radiadores para otros jugadores de una sola placa que vi en el mercado, y reduce perfectamente la temperatura de la piedra, pero los ventiladores aún no duelen.

El adaptador de corriente ofrece un máximo de 75 W (1.1 A en Fire3), por lo que los dispositivos USB externos (como los discos duros) probablemente requerirán una fuente de alimentación separada. Medimos la temperatura:

 cat /sys/devices/virtual/thermal/thermal_zone0/temp 

Vemos que el procesador sin carga se calienta hasta 39 ° C con enfriamiento de ambos ventiladores de 12V.

Con una carga del 100% con ventiladores, la temperatura alcanza una temperatura estable de 58 ° C:

 sysbench --test=cpu --cpu-max-prime=20000000 --num-threads=8 run & 

Sin ventiladores, la temperatura alcanza rápidamente los 80 ° C con una disminución automática de la frecuencia del reloj para evitar un mayor sobrecalentamiento. Los procesadores pueden funcionar a esta temperatura durante mucho tiempo sin ningún problema, pero no obtiene el máximo rendimiento.

Exactamente el mismo diseño de carcasa debería ser adecuado para los modelos NanoPi Fire2s y Fire2As, que no se calientan tanto como el Fire3, por lo que un ventilador es suficiente para ellos. Para enfriar un Fire3, es adecuado un ventilador mucho más pequeño, quizás de 40-60 mm.

Lo cual no es típico para las computadoras de una sola placa, Fire3 puede irse a dormir con un consumo de energía ultra bajo (aproximadamente 5 μA), lo que sugiere la idea de calmar y eliminar nodos individuales del sueño según sea necesario. Desafortunadamente, no hay soporte de Ethernet Wake-on-LAN, sino solo la configuración inflexible de "despertar después de X minutos" . Sin embargo, los tableros tienen un encabezado PWR . ¿Quizás se puede conectar para despertarse de forma remota desde el pin GPIO en el controlador?

Enfriamiento silencioso

Para enfriar el clúster, instalé dos ventiladores de 92 mm en la carcasa. Busqué los refrigeradores más silenciosos posibles calificando Quietpc.com , y la elección recayó en Gelid Silent 9 por £ 5.40.

Para escuchar al menos el menor ruido de un ventilador a 5V, debe acercar su oído a una distancia de 5-7 cm, y las almohadillas de goma del kit aíslan perfectamente la carcasa de cualquier vibración. Sin embargo, en los ventiladores de 12V son bastante audibles (20dBA) en una habitación tranquila. Por lo tanto, estaba buscando un voltaje que proporcionara suficiente enfriamiento, pero mantuve silencio. Usando un convertidor elevador, cambié la velocidad de los ventiladores, probando opciones de voltaje entre 5V y 12V.

Aficionados	Radiadores?	Sin carga	100% de carga	Rendimiento
Trasera 12V, 1500 rpm	si	42 ° C	66 ° C	Ok
Trasera 9V,? rpm	si	44 ° C	71 ° C	Ok
Trasera 7V,? rpm	si	46 ° C	75 ° C	reducción de frecuencia
Ambos 12V, 1500 rpm	si	39 ° C	58 ° C	Ok
Ambos 7V,? rpm	si	40 ° C	65 ° C	Ok
Ambos 5V,? rpm	si	46 ° C	77 ° C	reducción de frecuencia

(Aquí están las temperaturas promedio para diferentes nodos, es decir, a un promedio de 71 ° C, en realidad, dos tableros están cerca de una reducción de frecuencia de emergencia).

Me sorprendió que el segundo ventilador no afecte particularmente el resultado, y al final queda elegir entre un ventilador a 9V o dos a 7V, mientras que la segunda opción es un poco más fría y silenciosa. ¿Asumo que el segundo ventilador es más importante en una caja más grande y / o una ruta de flujo de aire más compleja dentro de la caja?

Cables de alimentación: saga de cinco piezas

Lo más difícil fue encontrar una buena solución para alimentar 12 nodos, dos conmutadores Ethernet y dos ventiladores. Traté de evitar muchos cables de soldadura y de fabricación propia ...

1. Los Fire3 se alimentan a través de microUSB, como un Pi, pero no encontré un concentrador USB de 12 puertos y 15A. Estaba considerando un concentrador de 6 puertos con seis divisores microUSB de doble cara o incluso dos concentradores USB de 6 puertos separados. Pero la primera opción no proporcionó suficiente energía para 12 nodos, y la segunda ocupó demasiado espacio dentro de la carcasa.
2. Con un "ladrillo" externo como fuente de CA, probé algunos divisores estándar de 8x y 6x. Los cables están diseñados para cámaras de vigilancia con conectores microUSB → DC angulados, pero ocupan mucho espacio (malo para el flujo de aire) y no están clasificados por la corriente, lo que conduce a una caída de voltaje en cada placa Fire3.
3. ¿Y si utiliza rieles de chasis de acero como conductor para 5V + GND? Esto no es tan loco como parece: cada riel tiene una baja resistencia de solo 0.5 ohmios y debe aislarse eléctricamente de los tableros. Pero no pude descubrir cómo hacer una conexión confiable desde cada placa al riel, de modo que pudieran desconectarse fácilmente en caso de reemplazar un nodo, etc.
4. Nueva esperanza? ¿Hay alguna forma de alimentar las placas que no sea soldar 12 cables microUSB caseros? Las placas Fire3 tienen puntos 5V + GND desocupados, como un encabezado UART. Sería más simple y más barato soldar un encabezado de dos pines a cada nodo y proporcionar energía utilizando conectores DuPont de dos pines ya preparados en lugar de microUSB. , , … .
5. (daisy-chain), 0,5 (11A, 6 ) microUSB. , , . , DC. , , .

Ambos conmutadores Ethernet también están alimentados por 5V, los conectores circulares de CC están soldados.

Construyendo un Fire3 Cluster

El proceso de compilación es similar al clúster ARM de 40 núcleos en el NanoPC-T3 , con solo más nodos, un conmutador de red adicional y un ventilador. Las placas Fire3 se colocan a una distancia de 20 mm a lo largo de rieles con roscas M3, cada una asegurada con ocho tuercas. Por belleza, pegué la placa del convertidor de refuerzo de 5V a 12V a la parte posterior del chasis y agregué pines para encender y apagar fácilmente los ventiladores. Algunos cables están enrutados y asegurados con pequeñas bridas. La pantalla LED Pimoroni está conectada a la placa del controlador a través de tres pines GPIO ... más .

Lista de materiales

La mayoría de los artículos provienen de diferentes vendedores en AliExpress o eBay, lo que aumenta considerablemente los gastos de envío. Si hay suficiente demanda de clusters, es más barato comprar piezas a granel.

Conmutador Edimax ES-5800G V3 Gigabit Ethernet (2 piezas)	£ 19,96
Cables planos 15 cm Cat6 LAN (12 piezas)	£ 6,79
Tornillos de acero M3 de 12 mm (8 de 10 piezas)	£ 1,45
Soporte de latón M3 de 4 mm (8 de 50 piezas)	£ 0,99
Conector DC de 5.5 / 2.1 mm (2 de 5 piezas)	£ 1,49
Cable de puente de 1 m rojo + negro	n / a
Cable de alimentación de 1 m de 2 núcleos y 0,5 mm (11 A) CC	£ 0,99
Conector de esquina soldado MicroUSB (12 de 20 piezas)	£ 1,63
Conector DC de 5.5 / 2.1mm para montaje en el chasis (2 de 10 piezas)	£ 0,65
Bloque de terminales 10A (4 de 12)	£ 1,29
PSU 100 W (5 V @ 20 A) sin ventilador, 5.5 / 2.1 mm + salida UK	£ 13,51
Montaje RJ45 con rosca para mamá y papá (2 piezas)	£ 1,74
Tornillos de acero M3 8 mm (4 de 5)	£ 1,25
M3 150 (8 .)	£9,20
M3 (120 150)	£1,73
Micro HDMI «» HDMI «» 50	£2,19
USB «» «» 25 (2 .)	£2.38
3 600×400	£5,32
5V-to-12V	£2,04
	n/a
92 Gelid Silent 9 (2 .)	£11,65
(4 10)	£1,75
Unicorn pHAT 32x RGB LED	£10,00
M2.5 10 (2−4 20)	£1,02
(10 .)	n/a
	£97,73
NanoPi-Fire3 $35 (12 .) 1	£383,38
microSDHC- SanDisk Industrial class 10 8 (12 .)	£62,16
Total	£543,27

¹ NanoPi-Fire3 se puede importar con franquicia arancelaria al Reino Unido, y el envío de 12 tableros desde China cuesta solo $ 29, pero teniendo en cuenta el IVA del Reino Unido del 20%, obtienes £ 383,38.

Clusters de otras computadoras de placa única

Hasta la fecha, también he construido:

• Un grupo casero de cinco Raspberry Pi 3
• Clúster ARM de 40 núcleos de NanoPC-T3
• Racimo de Five Orange Pi Plus 2e
• Grupo barato de cinco PINE A64 +
• ClusterHAT con cuatro Raspberry Pi Zero