El robot TIAGo aprendió a traer 20 tipos de cerveza del refrigerador

El robot reconoce la cerveza deseada entre 20 muestras.

Uno de los participantes en el concurso de sistemas de inteligencia artificial Nvidia Jetson Challenge encontró una aplicación extraordinaria del sistema de Inteligencia Artificial. Mientras que otros participantes trataron de utilizar la visión artificial en la salud, la seguridad, los sistemas de IoT industriales y las soluciones innovadoras de robótica, los desarrolladores alemanes le enseñaron a su robot PAL Robotics TIAGo ... ¡a traer cerveza del refrigerador!

El robot TIAGo gratuito ("gratuito" no en el sentido del libre albedrío, sino en el sentido del software de código abierto y el diseño publicado de algunos componentes para fabricación y ensamblaje independientes) de la compañía española PAL Robotics es un robot de servicio diseñado para servir a las personas en interiores. El software fue creado en el Sistema Operativo de Robot de marco abierto estándar (ROS), por lo que este modelo es ideal para diversas investigaciones y experimentos en el campo de la robótica.

La documentación detallada está disponible para TIAGo, incluidas las instrucciones de funcionamiento para OpenCV, PCL, navegación fuera de línea, MoveIt! y sistemas de interacción con las personas. Hay un simulador Gazebo listo para pruebas rápidas de algoritmos, diseño de robots, pruebas de regresión y capacitación de sistemas de visión artificial en escenarios realistas.

Un grupo de programadores alemanes, Rafael Memesheimer (líder del equipo), Lucas Buchhold (segmentación semántica) e Ivanna Mikhalchishina (manipulación), conectaron el robot TIAGo a una computadora modular Nvidia Jetson TX2 , especialmente diseñada para tareas de inteligencia artificial, incluida la visión artificial.


Nvidia Jetson TX2. Foto: Nvidia

Jetson TX2 es un módulo integrado de bajo consumo de energía para computación rápida con inteligencia artificial, basado en la arquitectura Pascal . Gracias a su factor de forma en miniatura, bajo consumo de energía de 7.5 vatios, es ideal para robots, drones, multicopter, cámaras inteligentes y dispositivos médicos portátiles, dijo el fabricante. El módulo está equipado con 8 GB de RAM, con un ancho de banda del bus de memoria de 59.7 GB / s. Como referencia, aquí están las especificaciones técnicas de Jetson TX2, así como el módulo Jetson TX1 más barato de la generación anterior basado en la arquitectura Maxwell.

	Jetson tx2	Jetson tx1
GPU	NVIDIA Pascal, 256 núcleos CUDA	NVIDIA Maxwell, 256 núcleos CUDA
CPU	HMP Dual Denver 2/2 MB L2 + Quad ARM A57 / 2 MB L2	Quad ARM A57 / 2 MB L2
Video	Codificación 4K x 2K 60 Hz (HEVC) Decodificación 4K x 2K 60 Hz (12 bits)	4K x 2K 30 Hz (HEVC) Decodificación 4K x 2K 60 Hz (10 bits)
El recuerdo	LPDDR4 de 128 GB y 8 GB 59,7 GB / s	LPDDR4 de 4 GB y 64 bits 25,6 GB / s
Display	2x DSI, 2x DP 1.2 / HDMI 2.0 / eDP 1.4	2x DSI, 1x eDP 1.4 / DP 1.2 / HDMI
CSI	Hasta 6 cámaras (dos líneas) CSI2 D-PHY 1.2 (2.5 Gbps por línea)	Hasta 6 cámaras (dos líneas) CSI2 D-PHY 1.1 (1.5 Gbit / s por línea)
Pcie	Gen 2 | 1x4 + 1x1 O 2x1 + 1x2	Gen 2 | 1x4 + 1x1
Conducir	32 GB eMMC, SDIO, SATA	16 GB eMMC, SDIO, SATA
Otros	CAN, UART, SPI, I2C, I2S, GPIO	UART, SPI, I2C, I2S, GPIO
USB	USB 3.0 + USB 2.0
Comunicación	1 Gigabit Ethernet, 802.11ac WLAN, Bluetooth
Dimensiones y mecánica	50 × 87 mm (conector de 400 pines para placas de conexión)

Estos juguetes cuestan $ 499 y $ 344, y completar con un kit de desarrollo es aún más caro (para instituciones educativas en los Estados Unidos y Canadá, un descuento de $ 300 ).

Entonces, sobre la base del robot TIAGo y el módulo Jetson TX2, los estudiantes alemanes desarrollaron un programa de control autónomo que encuentra el camino hacia el refrigerador, abre la puerta,



reconoce la cerveza utilizando la segmentación semántica de la red neuronal HomeNet ( código fuente ),



lo captura con un manipulador,



cierra la puerta



y la cerveza es llevada a la anfitriona.


Ahora, los estudiantes esperan seriamente recibir uno de los premios de la competencia: $ 10,000, una tarjeta de video NVIDIA TITAN Xp, un kit para desarrolladores Jetson TX2 o un curso gratuito en el Deep Learning Institute. A los finalistas de la competencia también se les pagarán los boletos para el GTC 2018 (GPU Technology Conference), una conferencia sobre innovaciones de GPU e Inteligencia Artificial, que se realizará del 25 al 29 de marzo en California.