Le robot TIAGo a appris à apporter 20 types de bière du réfrigérateur

Le robot reconnaît la bière souhaitée parmi 20 échantillons

L'un des participants au concours de systèmes Nvidia Jetson Challenge AI a trouvé une application extraordinaire du système d'intelligence artificielle. Alors que d'autres participants ont essayé d'utiliser la vision industrielle dans les soins de santé, la sécurité, les systèmes IoT industriels et les solutions robotiques innovantes, les développeurs allemands ont appris à leur robot PAL Robotics TIAGo ... à apporter de la bière du réfrigérateur!

Le robot TIAGo gratuit («gratuit» non pas dans le sens du libre arbitre, mais dans le sens d'un logiciel open source et de la conception publiée de certains composants pour une fabrication et un assemblage indépendants) de la société espagnole PAL Robotics est un robot de service conçu pour servir les personnes à l'intérieur. Le logiciel a été créé sur le système d'exploitation robotique (ROS) à cadre ouvert standard, ce modèle est donc idéal pour diverses recherches et expériences dans le domaine de la robotique.

Une documentation détaillée est disponible pour TIAGo, y compris des instructions d'utilisation pour OpenCV, PCL, la navigation hors ligne, MoveIt! et les systèmes d'interaction avec les gens. Il existe un simulateur de gazebo prêt à l'emploi pour les tests rapides d'algorithmes, la conception de robots, les tests de régression et la formation de systèmes de vision industrielle dans des scénarios réalistes.

Un groupe de programmeurs allemands - Rafael Memesheimer (chef d'équipe), Lucas Buchhold (segmentation sémantique) et Ivanna Mikhalchishina (manipulation) - ont connecté le robot TIAGo à un ordinateur modulaire Nvidia Jetson TX2 , spécialement conçu pour le calcul de tâches d'IA, y compris la vision industrielle .


Nvidia Jetson TX2. Photo: Nvidia

Jetson TX2 est un module intégré économe en énergie pour le calcul rapide de l'IA, basé sur l' architecture Pascal . Grâce à son facteur de forme miniature, sa faible consommation d'énergie de 7,5 watts, il est idéal pour les robots, drones, multicoptères, caméras intelligentes et appareils médicaux portables, a déclaré le fabricant. Le module est équipé de 8 Go de RAM, avec une bande passante de bus mémoire de 59,7 Go / s. Pour référence, voici les spécifications techniques de Jetson TX2, ainsi que le module Jetson TX1 moins cher de la génération précédente basé sur l'architecture Maxwell.

	Jetson tx2	Jetson tx1
GPU	NVIDIA Pascal, 256 cœurs CUDA	NVIDIA Maxwell, 256 cœurs CUDA
CPU	HMP Dual Denver 2/2 Mo L2 + Quad ARM A57 / 2 MB L2	Quad ARM A57 / 2 MB L2
Vidéo	Encodage 4K x 2K 60 Hz (HEVC) Décodage 4K x 2K 60 Hz (12 bits)	4K x 2K 30 Hz (HEVC) Décodage 4K x 2K 60 Hz (10 bits)
La mémoire	8 Go 128 bits LPDDR4 59,7 Go / s	4 Go 64 bits LPDDR4 25,6 Go / s
Affichage	2x DSI, 2x DP 1.2 / HDMI 2.0 / eDP 1.4	2x DSI, 1x eDP 1.4 / DP 1.2 / HDMI
CSI	Jusqu'à 6 caméras (deux lignes) CSI2 D-PHY 1.2 (2,5 Gbit / s par ligne)	Jusqu'à 6 caméras (deux lignes) CSI2 D-PHY 1.1 (1,5 Gbit / s par ligne)
Pcie	Gen 2 | 1x4 + 1x1 OU 2x1 + 1x2	Gen 2 | 1x4 + 1x1
Conduire	32 Go eMMC, SDIO, SATA	16 Go eMMC, SDIO, SATA
Autre	CAN, UART, SPI, I2C, I2S, GPIO	UART, SPI, I2C, I2S, GPIO
USB	USB 3.0 + USB 2.0
La communication	1 Gigabit Ethernet, 802.11ac WLAN, Bluetooth
Dimensions et mécanique	50 × 87 mm (connecteur 400 broches pour les cartes de connexion)

Ces jouets coûtent 499 $ et 344 $, et complets avec un kit de développement sont encore plus chers (pour les établissements d'enseignement aux États-Unis et au Canada, une remise de 300 $ ).

Ainsi, sur la base du robot TIAGo et du module Jetson TX2, les étudiants allemands ont développé un programme de contrôle autonome qui trouve le chemin vers le réfrigérateur, ouvre la porte,



reconnaît la bière à l'aide de la segmentation sémantique du réseau neuronal HomeNet ( code source ),



le capture avec un manipulateur,



ferme la porte



et la bière est apportée à l'hôtesse.


Maintenant, les étudiants s'attendent sérieusement à recevoir l'un des prix du concours - 10 000 $, une carte vidéo NVIDIA TITAN Xp, un kit de développement Jetson TX2 ou un cours gratuit au Deep Learning Institute. Les finalistes du concours recevront également des billets pour le GTC 2018 (GPU Technology Conference) - une conférence sur les innovations GPU et l'intelligence artificielle, qui se tiendra du 25 au 29 mars en Californie.