Les prothèses bioniques de la dernière génération sont généralement contrôlées à l'aide de signaux myoélectriques, qui résultent des contractions musculaires de la main humaine. La gestion d'une telle prothèse n'est pas facile: elle nécessite une certaine concentration et l'efficacité des actions réussies laisse beaucoup à désirer. Ce n'est pas facile de faire ce que vous voulez la première fois. En termes de précision des actions, ces prothèses sont loin des actions «intuitives» d'une vraie main vivante.
Ces dernières années, les chercheurs se sont principalement concentrés sur la précision de la reconnaissance des signaux myoélectriques, et la précision de la reconnaissance des mouvements des doigts individuels a atteint 90%. Mais pour un certain nombre de raisons techniques, l'utilisation massive de ces prothèses «intelligentes» est très limitée.
Un nouveau développement d' ingénieurs de l'Université de Newcastle (Royaume-Uni) propose une approche fondamentalement différente. Une main équipée d'une caméra vidéo reconnaît un objet devant lui et détermine la meilleure façon de l'attraper. Il agit automatiquement et presque instantanément, sans effort supplémentaire de la part de l'homme. En fait, la main bionique a sa propre vision.
Auparavant, les scientifiques ont expérimenté avec des caméras stéréo et divers algorithmes de reconnaissance d'objets. En parallèle, de nouveaux modèles de manipulateurs pour robots ont été créés - là, les technologies de vision par ordinateur sont très similaires aux prothèses bioniques pour l'homme. C'est dans le domaine de la robotique que les technologies les plus prometteuses de vision industrielle et de deep learning ont été testées.
Les ingénieurs de l'Université de Newcastle ont utilisé ces développements de leurs prédécesseurs et ont visé le système de vision industrielle à reconnaître le
type de capture pour des objets de différents types, et non basé sur une mesure spécifique de sa taille. C'est-à-dire que les objets après la formation du réseau neuronal sont classés précisément par type de capture et non par type ou catégorie d'objet. Les auteurs pensent qu'en raison d'une telle approche fondamentalement nouvelle, ils ont pu améliorer considérablement la vitesse du système, car il ignore les détails inutiles.
Pour comparaison: classification par catégorie d'objet (ci-dessus) ou par l'un des quatre types de capture (ci-dessous)Un réseau de neurones convolutionnels a été utilisé pour entraîner le système. Il s'est avéré que son architecture est parfaite pour ce type de tâche, à savoir pour les prothèses bioniques de la main. Par exemple, d'autres méthodes de vision industrielle ont rencontré des problèmes lorsqu'elles sont tombées sur des objets qui ne relevaient d'aucune des catégories connues. Mais l'identification d'objets inconnus est l'une des qualités les plus importantes d'une prothèse bionique à vision industrielle. Par conséquent, le réseau neuronal convolutif est idéalement adapté à une telle tâche.
Le système a été formé à la
banque d'images d'Amsterdam , où un grand nombre d'objets domestiques sont présents.
L'architecture d'un réseau neuronal convolutionnel à deux couches pour l'extraction et la classification des caractéristiques est illustrée ci-dessous.
Lors de tests sur de vrais patients porteurs de prothèses, le système a été testé sur 8 objets connus et 16 inconnus dans une position aléatoire. Les résultats pour les deux volontaires sont montrés dans les graphiques à gauche et à droite. Compte tenu des erreurs tolérées, la précision de reconnaissance et de capture des objets était respectivement de 88% et 87% pour les premier et deuxième volontaires.
Plus important encore, une telle prothèse bionique fonctionne presque en temps réel: le type de capture est sélectionné en millisecondes, contrairement à 0,75-24 secondes pour les bras bioniques, où la vision industrielle effectue la classification des objets. Même les meilleures prothèses bioniques de ce type,
CyberHand et
SmartHand, peuvent gérer la reconnaissance en 4 et 1 seconde, respectivement. Ils utilisent des ordinateurs puissants et affichent une précision de capture de 93% et 94%, respectivement. Bien que la précision y soit légèrement supérieure, la capture en temps réel ou avec une pause d'une seconde est une grande différence, il ne faut donc pas sous-estimer la réussite des ingénieurs biomédicaux britanniques. Il s'agit de la première main bionique qui peut saisir des objets «intuitivement», comme sans réfléchir. Une personne ne donne un signal avec un petit mouvement du muscle que l'objet doit être capturé - et une main intelligente avec un réseau neuronal fait rapidement le reste par elle-même.
L'article scientifique a été
publié le 3 mai 2017 dans la revue
Journal of Neural Engineering (doi: 10.1088 / 1741-2552 / aa6802).