Le nouveau système vous permet de traduire la langue des signes en texte

Des chercheurs de la Texas A&M University travaillent sur un système miniature qui convertit la langue des signes en texte. L'idée du projet est quelque peu différente de ce que font les grandes entreprises comme Google. Au lieu de développer un logiciel de type Babelfish qui traduit la parole d'une langue à une autre, le nouvel appareil vous permet de transformer les contractions musculaires en mots.

Le système comprend des capteurs pour suivre le mouvement de l'avant-bras, de l'épaule et du poignet. Les développeurs ont également placé ici un capteur EMG (électromyographie), qui reconnaît les signaux générés par les muscles du poignet. Les informations collectées sont ensuite décodées et transmises sans fil à un téléphone ou un PC.

«Nous décodons l'activité musculaire en collectant les signaux qu'ils génèrent au poignet. Certains signaux sont générés par des abréviations involontaires et aléatoires, tandis que d'autres surviennent en raison de gestes significatifs - par exemple, à la suite d'une communication entre une personne sourde-muette utilisant la langue des signes », a commenté le professeur Roozbeh Jafari, un représentant de l'équipe de développement.

L'objectif du projet est de créer un appareil miniature (l'idéal est une montre) et un logiciel connexe qui vous permet de convertir des signaux musculaires en phrases entières, et pas seulement en mots simples. Le prototype, créé par une équipe de chercheurs, est déjà capable de ce dernier.

Ces montres intelligentes devraient être suffisamment puissantes pour effectuer les calculs nécessaires. De plus, l'appareil doit avoir un haut-parleur à travers lequel l'interlocuteur d'une personne malentendante ou sourde-muette pourrait entendre la «traduction» de la langue des signes par un ordinateur. Cela peut être un moyen de communication légèrement plus lent que la parole ordinaire, mais plus précisément plus pratique que la communication utilisant les outils existants.

«Lorsque vous allumez le système pour la première fois, il fonctionne avec un certain niveau de précision. Mais lorsque vous travaillez avec le système de plus près, il apprend, reconnaît les caractéristiques du corps du propriétaire et devient plus précis », explique le professeur.

Thalmic Labs, développeur de bracelet Myo récemment, a créé un système qui a permis à un homme de contrôler son bras prothétique à l'aide de la pensée. Le transfert de données dans un tel système a été effectué via Bluetooth.

Source: https://habr.com/ru/post/fr387363/