Capturer le signal d'activité musculaire dans un système d'apprentissage automatique

Il y a environ six mois, j'ai eu l'idée de créer un cadre ouvert pour les interfaces neuronales.


Dans cette vidéo, la capture d'un signal musculaire EMG se produit à l'aide d'un capteur EMG à huit canaux sur l'avant-bras. Ainsi, nous éliminons à travers la peau un schéma d'activation non crypté, renforcé par les muscles, des motoneurones.

Le signal brut du capteur via Bluetooth va à l' application Android / Android Things .

Pour entraîner le système, nous assignerons une classe de mouvement à un geste de la main spécifique. Par exemple, si nous avons besoin de l'état d'arrêt, ainsi que de la rotation de deux moteurs dans deux directions, nous enregistrerons cinq gestes au total. Nous collectons tout dans des fichiers et l'envoyons pour étudier sur le réseau neuronal . A l'entrée du réseau, nous avons une activité nerveuse, à la sortie, une classe de mouvement reconnue.

Exemple d'architecture de réseau Keras:

model = Sequential() # 8     8   model.add(Dense(36, activation='relu', input_dim=64)) model.add(Dense(20, activation='relu')) model.add(Dropout(0.2)) model.add(Dense(16, activation='relu')) # 5   model.add(Dense(5, activation='softmax')) sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy']) 

https://www.kaggle.com/kyr7plus/naive-classifier

Un serveur est utilisé pour communiquer l'application et le réseau neuronal. La solution client-serveur facilite la création de scripts d'apprentissage automatique à l'aide de TensorFlow, sans changer le code de l'application et en évitant les réinstallations constantes pendant le débogage.

Vous pouvez utiliser les classificateurs résultants à l'aide de TFLite ou TF Serving

Le code système est ici

Dans les plans futurs:

• Création d'un capteur EMG multicanal open source fonctionnant via USB
• Expériences d'apprentissage automatique pour améliorer la fiabilité de la gestion

Mon ami Garastard parle de nos aventures Android avec des interfaces neuronales dans cet article .