Captura do sinal de atividade muscular no sistema de aprendizado de máquina

Cerca de seis meses atrás, tive a idéia de criar uma estrutura aberta para interfaces neurais.


Neste vídeo, a captura de um sinal muscular EMG ocorre usando um sensor EMG de oito canais no antebraço. Assim, removemos através da pele um padrão de ativação dos neurônios motores, não-criptografado e aprimorado pelos músculos.

O sinal bruto do sensor via Bluetooth vai para o aplicativo Android / Android Things .

Para treinar o sistema, atribuiremos uma classe de movimento a um gesto específico da mão. Por exemplo, se precisarmos do estado "stop", bem como da rotação de dois motores em duas direções, gravaremos cinco gestos no total. Coletamos tudo em arquivos e os enviamos para estudar na rede neural . Na entrada da rede, temos atividade nervosa, na saída, uma classe reconhecida de movimento.

Exemplo de arquitetura de rede Keras:

model = Sequential() # 8     8   model.add(Dense(36, activation='relu', input_dim=64)) model.add(Dense(20, activation='relu')) model.add(Dropout(0.2)) model.add(Dense(16, activation='relu')) # 5   model.add(Dense(5, activation='softmax')) sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy']) 

https://www.kaggle.com/kyr7plus/naive-classifier

Um servidor é usado para comunicar o aplicativo e a rede neural. A solução cliente-servidor facilita o script do aprendizado de máquina usando o TensorFlow, sem alterar o código do aplicativo e evitando reinstalações constantes durante a depuração.

Você pode usar os classificadores resultantes usando TFLite ou TF Serving

O código do sistema está aqui

Nos planos futuros:

• Criação de sensor EMG multicanal de código aberto funcionando via USB
• Experiências de aprendizado de máquina para melhorar a confiabilidade do gerenciamento

Meu amigo garastard fala sobre nossas aventuras no Android com interfaces neurais neste artigo .