Sistem baru memungkinkan Anda untuk menerjemahkan bahasa isyarat ke dalam teks

Para peneliti di Texas A&M University sedang mengerjakan sistem miniatur yang mengubah bahasa isyarat menjadi teks. Ide proyek agak berbeda dari apa yang dilakukan perusahaan besar seperti Google. Alih-alih mengembangkan perangkat lunak mirip Babelfish yang menerjemahkan ucapan dari satu bahasa ke bahasa lain, perangkat baru ini memungkinkan Anda mengubah kontraksi otot menjadi kata-kata.

Sistem ini mencakup sensor untuk melacak pergerakan lengan bawah, bahu, dan pergelangan tangan. Para pengembang juga menempatkan di sini sensor EMG (elektromiografi), yang mengenali sinyal yang dihasilkan oleh otot-otot pergelangan tangan. Informasi yang dikumpulkan kemudian diterjemahkan dan ditransmisikan secara nirkabel ke telepon atau PC.

“Kami memecahkan kode aktivitas otot dengan mengumpulkan sinyal yang dihasilkan di pergelangan tangan. Beberapa sinyal dihasilkan oleh singkatan acak yang tidak disengaja, sementara yang lain muncul karena gerakan yang bermakna - misalnya, sebagai hasil komunikasi antara orang bisu-tuli menggunakan bahasa isyarat, ”komentar Profesor Roozbeh Jafari, perwakilan dari tim pengembangan.

Tujuan dari proyek ini adalah untuk membuat perangkat miniatur (yang ideal adalah jam tangan) dan perangkat lunak terkait yang memungkinkan Anda untuk mengubah sinyal otot menjadi seluruh kalimat, dan bukan hanya satu kata. Prototipe, yang dibuat oleh tim peneliti, sudah mampu yang terakhir.

Jam tangan pintar seperti itu harus cukup kuat untuk melakukan perhitungan yang diperlukan. Selain itu, perangkat harus memiliki pengeras suara yang melaluinya lawan bicara orang yang tuli atau bisu tuli dapat mendengar "terjemahan" bahasa isyarat oleh komputer. Ini bisa menjadi cara komunikasi yang sedikit lebih lambat daripada ucapan biasa, tetapi lebih tepatnya lebih nyaman daripada komunikasi menggunakan alat yang ada.

“Ketika Anda menggunakan sistem untuk pertama kalinya, ia bekerja dengan tingkat akurasi tertentu. Tetapi ketika Anda bekerja dengan sistem lebih dekat, ia belajar, mengenali karakteristik tubuh pemilik, dan menjadi lebih akurat, ”kata profesor.

Laboratorium Thalmic, Pengembang Myo Bracelet Baru-baru ini, Menciptakan sistem yang memungkinkan seorang pria untuk mengendalikan lengan prostetiknya dengan bantuan pemikiran. Transfer data dalam sistem seperti itu dilakukan menggunakan Bluetooth.

Source: https://habr.com/ru/post/id387363/