Eksperimen Antarmuka Neural JavaScript

Penulis bahan, terjemahan yang kami terbitkan hari ini, mengatakan bahwa selama beberapa tahun terakhir ia telah memperhatikan minat yang kuat dalam teknologi neuroteknologi. Pada artikel ini, dia ingin membicarakan eksperimennya dengan berbagai perangkat keras dan sistem perangkat lunak yang memungkinkan Anda menjalin komunikasi antara otak dan komputer.

Latar belakang

Saya tidak memiliki pendidikan komputer dasar (saya belajar periklanan dan pemasaran). Saya menguasai pemrograman dalam kursus di Majelis Umum.

Ketika saya sedang mencari pekerjaan pertama, saya mulai bereksperimen dengan JavaScript dan dengan berbagai perangkat. Secara khusus, proyek pertama saya adalah organisasi kontrol bola robot Sphero melalui gerakan lengan menggunakan Leap Motion .


Sphero Ball Didorong oleh Leap Motion

Ini adalah pengalaman pertama saya menggunakan JavaScript untuk mengelola apa pun di luar browser. Segera disebut apa yang "mengaitkan" saya.

Sejak itu saya menghabiskan banyak waktu mengerjakan proyek interaktif. Setiap kali, mengambil proyek baru, saya mencoba mencari sendiri tugas yang semakin kompleks. Jadi saya terus berevolusi dan belajar sesuatu yang baru.

Setelah bereksperimen dengan berbagai perangkat, untuk mencari tugas menarik lainnya, saya menemukan sensor aktivitas otak NeuroSky .

Percobaan pertama dengan headset neuro

Ketika saya tertarik pada percobaan dengan sensor aktivitas otak, saya memutuskan untuk membeli headset neuroSky. Dia jauh lebih murah daripada penawaran serupa lainnya.


Headset NeuroSky Neuro

Saya tidak tahu apakah kualifikasi saya akan cukup untuk menulis setidaknya sesuatu untuk perangkat semacam itu (saya baru saja menyelesaikan kursus pemrograman pada saat itu), jadi saya memutuskan untuk memilih sesuatu yang lebih murah sehingga, jika tugasnya ternyata adalah bagi saya sangat sulit untuk tidak membuang terlalu banyak uang. Untungnya, kerangka kerja JavaScript telah dibuat untuk bekerja dengan headset, sehingga cukup mudah untuk mulai bereksperimen. Secara khusus, saya menggunakan penilaian tingkat perhatian saya untuk mengontrol bola Sphero dan quadrocopter Parrot AR.

Selama percobaan, saya segera menyadari bahwa neuro-headset ini tidak terlalu akurat. Dia hanya memiliki tiga sensor, sehingga dia bisa mendapatkan data kasar tentang aktivitas otak. Perangkat menyediakan akses ke data mentah dari setiap sensor, yang memungkinkan, misalnya, untuk memvisualisasikan data ini. Tetapi fakta bahwa headset hanya memiliki tiga elektroda tidak memungkinkan kita untuk menarik kesimpulan serius berdasarkan data yang diterima darinya pada apa yang terjadi di otak manusia.

Ketika saya memutuskan untuk mencari perangkat lain untuk membaca indikator aktivitas otak, saya menemukan headset neuro Emotiv Epoc . Saya merasa bahwa hal ini memiliki kemampuan yang lebih serius dibandingkan dengan headset NeuroSky, jadi saya memutuskan untuk membelinya untuk melanjutkan percobaan saya.

Sebelum saya berbicara tentang cara kerja Emotiv Epoc, saya sarankan untuk berbicara tentang cara kerja otak manusia.

Cara kerja otak

Saya tidak bisa menyebut diri saya seorang ahli ilmu saraf yang hebat, jadi cerita saya tentang otak akan sangat dangkal. Yaitu, saya ingin berbicara tentang beberapa hal dasar yang perlu Anda ketahui untuk mereka yang ingin lebih memahami cara kerja headset neuro.
Otak terdiri dari miliaran neuron - sel khusus yang memproses, menyimpan, dan mengirimkan informasi. Bagian otak yang berbeda, yang terdiri dari neuron, bertanggung jawab atas berbagai fungsi fisiologis.


Bagian otak yang berbeda (sumber - macmillan.org.uk)

Sebagai contoh, mari kita bicara tentang bagaimana otak mengendalikan gerakan. Bagian otak seperti korteks motorik primer dan otak kecil bertanggung jawab untuk pergerakan dan koordinasi. Sinyal-sinyal dari neuron yang bersesuaian mempengaruhi otot-otot, yang mengarah pada pergerakan.


Anatomi neuron

Seperti yang saya katakan, ini adalah deskripsi otak yang sangat sederhana, tetapi bagi kami yang paling penting adalah aktivitas neuron dapat dilacak dengan electroencephalography (EEG) dengan membaca indikator aktivitas listrik otak dari permukaan kulit kepala.

Teknologi lain dapat digunakan untuk memantau aktivitas otak, tetapi penggunaannya melibatkan operasi. Secara khusus, kita berbicara tentang elektrokortografi - dengan pendekatan ini, elektroda diterapkan langsung ke korteks serebral.

Sekarang kami telah menemukan bahwa otak, selama bekerja, menghasilkan sinyal listrik yang dapat dibaca, mari kita bicara tentang headset Emotiv Epoc.

Bagaimana cara kerja headset neuro?

Perusahaan Emotiv memproduksi beberapa jenis headset neuro:

• Wawasan emosional
• Emotiv Epoc Flex Kit
• Emotiv epoc

Headset Epoc memiliki 14 sensor (mereka juga disebut "saluran") yang terletak di berbagai tempat di kepala.

Gambar berikut, di sebelah kiri, menunjukkan pola penempatan 10-20 elektroda yang direkomendasikan oleh Federasi Internasional Elektroensefalografi dan Neurofisiologi Klinis. Setiap elektroda berhubungan dengan area otak tertentu. Penggunaan sistem 10-20 memungkinkan Anda untuk mengikuti standar tertentu saat membuat berbagai perangkat dan saat melakukan penelitian ilmiah di otak.
Gambar di sebelah kanan menunjukkan tata letak elektroda dari headset Emotiv Epoc. Untuk membandingkannya dengan sistem 10-20, highlightnya adalah hijau dan oranye.


Perbandingan sistem penempatan elektroda internasional 10-20 dan headset Emotiv Epoc

14 Saluran Epoc - ini tidak terlalu banyak, tetapi elektroda ditempatkan pada kulit kepala dengan cukup merata. Ini memungkinkan kami untuk berharap bahwa dengan bantuan Epoc Anda dapat memperoleh informasi yang cukup akurat tentang aktivitas otak.

Headset membaca sensor pada 2048 sampel per detik (SPS). Pada saat yang sama, pengguna memiliki akses ke frekuensi pengambilan sampel sinyal 128 atau 256 SPS. Perangkat ini mampu menangkap gelombang otak dengan frekuensi 0,16 hingga 43 Hz. Ada berbagai ritme otak, karakteristik singkatnya ditunjukkan pada gambar berikut.


Jenis-jenis Gelombang Otak

Mengapa ini penting? Faktanya adalah bahwa, tergantung pada aplikasi yang perlu dibangun berdasarkan elektroensefalograf, kita mungkin perlu memberi perhatian khusus pada gelombang otak dari frekuensi tertentu. Misalnya, jika kita perlu membuat program untuk membantu meditator, maka, mungkin, kita hanya akan tertarik pada gelombang theta, yang frekuensinya 4-8 Hz.

Setelah memahami prinsip-prinsip yang mendasari electroencephalography, mari kita bicara tentang kemampuan Emotiv Epoc dan perangkat lunak terkait.

Fitur Emotiv Epoc

Perangkat lunak Emotiv bukan open source, diperlukan lisensi khusus untuk mengakses sinyal sensor mentah. Dalam kondisi normal, ketika bekerja dengan Emotiv Epoc, opsi berikut tersedia:

• Pengukuran indikator yang mencirikan posisi kepala pengguna di ruang angkasa menggunakan accelerometer dan giroskop.
• Pengukuran tingkat gairah, keterlibatan, relaksasi, minat, stres, konsentrasi.
• Pengenalan gerakan otot wajah, memberikan gambaran tentang ekspresi wajah pengguna. Sebagai contoh, kita berbicara tentang berkedip dan tersenyum.
• Pengakuan perintah mental (gerakan dan belokan).

Untuk menggunakan pengakuan perintah mental, pengguna harus terlebih dahulu melatih sistem . Data pelatihan disimpan sebagai file.

Jika Anda ingin mengembangkan program Anda sendiri untuk Emotiv Epoc, Anda dapat menggunakan Cortex API dan SDK terkait (dukungannya dihentikan setelah rilis versi 3.5). Jika Anda ingin menggunakan JavaScript, Anda dapat melihat perkembangan saya - perpustakaan Epoc.js.

Perpustakaan Epoc.js

Epoc.js adalah kerangka kerja yang dirancang untuk mengatur interaksi dengan perangkat Emotiv Epoc dan Insight menggunakan JavaScript. Kerangka kerja ini memberikan pengembang akses ke kemampuan yang dijelaskan di atas dari sistem Emotiv dan memungkinkan berinteraksi dengan emulator .
Ini adalah proyek paling sederhana berdasarkan Epoc.js:

const epoc = require('epocjs')(); epoc.connectToLiveData('path/to/profile/file', function(event){  var action = event.blink === 1 ? 'blinking' : 'not blinking';  console.log(action); }); 

Dalam contoh kode ini, kita tancapkan modul epocjs Node.js dan instantiate objek yang sesuai. Kemudian kita memanggil metode connectToLiveData objek ini, meneruskannya jalur ke file dengan data pengguna yang diperoleh setelah pelatihan sistem, dan fungsi panggilan balik. Objek acara dilewatkan ke fungsi ini yang berisi berbagai properti yang dapat dilacak. Misalnya, jika kita ingin program merespons berkedip, properti event.blink .

Setiap properti yang serupa dapat diatur ke 0 atau 1. Sebuah unit dalam nilai properti berarti bahwa sistem mencatat peristiwa yang sesuai. Daftar lengkap properti ini dapat ditemukan di sini .

Pustaka yang dijelaskan dibuat menggunakan Emotiv C ++ SDK, Node.js dan tiga modul untuk Node.js: Node-gyp, Bindings dan Nan. Selama perkembangannya, suatu pendekatan digunakan yang sekarang dapat dianggap usang. Sekarang sebenarnya penggunaan N-API .

Setelah membahas berbagai kemampuan neuro-headset dan cara-cara untuk bekerja secara terprogram dengan mereka, saya akan berbicara tentang beberapa prototipe yang saya buat yang menggunakan antarmuka-neuro.

Prototipe

▍1. Keyboard

Inilah tampilan keyboard yang mengontrol gerakan mata.


Keyboard prototipe dikendalikan oleh gerakan mata

Ini adalah proyek pertama saya menggunakan Emotiv Epoc. Saya tertarik untuk mengetahui apakah mungkin untuk membuat antarmuka sederhana menggunakan headset neuro yang memungkinkan seseorang untuk berinteraksi dengan komputer menggunakan gerakan mata. Misalnya, ketika Anda melihat ke kanan atau kiri, tombol yang sesuai disorot pada keyboard. Untuk "mengklik" pada tombol yang disorot, Anda harus berkedip. Huruf yang sesuai muncul di bidang yang terletak di atas keyboard.

Proyek ini terlihat sangat sederhana, tetapi yang paling penting itu berhasil.

▍2. Webvr

Dalam proyek kedua saya, saya menggunakan perintah mental. Menciptakannya, saya ingin memahami apakah mungkin untuk mengendalikan objek yang terletak di ruang tiga dimensi, hanya memikirkan sesuatu.


Antarmuka web berbasis pemikiran

Di sini, untuk membuat lingkungan tiga dimensi yang sederhana, saya menggunakan pustaka Three.js, pustaka Epoc.js digunakan untuk mengenali perintah mental, dan soket web digunakan untuk mengirim data dari server ke klien.

▍3. IoT

Memulai proyek ketiga, saya ingin menjelajahi kemungkinan mengendalikan perangkat nyata menggunakan perintah mental. Saya telah tertarik pada pengembangan IoT menggunakan JavaScript untuk beberapa waktu sekarang, jadi saya tertarik mempelajari apa yang terjadi jika Anda menggabungkan quadrocopter Parrot dan headset neuro.


Quadcopter

Semua proyek yang dijelaskan di atas, semua prototipe yang dibuat, adalah perkembangan yang cukup sederhana yang saya buat untuk menguji beberapa ide dalam praktik dan mengevaluasi kemungkinan dan keterbatasan antarmuka saraf.

Keterbatasan Antarmuka Saraf

Kata "neurointerface" terdengar luar biasa, dan ketika ternyata bahwa komputer dapat dikontrol oleh kekuatan pikiran, mungkin terlihat bahwa itu adalah masa depan, tetapi, pada kenyataannya, teknologi neurocomputer masih memiliki beberapa keterbatasan.

Eed Perlu pelatihan

Sangat normal bahwa pengguna harus melakukan pelatihan sistem, di mana gelombang otak direkam dan dibandingkan dengan tim tertentu, tetapi bagi banyak orang, langkah ini merupakan hambatan untuk mengadopsi teknologi baru. Sulit bagi saya untuk membayangkan bahwa seseorang akan menghabiskan waktu untuk melatih sistem komputer mikro, kecuali seseorang benar-benar membutuhkan sistem seperti itu, dan pada saat yang sama, keakuratannya dalam mengenali perintah mental akan berada pada tingkat yang sangat tinggi.

▍ Penundaan

Ketika saya mengembangkan prototipe saya berdasarkan persepsi komputer tentang perintah mental, saya menemukan bahwa ada beberapa penundaan antara saat ketika saya mulai berpikir dan saat ketika program bereaksi terhadap pemikiran ini.

Saya pikir intinya di sini adalah bahwa algoritma pembelajaran mesin yang digunakan dalam prototipe menerima data dari perangkat secara real time. Untuk mengenali pemikiran itu, pengakuan yang telah dia pelajari sebelumnya, dia membutuhkan indikator yang dikumpulkan selama periode waktu tertentu.

Ini memengaruhi program apa yang dapat dibangun berdasarkan antarmuka saraf. Misalnya, program yang membantu meditasi terlihat cukup nyata, karena penundaan antara perubahan kondisi otak dan reaksi program tidak akan secara khusus memengaruhi hasil program tersebut. Namun, jika seseorang mulai membuat sesuatu seperti kursi roda yang dikendalikan oleh pikiran, masalah keterlambatan menjadi jauh lebih akut, mempertanyakan perkembangan semacam itu.

Technology Teknologi dan akurasi non-invasif

Pemindai EEG sangat bagus untuk penggunaan sehari-hari dalam situasi kehidupan sehari-hari. Cukup memakai headset dengan mengoleskan gel khusus ke sensor, dan Anda selesai. Namun, fakta bahwa sinyal yang dihasilkan oleh otak dibaca dari kulit kepala, dan bukan, katakanlah, dari permukaan otak itu sendiri, mengganggu keakuratan sinyal tersebut.

Jika kita berbicara tentang frekuensi pengambilan indikator, maka itu sangat bagus di perangkat yang ada. Hal yang sama tidak dapat dikatakan tentang karakteristik spasial dari data yang diperoleh. Perangkat EEG hanya dapat membaca sinyal yang berasal dari bagian otak yang dekat dengan permukaan kepala. Tidak mungkin untuk mengetahui apa yang terjadi dalam struktur otak yang lebih dalam menggunakan pendekatan yang serupa.

Acceptance Penerimaan publik

Headset neuro bukan perangkat tercantik dan paling dikenal. Saya pikir selama headset ini terlihat seperti sekarang, tidak mungkin dikenakan di tempat umum. Dengan perkembangan teknologi, ada kemungkinan bahwa perangkat akan dibuat yang dapat disembunyikan di aksesoris seperti topi, tetapi bahkan di sini Anda mungkin menghadapi masalah yang terkait dengan fakta bahwa perangkat tersebut akan merepotkan untuk penggunaan jangka panjang.

Sensor EEG harus cukup dekat dengan kulit kepala untuk mengambil indikator kualitatif aktivitas otak. Dan jika tekanan mereka segera setelah memakai headset hampir tidak bisa dirasakan, lama kelamaan itu mulai menimbulkan ketidaknyamanan. Selain itu, jika Anda juga perlu menerapkan gel ke sensor, ini berubah menjadi penghalang tambahan untuk distribusi luas headset neuro.

Seperti yang Anda lihat, keadaan saat ini di bidang antarmuka saraf menunjukkan bahwa mereka tidak mungkin meluas. Namun, jika kita berbicara tentang masa depan, maka kita dapat mengatakan bahwa perangkat tersebut memiliki prospek yang menarik.

Kemampuan Antarmuka Saraf

Jika Anda mempertimbangkan kondisi teknologi saat ini dan berpikir tentang apa yang mungkin terjadi di masa depan, Anda dapat menemukan beberapa opsi untuk aplikasi mereka.

▍ Bantu orang-orang cacat

Saya ingin agar neuro-headset membantu para penyandang cacat menjalani kehidupan yang lebih penuh dan menjadi lebih mandiri.

Ini persis apa yang saya pikirkan ketika saya membuat prototipe pertama saya - keyboard yang dikendalikan oleh gerakan mata. Pengembangan tambang ini jauh dari level di mana ia dapat digunakan dalam praktik, tetapi saat mengerjakan proyek ini, saya tertarik untuk memahami apakah perangkat konsumen yang sepenuhnya terjangkau benar-benar dapat membantu seseorang. Tidak semua orang memiliki akses ke sistem medis yang kompleks, dan saya cukup senang dengan kenyataan bahwa alat yang tidak terlalu mahal, yang dapat dibeli secara bebas di toko online, mampu menyelesaikan tugas-tugas penting dan perlu.

▍ Latihan mental

Praktik mental, khususnya - meditasi - ini adalah lingkup penerapan neuro-headset, yang saat ini telah menarik perhatian (misalnya, headset Muse membantu meditasi). Ini tentang membantu seseorang yang ingin bermeditasi, melakukan segalanya dengan benar.

▍ Bantu dalam memecahkan masalah kesehatan

Jika headset saraf akan menembus kehidupan kita sebanyak ponsel, kita mungkin dapat membuat aplikasi yang mampu menanggapi masalah kesehatan. Sebagai contoh, alangkah baiknya jika ada aplikasi yang, berdasarkan analisis aktivitas otak, akan membantu melawan stroke, serangan panik, dan serangan epilepsi.

▍Meningkatkan produktivitas tenaga kerja

Headset neuro dapat membantu bermeditasi, yang berarti dengan itu Anda benar-benar dapat mengetahui jam berapa seseorang paling fokus. Informasi ini, diperoleh dengan mengenakan headset secara teratur, dapat membantu Anda memahami kapan sebaiknya melakukan beberapa aktivitas. Anda bahkan dapat membayangkan bahwa jadwal kerja akan diatur sesuai dengan karakteristik individu orang tersebut, yang akan meningkatkan produktivitasnya.

Art

Saya suka, atas inisiatif saya sendiri, di luar jam kerja, untuk menjelajahi fenomena yang berada di persimpangan seni dan teknologi. Saya percaya bahwa seseorang tidak boleh meremehkan pekerjaan dalam arah ini terkait dengan antarmuka saraf, karena mereka, meskipun mereka mungkin tampak "sembrono," membantu untuk lebih memahami teknologi, yang akan berguna dalam kasus aplikasi mereka yang lebih “serius”.

Kombinasi sensor aktivitas listrik otak dengan sensor lain

Baru-baru ini, saya memiliki gagasan bahwa sensor EEG tidak boleh dianggap sebagai sesuatu yang sepenuhnya independen. Otak kita memahami dunia melalui indera. Dia tidak bisa melihat tanpa mata dan mendengar tanpa telinga. Karena itu, jika kita ingin memaksimalkan data aktivitas listrik otak, kita mungkin perlu melacak tanda-tanda vital lainnya.

Masalah utama di sini adalah bahwa semua ini dapat mengarah pada fakta bahwa orang akan benar-benar digantung dengan berbagai sensor.


Apakah ada terlalu banyak sensor di sini? (sumber ilustrasi - cognionics.net)

Mungkin tidak ada yang akan terus-menerus memakai sensor yang digambarkan pada gambar sebelumnya.

Openbci

Beberapa minggu yang lalu saya memperoleh sesuatu yang baru - paket OpenBCI . Langkah saya selanjutnya adalah mempelajari data mentah yang diperoleh dari sensor EEG dan menerapkan metode pembelajaran mesin pada data ini. OpenBCI adalah proyek open source, jadi pengembangan mereka menurut saya sangat cocok untuk tujuan ini. Saya masih belum banyak bekerja dengan headset mereka, karena sekarang saya hanya punya cukup waktu untuk menghubungkannya ke komputer dan mengkonfigurasinya. Begini tampilannya.


Openbci

Ringkasan

Penulis materi ini mengatakan bahwa ia terus mempelajari antarmuka saraf. Kami berharap ceritanya akan membantu mereka yang tertarik dengan topik ini, tetapi tidak berani melanjutkan dengan tindakan praktis, ambil langkah pertama dalam penerapan neuro-headset. Jika Anda tertarik dengan semua ini, berikut ini adalah publikasi kami yang lain tentang headset neuro dan JavaScript yang didedikasikan untuk Muse.

Pembaca yang budiman! Apakah Anda berencana untuk bereksperimen dengan headset neuro?