Setengah abad telah berlalu sejak penemuan mouse, dan ini masih merupakan salah satu cara utama seseorang berinteraksi dengan komputer. Saya pergi ke sebuah konferensi di HSE Institute for Cognitive Neuroscience untuk belajar tentang perkembangan terbaru di bidang BCI, yang berada di luar cakrawala, dan karenanya sangat menarik.
Saya merevisi laporan konferensi menjadi artikel untuk cerita terkait. Saya menyederhanakan dan menghilangkan beberapa momen, dan menambah beberapa pengamatan dan laporan saya dari peristiwa lain. Setelah membacanya, saya harap Anda akan memiliki pemahaman yang sama tentang pendekatan untuk BCI dan keadaan saat ini di bidang ini. Untuk interpretasi asli lebih baik merujuk ke artikel asli, untungnya, hampir semuanya ada dalam domain publik.
Ceritanya
Sejarah BCI dimulai pada tahun 1973 dengan publikasi komunikasi langsung otak-komputer [1], di mana Jacques Vidal mempresentasikan ide-ide untuk komunikasi manusia-mesin dan menggambarkan sebuah laboratorium untuk analisis sinyal EEG untuk tujuan tersebut. Satu dekade kemudian, Wolpaw fokus pada penggunaan BCI untuk membantu orang lumpuh dan menggambarkan konsep BCI [2]:
Implementasi BCI utama memungkinkan orang dengan sindrom isolasi untuk memasukkan teks. Sulit untuk menggunakan sistem, karena pengguna harus melalui pelatihan panjang [3], sebaliknya, ada "spellers" berdasarkan pengakuan P300 - komponen yang terjadi ketika seseorang membuat pilihan, yang mengurangi persyaratan bagi pengguna [4] .
Pada tahun 90-an, topik menjadi lebih dan lebih dikenal, terutama dengan munculnya teknik pembelajaran mesin [5]. Dengan meningkatnya keandalan BCI, orang tertarik untuk memperluas aplikasi mereka ke area baru.
Thorsten Zander mengusulkan klasifikasi BCI berikut [6]:
- BCI aktif - pengguna memulai perintah tanpa syarat
- BCI reaktif - pengguna memulai perintah sebagai respons terhadap paparan sistem
- BCI pasif - pengguna tidak memberikan perintah, tetapi sistem membaca dan menganalisis statusnya
Secara terpisah, ada baiknya mempertimbangkan pertanyaan stimulasi otak, topik ini, meskipun tidak terkait langsung dengan BCI, adalah teknologi terkait yang memperluas kemampuan kontrol BCI.
BCI juga dapat diklasifikasikan dengan metode penerimaan sinyal:
- Invasif (implan elektroda, ECoG , dan lainnya)
- Non-invasif ( EEG , NIRS , dan lainnya)
EEG adalah cara paling umum untuk menerima sinyal, oleh karena itu, kecuali dinyatakan sebaliknya, maksud saya secara default.
BCI aktif
Basketparadigm
Ini adalah simbol dari kemungkinan kontrol dengan mengaktifkan gerakan imajiner. Faktanya adalah bahwa korteks motor secara kompak terletak di tengah kepala, sehingga gerakan imajiner dari berbagai bagian tubuh diklasifikasikan dengan baik dan digunakan untuk membangun BCI. Untuk bekerja dengan BCI seperti itu, pengguna perlu membayangkan secara mental bagaimana ia membuat gerakan di berbagai bagian tubuh.
Untuk memfasilitasi percobaan, para ilmuwan sedang mengembangkan kerangka kerja mereka sendiri, misalnya, BCILAB . Dengan bantuannya, percobaan dilakukan untuk menunjukkan kemampuan skeptis untuk mengendalikan menggunakan gerakan imajiner. Hasilnya adalah 80% - hasilnya begitu-begitu dalam kondisi ketika seseorang memiliki alternatif yang biasa, tetapi patut dipuji, terutama untuk responden yang tidak siap [7].
Pendekatan yang sama digunakan untuk mengontrol cakrawala untuk simulator pesawat. Hasilnya beragam, untuk 3 responden mereka berhasil mencapai hasil 94%, untuk 4 lebih 64% dan kurang dari 60% untuk tiga lebih. Keberhasilannya terletak pada kenyataan bahwa trinitas pertama menerbangkan pesawat dengan cara yang sama seperti helm. Pilot yang tersisa tidak cukup fokus pada keadaan internal dan membuat gerakan otot, yang memberikan kontribusi negatif untuk kontrol.
Sistem rehabilitasi
BCI yang mengenali perintah motorik telah dipelajari dengan baik dan telah digunakan untuk merehabilitasi pasien stroke: untuk memulihkan koneksi yang terputus yang diperlukan untuk mengontrol anggota tubuh yang lumpuh. Pavel Bobrov menunjukkan hasil uji klinis dari kompleks rehabilitasi untuk pemulihan fungsi motorik tangan, yang membuktikan keefektifan penggunaan. Selain itu, ada perbedaan yang signifikan bagi pasien yang memulai rehabilitasi sebulan kemudian dan 6 bulan setelah stroke, semakin cepat rehabilitasi dimulai, semakin baik efeknya. [11]
Kepala g.tec Gunter Edlinger berbicara tentang pekerjaan pusat kebugaran khusus untuk rehabilitasi, hal yang menarik adalah bahwa stimulasi listrik anggota badan ditambahkan ke proses rehabilitasi, dan jika instalasi elektro-mekanis digunakan di atas, maka ada stimulasi listrik, yang mengurangi biaya kompleks.
Jika Anda menambahkan elemen permainan dan kompetisi ke dalam proses, keterlibatan akan lebih tinggi, yang berarti bahwa pasien akan menjalani rehabilitasi dengan lebih baik. Di HSE Bioelectric Interface Center, di bawah kepemimpinan Alexei Osadchy , prototipe dikembangkan untuk meningkatkan proses rehabilitasi. Video menunjukkan sistem prototipe untuk dua orang, di mana mereka mengendalikan kapal, menjalankan perintah motor imajiner, mencoba untuk mengarahkan kapal ke arah mereka:
Game pemain tunggal:
Atau, misalnya, algoritma untuk mengenali tulisan tangan dengan aktivitas otot menggunakan array elektroda yang ringkas memungkinkan Anda merekonstruksi apa yang tertulis: [12]
Puncak dari pekerjaan mereka adalah pekerjaan pada BCI dalam proyek ExoAtlet , yang memungkinkan para penyandang cacat untuk bergerak secara mandiri atau menggunakannya untuk rehabilitasi.
BCI invasif adalah topik yang lebih kompleks, dan percobaan sekarang sedang dilakukan pada hewan atau orang yang memiliki elektroda dipasang untuk alasan medis. Serangkaian penelitian disorot, yang menunjukkan bahwa adalah mungkin untuk menentukan tidak hanya komponen individu (artinya gerakan fiksi yang sama), tetapi juga untuk berbagi gerakan, perhatian, dan arah pandangan di antara mereka sendiri. Rekaman laporan serupa dari konferensi di Samara tersedia.
BCI reaktif
Contoh klasik dari BCI reaktif adalah "speller" berdasarkan efek P300, ini adalah "gelombang" yang muncul sebagai respons terhadap pilihan stimulus yang ditampilkan, tetapi dalam "speller", stimulus seperti itu dikodekan karakter alfabet atau perintah dengan cara tertentu. Pengguna harus berinteraksi secara mental dengan rangsangan yang ditunjukkan oleh sistem - hitung jumlah kilatan karakter yang dipilih.
Tidak mungkin untuk tidak menyebutkan proyek Neurochat , yang memungkinkan para penyandang cacat untuk berkomunikasi:
BCI pasif
Ide dasar BCI pasif adalah penilaian keadaan seseorang, misalnya penilaian beban kognitif (beban kerja), dapat diterapkan dalam sistem pelatihan, sebuah studi dilakukan untuk menyelesaikan masalah ini.
Pengklasifikasi dilatih untuk tugas-tugas berikut:
- Untuk beban tinggi, responden mengurangi 1-2 digit dari 3-4 digit, tidak termasuk opsi sederhana dengan lusinan.
- Untuk beban ringan, mereka meminta responden untuk fokus pada memori yang menyenangkan.
Keakuratan algoritma adalah 70%. Pengklasifikasi diuji pada tugas-tugas lain (multiplikasi, pengacakan game), dan menerima akurasi yang sama, dengan demikian menegaskan fakta bahwa pengklasifikasi dapat dibuat independen dari orang dan tugas. [13]
Gagasan ini dapat diterapkan untuk mengontrol ahli bedah selama operasi [14]. Tugas menentukan beban pada ahli bedah selama pelaksanaan manipulasi dari berbagai kompleksitas pada simulator diselesaikan. Sistem telah belajar untuk menentukan bagaimana ahli bedah melakukan operasi dengan akurasi tinggi.
Pilihan lain adalah mengukur tingkat relaksasi. Berdasarkan keadaan pengunjung dari instalasi interaktif, Museum Keheningan menciptakan gambar yang hidup yang mencerminkan keadaan batinnya. [15]
BCI pasif juga dapat digunakan untuk tugas-tugas kontrol, pendekatan yang agak orisinal untuk memberikan seseorang tidak mengendalikan langsung kursor, tetapi hanya hak untuk menilai apakah kursor bergerak di sepanjang jalur yang benar ke target. Percobaan dilakukan pada matriks titik 4x4 dan 6x6 kecil. Pada awalnya, sistem dilatih pada pergerakan titik yang sewenang-wenang, dan tugas orang tersebut adalah menentukan apakah titik tersebut bergerak ke arah yang benar, kemudian kami mengujinya dalam mode langsung dan menemukan bahwa hasilnya dekat dengan jalur optimal. [16] Anda dapat menonton demonstrasi .
Masalah Midas touch dan antarmuka E-BCI
Mengontrol kursor dengan bantuan pandangan adalah tugas sederhana yang dapat diselesaikan dengan bantuan eye-tracker (alias videooculography). Tetapi ada masalah dalam antarmuka ini, misalnya, gerakan mata yang tidak disengaja dan masalah pilihan, omong-omong, secara simbolis disebut masalah sentuhan Midas, raja Frigia, sentuhan apa pun yang mengubah benda itu menjadi emas. Penggunaan BCI pasif memecahkan masalah ini.
Pendekatan di mana BCI aktif digunakan untuk membuat pilihan saat mengontrol menggunakan eye-tracker telah dikenal sejak lama, tetapi tidak berbeda dalam kecepatan. Penelitian, di mana responden menilai metode seleksi yang berbeda menggunakan skala NASA TLX , menunjukkan bahwa opsi BCI tidak lebih cepat dalam waktu daripada opsi perbaikan-panjang untuk memilih objek, tetapi BCI menyebabkan lebih sedikit frustrasi [10].
Pekerjaan lebih lanjut dari tim Torsten Zander menunjukkan bahwa adalah mungkin untuk membedakan antara fiksasi sadar pada objek dan tidak sadar dengan akurasi 90% [17]. Untuk percobaan, paradigma "Oddball" digunakan - responden melihat melalui serangkaian angka yang berisi angka yang ingin ia pilih dalam kombinasi dengan angka-angka yang mengganggu.
Sergey Shishkin berbicara tentang peningkatan pendekatan di atas [8]. Nilai tambah yang signifikan dari solusi mereka adalah pengurangan tingkat seleksi menjadi 300ms - 500ms, yang membutuhkan klasifikasi yang sangat cepat, untuk ini, EEGNet digunakan [9].
Mekanisme perhatian - ini adalah topik terpisah yang dapat memperluas ruang lingkup BCI dan menciptakan sistem untuk rehabilitasi pasien dengan ADHD, Mehdi Ordikhani berbicara tentang ide dasar dalam Tedtalk- nya
Stimulasi
Pertanyaan tentang etika percobaan sangat akut untuk ilmu saraf, dan hewan mengambil beban penelitian di luar perbatasan. Bagaimana jika kita ingin bekerja pada area spesifik jauh di dalam otak? Sekarang ini hanya mungkin dengan elektroda yang ditanamkan. Tapi, misalnya, di alam ada makhluk yang peka terhadap medan magnet, tim Galit Pelled dari University of Michigan mengisolasi gen ini dari ikan, memperkenalkan mereka pada tikus dan belajar mengendalikan perilaku mereka dengan aksi medan magnet [18]. Dengan demikian, adalah mungkin untuk memiliki efek yang ditargetkan pada area yang diinginkan, misalnya, menghentikan kejang epilepsi.
Dan seluruh kelompok penelitian antarmuka invasif dari Mikhail Lebedev pada monyet rhesus: antarmuka otak-komputer-otak dibangun, yang memungkinkan, dengan mengendalikan anggota badan virtual, untuk menerima umpan balik taktil. Anda dapat melihat secara lebih rinci kutipan dari kuliah " Antarmuka antara otak dan komputer ."
Kerajaan Pembelajaran Dalam
Selain fakta bahwa algoritma "pembelajaran dalam" memungkinkan untuk mencapai akurasi "pembelajaran mesin" yang sudah tinggi, dapat dicatat bahwa orang sedang mengerjakan "masalah terbalik". Berdasarkan data EEG dan MEG yang cepat, Anda dapat mencoba mengembalikan aktivasi neuron yang sebenarnya di otak, yang sekarang ditunjukkan, misalnya, dengan metode fMRI, tetapi dengan resolusi temporal yang sangat rendah. Orang hanya bisa bersukacita pada optimisme dan percaya pada keberhasilan pekerjaan ini.
Masalah lain BCI berdasarkan EEG atau MEG adalah bahwa hasil aktivitas di berbagai area otak untuk komponen yang sama berbeda di antara pengguna, Anda harus mempelajari jaringan saraf untuk setiap pengguna dan tugas, yang mempersulit pekerjaan dengan sistem dan membuatnya lebih mahal. Namun, mungkin ada perubahan dengan "transfer pembelajaran", ketika jaringan saraf menggunakan data dari pengguna yang berbeda / dalam berbagai tugas dan pelatihan ulang online, sebagai hasilnya, langkah kalibrasi dapat dilewati. [19]
Perangkat keras
Akhirnya, kami sampai di kelenjar!
Di sini penting untuk mengatakan tentang 2 poin, di satu sisi, peralatan untuk BCI agak rumit, orang di dalamnya menarik perhatian, dalam salah satu pertunjukan elektroda miniatur diperagakan, sehingga orang tersebut tidak menonjol dalam hal apa pun. [20]
Sayangnya, tidak ada kemungkinan untuk memasukkan foto yang lebih besar, tetapi Anda dapat melihat melalui foto Google .
Terlepas dari semua ukuran miniatur, tidak nyaman untuk memasang elektroda ini, Anda harus merekatkan setiap elektroda masing-masing. Untuk mempercepat, gunakan berbagai perangkat:
- Tutup EEG di mana lubang untuk elektroda ditandai
- Lingkaran dan helm dari berbagai desain, di mana posisi elektroda pada dasarnya tetap, hanya OpenBCI yang menonjol dengan Ultracortex, di mana elektroda dapat disusun ulang tergantung pada tugasnya.
Ide yang relatif baru adalah array elektroda CeeGrid , untuk pemasangan di daerah telinga, yang keduanya tidak terlihat dan mudah dipasang, tetapi minus yang signifikan adalah penggunaan yang terbatas, meskipun ada karya yang menunjukkan bahwa realistis untuk menggunakan opsi ini untuk ERP BCI [21] .
Dan masalah kedua adalah perlunya gel konduktif untuk sinyal berkualitas tinggi, ditunjukkan di sini bahwa perbedaannya dapat diterima, dan penggunaan elektroda kering dibenarkan [22], tetapi semuanya tergantung pada jumlah rambut. Sebagai contoh, baru-baru ini Florida Research Instruments mulai menjual elektroda kering memanjang (di sebelah kiri di bawah dalam gambar di bawah), yang berbeda dari versi aslinya dengan kebulatan pin yang lebih besar dan, seperti yang Anda tahu, menyebabkan lebih sedikit perasaan negatif bagi pengguna. Pilihan yang lebih maju adalah ketika pin pada elektroda itu sendiri dilengkapi dengan bantalan, berkat bahan atau dengan bantuan pegas (pada gambar di bawah mereka berada di tengah dan di sebelah kanan).
Kesimpulan
Penyebaran BCI ke massa tidak akan cepat dan mudah, kemungkinan yang sangat terbatas untuk memahami kondisi otak sekarang terbuka, tetapi kemajuan di bidang ini tidak dapat diabaikan. Hal utama adalah bahwa ada tren yang benar menuju pengurangan biaya perangkat / menyediakan perangkat dengan berlangganan dan munculnya proyek yang ditujukan untuk penggemar.
Secara pribadi, saya sangat senang bahwa di antara proyek-proyek Emotive, MUSE, OpenBCI yang dipromosikan, Rusia mulai muncul. Di Neuroforum baru-baru ini, yang diadakan di St. Petersburg, diperagakan:
Perluasan perangkat yang tersedia membuat area antarmuka menarik untuk studi dan eksperimen. Ambang entri rendah, Anda selalu dapat menemukan tugas yang memadai, dan Anda dapat meningkatkan algoritme sepenuhnya, mendapatkan pengetahuan dan keterampilan baru. Apa yang saya harap Anda.
Jadi saya melihat area BCI, mari kita lihat apa yang akan menarik tahun depan.
Uraian dikoreksi UPD antarmuka EBCI, secara tidak sengaja mereka ditugaskan ke BCI aktif, yang tidak benar