Mengontrol Pikiran Robot dengan Emotiv Insight

Mengontrol pikiran dengan apa pun selain anggota tubuh Anda sendiri adalah bidang yang menarik. Selalu menarik untuk membayangkan masa depan di mana kita dapat berinteraksi dengan Internet tidak hanya dengan jari, mulut, mata, dan telinga kita.

Jika Anda memikirkannya, komputer dan telepon adalah antarmuka yang sangat tidak efisien untuk mendapatkan informasi yang diperlukan. Anda tahu persis apa yang ingin Anda ketahui: misalnya, nilai tukar rubel saat ini terhadap dolar. Gunakan jari Anda untuk mengklik area tertentu pada layar ponsel dengan huruf, mengarah pada titik yang tepat setiap kali, dan kemudian lihat jawabannya.

Akan jauh lebih indah jika secara mental mengatakan “Halo Igor!”, Rumuskan pertanyaan secara mental dan dapatkan jawaban dengan telinga / mata / cara lain. Atau dengan cara cepat yang sama untuk mengirim pesan ke teman. Secara umum, sambungkan Internet ke otak.

Karena ini dapat dicoba dalam praktiknya sekarang, ada baiknya mengelola sesuatu, melihat betapa mudahnya itu, dan menarik kesimpulan. Video dengan hasilnya ada di akhir artikel.

1. Masukan ide
2. Apa yang dibutuhkan
3. Menyatukannya
4. Kami mencoba sekali
5. Coba dua
6. Tiga
7. Pikiran akhir pekan

Ide

Rencana itu keluar sederhana:

Langkah 1. Ambil perangkat EEG yang membaca aktivitas otak.
Langkah 2. Kami melatih beberapa algoritma yang memungkinkan kami untuk menentukan perintah mental dengan akurasi yang memadai. Kami mencoba beberapa jenis perintah mental (lebih lanjut tentang itu nanti).
Langkah 3. Hubungkan ke benda bergerak.
Langkah 4. Kami mencoba melakukan tugas sederhana, misalnya, berkendara dari titik A ke titik B.
Langkah 5. Kami menarik kesimpulan dari semua ini, jika sudah saatnya. Jika tidak, ulangi langkah 2 dan 4.

Ya, percobaan serupa sebelumnya pernah dilakukan oleh sejumlah ahli: ada banyak tes dari pendekatan P300 , yang memungkinkan Anda mengetikkan pemikiran (itu keluar dengan sangat akurat, tetapi untuk waktu yang lama ), mengendalikan berbagai protesa dan perangkat lain. Tidak ada yang baru dari sudut pandang ilmiah yang terjadi dalam percobaan saat ini, tujuannya adalah untuk mencoba kontrol otak secara langsung dan menarik beberapa kesimpulan dari perasaan dan pemikiran tentang BCI (antarmuka otak-komputer).

Apa yang dibutuhkan

Kami menggunakan Emotiv Insight sebagai perangkat EEG. Jauh dari perangkat paling akurat dengan resolusi rendah kartu elektromagnetik yang terpasang, tetapi cukup untuk keperluan kita. Harganya $ 299 , hampir selalu ada diskon pada model ini, tetapi masalahnya adalah pengiriman ke Rusia: tidak. Hal ini dijelaskan bukan oleh logistik melainkan oleh masalah legislatif: Perangkat EEG adalah perangkat medis dari sudut pandang aturan bea cukai Federasi Rusia (dengan konsekuensi yang sesuai).

Juga tidak mungkin untuk datang dan mengambil di suatu tempat di seluruh dunia, sehingga tetap hanya memesan ke negara-negara yang dekat dengan Rusia yang memiliki opsi pengiriman: Polandia, Israel, atau sesuatu seperti itu. Rumor mengatakan bahwa itu dijual di Moskow dari bawah lantai, tetapi dengan margin yang sesuai.



Perangkat Emotiv juga baik dari sudut pandang perangkat lunak: itu milik, tetapi dapat melakukan cukup banyak, dan, penting untuk keperluan percobaan kami, ia memiliki alat bawaan untuk bekerja dengan perintah mental.

Sebagai robot, kami mengambil platform Hicat.Livera . Dibangun berdasarkan Arduino. Bahkan, ini dia, hanya dengan kamera, roda, laser dan modifikasi kecil pada perangkat lunak. Harganya sekitar $ 100 - $ 150 , mungkin lebih mudah untuk memesan melalui AliExpress, tetapi kami memesan langsung melalui situs, meskipun tidak ada masalah pengiriman.

Menyatukannya

Pada poin, proses menghubungkan semuanya ke bangku tes tampak seperti ini:

1. Instal perangkat lunak yang diperlukan untuk Emotiv dari sini . Dari seluruh set, kita membutuhkan konektor dan Emotiv BCI .

2. Sambungkan Insight ke komputer dan uji koneksi.

3. Pasang Node-RED . Ini adalah hal yang luar biasa yang memungkinkan Anda dengan mudah memproses data dan sinyal. Dengan bantuan sejumlah besar modul, Anda dapat mengkompilasi beberapa jenis utilitas dalam beberapa menit: mengirim pemberitahuan hujan yang akan datang kepada diri Anda di telegram, memproses sekelompok data mentah dan semua itu.

4. Tambahkan ke Node-RED Emotiv Toolbox sebagai modul. Di sini dijelaskan apa itu. Masukkan beberapa klik.

5. Kami mengumpulkan Hicat.Livera. Ini akan terjadi begitu: jika semuanya dilakukan sesuai dengan instruksi, baterai akan terus jatuh, salah satu sekrup sadap memblokir rotasi kamera dan sebagainya. Di sini Anda perlu sedikit kreatif.

6. Hubungkan robot ke komputer. Untuk ini, Anda tidak memerlukan perangkat lunak tambahan, itu dikendalikan melalui WebSocket, cukup berada di jaringan Wi-Fi yang sama. Benar, di sini juga tidak begitu sederhana: ternyata tidak semua file ditulis ke kartu memori oleh pabrikan, jadi saya harus membongkar, mengunduh dari repositori dan menimpa. Secara umum, kemegahan klasik dan kemiskinan proyek kickstarter .

7. Master Flow dalam Node-RED. Kami mengambil sinyal dari tim terlatih di Emotiv BCI, membersihkannya dari kebisingan di ambang pintu dan mengirim nilai daya yang diterima ke robot. Sepertiga detik setelah setiap sinyal, kami mengatur ulang tegangan pada motor. Ternyata seperti ini:



Kartu itu sendiri untuk Node-RED dapat diunduh dari sini dan diimpor ke Flow Anda.

Selanjutnya hanya tinggal berlatih dan mencoba.

Coba sekali

Robot dapat maju / mundur, memutar setiap roda secara terpisah, menaikkan / menurunkan kamera dan menyalakan / mematikan laser. Sulit untuk melatih pada saat yang sama untuk 6-8 tindakan, jadi upaya pertama melibatkan tiga tindakan: maju, belok kiri dan belok kanan.

Kualitas koneksi Cerebras dapat dilihat pada monitor yang nyaman. Dalam kasus Insight, penting bahwa sensor utama di belakang telinga sangat ketat pada kulit kepala: jika ada gangguan di dalamnya, tidak akan ada sinyal dari enam sensor lainnya.



Berikutnya adalah pelatihan. Pertama, hal yang paling sulit adalah mencatat keadaan kesadaran yang tenang dan normal, tanpa rangsangan dan pikiran dari luar. Siapa yang tahu praktik meditasi masih di mana pun, tapi begitu saja, sama sekali tidak mudah untuk memikirkan apa pun. Algoritma akan mengambil catatan ini sebagai latar belakang dan mencari perbedaan antara status perintah dan yang standar.

Setelah itu - pelatihan masing-masing tim. Dua atau tiga entri pertama dianggap tanpa syarat sebagai dasar untuk pelatihan. Selanjutnya, algoritme setiap kali menentukan seberapa banyak catatan Anda mirip dengan yang sebelumnya. Jika perbedaannya terlalu besar, maka disarankan untuk tidak mempertimbangkan sesi ini dalam pelatihan. Jelas, dengan kondisi kesadaran yang terlalu banyak, pelatihan tidak ada gunanya.

Setiap sesi pelatihan selanjutnya mengklarifikasi keadaan model, tim pelacak. Dari peta model ini, Anda dapat melihat seberapa besar perbedaan tim di antara mereka: jika kesamaan terlalu besar (titik-titik pada radar dekat), maka algoritme akan sulit memahami apa yang ada dalam pikiran Anda dalam setiap kasus tertentu.



Pertanyaan utama selama pelatihan adalah apa yang harus dipikirkan? Dengan otak, kita dapat melakukan dua hal: mengontrol otot dan berpikir. Faktanya adalah bahwa motor cortex, yang bertanggung jawab untuk pergerakan otot, memberikan gangguan yang sangat kuat dari sudut pandang EEG. Yaitu, jika, sebagai sebuah tim, Anda mencoba untuk menggerakkan anggota tubuh Anda, merenggangkannya atau membayangkan bahwa mereka berfungsi, maka ini akan menghasilkan suara yang tidak dapat dibedakan secara terus-menerus pada akurasi umum seperti model Insight.

Masih berpikir. Ada bentangan besar: untuk mengucapkan kata-kata secara mental, memikirkan semacam sensasi, bayangkan diri Anda di suatu tempat, bayangkan robot bergerak ke arah yang benar, dll.

Untuk mulai dengan, arah lisan dipilih: untuk mengucapkan frasa tertentu untuk setiap tim dengan suara internal.

Hasil dari pendekatan ini ternyata tidak memuaskan: ya, perintahnya pasti dieksekusi dengan pengaturan sensitivitas yang berbeda, tetapi ternyata sama sekali tidak mungkin untuk mengontrolnya. Ada perbedaan yang jelas antara mencoba mengeksekusi perintah dan ketidakhadiran mereka: dalam kasus pertama, robot melakukan sesuatu, pada kedua praktis tidak ada apa-apa, tetapi tidak mungkin memaksanya untuk pergi setidaknya dalam arah perkiraan.

Coba dua

Kemudian muncul ide untuk mencoba bidang-bidang berikut:

1. Untuk memikirkan saat-saat cerah, misalnya, Anda berbaring di pantai dan matahari hangat.
2. Dengarkan berbagai sinyal suara / kutipan musik.
3. Merupakan dingin / panas di bagian-bagian tertentu anggota badan tertentu.
4. Cobalah meniru semangat tinggi dan suasana hati yang buruk.
5. Dengarkan perintah suara dari orang yang berbeda dari sudut yang berbeda (untuk meningkatkan diferensiasi sinyal dengan menambahkan sensasi spasial).

Hasilnya menarik: misalnya, suara satu orang di sebelah subjek percobaan menyebabkan pergerakan robot dalam satu arah, dan orang lain di lain. Tidak masalah apa yang dikatakan orang-orang ini.

Namun secara umum, keakuratannya ternyata sama menyedihkannya: mengelola dengan kualitas yang memungkinkan Anda melakukan urutan perintah yang ketat tidak berhasil.

Tiga

Untuk meningkatkan akurasi kontrol, diputuskan untuk mengurangi jumlah tim dari tiga menjadi dua: bergerak maju dan berbelok di satu arah. Ini cukup untuk bergerak di pesawat, dan pengakuan hanya dua tim harus lebih mudah.

Hasilnya adalah sebagai berikut:


Sangat mudah untuk mendapatkan dari titik A ke titik B, tetapi setelah serangkaian pelatihan ada hasil perkiraan.

Pikiran akhir pekan

BCI dalam bentuk perintah mental abstrak bukan hal yang mustahil dari sudut pandang praktis. Ya, Anda dapat menanamkan elektroda di bagian otak tertentu, berlatih untuk waktu yang lama dan, sebagai hasilnya, belajar mengendalikan kursor atau lengan robot, seperti milik Anda. Ini sangat cocok untuk memecahkan masalah kecacatan dan masalah lainnya, tetapi dalam setiap kasus solusi ini bersifat individual untuk orang tertentu, karena otak membutuhkan waktu yang relatif lama untuk membangun koneksi saraf baru.

Sebagai antarmuka massal: Saya membelinya, menariknya di kepala saya dan menggunakannya - tidak berfungsi. Beberapa dari kami segera berhasil mencapai implementasi perintah yang jelas, sementara yang lain tidak berhasil melakukan apa pun bahkan setelah pelatihan panjang. Prosesnya terlalu individual dan terlalu rumit untuk dijelaskan dalam petunjuk penggunaan. Selain itu, pada hari berikutnya setelah manajemen yang sukses, sulit untuk mengulangi hal yang sama: keadaan kesadaran sudah agak berbeda.

Menurut hemat saya, jauh lebih efektif untuk menggunakan alat yang membaca suara batin melalui perubahan potensi otot-otot rahang bawah dan leher untuk kontrol "mental". Ketika kita berbicara kepada diri kita sendiri, sinyal saraf diberikan kepada otot-otot alat vokal, mereka bergerak sangat sedikit . Jika dipantau oleh sensor sensitif, maka hampir tanpa latihan, Anda dapat menentukan teks dengan suara hati Anda.

Ada banyak perangkat serupa, salah satunya adalah proyek AlterEgo dari para peneliti MIT. Saat dalam pengembangan, tetapi dalam demonstrasi video, Anda dapat melihat bahwa itu masih berfungsi dengan baik.



Pada intinya, bagaimanapun, itu adalah kontrol bicara yang sama, tetapi tidak terdengar. Masalah dengan semua antarmuka bicara adalah kurangnya pemahaman tentang palet perintah. Jika kita melihat situs web atau aplikasi, kita melihat tombol, tanda tangan untuk mereka dan memahami di mana untuk menyodok. Dalam kasus asisten suara, memahami apa yang sebenarnya bisa ditanyakan tidak, perintah yang mungkin harus dipelajari dengan hati atau setiap kali mendengarkan daftar panjang topik yang mungkin untuk dialog. Semua ini, bersama dengan pengenalan suara yang tidak ideal, mengarah pada fakta bahwa sekarang kita hanya menggunakan seperangkat perintah asisten suara standar: panggil Sophocles, atur penghitung waktu selama lima ratus tahun, mengingatkan Anda untuk mampir untuk bekerja.

Jadi pada saat ini kita memiliki yang berikut: a) jika Anda mengelola sesuatu sehingga terlihat keren, tetapi pada saat yang sama itu berfungsi, maka itu hanya membaca suara internal (akan diperlukan untuk melakukan percobaan di sini juga) dan b) persaingan untuk antarmuka grafis sejauh ini bahkan tidak dekat.

Mengenai poin kedua, ada teknologi di bidang stimulasi magnetik transkranial . Singkatnya: jika Anda memfokuskan sesuatu seperti microwave pada korteks visual, maka kita akan melihat fosfena - titik-titik bercahaya dan efek yang tidak dilihat mata. Perangkat semacam itu dapat menggambar karakter yang cukup akurat, misalnya, huruf di ruang angkasa. Prosedur-prosedur ini, sebagai suatu peraturan, menyebabkan sakit kepala dan mual yang parah, tidak sangat direkomendasikan untuk percobaan, tetapi secara teori dimungkinkan untuk menggambar sebuah antarmuka di hadapan seorang pria besi tanpa lensa dan kacamata. Benar, Anda dapat menggunakan lensa dan kacamata, tetapi lebih dari itu, mungkin lain kali.

^{Di sampulnya ada foto yang diambil oleh Road to VR untuk sebuah artikel tentang eksperimen BCI Valve.}