Tahun lalu, sebuah robomobile aneh mulai melaju di sepanjang jalan Monmouth County, New Jersey. Kendaraan eksperimental ini, yang dikembangkan oleh spesialis Nvidia, tidak berbeda dalam penampilan dari mobil otonom lain dari pabrikan lain, seperti Google, Tesla atau General Motors. Tetapi terutama untuk mobil ini, sistem kontrol baru telah dikembangkan. Dia belajar sendiri, dan tidak bergantung pada pengaturan yang ditentukan dalam produksi. Sebagai gantinya, robomobile memonitor tindakan pengemudi manusia dan belajar darinya.
Ini adalah cara yang agak tidak biasa untuk melatih robomobile. Di sisi lain, sedikit orang yang sepenuhnya membayangkan bagaimana mesin membuat keputusan. Informasi dari sensor, radar dan penutup memasuki jaringan saraf, di mana data ini diproses dengan alokasi aturan yang jelas untuk mengendalikan setir, rem dan sistem lainnya. Akibatnya, ternyata tindakan robomobile sering mirip dengan tindakan pengemudi manusia yang jatuh ke situasi yang sama di jalan. Timbul pertanyaan - dapatkah mobil membuat keputusan aneh dalam salah satu kasus - misalnya, menabrak pohon dengan kecepatan penuh atau berdiri di lampu lalu lintas ketika lampu hijau menyala?
Informasi pemrosesan jaringan saraf dapat dibandingkan dengan kotak hitam. Tidak, tentu saja, para ahli membayangkan prinsip pemrosesan data oleh jaringan saraf secara umum. Tetapi masalahnya adalah bahwa pelatihan mandiri bukanlah proses yang telah ditentukan sepenuhnya, sehingga terkadang hasil yang benar-benar tidak terduga dapat diharapkan pada output. Inti dari semuanya terletak pada pembelajaran yang mendalam, yang telah memungkinkan kami untuk memecahkan sejumlah masalah penting, termasuk pemrosesan gambar, pengenalan ucapan, terjemahan. Ada kemungkinan bahwa jaringan saraf akan dapat mendiagnosis penyakit pada tahap awal, membuat keputusan yang tepat ketika berdagang di bursa, dan melakukan ratusan tindakan manusia penting lainnya.
Tetapi pertama-tama Anda perlu menemukan cara yang akan lebih memahami apa yang terjadi di jaringan saraf itu sendiri ketika memproses data. Kalau tidak, sulit, jika mungkin, untuk memprediksi kemungkinan kesalahan sistem dengan bentuk AI yang lemah. Dan kesalahan seperti itu pasti akan terjadi. Ini adalah salah satu alasan mengapa mobil dari Nvidia masih dalam pengujian.
Seseorang sekarang menerapkan model matematika untuk memfasilitasi tugas memilih untuk dirinya sendiri - misalnya, untuk menentukan peminjam dana yang dapat diandalkan atau untuk menemukan karyawan dengan pengalaman yang diperlukan untuk beberapa jenis pekerjaan. Secara umum, model dan proses matematika yang menggunakannya relatif sederhana dan mudah. Tetapi militer, perusahaan komersial, para ilmuwan sekarang menggunakan sistem yang jauh lebih kompleks, yang "keputusannya" tidak didasarkan pada hasil satu atau dua model. Pembelajaran mendalam berbeda dari prinsip-prinsip operasi komputer yang biasa. Menurut Tommy Jaakol, seorang profesor di MIT, masalah ini menjadi semakin relevan. "Apa pun yang Anda lakukan, buat keputusan tentang investasi, cobalah untuk membuat diagnosis, pilih titik serangan di medan perang, semua ini seharusnya tidak bergantung pada metode kotak hitam," katanya.
Ini dipahami tidak hanya oleh para ilmuwan, tetapi juga oleh para pejabat. Mulai musim panas mendatang, Uni Eropa memperkenalkan aturan baru untuk pengembang dan pemasok solusi sistem komputer otomatis. Perwakilan dari perusahaan tersebut akan diminta untuk menjelaskan kepada pengguna bagaimana sistem bekerja, dan dengan keputusan prinsip apa yang dibuat. Masalahnya adalah bahwa ini tidak mungkin. Ya, adalah mungkin untuk menjelaskan prinsip-prinsip dasar pengoperasian jaringan saraf tanpa masalah, tetapi hanya sedikit yang bisa mengetahui dengan tepat apa yang terjadi di sana selama pemrosesan informasi yang kompleks. Bahkan pencipta sistem semacam itu tidak dapat menjelaskan semuanya “dari dan ke,” karena proses yang terjadi dalam jaringan saraf selama pemrosesan informasi sangat kompleks.
Belum pernah ada manusia yang membuat mesin yang prinsip operasinya tidak sepenuhnya dipahami oleh pembuatnya sendiri dan sangat berbeda dari cara informasi digunakan oleh orang itu sendiri. Jadi bisakah kita mengharapkan interaksi normal dengan mesin yang operasinya tidak dapat diprediksi?
Lukisan oleh seniman Adam Ferriss dengan Google Deep Dream
Pada 2015, tim peneliti Rumah Sakit Mount Sinai dari New York menggunakan pembelajaran mendalam untuk memproses basis data rekam pasien. Basis data mencakup informasi tentang ribuan pasien dengan ratusan jalur informasi untuk setiap orang, seperti hasil tes, tanggal kunjungan ke dokter, dll. Akibatnya, program Pasien Dalam muncul, yang dilatih tentang contoh catatan 700 ribu orang. Hasil yang ditunjukkan program ini luar biasa baik. Sebagai contoh, ia dapat memprediksi munculnya beberapa penyakit pada tahap awal pada sejumlah pasien.
Namun, hasilnya ternyata agak aneh. Misalnya, sistem mulai mendiagnosis skizofrenia dengan sempurna. Tetapi bahkan untuk psikiater yang berpengalaman, mendiagnosis skizofrenia adalah masalah yang kompleks. Tetapi komputer mengatasinya dengan keras. Mengapa Tidak ada yang bisa menjelaskan, bahkan pencipta sistem.
Awalnya, pengembang AI dibagi menjadi dua kubu. Pendukung yang pertama mengatakan bahwa mesin harus diprogram sehingga semua proses yang terjadi dalam sistem dapat dilihat dan dipahami. Kamp kedua menganut gagasan bahwa mesin harus belajar dengan sendirinya, menerima data dari jumlah sumber maksimum, diikuti oleh pemrosesan independen dari data tersebut. Artinya, pendukung sudut pandang ini, pada kenyataannya, menyarankan bahwa setiap jaringan saraf harus "bosnya sendiri."
Semua ini tetap murni teori sampai saat ini, ketika komputer menjadi cukup kuat sehingga para ahli dalam kecerdasan buatan dan jaringan saraf dapat mulai mempraktikkan ide-ide mereka. Selama sepuluh tahun terakhir, sejumlah besar ide telah diimplementasikan, layanan yang sangat baik telah muncul yang membantu menerjemahkan teks dari satu bahasa ke bahasa lain, mengenali pembicaraan, memproses streaming video secara real time, bekerja dengan data keuangan, dan mengoptimalkan proses produksi.
Tetapi masalahnya adalah bahwa hampir semua teknologi pembelajaran mesin tidak terlalu transparan untuk spesialis. Dalam kasus pemrograman "manual", situasinya jauh lebih sederhana. Tentu saja, seseorang tidak dapat mengatakan bahwa sistem di masa depan tidak akan dapat dipahami oleh siapa pun. Namun pada dasarnya, pembelajaran mendalam adalah semacam kotak hitam.
Anda tidak bisa hanya melihat prinsip-prinsip jaringan saraf dan memprediksi hasil yang akan kita dapatkan sebagai hasil dari pemrosesan beberapa jenis array data. Di dalam "kotak hitam" ada puluhan dan ratusan "lapisan neuron" yang saling berhubungan dalam urutan yang agak rumit. Selain itu, nilai untuk hasil akhir tidak hanya pekerjaan lapisan, tetapi juga dari neuron individu. Dalam kebanyakan kasus, seseorang tidak dapat memprediksi apa yang akan muncul pada output dari jaringan saraf.
Salah satu contoh bagaimana jaringan saraf berbeda dari otak manusia adalah sistem Deep Dream. Ini adalah proyek Google, jaringan saraf, di mana foto biasa diperkenalkan dan diberi tujuan mengubah foto ini sesuai dengan topik tertentu. Yah, misalnya, buat semua benda dalam gambar terlihat seperti anjing. Hasilnya mengesankan semua orang. Entah bagaimana, tugas menghasilkan gambar halter diperkenalkan ke dalam sistem. Sistem mengatasi, tetapi dalam semua kasus tangan orang tertarik pada halter - jaringan saraf memutuskan bahwa halter-lengan adalah sistem tunggal yang tidak dapat dianggap sebagai dua elemen yang terpisah.
Para ahli percaya bahwa perlu untuk lebih memahami bagaimana sistem seperti itu bekerja. Ini diperlukan karena alasan sederhana bahwa mereka mulai menggunakan jaringan saraf di daerah yang semakin penting di mana kesalahan dapat menyebabkan akhir yang menyedihkan (perdagangan sekuritas adalah salah satu contoh). “Jika Anda memiliki jaringan saraf kecil, Anda dapat memahami dengan sempurna cara kerjanya. Tetapi ketika jaringan saraf tumbuh, jumlah elemen di dalamnya meningkat menjadi ratusan ribu neuron per lapisan dengan ratusan lapisan - dalam hal ini, itu menjadi tidak terduga, ”kata Jaakkola.
Namun demikian, jaringan saraf harus digunakan dalam pekerjaan, dalam pengobatan yang sama. Dokter meremehkan pentingnya banyak data, seseorang sama sekali tidak dapat menangkap matanya dan menemukan hubungan antara ratusan catatan dalam riwayat medis pasien. Dan mesin - mungkin ini adalah nilai besar dari jaringan saraf dan pembelajaran mendalam secara umum.
Militer AS telah menginvestasikan miliaran dolar dalam pengembangan sistem kontrol drone otomatis, identifikasi dan identifikasi berbagai objek, analisis data. Tetapi militer percaya bahwa pekerjaan sistem semacam itu harus dapat dimengerti dan dijelaskan. Tentara yang sama yang dikunci dalam tangki yang dikontrol otomatis akan merasa sangat tidak nyaman jika mereka tidak mengerti bagaimana dan apa yang berhasil, mengapa sistem membuat keputusan seperti itu, dan bukan yang lain.
Mungkin di masa depan sistem ini akan menjelaskan tindakan mereka. Sebagai contoh, Carlos Guestrin, seorang profesor di University of Washington, telah mengembangkan sistem komputer yang menjelaskan hasil antara perhitungannya. Sistem ini dapat digunakan untuk menganalisis pesan elektronik. Jika salah satu dari mereka dievaluasi oleh komputer seperti yang dikirim oleh teroris bersyarat, maka penjelasan akan diberikan mengapa kesimpulan seperti itu dibuat.
Menurut ilmuwan, penjelasannya harus cukup sederhana dan dapat dimengerti. "Kami belum mencapai mimpi di mana AI hanya berbicara dengan Anda dan dapat menjelaskan," kata Guestrin. “Kami hanya berada di awal perjalanan panjang untuk menciptakan AI yang transparan.”
Memahami alasan yang menyebabkan AI ke hasil tertentu adalah penting jika kita ingin menjadikan AI bagian dari kehidupan kita, dan bagian yang bermanfaat. Ini benar tidak hanya dalam kasus militer, tetapi berlaku untuk Siri atau asisten digital lainnya. Misalnya, jika Anda meminta Siri untuk memberikan pilihan restoran terdekat, maka banyak yang ingin memahami mengapa restoran ini ditampilkan, dan bukan yang lain. Kriteria penting untuk implementasi AI adalah kepercayaan manusia terhadap sistem komputer.
Mungkin, masih tidak mungkin untuk membuat komputer menjelaskan semua tindakan dan keputusannya - karena, misalnya, tindakan dan keputusan setiap orang sering kali mustahil untuk dipahami. Mereka bergantung pada sejumlah besar faktor. Dan semakin kompleks jaringan saraf, semakin banyak faktor yang diperhitungkan dan dianalisis.
Ini menimbulkan sejumlah masalah kompleks yang bersifat etis dan sosial. Misalnya, dalam kasus militer yang sama, ketika datang untuk menciptakan tank otomatis dan mesin pembunuh lainnya, adalah penting bahwa keputusan mereka mematuhi standar etika manusia. Sebenarnya, membunuh itu sendiri mungkin tidak sesuai dengan standar etika banyak dari kita. Tetapi keputusan ini harus setidaknya diterima oleh mayoritas. Meskipun, apa mayoritas ini? Juga pertanyaan.
Daniel Dennett, seorang filsuf dari Tufts University, mengatakan yang berikut: “Saya percaya bahwa jika kita akan menggunakan hal-hal ini dan bergantung padanya, maka kita perlu memahami bagaimana dan mengapa mereka bertindak seperti ini dan bukan sebaliknya. Jika mereka tidak dapat menjelaskan dengan lebih baik apa yang mereka lakukan, maka jangan percayai mereka. "