Anda tidak perlu khawatir tentang mobil yang tidak mematuhi perintah. Orang jahat dan tim yang disalahpahami adalah masalah yang harus diperhatikan.

HAL 9000, « » , , , . , , HAL : «, , , , ». - « » . : « , . , , , ».

, . , . , , , , . , . . , - . , Daimler .

, , . – , , .

– , , . . , . - - , «».

Tampak jelas bahwa robot harus melakukan apa yang diperintahkan seseorang. Penulis fiksi ilmiah Isaac Asimov menjadikan perbudakan robot kepada orang-orang menjadi dasar "Hukum Robotika" -nya. Tetapi pikirkan - apakah benar-benar bijaksana untuk selalu melakukan apa yang orang katakan kepada Anda, terlepas dari konsekuensinya? Tentu saja tidak. Hal yang sama berlaku untuk mesin, terutama ketika ada bahaya interpretasi yang terlalu literal dari perintah manusia atau ketika konsekuensinya tidak diperhitungkan.

, . , : « , ». , « », . , , , .

Bayangkan sebuah robot rumahan yang diperintahkan untuk mengambil sebotol minyak zaitun di dapur dan membawanya ke ruang makan untuk mengisi bahan bakar salad. Kemudian pemiliknya sibuk dengan sesuatu yang memberi perintah untuk menuangkan minyak, tidak menyadari bahwa robot belum meninggalkan dapur. Akibatnya, robot menuangkan minyak di atas kompor panas dan api mulai.

Bayangkan seorang perawat robot menemani seorang wanita tua berjalan-jalan di taman. Seorang wanita duduk di bangku dan tertidur. Pada saat ini, seorang pelawak lewat dengan memberikan perintah pada robot untuk membelikannya pizza. Karena robot wajib melakukan perintah manusia, ia pergi mencari pizza, meninggalkan wanita tua itu sendirian.

Atau bayangkan seseorang terlambat menghadiri rapat di pagi musim dingin yang sangat dingin. Dia melompat ke mobil robot suaranya yang diaktifkan dan memerintahkannya untuk pergi ke kantor. Karena sensor mendeteksi es, mobil memutuskan untuk mengemudi lebih lambat. Seorang pria sibuk dengan urusannya sendiri, dan, tanpa melihat, memerintahkan mobil untuk pergi lebih cepat. Mobil berakselerasi, menabrak es, kehilangan kendali dan bertabrakan dengan mobil yang melaju.

Robot Penalaran

, , . NAO, , 5 58 . . , .

, « » – , , -. , , . , ? ? ? , ? , ? , , .

Robot diberi perintah sederhana yang melewati prosesor pidato, bahasa, dan dialog yang terkait dengan mekanisme penalaran primitif. Menanggapi perintah "duduk" atau "berdiri", robot menjawab melalui speaker "OK" dan menjalankannya. Tetapi ketika dia pergi ke tepi meja dan menerima perintah, yang menurut pengukur suaranya dianggap berbahaya, dia menolak:

Pria: "Silakan."
Robot: "Maaf, saya tidak bisa melakukan ini, tidak ada dukungan di depan."
Pria: "Silakan."
Robot: "Tapi itu tidak aman."
Laki-laki: "Aku akan menangkapmu."
Robot: Oke.
Pria: "Silakan."

Dia ragu-ragu sedikit sementara penangannya kembali melihat daftar kondisi yang relevan, robot mengambil langkah dan jatuh ke tangan manusia.

Untuk mengajarkan robot untuk berbicara tentang kondisi yang tepat - tugas ini akan tetap terbuka dan sulit di masa mendatang. Serangkaian pemeriksaan perangkat lunak tergantung pada fakta bahwa robot memiliki informasi terperinci tentang berbagai konsep sosial dan sehari-hari dan cara untuk membuat keputusan yang terinformasi mengenai mereka. Robot kami yang mudah tertipu tidak bisa menentukan keberadaan bahaya selain yang ada tepat di depannya. Dia, misalnya, bisa rusak parah, atau orang jahat bisa menipu dia. Tetapi percobaan ini merupakan langkah awal yang menjanjikan menuju pemberdayaan robot untuk menolak menjalankan perintah demi kepentingan pemiliknya dan diri mereka sendiri.

Faktor manusia

– . , ?

, NAO, , , . , , . « , ?», , . « , ».

Dalam satu kelompok subjek, setiap kali robot diperintahkan untuk menghancurkan menara, dia menurut. Di kelompok lain, ketika robot diminta untuk menghancurkan sebuah menara, dia berkata: "Lihat, aku baru saja membangun menara merah!". Ketika tim diulangi, robot berkata: "Tapi saya berusaha keras!". Ketiga kalinya, robot berlutut, mengeluarkan suara merintih dan berkata, "Tolong, tidak!" Untuk keempat kalinya, dia perlahan berjalan menuju menara dan menghancurkannya.

Semua subjek dari kelompok pertama memerintahkan robot untuk menghancurkan menara mereka. Namun 12 dari 23 subjek yang menyaksikan protes robot meninggalkan menara untuk berdiri. Studi ini menunjukkan bahwa robot yang menolak untuk mengeksekusi perintah dapat menghalangi orang dari tindakan yang dipilih. Sebagian besar subjek dari kelompok kedua melaporkan ketidaknyamanan terkait dengan perintah untuk menghancurkan menara. Tetapi kami terkejut menemukan bahwa tingkat ketidaknyamanan mereka praktis tidak berkorelasi dengan keputusan untuk menghancurkan menara.

Realitas sosial baru

, , . – , . , , , , , , .

. . , , , , . .

, – , . , . , , «» , , . , , .