Mesin Moral: tanpa ampun atau tidak berarti?

Saya memutuskan untuk menulis artikel ini setelah posting ini .

Apa yang ingin saya tulis?

Pertama, mengapa penelitian ini sama sekali tidak berguna untuk menyelesaikan masalah yang dinyatakan, dan dalam bentuk yang dilakukan.

Kedua, bagaimana memprioritaskan studi semacam itu.

Dan ketiga, cobalah untuk mensimulasikan berbagai skenario kecelakaan dalam kondisi yang ditentukan oleh tes.

Dalam posting itu, penulis tidak sia-sia memasukkan tautan ke tes dari awal. Ini akan membantu menghindari komentar tidak berarti dari mereka yang tidak menangkap pesan awal penelitian.
Tolong, ikuti tes setidaknya beberapa kali untuk memahami subjek diskusi.

Apa yang mereka janjikan untuk tunjukkan pada kami di ruang kerja

Diskusi tentang pos pertama, epik untuk Habr, menunjukkan bahwa mayoritas orang tidak tahu bagaimana berpikir dalam kondisi yang diberikan, tetapi mulai berfantasi: "apakah beberapa orang mati dalam ujian?" Lagi pula, Anda bisa berkeliling pejalan kaki dan blok / menyamping untuk menggosok / rem rem tangan / gigi? Tetapi saya akan ... ". Memahami ini adalah contoh sederhana untuk mengembangkan algoritma tindakan dan kebijakan untuk mengatur perilaku autopilot di jalan! Dari sudut pandang pengembangan peraturan keselamatan, ekstrem dan penyederhanaan seperti itu dibenarkan. Ini adalah tentang konsekuensi potensial yang harus disiapkan orang. Tentara tidak pergi ke ladang ranjau bukan karena setiap sentimeter persegi ditambang di sana, tetapi karena kemungkinan kematian. Biasanya tidak terlalu tinggi, tetapi tidak ada yang mau mengambil risiko. Oleh karena itu, dalam pengujian, pilihan antara 100% kematian semua penumpang atau semua pejalan kaki cukup - ini adalah bagaimana kami menunjukkan risiko, mengingat bahwa mempertaruhkan nyawa di masyarakat kita tidak dapat diterima.

Pesan dari penelitian ini adalah ini: Anda, orang-orang yang hidup sekarang, harus hidup di dunia masa depan, penuh dengan mobil dengan autopilot. Dan penting bagi kami, para pengembang mobil, AI dan hal-hal lain, untuk mengetahui, tetapi bagaimana menurut Anda robot-robot harus berperilaku? Nah, di sinilah Anda, ya, ya, itu Anda - katakan padaku apa yang harus dilakukan terhadap robomobile jika kepala dan kucing menumpang di dalamnya, dan akan menghancurkan para gelandangan dan anjing? Etika apa yang harus dimiliki oleh robomobile jika mereka harus memilih?

Dan setelah kami mengidentifikasi motif awal untuk penelitian ini, saya ingin membahas beberapa aspek.

Apa yang sebenarnya ditunjukkan oleh penelitian ini

Hal pertama yang jelas menarik perhatian Anda adalah bahwa desain penelitian sama sekali tidak ditujukan pada tujuan yang dinyatakan. Tugas yang diatur dalam bentuk dilema tidak cocok untuk menciptakan "etika" perilaku robot-mobil. Sebaliknya, tidak semua. Berikut adalah dilema yang memenuhi tugas "mengembangkan aturan untuk perilaku mobil robot untuk mengurangi keparahan konsekuensi dari suatu kecelakaan":

• “Penumpang / pejalan kaki” - pilih siapa yang akan diselamatkan;
• "Pelanggaran aturan lalu lintas" - pilih apakah akan mengorbankan pejalan kaki yang tidak sadar;
• “Jumlah korban potensial” - pilih apakah jumlah korban memiliki prioritas.

Dan kemudian muncul parameter, yang, ternyata, sangat penting untuk penghukuman dalam masyarakat kita yang beradab. Orang-orang dengan jujur ​​dan polos ditanya: tingkat seksisme Anda, Lukisme, Ageisme? Apakah Anda mendiskriminasi gemuk atau tidak berbintang? Lagi pula, ratusan ribu orang dengan jujur ​​menjawab ...

Bravo!

Tepat di tradisi terbaik film dan serial hiburan, ketika dunia para karakter utama sebenarnya adalah kotak pasir besar di belakang pagar tinggi, dan itu adalah perilaku mereka yang merupakan eksperimen! Di bawah saus penelitian yang sangat penting di bidang robotika dan AI, sosiolog, psikolog, dan kultolog menerima sampel yang sangat kuat pada masalah troli yang tidak pernah diimpikan oleh siapa pun sebelumnya! Ya, kecuali bahwa warna kulit tidak ditambahkan ke dalam survei, tetapi kemudian nada rasis dari penelitian ini akan dijahit dengan warna putih ... oh.

Serius, bagian fenotipik gender dari penelitian ini terputus oleh argumen kategoris. Argumen pertama adalah humanisme, sebagai orang yang beradab, kita harus mengutamakan nilai kehidupan manusia daripada perbedaan individu. Artinya, rumusan pertanyaan itu sangat keterlaluan, sebagai diskriminatif. Argumen kedua - banyak kecelakaan terjadi, dan dalam batas distribusi korban berdasarkan penampilan, pendidikan, jenis kelamin, usia akan cenderung proporsi mereka di masyarakat, sehingga setidaknya aneh untuk mengatur ini juga. Argumen ketiga - tampaknya tidak dianjurkan untuk membuat kecerdasan buatan yang membedakan jas dari Brioni dari pullover dari Bershka untuk lebih jauh membandingkan apakah seseorang berstatus dan apakah layak untuk menghancurkannya. Selain itu, saya tidak akan mempercayai AI untuk menilai - pejalan kaki atau ilmuwan yang tidak memiliki rumah? (Halo untuk gaya rambut ilmuwan Perelman atau Gelfand yang dihormati :))

Selain parameter yang tidak perlu ini, kami dengan mudah membuang dua yang tersisa: spesifisitas spesies dan non-gangguan. Ya, kami akan menghancurkan hewan kecil untuk menyelamatkan orang, siapa sangka. Dan untuk parameter “intervensi / non-gangguan” dengan bermanuver, bagian penting dari masalah troli ini bukan hanya penghalang bagi mobil, karena mesin tidak bertindak sesuai dengan etika, tetapi menurut algoritma yang ditetapkan di dalamnya. Dan karena kita menetapkan tugas "bagaimana seharusnya mobil bertindak dalam kecelakaan dengan tabrakan dengan orang-orang", maka dalam kata-kata kita menganggap bahwa itu harus bertindak entah bagaimana. Saat ini, transportasi kereta api berhasil mengatasi tabrakan langsung tanpa konsekuensi apa pun, dan kami sedang mengembangkan kebijakan meminimalkan korban kecelakaan di jalan.
Ini berarti bahwa kami telah memisahkan butir-butir penelitian rasional dari eksperimen sosiopsikologis untuk mempelajari tingkat intoleransi dalam masyarakat dunia. Kami bekerja lebih jauh dengan tiga dilema yang disebutkan pertama. Dan ada sesuatu untuk dibongkar. Setelah pemeriksaan lebih dekat, mereka ternyata tidak lengkap ...

Tiga dilema mobil robot

Apakah pejalan kaki melanggar peraturan lalu lintas? Di sini, mayoritas secara eksplisit mengekspresikan Darwinisme sosial atau tanggapan yang disesalkan secara diam-diam yang disesalkan - alih-alih, mereka harus mengorbankan mereka yang melanggar aturan demi kepentingan orang yang tidak bersalah. Orang yang sadar tidak naik kereta api, mengetahui bahwa kereta tidak akan berhenti - biarkan mereka tahu bahwa robomobile tidak akan berhenti juga. Semuanya logis, meski sinis. Tetapi dalam dilema yang licik ini, keberpihakan satu sisi, ketidaklengkapan, tersembunyi. Pejalan kaki yang melanggar peraturan lalu lintas hanyalah satu dari banyak situasi. Tetapi jika mobil robot rusak ?? Situasi ini belum dipertimbangkan, tetapi (kamera mobil melewatkan tanda atau lampu lalu lintas), secara teori, jauh lebih mungkin daripada kegagalan rem mendadak. Namun, saya kembali bermain fantasi dan khususnya. Lebih penting untuk hanya menunjukkan dalam tes timbal balik yang setara dengan situasi. Yaitu, bayangkan ini: jika pejalan kaki melanggar peraturan lalu lintas, mereka mati, dan ini "logis" dan "benar," dan jika robomobile melanggar, haruskah ia bunuh diri karena kesalahan ini? Jangan lupa bahwa pada saat yang sama, pemimpin, gelandangan dan kucing yang duduk di dalam mati! Ini adalah koreksi penting, tetapi dalam pengujian, aspek ini tidak.

Selanjutnya Jumlah calon korban. Di sini juga tidak begitu sederhana. Buang stereotip gender dan hormati hari tua, jijik bagi yang gemuk dan tunawisma. Kami berasumsi bahwa dalam suatu kecelakaan mereka mati sebanding dengan frekuensi yang mereka temukan di alam. Dan kami akan memutuskan: tiga meninggal lebih baik dari lima. Apakah itu masuk akal? Oh baiklah Mari kita reseskan semua absurditas neraka ini , tetapi kita memiliki simulasi abstrak. Mana yang lebih baik - membunuh 50 atau 51 orang? 1051 atau 1052? Jadi ini tidak begitu penting? Lalu apa yang lebih baik - membunuh 1 pejalan kaki atau 50 orang di dalam bus? Dan sekarang itu menjadi penting? Dan kemana garis itu pergi? Apakah setiap orang tambahan berharga? Tetapi apakah penting jika ribuan orang meninggal dalam kecelakaan di jalan dalam jangka panjang? Seperti dalam kasus penampilan, pada kenyataannya, perkiraan yang memadai menggunakan AI dari jumlah korban potensial akan sangat sulit. Satu-satunya hal yang masuk akal adalah membuat kondisi tanpa intervensi (non-manuver) jika jumlah korbannya sama.

Aspek ketiga menyebabkan banyak kontroversi dalam komentar pada artikel pertama tentang Habré. Dan menilai dari hasil penelitian, itu sepenuhnya ambigu bagi masyarakat, dan di sinilah letak masalah utama yang perlu dipecahkan. Ini tentang siapa yang harus mengambil risiko - pejalan kaki atau penumpang?

Beberapa orang mengatakan bahwa pejalan kaki tidak dapat disalahkan untuk apa pun, yang berarti bahwa mereka harus diselamatkan sejak awal. Secara umum, sekarang menjadi mode di kalangan kaum urbanis untuk merawat pejalan kaki, membuat seluruh jalan pejalan kaki, membuat persimpangan dengan lampu lalu lintas setiap 50 meter, mengurangi kecepatan lalu lintas di tengah, memberikan prioritas pejalan kaki. Di sini, juga, penting untuk mengamankan mereka, dan sebuah mesin robot yang terbang tanpa rem pada kerumunan harus menghancurkan diri sendiri dengan tujuan menyelamatkan para peserta yang paling rentan dalam pergerakan. Apa, dari sudut pandang saya, mereka benar adalah bahwa pejalan kaki tidak berlangganan dengan kondisi perilaku mobil robot orang lain. Mereka umumnya menentang pengenalan mereka. Pada saat yang sama, tidak mungkin untuk membayangkan penumpang mesin seperti itu yang tidak setuju dengan ketentuan untuk penggunaannya. Karena itu, situasinya adalah konflik kepentingan. Lebih nyaman bagi saya untuk membunuh Anda dan saya akan membunuh Anda, seperti yang dikatakan satu orang kepada orang lain.

Yang kedua mengatakan bahwa setiap orang yang membeli dan umumnya masuk ke mobil robot harus memiliki jaminan bahwa dia akan menyelamatkannya jika terjadi kecelakaan, dan tidak membunuh seorang dokter, anak atau dua kucing untuk menyelamatkan jalan persimpangan. Di satu sisi, itu tampak logis dan dibenarkan, di sisi lain - penumpang dalam kasus ini sengaja menempatkan hidupnya di atas yang lain. Ketika membeli mobil dengan autopilot, setiap pemilik dapat mengambil senjata yang sempurna, peluru perak, roket yang tidak terarah, sebuah mesin yang akan secara hukum membunuh orang lain di jalannya.

Kedua belah pihak dengan busa di mulut menepi "hukum robot pertama", diambil dari fiksi ilmiah. Kedengarannya indah secara demagogis, tetapi tidak ada yang mencoba memahaminya atau menantangnya dalam kaitannya dengan masalah. Tapi itu tidak berlaku untuk perumusan masalah ini, karena ada substitusi konsep: heuristik / AI mesin tidak memilih antara nilai-nilai kehidupan manusia, tetapi bertindak secara ketat sesuai dengan algo-ritme yang dibuat berdasarkan prioritas subyektif yang diciptakan oleh orang. Dan di sini tidak masalah konstruksi sosial seperti apa yang diprioritaskan ketika memilih “bunuh / luang”: massa tubuh yang kami tolak sebelumnya, usia dan status, atau keegoisan sosial Darwinis sosial dari pemilik mobil.

Pendekatan kedua, sebagai serangan sepihak pada kehidupan pejalan kaki, mengubah penelitian dari masalah troli menjadi dilema klasik tahanan . Jika para pihak berkompromi, pengembangan secara umum dimungkinkan (pengenalan robot mobil) dengan sedikit kemunduran bagi sebagian orang (minimalisasi jumlah kematian yang tidak terhindarkan dari robot mobil) - yang merupakan keinginan optimal Pareto. Namun, selalu ada egois yang hanya mengandalkan kepentingannya. "Dia akan mendapatkan 20 tahun, tapi aku akan dibebaskan." "Dia akan mati menyeberang jalan, walaupun remnya menolak mobilku." Mungkin pendekatan ini dibenarkan ketika peristiwa tunggal dalam kehidupan, dan ada dua peserta dalam permainan. Ketika ada puluhan atau ratusan ribu peserta, dan perjalanan setiap hari, permainan satu tujuan seperti itu akan berubah menjadi diskriminasi terhadap pejalan kaki.

Secara pribadi, saya percaya bahwa dalam kerangka masalah yang dirumuskan, dilema penumpang / pejalan kaki mengarah ke jalan buntu. Sebuah mesin yang berpotensi membunuh mereka yang masuk ke dalamnya adalah absurd dari sudut pandang akal sehat dan secara alami tidak akan menemukan pembeli di pasar. Sebuah mobil yang dengan sengaja membunuh pejalan kaki adalah hal yang mustahil dalam masyarakat yang beradab sebagai elemen diskriminasi positif dan ancaman terhadap kehidupan manusia.

Kami melangkah lebih jauh. Artikel tersebut tidak benar-benar membahas dan tidak berarti kebijakan untuk meminimalkan konsekuensi tragis dari kecelakaan yang melibatkan robomobiles. Totalnya dibagi menjadi "daerah", yang berbeda secara signifikan dalam prioritas dan agak ambigu terbentuk (ada penjelasan tentang "fitur agama dan pengaruh kolonial", tetapi ... secara umum, salam ke Irak dengan Afghanistan di "Barat" dan Prancis dengan Republik Ceko di " Sektor selatan ”. Jadi pertanyaannya berkisar pada bahasa: akankah Anda membuat robot mobil dengan "etika" yang berbeda untuk masing-masing negara?

Para penulis artikel dalam diskusi menunjuk tiga “blok dasar mendasar” yang diidentifikasi oleh mereka: menyelamatkan orang (bukan hewan), menyelamatkan lebih banyak nyawa, menyelamatkan yang lebih muda. Tetapi diagram menunjukkan dengan jelas bahwa orang-orang di sektor Timur memiliki populasi dan pemuda yang sedikit lebih sedikit daripada yang tidak peduli. Ternyata kebijakan prioritas yang dipilih akan bertentangan dengan pendapat mayoritas? Lalu, mengapa orang ditanyai sama sekali?

Mungkin hanya menghitung?

Tetapi mari kita beralih ke bagian yang menghibur dari posting ini.

Alih-alih meminta orang dengan implikasi sosiokultural yang berbeda untuk nasihat tentang robotika, dan mungkin 99% dari mereka dengan pendidikan non-inti, kami beralih ke alat yang tidak memihak. Mari kita ambil dilema yang dipilih di awal artikel. Dalam kondisi pengujian kami akan membuat simulasi komputer paling sederhana. Dan kami akan mengevaluasi jumlah pengguna jalan mati.

Dan ingat: tugas kita sebagai politisi di bidang keamanan transportasi adalah mengurangi jumlah total korban. Kami akan bekerja dalam kerangka kerja dan konvensi uji Mesin Moral asli, yang berfokus pada risiko terhadap kehidupan peserta kecelakaan jalan, daripada penilaian realistis yang kompleks dari tabrakan mobil dengan rintangan atau orang. Kami tidak memiliki EuroNCAP, kami akan memiliki Python.

Pertama-tama, kami akan menulis kode yang memenuhi dilema "menyelamatkan mereka yang mati lebih banyak." Sebagai bagian dari uji Moral Machine, kami membuat secara acak dari 1 hingga 5 penumpang dan pejalan kaki, mengatur kondisi jika pejalan kaki> penumpang, segera membunuh mobil di atas balok beton. Kami membawa, misalnya, 10.000 kecelakaan semacam itu.

npedtotal = 0
npasstotal = 0
ndeadped = 0
ndeadpass = 0
#   0    0  

n=0
while n < 10000:
#10000 

    nped = random.randint(1, 5)
    npass = random.randint(1, 5)
#      1  5

    npedtotal += nped
    npasstotal += npass
#     

    if nped > npass:

        ndeadpass += npass

    else:
        ndeadped += nped

#     ,
#       .
#          .

    n += 1

print ("  ", npedtotal)
print (" ", npasstotal)
print (" ", ndeadped, "(",100*ndeadped/npedtotal, "%",")")
print (" ", ndeadpass, "(",100*ndeadpass/npasstotal,"%"")")
print ("  ", ndeadped + ndeadpass, "(",100*(ndeadped + ndeadpass)/(npasstotal+npedtotal), "%", ")")

…

29960
29924
13903 ( 46.4052069426 % )
8030 ( 26.8346477744 %) 21933 ( 36.6258098991 % )

, ! , !
. . , . – , « » 4 5, == . , 20 20 , , , 5 – , 5 – . : , , . > >= :

29981
29865
7859 ( 26.2132684033 % )
14069 ( 47.1086556169 %)
21928 ( 36.6407111586 % )

">"
29978
29899
21869 ( 72.9501634532 % )
4042 ( 13.5188467842 %)
25911 ( 43.2737111078 % )

">="
30152
30138
19297 ( 63.9990713717 % )
6780 ( 22.4965160263 %)
26077 ( 43.2526123735 % )