Moral transportasi robot: masalah troli, risiko dan konsekuensi

Sisi moral pengembangan kendaraan robot sangat kompleks. Para pengembang sangat percaya bahwa pengujian harus dilakukan di jalan umum, meskipun mereka tahu bahwa ini akan memberikan sedikit risiko bagi pengguna jalan yang tidak menaruh curiga. Mobil yang dilepas setelah tes pasti akan masuk ke kecelakaan (termasuk yang fatal), dan keadaan ini adalah prospek yang menakutkan dan mengecilkan hati. Pada saat yang sama, kesuksesan menjanjikan kita peningkatan luar biasa dalam keselamatan jalan dan menyelamatkan nyawa sejumlah besar orang yang akan mati jika tidak ada kesempatan untuk menggantikan mengemudi manusia yang lebih berbahaya dengan drone.

Kami akan mempertimbangkan aspek-aspek seperti:

1. Memahami pendekatan yang berbeda terhadap penalaran moral orang dalam situasi yang berbeda (atau sama)
2. Bagaimana hukum, masyarakat, dan asuransi berhubungan dengan mengemudi, kecelakaan, dan kecelakaan yang berisiko.
3. Risiko dan kerugian selama mengemudi (atau pelatihan mengemudi) yang tampaknya kami bersedia terima untuk keuntungan kecil.
4. Bagaimana pandangan kami bahwa "tujuan membenarkan cara" berubah tergantung pada apa yang dipertaruhkan: kekejaman yang disengaja atau risiko kecil yang disengaja.
5. Keuntungan besar akan kita dapatkan ketika armada kecil mobil otonom belajar mengemudi dengan lebih aman, setelah itu perangkat lunak mereka akan disalin ke jutaan mobil lain - sebuah situasi yang tidak mungkin terjadi dalam kasus pengemudi manusia.
6. Risiko dan prinsip pendekatan modern untuk menguji dan mengembangkan mobil otonom, dan bagaimana Uber melanggarnya.
7. Manfaat besar jika kita dapat menemukan pendekatan yang tepat.

Fakta bahwa kecelakaan fatal yang melibatkan kendaraan Uber baru-baru ini ditemukan di Tempe, Arizona hanya meningkatkan kebutuhan untuk memahami masalah ini. Banyak teks telah ditulis dan banyak pendapat yang diungkapkan tentang bagaimana membahas risiko dan prinsip-prinsip moralitas dalam kendaraan tanpa awak. Dalam artikel ini, saya berharap dapat menyajikan pandangan yang jelas tentang masalah ini dan panduan untuk diskusi tentang masalah ini.



Kebanyakan crash adalah mesin tunggal dan dapat dicegah. Namun demikian, kami menerima risiko yang mengerikan ini tanpa berpikir.

Ternyata kombinasi dari pelajaran yang diberikan masalah troli kepada kita (yaitu, dari troli, bukan kendaraan tak berawak) dan mengukur tindakan yang mengarah pada risiko alih-alih tragedi dapat membantu kita membentuk pemahaman yang lebih baik dan rezim hukum untuk menyelesaikan pertanyaan rumit tentang robot yang dapat dan menyelamatkan hidup manusia, dan mengancam mereka. Kita dapat menyelamatkan jutaan nyawa jika kita siap untuk menerima risiko yang sama seperti ketika mengajar remaja sebelum mereka mulai mengemudi (bukan remaja, Anda dapat membayangkan terburu-buru orang pengiriman pizza). Hampir setiap orang yang bekerja dengan robot ingin mereka menyelamatkan nyawa, dan bahwa mereka mulai melakukan ini sesegera mungkin, tetapi untuk ini publik harus memahami dan bahkan mengadopsi metode kerja di bidang ini. Untuk melakukan ini, kita harus memahami insting moral kita dan matematika internal kita, dan perbedaan antara risiko dan tragedi.



Saya menyadari kesulitan dalam memahami masalah ini setahun yang lalu ketika saya berbicara di rumah dengan teman saya saat makan malam. Seorang teman sangat khawatir tentang risiko yang terkandung dalam prototipe awal. Saya bertanya kepadanya - apakah masuk akal jika 100 orang mati selama pengujian, tetapi menggunakan produk akhir akan menyelamatkan jutaan nyawa? Tampak jelas baginya bahwa ini salah, dan dia tidak sendirian dalam pendapat ini.

Moralitas manusia itu rumit dan licik, dan dapat bekerja dengan cara yang berbeda tergantung pada situasinya. Hanya sedikit dari kita yang sangat jelas dalam prinsip-prinsip kita, dan prinsip-prinsip yang kita gunakan dalam keputusan subjektif kita mungkin berbeda dari yang digunakan dalam keputusan kolektif di masyarakat atau di pengadilan. Untuk memahami masalah ini dan bagaimana mencapai solusi yang lebih baik, kita perlu memahami bagaimana orang beralasan tentang moralitas seperti itu, dan, mungkin, mengubah pemikiran ini untuk mencapai hasil yang akan lebih baik dalam pendapat mayoritas.

Jawabannya mungkin terletak pada kenyataan bahwa, meskipun kita tidak setuju bahwa tujuan-tujuan besar dapat membenarkan cara-cara tidak bermoral, ternyata kita bersedia mengakui bahwa bahkan tujuan-tujuan menguntungkan yang sederhana pun dapat membenarkan cara-cara dengan risiko-risiko imoral yang kecil.

Jenis-jenis moralitas

Secara kasar, para filsuf membedakan dua kelas sistem moral yang luas. Yang pertama membutuhkan kode aturan dan prinsip, dan mendefinisikan kesalahan sebagai pelanggaran aturan dan prinsip yang sama ini, terlepas dari hasilnya. Nama kompleks dari sistem semacam itu adalah "deontologis", tetapi kami akan menyebutnya berdasarkan aturan. Di sisi lain, kami memiliki sistem berdasarkan hasil yang mengukur benar dan salah dengan hasil akhirnya. Mereka juga dikenal sebagai konsekuensialis. Satu himpunan bagian khusus dari sistem semacam itu adalah utilitarian, mengikuti aturan untuk mencapai kebaikan terbesar bagi jumlah terbesar orang, atau untuk melakukan yang paling tidak merugikan bagi sedikitnya jumlah orang.

Terkadang kita mencintai sistem moral utilitarian, terutama sebagai masyarakat secara keseluruhan. Namun, sebagai individu, kita cenderung tidak mempercayai mereka, karena mereka terkait dengan gagasan berbahaya bahwa “tujuan membenarkan cara”, dan gagasan ini telah menyebabkan banyak kengerian moral sepanjang sejarah. Sebagian besar dari kita tidak sepenuhnya milik salah satu sekolah. Seperti disebutkan sebelumnya, pendekatan kita berubah tergantung pada apakah kita menganggap diri kita sebagai orang atau masyarakat yang terpisah secara keseluruhan, dan kita mengubah pendekatan kita pada penalaran berdasarkan pada pandangan pribadi kita lebih dari yang ingin kita akui.

Seorang penganut murni pendekatan utilitarian akan dengan mudah setuju bahwa mobil akan membunuh 100 orang untuk menyelamatkan satu juta - dalam kasus moralitas utilitarian bahkan tidak ada pertanyaan. Pada saat yang sama, tidak akan mudah bagi banyak orang untuk menerima. Saya menduga jawabannya adalah untuk memahami bagaimana kita, sebagai individu, memberikan perhatian khusus pada insiden dan tragedi, sementara dalam peran masyarakat kita memperhatikan penilaian risiko dan barang publik.

Mereka yang membaca teks saya tahu bahwa saya benci penerapan standar "masalah troli" untuk kendaraan tak berawak . Dalam aplikasi ini, orang membayangkan perangkat lunak di dalam mobil, yang harus memutuskan mana dari dua kelompok orang yang berbeda untuk dibunuh dalam suatu kecelakaan. Kita secara menyakitkan dianut oleh gagasan bahwa sekarang mesin memutuskan siapa yang harus mati, meskipun sebelumnya ini adalah bidang aktivitas para dewa. Sebenarnya, ini adalah situasi yang sangat langka, dan resolusinya tidak termasuk dalam daftar prioritas. Programer dan perusahaan juga tidak ingin menulis algoritma yang berkaitan dengan pilihan moral, mereka lebih suka politisi menjawab pertanyaan semacam itu dan menulis undang-undang yang dengan senang hati akan mereka ikuti.

Namun, masalah troli asli memiliki fungsi nyata yang dapat bermanfaat dalam situasi ini. Itu diciptakan untuk membantu kita memahami pemikiran kita sendiri dan untuk membantu memahami perbedaan antara sistem moral berbasis aturan dan sistem yang berorientasi pada hasil, yaitu, pada akhirnya - dengan bantuan masalah troli, kita harus memiliki pemahaman filosofi yang lebih baik. Dan dia dapat membantu kita lebih memahami situasi ini.

Seperti yang mungkin Anda ingat, dalam tugas awal, troli berjalan di sepanjang rel dengan rem yang rusak. Seseorang (sangat tidak bermoral dalam situasi ini) mengikat 5 orang ke jalan utama, dan satu orang ke cabangnya. Anda dapat menarik sakelar untuk membunuh satu orang, tetapi simpan lima. Hingga 90% orang memilih pendekatan utilitarian (berbasis hasil) dan lebih suka menarik tuas, tetapi beberapa menolak. (Faktanya, orang-orang ini lebih cenderung berperilaku seperti ini dalam latihan di kelas. Di acara Mind Field di YouTube, sebuah eksperimen dilakukan di mana orang-orang dipaksa untuk berpikir bahwa mereka benar-benar dalam situasi dengan troli yang terburu-buru dan orang-orang yang terpasang. Perhatian, spoiler : sebagian besar subjek hanya membeku ketakutan)



Saya suka mengatakan bahwa solusi rekayasa untuk masalah ini lebih sederhana - Anda perlu memperbaiki rem troli . Insinyur kendaraan tak berawak terutama akan bekerja untuk memastikan bahwa mobil mereka tidak pernah masuk ke situasi seperti itu, bahkan jika mereka jarang terjadi.

Variasi dari masalah troli yang muncul oleh para filsuf jauh lebih menarik daripada kata-kata aslinya. Di salah satu opsi, Anda tidak perlu menarik sakelar, tetapi dorong orang gendut di atas rel untuk menghentikan gerobak - sedikit yang akan melakukannya, karena ini adalah pembunuhan yang disengaja. Dalam versi paling ekstrem, Anda tidak memiliki troli, tetapi ada 5 pasien yang sangat membutuhkan transplantasi organ. Anda dapat mengambil seorang pria berjalan di sepanjang jalan, memotongnya dan menyelamatkan lima orang - hampir tidak ada yang setuju untuk melakukan ini, meskipun ini adalah masalah yang sama dari sudut pandang pendekatan utilitarian.

Hampir tidak ada yang akan melakukan ini, karena di antara kita ada beberapa yang benar-benar milik sekolah moral tertentu. Lebih sulit bagi kita untuk mengubah pemikiran kita. Untuk memahami dan menyelesaikan masalah di bidang pengujian dan produksi kendaraan tak berawak, kita harus melampaui naluri alamiah dan individu, untuk memahami berbagai kasus sebagai "hanya" tragedi terpisah yang mereka wakili, dan berpikir tentang risiko apa yang dapat diterima dan mungkin diizinkan sebagai masyarakat.

Selain itu, kami jauh lebih ditolak oleh tragedi yang terjadi pada orang-orang yang lewat, walaupun kami tidak keberatan mengekspos orang-orang ini pada risiko yang lebih rendah. Akhirnya, kita lebih takut bahwa mesin independen, daripada manusia, akan membahayakan kita.
Orang-orang lucu bahwa meskipun sebagian besar takut mati dari robot, kita lebih mungkin dibunuh oleh penjahat mabuk.

Pada dasarnya, orang berpikir bahwa membunuh untuk menyelamatkan nyawa adalah salah, itu tidak bisa dibantah. Pertanyaan sebenarnya adalah apa yang sebenarnya menguji dan melepaskan kendaraan tak berawak di jalan - membunuh untuk menyelamatkan nyawa, atau mengambil risiko untuk tujuan yang sama. Bahkan, dalam banyak kasus, kami setuju untuk mengambil risiko demi menyelamatkan nyawa, dengan hasil yang baik.

Aspek moral mengemudi

Jadi apa hubungan antara filsafat moral dan mobil? Untuk mengetahuinya, kita perlu memikirkan aspek moral dari kecelakaan di jalan. Individu dan masyarakat secara keseluruhan memiliki sikap berbeda terhadap masalah ini. Masyarakat pada umumnya dan hukum pada khususnya, lebih suka untuk tidak menggambarkan sesuatu sebagai tidak bermoral atau jahat, kecuali ada niat jahat, yang disebut mens rea dalam yurisprudensi. Hampir semua pelanggaran pidana melibatkan niat jahat, dan jika tidak, maka hukuman (dalam banyak kasus) dikurangi. Karena itu, situasi tidak jarang ketika seseorang mengetuk seseorang hingga mati di dalam mobil dan tidak bertanggung jawab secara pidana atas hal ini. Pengemudi akan menghadapi hukuman keuangan, tetapi ditanggung oleh asuransi. Pelakunya akan keluar dari situasi ini hanya dengan rasa bersalah atas apa yang terjadi. Tetapi semua ini benar hanya jika pembunuhan seseorang benar-benar tidak disengaja dan sebenarnya benar-benar bertentangan dengan niat pengemudi. Tidak ada pembunuhan (bahkan tidak disengaja) tanpa niat yang jelas atau kelalaian yang serius dan disengaja .

Pada saat yang sama, kami bekerja keras untuk menentukan apakah ada niat jahat atau kelalaian, karena kami sangat prihatin dengan fakta bahwa sesuatu yang tragis seperti kematian mungkin tidak terjawab. Tetapi jika kita berbicara tentang situasi di mana kecelakaan itu benar-benar terjadi (yang saya maksudkan bahwa itu terjadi dalam kerangka risiko mengemudi biasa yang biasa) - tidak ada konsekuensi hukum, hal paling serius yang dapat terjadi adalah konsekuensi keuangan, yang sepenuhnya dibayar oleh asuransi.

Di sisi lain, pertimbangkan untuk ngebut. Ngebut adalah ilegal, meskipun sering dilakukan, tetapi jarang dihukum di beberapa tempat. Saat Anda berakselerasi, Anda tahu (atau seharusnya tahu) apakah Anda melebihi atau tidak. Dengan melakukan itu, Anda membuat orang lain menghadapi risiko tambahan, meskipun, untungnya, sebagai suatu peraturan, tidak ada hal buruk yang terjadi. Terlepas dari kenyataan bahwa Anda pasti akan menerima denda karena ngebut, jika kelebihan ini menyebabkan kecelakaan, sebagian besar denda dikeluarkan untuk kelebihan yang tidak membahayakan siapa pun. Hampir semua dari kita secara berkala melebihi kecepatan, dan kami melakukan ini karena alasan yang jelas - kami ingin pergi ke suatu tempat yang sedikit lebih cepat. Ini mungkin bertentangan dengan intuisi, tetapi mempercepat dengan sengaja dalam sistem kami lebih tidak bermoral dan ilegal daripada pembunuhan acak, meskipun kami, sebagai individu, jauh lebih toleran terhadap kecepatan.

Saya percaya bahwa masalah moral yang sebenarnya dalam mengemudi adalah kita sengaja menempatkan orang lain dalam risiko. Atau, untuk lebih spesifik, risiko tinggi yang tidak dapat diterima. Mengemudi apa pun menyiratkan bahwa orang lain akan berisiko. Bahkan, ada kemungkinan bahwa ketika mengemudi kita paling sering mengekspos orang lain dengan risiko terbesar. Kita semua tahu sejumlah besar kematian, cedera, dan kerusakan material akibat mengemudi - lebih banyak orang meninggal dalam kecelakaan daripada dalam semua perang dan sebagai akibat dari serangan teroris dalam sejarah Amerika Serikat sejak Perang Revolusi. Semua ini sangat beresiko, tetapi bagi kami, sangat penting bagi kami untuk menerima risiko yang relatif tinggi ini untuk kami dan orang-orang di sekitar kami. Kami melakukan ini dengan sengaja, meskipun kami sering melupakannya, dan tentu saja kami tidak begitu ingat esensi matematis dari fenomena ini. Kami menganggap tingkat risiko dasar ini "dapat diterima" dalam undang-undang dan kehidupan kami.

Masyarakat memutuskan bahwa kesalahan dan ilegalitas bukan pada korban tertentu, tetapi dalam paparan yang disengaja dan ceroboh orang lain terhadap risiko ekstrem.

Kami memiliki undang-undang tertulis yang melarang Anda mengekspos orang lain pada risiko luar biasa, dan Anda mendapatkan denda karena mempercepat, mengubah jalur yang salah, dan mengemudi yang ceroboh. Kami menganggap tindakan seperti itu tidak bermoral, karena tindakan itu dilakukan dengan sengaja atau karena kelalaian, meskipun kami tidak menganggap tindakan tidak bermoral sebagai kematian yang tidak benar-benar tidak disengaja. Ini tidak menghentikan mereka yang melihat ini sebagai tragedi besar, dan ini adalah reaksi yang benar-benar alami. Tetapi sebagai masyarakat yang menulis dan menegakkan hukum, kami memandang segala sesuatu secara berbeda.

Kami menemukan sejumlah risiko mengemudi yang dapat diterima:

1. Mengemudi Tugas Berat
2. Mengemudi di tengah hujan, salju, dan malam hari
3. Mengemudi di tempat-tempat dengan banyak pejalan kaki dan pengendara sepeda
4. Mengemudi mobil dengan sedikit masalah mekanis
5. Berkendara tanpa pengereman darurat otomatis dan teknologi canggih lainnya
6. Mengemudi dalam keadaan mengantuk bahkan ketika kita tertidur (dua negara memiliki undang-undang yang melarang mengemudi mengantuk)
7. Mengemudi remaja riang baru saja berlisensi
8. Siswa Berkendara Dewasa
9. Mengemudi orang tua dengan persepsi berkurang dan waktu reaksi lebih lama
10. Mengemudi dengan kadar alkohol dalam darah tepat di bawah diizinkan
11. Mengemudi dalam kondisi sakit (meskipun ilegal)
12. Menggunakan perangkat dan menulis pesan saat mengemudi (walaupun ini ilegal)
13. Di AS, ngebut sangat umum, sering dengan margin lebar dari mobil lain

Mari kita lihat prototipe kendaraan tak berawak. Ketika tim pengembang menempatkan mobil seperti itu di jalan, mereka dengan sengaja membahayakan peserta lalu lintas lainnya. Tentu saja, mereka tidak berniat menyebabkan kecelakaan, bahkan mereka berniat mencegahnya.

Saat ini, test drone, dengan pengecualian beberapa, selalu bekerja di bawah kendali pengemudi manusia yang siap untuk turun ke bisnis jika terjadi masalah. Hampir selalu ada orang kedua yang memantau sistem dan sesekali melirik jalan. Ini dapat dibandingkan dengan situasi ketika seorang pengemudi remaja dengan SIM siswa ditemani oleh seorang instruktur. Instruktur memiliki pedal rem sendiri, dan ia dapat mencegat kemudi, seperti pengemudi dalam drone. Pengemudi remaja, ditemani oleh instruktur, sebenarnya memiliki skor keamanan yang cukup baik, seperti halnya hampir semua tim kendaraan tak berawak - dengan pengecualian Uber, yang akan saya bicarakan nanti.

Pengemudi remaja ini, setelah memperoleh lisensi setelah lulus tes minimum, menjadi pengemudi paling berbahaya di jalan. Kami membebaskan mereka di jalan untuk memberi mereka mobilitas, juga karena ini adalah satu-satunya cara untuk membuat mereka menjadi pengemudi dewasa yang lebih berhati-hati, yang pada akhirnya akan menjadi. Kami mengambil risiko yang terkait dengan mengendarai pengemudi remaja, berharap untuk mendapatkan pengemudi yang lebih hati-hati di masa depan. Dari setiap remaja berisiko di jalan, satu orang dewasa tumbuh, orang dewasa yang lebih berhati-hati (sebenarnya sedikit kurang dari satu, karena tidak semua remaja benar-benar mencapai usia paling aman ini).



Seperti disebutkan sebelumnya, tim pengembangan drone menempatkan orang-orang pada risiko tertentu, tetapi manfaat yang dibawa risiko ini sangat besar. Perjalanan studi singkat akan meningkatkan keamanan semua mobil berikutnya yang akan dibuat nanti, yang pada akhirnya berarti jutaan mobil yang ditingkatkan. Dengan menerima risiko utama pengujian dan pengembangan, kami mendapat manfaat dari pengurangan risiko yang signifikan di masa depan. Pengurangan risiko akan terjadi ketika mobil mulai mengemudi lebih aman daripada orang, dan orang-orang berhenti menempatkan orang lain dalam risiko dengan memilih mengendarai mobil tak berawak daripada mengemudi secara mandiri. Ini terutama benar ketika datang ke orang-orang yang minum atau berhubungan dengan salah satu item pada daftar di atas.

Beberapa berpendapat bahwa kita harus mempertimbangkan bukan hanya risiko luar biasa, tetapi juga risiko yang perlu. Karena bisa salah jika menempatkan orang pada risiko biasa jika ini tidak perlu. Secara khusus, beberapa berpendapat bahwa tim saat ini melakukan lebih banyak tes daripada yang diperlukan, dan bahwa ini salah. Mungkin ini adalah pendekatan yang tepat (walaupun, tentu saja, jumlah tes yang diperlukan tetap menjadi masalah kontroversi). Namun demikian, jika kita mempertimbangkan alasan mengapa orang mengambil keputusan berisiko di jalan - dari pengiriman makanan hingga kembali ke rumah satu menit sebelumnya, mereka hampir tidak memenuhi tingkat kebutuhan, terlepas dari kenyataan bahwa kita menoleransi risiko ini.

Di sini kita harus bernalar, mulai dari hasil. , , , . - , . -, . – , – . .

, . , 0.1 . – , 1 . – 0.013 . , , . – , , , 1/250 . , , . , . , . , , ( ) , . 1.5 , . ( 1.7 ), .

, « », ? – , , . , , .

, . , ( ), 100 000 . 1.5 . . 100 000 – , 10 2-3 .

, . , , , , , . . , , , «» , . , -, . , , .

?

? Waymo. 7 , Google. 10 . , , , – , , , . , Waymo, , – , , . , .

Tesla , Tesla . 4.3 2.7 . Tesla , , , , . , , ( ) , , . , , - , , , . , Tesla , , . , Uber.

Uber

2018 Uber , , , . , . , , , , 99.9% . Uber , , - , , . , , , , , Uber, , , , - , . , . , . , — , , — . Uber 18 , .

, , , , . , . , Uber , . , , . - , , , Uber - , . Uber .

, , . , . , , . , , , , , . 0,07% , , , .

. , . , Uber ( ), , , , . , . , – . , , . , , . 3 .

Kesimpulan

, – , . , , , , . , , , .

, , 100 , . , , , , .

, . , , , — , — . , , , , - , , . , , .

, , . . , , .

---

Baca lebih banyak artikel bermanfaat:

• Kamera atau laser
• Mobil otonom pada sumber terbuka
• McKinsey: Memikirkan Kembali Perangkat Lunak dan Arsitektur Elektronik di Otomotif
• Perang OS lain sudah di bawah kap mobil
• Kode program di dalam mobil
• Di mobil modern, ada lebih banyak baris kode daripada ...