Akankah kita memberi lisensi pada robot militer untuk dibunuh?
Ketika robot perang AI meningkat, esensi perang berubah
Pada tahun 1920, penulis Ceko Karel Čapek menulis lakon RUR (Robot Universal Rossum, “Robot Universal Rossum”), di mana ia memberi dunia kata “robot”. Dalam permainannya, semuanya dimulai dengan orang-orang tiruan - robot yang bekerja di pabrik dan menghasilkan barang-barang murah. Dan itu semua berakhir dengan fakta bahwa robot menghancurkan manusia. Jadi plot berumur panjang dari NF lahir: robot keluar dari kendali dan berubah menjadi mesin pembunuh yang tak terhentikan. Sastra dan bioskop abad ke-20 terus memberi kita contoh robot yang menghancurkan dunia, dan Hollywood terus-menerus mengubahnya menjadi waralaba blockbuster: Matriks, Transformer, dan Terminator.Baru-baru ini, ketakutan untuk mengubah fiksi menjadi kenyataan didukung oleh kombinasi keadaan, di antaranya adalah peningkatan AI dan robotika, penyebarandrone militer dan robot darat di Irak dan Afghanistan. Kekuatan terbesar sedang mengembangkan senjata cerdas dengan berbagai tingkat otonomi dan kematian. Sebagian besar dari mereka akan segera dikendalikan dari jarak jauh oleh orang-orang, tanpa perintah siapa robot tidak akan dapat menarik pelatuk. Tetapi, kemungkinan besar - dan menurut beberapa, bahkan tanpa keraguan, pada beberapa titik robot akan dapat beroperasi sepenuhnya secara mandiri, dan Rubicon akan dihidupkan dalam urusan militer: untuk pertama kalinya, satu set microchip dan perangkat lunak akan memutuskan apakah seseorang hidup atau mati.Tidak mengherankan, ancaman robot pembunuh, karena mereka dijuluki dengan penuh kasih sayang, menyebabkan perdebatan sengit. Di sisi yang berlawanan dari perselisihan adalah mereka yang takut bahwa senjata otomatis akan memulai perang umum dan menghancurkan peradaban, dan mereka yang mengklaim bahwa senjata baru hanyalah kelas lain dari senjata yang dipandu dengan presisi yang akan mengurangi daripada meningkatkan jumlah korban. Pada bulan Desember, lebih dari seratus negara akan membahas masalah ini pada pertemuan perlucutan senjata NATO di Jenewa.
Sebuah pesawat tak berawak yang dikendalikan manusia
. Senjata Phalanx yang mampu menembak secara independenTahun lalu, diskusi semacam itu menjadi berita ketika sekelompok peneliti AI terkemuka menyerukan larangan "senjata ofensif otonom yang beroperasi tanpa kontrol manusia yang berarti." Dalam sebuah surat terbuka untuk konferensi internasional tentang AI, sekelompok peneliti mencatat bahwa senjata semacam itu dapat mengarah pada perlombaan senjata AI internasional dan dapat digunakan untuk pembunuhan kontrak, destabilisasi negara, penindasan bangsa, dan penghancuran selektif kelompok etnis.Surat itu ditandatangani oleh lebih dari 20.000 orang, termasuk tokoh terkenal seperti fisikawan Stephen Hawking dan pengusaha Ilon Musk. Yang terakhir menyumbangkan $ 10 juta kepada Boston Institute tahun lalu., terlibat dalam melindungi kehidupan orang-orang dari ancaman hipotetis dari AI yang tidak ramah. Para sarjana yang mengatur penulisan - Stuart Russell dari University of California di Berkeley, Max Tegmark dari MIT dan Toby Walsh dari University of New South Wales di Australia - memperluas posisi mereka dalam sebuah artikel untuk majalah IEEE Spectrum. Misalnya, dalam satu skenario, "sejumlah besar microrobots berbiaya rendah yang dapat ditempatkan oleh satu orang di pasar gelap dapat terbunuh, dan ribuan atau jutaan orang yang cocok dengan kriteria pengguna akan dapat dibunuh".Mereka juga menambahkan bahwa “senjata otonom dapat menjadi senjata pemusnah massal. "Beberapa negara mungkin melarang penggunaannya, sementara negara lain, dan, tentu saja, teroris, tidak mungkin dapat meninggalkannya."Hampir tidak dapat dikatakan bahwa perlombaan senjata baru, yang dapat menghasilkan mesin pembunuh yang cerdas, otonom, dan bergerak, akan bermanfaat bagi semua umat manusia. Namun, lomba ini sudah dimulai.Senjata otonom telah ada selama beberapa dekade, meskipun spesimen langka sejauh ini telah digunakan terutama untuk pertahanan. Salah satu contoh adalah Phalanx , senjata yang dikendalikan komputer yang dipandu oleh radar dan dipasang di kapal perang Angkatan Laut AS. Dia dapat secara otomatis mendeteksi, melacak, mengevaluasi dan menembakkan rudal dan pesawat yang mendekat, yang dia anggap sebagai ancaman. Dalam mode yang sepenuhnya otonom, partisipasi manusia tidak diperlukan sama sekali.Harop drone menghancurkan targetDoDAAM Systems mendemonstrasikan kemampuan jam tangan robot Super aEgis IIBaru-baru ini, pengembang militer mulai membuat robot otonom ofensif. Perusahaan Israel Aerospace Industries telah diproduksi Harpy drone dan Harop, yang mengarah ke gelombang radio dari sistem pertahanan udara musuh, dan membunuh mereka dengan tumbukan. Perusahaan ini mengklaim bahwa UAVnya laris manis di seluruh dunia.Perusahaan Korea Selatan DoDAAM Systems telah mengembangkan jam tangan robot Super aEgis II. Dia menembak dengan senapan mesin, dan menggunakan visi komputer untuk mendeteksi dan menembak target (orang) pada jarak 3 km. Diduga bahwa militer Korea Selatan melakukan pengujian terhadap robot-robot ini di zona demiliterisasi di perbatasan dengan Korea Utara. Sudah DoDAAMmenjual 30 perangkat tersebut ke negara lain, termasuk beberapa pelanggan dari Timur Tengah.Saat ini, sistem dengan otonomi tingkat tinggi sangat sedikit dibandingkan dengan senjata robot yang dikendalikan oleh orang hampir sepanjang waktu, dan terutama selama penembakan. Analis memperkirakan bahwa dengan perkembangan urusan militer, senjata akan memiliki kemampuan lebih dan lebih otonom."Perang akan sangat berbeda, dan otomatisasi akan memainkan peran di mana kecepatan penting," kata Peter Singer, pakar robot militer di kelompok non-politik Amerika Baru yang berbasis di Washington. Dia akan membaca bahwa dalam pertempuran di masa depan - seperti dalam pertempuran antara UAV yang berbeda, atau ketika kapal otomatis bertemu dengan kapal selam otomatis - senjata yang memiliki sedikit keuntungan kedua akan menentukan hasil pertempuran. "Mungkin ada konflik mendadak dan intens di mana tidak akan ada waktu untuk membuat orang mendapatkan informasi terkini, karena semuanya akan diputuskan dalam hitungan detik."Militer AS telah menggambarkan rencana jangka panjangnya untuk mengobarkan perang jenis baru menggunakan sistem tak berawak, tetapi apakah mereka bermaksud mempersenjatai sistem ini masih belum diketahui. AktifForum Washington Post pada bulan Maret, Menteri Pertahanan AS Robert Work, yang tugasnya adalah memastikan bahwa Pentagon mengikuti teknologi terbaru, menunjukkan perlunya investasi dalam AI dan robot. Menurutnya, meningkatnya kehadiran sistem otonom di medan perang adalah "tak terhindarkan."Mengenai senjata otonom, Work menegaskan bahwa militer AS "tidak akan memberi mesin kekuatan untuk membuat keputusan fatal." Namun, dia sendiri menambahkan bahwa “jika seorang lawan tampak siap untuk mentransfer kekuatan seperti itu ... kita harus membuat keputusan tentang masalah persaingan dengannya. Kami belum mengetahuinya sepenuhnya, tetapi kami banyak memikirkan hal ini. ”Vladimir Putin menyaksikan cyborg militer di ATV selama demonstrasi tahun laluPenerbangan pertama CH-5 UAV dari perusahaan China, China Aerospace Science and Technology Corporation,Rusia dan Cina mematuhi strategi serupa dalam pengembangan sistem tempur tak berawak untuk operasi di darat, di laut dan di udara, yang, meskipun dipersenjatai, masih bergantung pada operator yang masih hidup. Russian Platform-M adalah robot kecil dengan remote control, dilengkapi dengan senapan serbu Kalashnikov dan peluncur granat. Itu menyerupai sistem AS Talon SWORDS , robot berbasis darat yang mampu membawa M16 dan senjata lain yang telah diuji di Irak. Rusia juga membangun kendaraan tak berawak Uranus-9, dipersenjatai dengan meriam 30-mm dan peluru kendali anti-tank. Dan tahun lalu, Rusia menunjukkan robot humanoid militer kepada Putin.Gudang senjata robot militer China yang semakin meningkat mencakup banyak drone untuk serangan dan pengintaian. CH-4 - long-acting UAV, mengingatkan pada Predator AS. Divine Eagle - drone ketinggian tinggi untuk berburu pembom siluman. Selain itu, robot dengan senapan mesin yang mirip dengan Platform-M dan Talon SWORDS ditampilkan di berbagai presentasi militer di Cina.Ketiga negara ini sedang mendekati penciptaan robot bersenjata, dan, meningkatkan otonomi mereka, pada saat yang sama menekankan pelestarian peran orang dalam pekerjaan mereka. Masalah serius akan muncul untuk larangan senjata otonom: itu tidak selalu berlaku untuk senjata yang hampir otonom. Militer selalu dapat secara diam-diam mengembangkan robot bersenjata yang dikendalikan oleh orang-orang, tetapi dengan satu sentuhan tombol masuk ke mode offline. "Akan sangat sulit bagi robot untuk memaksakan perjanjian pembatasan senjata," simpul Wendell Wallach, pakar etika dan teknologi di Universitas Yale. "Perbedaan antara senjata otonom dan non-otonom bisa jadi hanya satu baris kode," katanya di sebuah konferensi.Dalam film, robot terkadang menjadi sangat otonom, sampai mereka mendapatkan kesadaran hampir dari awal, yang membuat orang terkejut . Di dunia nyata, terlepas dari kegembiraan umum dari kemajuan pembelajaran mesin , robot mendapatkan otonomi secara bertahap. Hal yang sama dapat diharapkan dari senjata otonom.Antologi robot pembunuh
«R.U.R» 1920 – ,
«2001: » (1968). ,
« » (1973).
« » (1982). -
«» (1984). - -800
(1987). – , .
(1999).
« » (2004). , ,
Saya, Robot (2004). Robot humanoid, melewati Three Laws of Robotics, membuat masalah di Chicago
Transformers (2007). Sekelompok robot alien yang dipimpin oleh Megatron mencoba memusnahkan semua manusia."Seringkali, ketika orang mendengar tentang senjata otonom, mereka mewakili Terminator dan mulai berkata," Apa yang telah kita lakukan? "Kata Paul Scharre, manajer program untuk urusan militer di masa depan di Pusat kelompok riset keamanan Amerika yang baru di Washington. "Tetapi militer tidak mungkin ingin melakukan senjata otonom semacam ini." Menurutnya, kemungkinan besar, sistem otonom akan menyerang fasilitas militer seperti radar, tank, kapal, kapal selam dan pesawat.Tugas mengidentifikasi tujuan - menentukan apakah suatu benda milik musuh - adalah salah satu tugas paling kritis untuk AI. Target yang bergerak, pesawat terbang dan rudal, memiliki lintasan yang dapat dilacak dan dibuat atas dasar keputusan untuk mencoba menjatuhkan objek. Ini adalah bagaimana meriam Phalanx bekerja di kapal perang AS, dan begitu juga sistem intersepsi rudal Iron Dome Israel. Tetapi ketika orang dipilih sebagai tujuan, identifikasi ini rumit. Bahkan di bawah kondisi ideal, tugas mengenali benda dan lingkungan yang orang atasi sepanjang waktu bisa sangat rumit untuk robot.Komputer dapat membedakan sosok seseorang, bahkan jika ia bergerak diam-diam. Tetapi sulit bagi algoritma untuk memahami apa yang orang sibuk dengan dan apa maksud dari bahasa tubuh dan ekspresi wajah mereka. Apakah seorang pria mengangkat senjata atau menyapu? Apakah dia memegang bom atau bayi?Scarre mengklaim bahwa senjata robot, mencoba untuk memilih target mereka sendiri, menyelamatkan dalam menghadapi kesulitan. Menurutnya, pendekatan terbaik, dari sudut pandang keselamatan, legalitas dan etika, tetap mengembangkan taktik dan teknologi seperti itu di mana orang bekerja dengan robot bersama . "Militer dapat berinvestasi dalam robotika dan otomatisasi canggih, tetapi pada saat yang sama meninggalkan orang dalam rantai kendali untuk membuat keputusan tentang tujuan, agar aman," katanya. “Bagaimanapun, orang lebih fleksibel dan lebih baik beradaptasi dengan situasi baru yang mungkin tidak kita programkan. Ini sangat penting dalam perang di mana ada musuh yang mencoba mengalahkan sistem Anda, menipu mereka dan meretas. ”Tidak mengherankan, warga Korea Selatan dari DoDAAM memproduksi robot arloji mereka dengan pembatasan otonomi yang ketat. Sekarang robot mereka tidak akan menembak sampai seseorang mengkonfirmasi target dan memerintahkan "tembakan". "Versi aslinya adalah sistem kebakaran otomatis," kata seorang insinyur perusahaan kepada BBC tahun lalu . "Tapi semua pelanggan diminta untuk memasukkan prosedur keselamatan ke dalamnya ... Mereka khawatir pistol itu keliru."Para ahli lain percaya bahwa satu-satunya cara untuk menghindari kesalahan fatal dari senjata otonom, terutama yang melibatkan warga sipil, adalah menyusun program yang tepat. "Jika kita begitu bodoh sehingga kita terus saling membunuh di medan perang, dan jika semakin banyak kekuatan dialihkan ke mesin, bisakah kita setidaknya memastikan bahwa mereka melakukan pekerjaan mereka dengan cara yang etis," kata Ronald Arkin, IT Spesialis dari Institut Teknologi di Georgia.Arkin yakin bahwa senjata otonom, seperti tentara, harus mengikuti aturan perang dan hukum perang, termasuk hukum humaniter internasional.melindungi warga sipil dan membatasi kekuatan dan jenis senjata yang diizinkan. Ini berarti bahwa kita harus memperkenalkan kualitas moral tertentu ke dalam program mereka sehingga mereka memahami situasi yang berbeda dan membedakan yang baik dari yang buruk. Perangkat lunak mereka harus memiliki semacam kompas etis.Selama sepuluh tahun terakhir, Arkin telah mengerjakan kompas seperti itu. Menggunakan alat matematika dan logika dari bidang etika mesin, ia menerjemahkan hukum perang dan aturan perang menjadi variabel dan operasi yang dapat dimengerti oleh komputer. Misalnya, salah satu variabel berisi nilai kepercayaan unit kontrol etis bahwa targetnya adalah musuh. Lain, boolean, berarti apakah kekuatan membunuh senjata diizinkan atau dilarang. Pada akhirnya, Arkin sampai pada serangkaian algoritma tertentu, dan dengan bantuan simulasi komputer dan skenario pertempuran yang disederhanakan - misalnya, sebuah UAV menyerang sekelompok orang di lapangan terbuka - ia dapat menguji tekniknya.Arkin mengakui bahwa proyek yang disponsori oleh Angkatan Bersenjata AS belum mencapai tahap sistem selesai, dan diciptakan hanya untuk membuktikan operabilitasnya. Namun, menurut pendapatnya, hasil karya menunjukkan bahwa robot bahkan lebih baik daripada manusia dapat mengikuti aturan perang. Misalnya, robot dapat melakukan tindakan yang mengancam jiwa dengan lebih banyak pengekangan dari pada manusia, hanya menembak sebagai respons. Atau, ketika mendekati warga sipil, mereka umumnya dapat menghentikan tembakan, bahkan jika mereka sendiri dihancurkan. Robot tidak menderita stres, ketidakpuasan, kemarahan, ketakutan - dan semua ini dapat membahayakan adopsi keputusan yang tepat pada manusia. Karena itu, secara teori, robot dapat melampaui prajurit manusia , yang sering, dan kadang-kadang tak terhindarkan, melakukan kesalahan dalam panasnya pertempuran."Sebagai hasilnya, kita bisa menyelamatkan nyawa, terutama nyawa orang tak bersalah yang terjebak dalam pertempuran," kata Arkin. "Dan jika robot dapat melakukan ini, moralitas menunjukkan perlunya menggunakannya."Tentu saja, pandangan ini tidak diterima secara umum. senjata otonom bersikeras bahwa hanya larangan pencegahan yang masuk akal, karena senjata seperti itu muncul di belakang layar. "Tidak ada sistem pemadam kebakaran yang bisa kita tunjukkan dan berkata: Ya, di sini dia adalah robot pembunuh," kata Mary Wareham, Manajer dan Coor Lobby Human Rights Watch ordinator kampanye untuk melarang robot pembunuh ( Kampanye untuk Stop Pembunuh Robot) - koalisi berbagai komunitas kemanusiaan. - Kita berbicara tentang berbagai sistem senjata yang bekerja dengan cara yang berbeda. Tapi kami khawatir tentang salah satu fitur umum mereka - kurangnya kontrol manusia atas fungsi pemilihan target dan serangan. "Di PBB, diskusi tentang robot otonom yang mampu membunuh telah berlangsung selama lima tahun, tetapi negara-negara belum mencapai kesepakatan. Pada 2013, Christof Heyns, Pelapor Khusus PBB untuk Hak Asasi Manusia, menulis laporan yang berpengaruh, di mana ia mencatat bahwa negara-negara memiliki kesempatan langka untuk membahas risiko senjata otonom bahkan sebelum mereka dikembangkan. Sekarang, setelah mengambil bagian dalam beberapa pertemuan PBB, Hines mengatakan bahwa "jika Anda melihat ke belakang, saya agak terdorong, tetapi jika Anda melihat ke depan, tampaknya kami akan mengalami masalah jika kami tidak mulai bergerak lebih cepat."Desember ini, Konvensi PBB tentang Senjata Klasik akan menjadi tuan rumah konferensi meninjau pekerjaan lima tahun, dan masalah robot otonom ada di agenda. Tetapi larangan mereka tidak mungkin diterima. Keputusan semacam itu akan membutuhkan keputusan bulat dari semua negara, dan ada ketidaksepakatan mendasar di antara mereka tentang apa yang harus dilakukan dengan berbagai senjata otonom yang akan muncul di masa depan.Akibatnya, perselisihan tentang robot pembunuh bermuara pada diskusi orang. Senjata otonom, paling tidak pada awalnya, akan serupa dengan teknologi apa pun: senjata dapat diperkenalkan secara akurat dan hati-hati, atau secara kacau dan serempak. Dan orang-orang harus menerima tuduhan itu. Karena itu, pertanyaan "Apakah robot tempur otonom adalah ide yang bagus?" bukan yang benar. Lebih baik mengajukan pertanyaan: "Apakah kita cukup mempercayai diri kita sendiri untuk mempercayai robot untuk hidup kita?"Source: https://habr.com/ru/post/id395139/
All Articles