Eliezer Shlomo Yudkovsky adalah spesialis Amerika dalam kecerdasan buatan, yang mempelajari masalah singularitas teknologi dan menganjurkan penciptaan AI Ramah. Di kalangan non-akademik, ia lebih dikenal sebagai penulis fiksi penggemar Harry Potter dan Metode Rasionalitas di bawah naungan Less Wrong.Saya selalu kagum dengan orang-orang pintar yang percaya pada hal-hal yang tampaknya tidak masuk akal bagi saya. Misalnya, ahli genetika dan direktur National Institutes of Health, Francis Collins, percaya bahwa Yesus bangkit dari kematian. Ahli teori AI Eliezer Yudkowsky percaya bahwa mobil ... Tetapi lebih baik saya akan memberikan lantai kepadanya sendiri. Pada 2008, saya mewawancarainya di Bloggingheads.tv, tetapi tidak ada yang baik terjadi karena saya memutuskan bahwa ia adalah pengikut guru singularitas
Ray Kurzweil . Tapi Yudkovsky tidak mengikuti siapa pun dan tidak pernah kuliah. Ia adalah teoretikus kecerdasan yang keras kepala dan orisinal, baik manusia maupun buatan. Karyanya (misalnya, sebuah esai yang membantu saya memahami, atau memberikan ilusi pemahaman, teorema Bayes) memancarkan kesombongan seorang otodidak, ujung-ujung tajam yang tidak dipoles oleh pendidikan formal - tetapi ini adalah bagian dari pesonanya. Bahkan ketika itu mengganggu Anda, Yudkovsky lucu, segar, provokatif. Untuk perincian biografinya, lihat situs web pribadinya atau situs web Institute for the Study of Machine Intelligence, tempat ia berpartisipasi. Dan baca wawancara ini dengan bonus dalam bentuk komentar dari istrinya Briena.
Horgan : Ketika ditanya di pesta apa yang Anda lakukan, apa yang Anda jawab?
Yudkovsky : Tergantung pada acara tersebut. "Saya seorang spesialis dalam teori keputusan," atau "Salah satu pendiri Institut untuk Kajian Mesin Intelijen," atau, jika ini adalah pesta dari jenis yang berbeda, saya berbicara tentang karya seni saya.
X: Apa film AI favorit Anda dan mengapa?
Yu: AI dalam film sangat standar.
Ex Machina telah mendekati pengecualian dari aturan ini seperti yang bisa diharapkan.
X: Apakah utilitas kampus berlebihan?
Yu: Saya akan terkejut jika manfaatnya diremehkan, mengingat persyaratan sosial untuk mengakhirinya. Sejauh yang saya tahu, tidak ada alasan untuk tidak percaya ekonom yang percaya bahwa perguruan tinggi telah menjadi semacam "produk bergengsi" dan bahwa upaya untuk meningkatkan pinjaman siswa hanya meningkatkan biaya kuliah dan beban utang siswa.
X: Mengapa Anda menulis cerita fiksi?
Yu: Jika Anda ulang kata-kata komik
Wondermark : "Awalnya saya mencoba untuk tidak, tetapi itu tidak berhasil."
Selain itu, literatur yang serius menyampaikan pengetahuan, sementara fiksi menyampaikan pengalaman. Jika Anda ingin memahami bukti
rumus Bayes , saya dapat menggunakan diagram. Jika Anda ingin merasakan bagaimana menggunakan logika Bayes, saya perlu menulis sebuah cerita di mana karakter membuatnya.
X: Apakah Anda taat beragama?
Yu: Tidak. Ketika Anda melakukan kesalahan, Anda perlu menghindari godaan untuk pergi dalam pertahanan, cobalah untuk menemukan beberapa sudut pandang di mana Anda setidaknya sedikit benar. Lebih bijak mengatakan: "Oh," untuk mengakui bahwa Anda bahkan tidak benar, menelan pil pahit dan terus hidup. Inilah bagaimana umat manusia harus berhubungan dengan agama.
X: Jika Anda menjadi "Raja dunia", apa yang akan berada di puncak daftar pekerjaan Anda?
Yu: Saya pernah menulis: “Tes untuk seorang libertarian bekerja seperti ini: bayangkan bahwa Anda telah mendapatkan kekuatan; apa yang akan Anda pikirkan pertama - tentang hukum yang Anda terima, atau tentang hukum yang Anda batalkan? " Saya bukan 100% libertarian, karena tidak semua Daftar Keinginan saya dinyatakan dalam penghapusan hukum dan pelonggaran pembatasan. Tetapi saya membayangkan bagaimana saya akan mencoba membuat sebuah dunia di mana beberapa orang yang menganggur dapat menawarkan Anda tumpangan untuk bekerja, mendapatkan $ 5 selama 20 menit perjalanan, dan tidak ada hal buruk yang akan terjadi padanya karena hal ini. Dia tidak harus kehilangan asuransi pengangguran, mendaftar izin untuk melakukan bisnis, kehilangan asuransi kesehatan, menjalani audit, meminta pengacara untuk menyatakan bahwa pekerjaannya telah sesuai dengan aturan Administrasi Perlindungan Tenaga Kerja, dll. Dia hanya akan menambahkan $ 5.
Saya akan mencoba untuk kembali ke keadaan di mana mempekerjakan seorang karyawan akan sesederhana pada tahun 1900. Mungkin sekarang ada perasaan dalam langkah-langkah keamanan tertentu, tetapi saya akan mencoba untuk menciptakan keamanan seperti itu yang tidak menahan seseorang dan tidak menghasilkan kertas sebagai hasil dari pengembalian sederhana seseorang ke ekonomi.
Saya akan mencoba melakukan segala sesuatu yang telah diteriakkan oleh para ekonom pintar sejak lama, dan yang tidak dilakukan oleh negara. Ganti pajak investasi dan pendapatan dengan pajak konsumsi dan real estat. Ganti upah minimum dengan pajak gaji negatif. Menetapkan kebijakan untuk menargetkan PDB nominal untuk bank sentral dan menghentikan struktur pendukung "terlalu besar untuk dilanggar." Menuntut bahwa, selama litigasi paten, pihak yang kalah harus membayar biaya hukum [
mengikuti apa yang disebut Aturan bahasa Inggris - berbeda dengan undang-undang Amerika, yang menurutnya masing-masing pihak tidak membayar biaya sendiri - kira-kira. perev. ] dan mengembalikan durasi hak cipta ke 28 tahun. Singkirkan rintangan untuk membangun rumah. Salin asuransi kesehatan dari Singapura. E-government di Estonia. Ganti komite dan proses pengambilan keputusan yang kompleks dengan individu tertentu yang membuat keputusan yang didokumentasikan secara publik dan bertanggung jawab untuk ini. Lakukan eksperimen terkontrol dengan berbagai opsi untuk mengelola negara dan memperhitungkan hasilnya. Saya bisa masuk daftar selama berjam-jam.
Semua ini mungkin tidak masalah dalam dua ratus juta tahun. Tetapi aset nominal yang dihasilkan dari ledakan ekonomi dapat melakukan pekerjaan dengan baik sementara saya mencoba mencari tahu apa yang akan kita lakukan dengan kecerdasan buatan. Yang jelas adalah proyek Manhattan di suatu tempat di pulau itu, dengan pembayaran berdasarkan persaingan antara dana lindung nilai terbesar di mana orang dapat mengeksplorasi masalah kecerdasan buatan umum tanpa menerbitkan hasil pekerjaan mereka secara otomatis membawa akhir dunia. Dan kecuali kita menerima bahwa saya memiliki kemampuan magis atau rezim yang tidak dapat dibalik secara fundamental, saya tidak melihat bagaimana hukum apa pun yang akan saya terima akan menunda pendekatan AI dengan sangat kuat di sebuah planet di mana komputer ada di mana-mana.
Tetapi semua ini masih dapat dianggap sebagai eksperimen pemikiran yang mustahil dan dalam kehidupan nyata probabilitas percobaan semacam itu adalah nol.
X: Apa yang baik tentang teorema Bayes?
Yu: Ya, misalnya, dia sangat dalam. Karena itu, pertanyaan seperti itu sulit dijawab secara singkat.
Saya bisa menjawab bahwa teorema Bayes dapat disebut hukum termodinamika kedua untuk kognisi. Jika Anda menyimpulkan bahwa probabilitas asumsi adalah 99%, apakah itu adalah adanya susu di supermarket atau penyebab antropogenik dari pemanasan global, maka Anda memiliki kombinasi probabilitas a priori yang cukup baik dan bukti yang cukup andal. Ini bukan persyaratan peraturan, ini adalah undang-undang. Sama seperti sebuah mobil tidak dapat mengemudi tanpa menghilangkan entropi, Anda tidak bisa mendapatkan citra dunia yang baik tanpa melakukan proses di mana struktur Bayesian ada di suatu tempat di dalam, bahkan jika probabilitas tidak digunakan secara langsung dalam proses.
Secara pribadi, saya berpikir bahwa hal utama yang dapat ditawarkan Bayes kepada kita adalah keberadaan aturan, hukum besi yang menentukan apakah cara berpikir bekerja untuk menandai kenyataan. Orang Mormon diberitahu bahwa mereka mengenali kebenaran Kitab Mormon melalui sensasi yang membara di hati. Secara konservatif menerima
probabilitas a priori dari Kitab Mormon sebagai satu dalam satu miliar. Kemudian, kami mengevaluasi kemungkinan bahwa Kitab Mormon tidak benar, dan seseorang mengalami sensasi yang membara di hati setelah mereka mengatakan kepadanya bahwa ini harus diharapkan. Jika Anda memahami formula Bayes, kami akan segera menyadari bahwa probabilitas rendah dari bukti tidak dapat dibandingkan dengan probabilitas rendah dari hipotesis yang mereka coba buktikan dengan bantuannya. Anda bahkan tidak perlu menemukan angka-angka tertentu untuk memahami bahwa angka-angka itu tidak bertemu - seperti yang ditemukan oleh Philip Tetlock dalam penelitiannya tentang "
superpredictors ", mereka sering mengetahui formula Bayes, tetapi jarang memberikan angka tertentu. Dalam arti tertentu, akan lebih sulit untuk menipu Anda jika Anda memahami bahwa ada beberapa jenis matematika yang dengannya Anda dapat secara akurat menentukan kekuatan buktinya dan memahami apakah itu cukup untuk mengatasi probabilitas hipotesis yang rendah. Anda tidak bisa hanya menciptakan sesuatu dan percaya padanya, karena itu tidak berfungsi seperti itu.
X: Apakah hipotesis otak Bayesian mengesankan Anda?
Yu: Saya pikir beberapa orang yang berdebat tentang topik ini berbicara tentang berbagai hal. Bertanya apakah otak adalah algoritma Bayesian sama seperti menanyakan apakah Honda Accord
ditenagai oleh mesin panas Carnot . Jika satu orang berkata: "Setiap mobil adalah proses termodinamika yang membutuhkan bahan bakar dan menghilangkan panas yang menyimpang," dan orang lain mendengar: "Jika Anda membuat diagram siklus Carnot dan menunjukkan mekanisnya, ia harus setuju bahwa itu tampak seperti bagian dalam Honda Accord ", Maka perdebatan sengit tak terhindarkan.
Beberapa orang akan sangat senang ketika mereka membuka mesin pembakaran internal, menemukan silinder di dalamnya dan berkata: "Saya yakin mereka mengubah panas menjadi tekanan dan membantu memajukan mobil!" Dan mereka akan benar, tetapi orang lain akan mengatakan: "Anda berfokus pada satu-satunya komponen dari set suku cadang mobil yang jauh lebih besar. Konverter katalitik juga sangat penting, dan tidak ada pada diagram siklus Carnot Anda. Dan terkadang AC bekerja untuk kita, bekerja berlawanan dengan cara kerja mesin panas sesuai dengan kata-katamu. ”
Saya tidak berpikir akan mengejutkan jika saya mengatakan bahwa orang-orang yang menentang Anda: "Anda jelas tidak terbiasa dengan mobil modern; Anda membutuhkan serangkaian metode berbeda untuk membangun motor, seperti lilin dan catalytic converter, dan bukan hanya proses termodinamika Anda, ”mereka melewatkan tingkat abstraksi kunci.
Tetapi jika Anda ingin tahu apakah otak dapat dianggap secara harfiah Bayesian, dan bukan perangkat yang melakukan pekerjaan kognitif, yang sifatnya dapat kita pahami menggunakan metode Bayesian, maka saya dapat menjawab pertanyaan Anda: "Tidak, tentu saja." Mungkin ada beberapa "silinder" Bayesian dalam "mesin" ini, tetapi sangat banyak yang akan terlihat seaneh sabuk pengaman dan pendingin udara. Tetapi penambahan ini tidak akan mengubah fakta bahwa untuk mengidentifikasi apel dengan benar berdasarkan bukti sensorik, sesuatu perlu dilakukan yang dapat ditafsirkan sebagai hasil dari induksi yang dapat memahami konsep apel dan diperbarui berdasarkan bukti yang membedakan apel dari non-apel.
X: Apakah mungkin terlalu rasional?
Yu: Anda bisa masuk ke yang disebut "Lembah Rasionalitas Buruk." Jika sebelumnya Anda tidak rasional dalam beberapa hal, menyeimbangkan satu sama lain, maka jika Anda menjadi rasional, Anda mungkin menjadi lebih buruk dari sebelumnya. Semakin Anda menjadi rasional, semakin buruk yang Anda dapat jika Anda memilih arah yang salah untuk menerapkan keterampilan Anda.
Tetapi saya tidak akan merekomendasikan terlalu memperhatikan kesempatan seperti itu. Menurut pendapat saya, orang yang berbicara tentang betapa cerdiknya irasional itu adalah orang bodoh. Sulit untuk memunculkan situasi hidup yang realistis, tidak terlalu mengada-ada di mana Anda dapat memutuskan untuk tidak rasional, dan hasilnya masih belum Anda ketahui. Dalam kehidupan nyata, lebih baik mengatakan yang sebenarnya dan tidak pintar.
Mungkin saja perwakilan ideal dari pemikiran Bayesian tidak sesuai dengan kehidupan yang menarik dan menghibur. Tapi ini jelas bukan masalah besar seperti kecenderungan kita untuk menghancurkan diri sendiri.
X: Bagaimana sudut pandang Anda tentang singularitas berbeda dari Kurzweil?
Yu:• Saya tidak berpikir bahwa hukum Moore dapat diterapkan pada AI. AI adalah masalah perangkat lunak.
• Saya tidak berpikir bahwa kecerdasan manusia super pertama akan muncul dari penggabungan mesin dengan orang-orang. Seratus tahun telah berlalu sejak munculnya mobil, dan kami baru saja mencoba membuat kerangka untuk kuda, dan mobil biasa masih lebih cepat.
• Saya tidak berpikir bahwa AI kuat pertama akan didasarkan pada algoritma dari neurobiologi, sama seperti pesawat tidak didasarkan pada burung.
• Saya tidak berpikir bahwa penggabungan teknologi nano, info- dan bioteknologi adalah mungkin, tidak terhindarkan, terdefinisi dengan baik atau perlu.
• Saya pikir bahwa dari tahun 1930 hingga 1970 ada lebih banyak perubahan daripada dari tahun 1970 hingga 2010.
• Saya pikir di negara maju produktivitas mandek.
• Saya pikir ekstrapolasi hukum Moore terhadap kemajuan teknologi, yang diduga meramalkan segala sesuatu yang akan lebih pintar daripada manusia setelah munculnya AI, adalah hal yang sangat aneh. AI yang lebih pintar merusak semua gambar Anda.
• Beberapa analis, seperti
Illka Tuomi , percaya bahwa hukum Moore melanggar pada awal 2000-an. Tidak yakin saya bisa keberatan.
• Satu-satunya ambang teknologi yang menarik minat saya adalah tempat AI mendapatkan kemampuan untuk meningkatkan. Kami tidak memiliki jadwal untuk mencapai ambang ini, dan tidak jelas apa jadinya (walaupun seharusnya tidak jauh melebihi level seseorang, karena seseorang memahami ilmu komputer), sehingga serangannya tidak dapat diprediksi.
• Saya tidak berpikir bahwa hasil dari kemajuan seperti itu akan baik secara default. Saya pikir itu bisa dibuat baik, tetapi perlu dikerjakan dengan serius, dan tokoh-tokoh kunci tidak tertarik dengan ini. Memberitahu orang-orang bahwa kita berada di lintasan alami ke masa-masa yang hebat dan indah adalah dusta.
• Saya pikir “singularitas” telah menjadi kata koper dengan terlalu banyak makna dan detail yang tidak sesuai di dalam, jadi saya berhenti menggunakannya.
X: Apakah Anda cenderung menjadi cyborg yang sangat cerdas?
Yu: Hukum konjungsi probabilitas mengatakan bahwa P (A&B) <= P (A). Probabilitas kejadian simultan peristiwa A dan B kurang dari probabilitas kejadian satu peristiwa A. Dalam percobaan di mana orang percaya bahwa P (A&B)> P (A) untuk dua peristiwa A dan B, "
kesalahan konjungsi " muncul - misalnya, pada tahun 1982, para ahli dari Kongres Prediksi Internasional menugaskan kemungkinan yang lebih besar untuk acara "Rusia menginvasi Polandia dan hubungan diplomatik dengan Uni Soviet putus" daripada probabilitas acara terpisah "gangguan hubungan diplomatik dengan Uni Soviet", yang ditunjuk oleh kelompok lain. Demikian juga, kelompok lain memberikan kemungkinan yang lebih besar untuk peristiwa tersebut "Gempa bumi di California menyebabkan banjir yang menyebabkan ribuan korban" daripada yang lain - kemungkinan acara "Di suatu tempat di Amerika Utara ada banjir dengan ribuan korban." Meskipun menambahkan detail tambahan pada cerita dengan jelas membuatnya lebih kecil kemungkinannya, itu membuatnya lebih bisa dipercaya. Bagi saya, memahami fakta ini, itu seperti "
jembatan keledai " untuk futurisme yang serius - perbedaan antara fakta bahwa Anda dengan hati-hati menimbang setiap asumsi individu dan mencari tahu apakah Anda dapat mendukung klarifikasi ini secara independen dari semua yang lain dan Anda hanya membuat yang indah dan kisah yang hidup.
Inilah yang saya katakan dalam konteks menjawab pertanyaan: “Mengapa Anda menambahkan penyempurnaan seperti cyborg pada ini? Saya tidak ingin menjadi cyborg. " Penting untuk secara hati-hati menenun perincian tambahan pada pernyataan.
X: Apakah Anda memiliki peluang keabadian?
Yu: Secara harfiah? Keabadian literal sulit untuk dicapai. Untuk hidup lebih lama dari beberapa triliun tahun, Anda perlu mempertimbangkan kembali nasib yang diharapkan dari alam semesta yang mengembang. Untuk hidup lebih lama daripada
googolpleks , kita perlu membuat kesalahan tentang dasar-dasar hukum fisik, dan tidak hanya secara detail.
Bahkan jika beberapa alasan yang tidak biasa ternyata benar dan Alam Semesta kita dapat menghasilkan alam semesta anak perempuan, ini tidak akan memberi kita keabadian. Untuk menghidupkan Googleplex lebih lama dan tidak mengulangi diri Anda sendiri, Anda akan membutuhkan komputer dengan lebih banyak elemen daripada Google, dan mesin seperti itu tidak akan muat di
lingkup Hubble .
Dan googolpleks bukan tanpa batas. Mengutip Martin Gardner,
angka Graham masih cukup kecil, karena sebagian besar angka terakhir jauh lebih besar darinya. Jika Anda ingin terpesona, baca tentang
hierarki yang tumbuh cepat , dan tak terhingga masih akan lebih lama. Hanya teori-teori antropik yang sangat aneh dan menakutkan yang akan memungkinkan Anda untuk hidup cukup lama untuk menonton perhentian oleh mesin Turing yang paling lama beroperasi dengan ratusan negara.
Namun, saya tidak berpikir bahwa dari sudut pandang emosional saya ingin hidup cukup lama untuk melihat angka keseratus dalam permainan "
berburu pekerja keras ". Saya entah bagaimana bisa berempati dengan diri saya sendiri, yang telah hidup seratus tahun dari sekarang. Masa depan itu saya akan dapat berempati dengan masa depan sendiri dalam seratus tahun lagi. Dan mungkin di suatu tempat dalam urutan ini akan ada seseorang yang menghadapi prospek untuk mengakhiri keberadaan mereka, dan dia bisa sangat sedih tentang ini. Tapi saya tidak yakin bisa membayangkan orang ini. “Aku ingin hidup di hari lain. Besok saya juga akan hidup satu hari lagi. Karena itu, saya ingin hidup selamanya, dibuktikan dengan induksi bilangan bulat positif. " Bahkan keinginan saya untuk umur panjang di alam semesta yang memungkinkan secara fisik adalah abstraksi yang dihasilkan oleh induksi. Saya tidak bisa membayangkan diri saya dalam satu triliun tahun.
X: Saya menggambarkan singularitas sebagai fantasi pelarian dan pseudoscientific yang mengalihkan kita dari perubahan iklim, perang, ketidaksetaraan, dan masalah serius lainnya. Kenapa saya salah?Yu: Karena Anda mencoba memprediksi fakta empiris melalui psikoanalisis. Itu tidak akan pernah berhasil.Misalkan kita hidup untuk melihat kedatangan AI yang cukup pintar untuk melakukan pekerjaan yang sama untuk meningkatkan AI yang dilakukan orang. Dia dapat menyesuaikan dirinya sendiri, memprogram, menciptakan algoritma baru. Untuk meningkatkan. Apa yang akan terjadi selanjutnya - itu akan menjadi lebih pintar, melihat lebih banyak peluang untuk perbaikan, dan dengan cepat mencapai tingkat yang sangat tinggi? Atau akankah tidak ada yang istimewa terjadi?Mungkin saja terjadi (A) peningkatan diri pada delta tertentu akan membuat AI cukup pintar sehingga dapat melihat ke belakang dan menemukan potensi peningkatan baru dalam ukuran k * delta, di mana k> 1, dan ini akan diulang berkali-kali untuk mengarah pada peningkatan diri yang cepat ke tingkat kecerdasan. Apa yang disebut Irving John Goode sebagai "ledakan kecerdasan." Atau (B), k kurang dari satu atau semua perbaikan ini kecil dan tidak mengarah pada munculnya superintelijen, atau superintelijen pada umumnya tidak mungkin, dan alih-alih ledakan akan ada nihil. Apa yang benar, A atau B? Jika Anda membangun AI pada tingkat tertentu dan ia mencoba melakukannya, sesuatu akan terjadi di dunia nyata empiris, dan peristiwa ini akan ditentukan oleh fakta yang berkaitan dengan lanskap algoritme dan peningkatan yang dapat dicapai.Informasi yang dapat dipercaya tentang peristiwa ini tidak dapat diperoleh dari psikoanalisis orang. Ini seperti mencoba menyalakan mobil tanpa bahan bakar - begitulah teorema Bayes memberi tahu kita. Beberapa orang akan selalu menjadi pelarian, terlepas dari nilai sebenarnya dari variabel tersembunyi dalam ilmu komputer, sehingga mengamati beberapa pelarian tidak bisa disebut bukti yang kuat.Ini adalah kesalahpahaman tentang sifat rasionalitas - bahwa adalah rasional untuk percaya bahwa "goblin di lemari tidak ada" karena iman pada goblin dari lemari itu bodoh, tidak matang, ketinggalan zaman, dan hanya orang idiot yang mempercayainya. Prinsip rasionalitas yang sebenarnya adalah pergi dan memeriksa lemari. Jadi di alam semesta tempat goblin tinggal di lemari, Anda akan percaya pada goblin, dan di alam semesta di mana goblin tidak berada di lemari, Anda tidak akan percaya pada mereka.Itu sulit, tetapi pada prinsipnya adalah mungkin untuk mencoba melihat melalui pintu terbuka dan bertanya: "Apa yang akan berbeda di Semesta jika tidak mungkin untuk mendapatkan penghasilan yang baik dari investasi kognitif, yaitu, AI yang berusaha meningkatkan dirinya sendiri tidak akan berakhir dengan ledakan, tetapi dengan zilch? Apa fakta lain yang akan menjadi ciri alam semesta seperti itu? "Ada orang yang mengklaim bahwa AI hanya dapat dinaikkan ke level seseorang, karena kita sendiri adalah manusia, dan kita tidak dapat menaikkannya lebih tinggi. Tampak bagi saya bahwa jika alam semesta kita demikian, maka kita harus mengamati penurunan pendapatan dari investasi dalam perangkat keras dan perangkat lunak untuk catur komputer yang melebihi level seseorang - yang sebenarnya tidak terjadi. Selain itu, seleksi alam tidak akan mampu menciptakan seseorang saat itu, dan ibu Einstein seharusnya menjadi ahli fisika yang luar biasa, dll. dll.
Ada orang yang berpendapat bahwa semakin kompleks algoritme, semakin banyak penyesuaian yang diperlukan, dan bahwa kecerdasan kita berfungsi sebagai semacam batasan untuk proses ini. Tetapi ini tidak sesuai dengan catatan antropologis kecerdasan manusia; investasi dalam penyetelan dan mutasi otak memberikan peningkatan kemampuan kognitif. Kita tahu, karena genetika memberi tahu kita bahwa mutasi dengan respons statistik kecil tidak tetap selama evolusi.Dan hominid tidak membutuhkan otak yang secara eksponensial lebih besar daripada simpanse. Dan kepala John von Neumann tidak secara eksponensial lebih besar daripada kepala orang kebanyakan.Dari sudut pandang praktis, akson manusia mentransmisikan informasi pada kecepatan satu juta kali lebih rendah daripada kecepatan cahaya, dan bahkan dari sudut pandang pembuangan panas, setiap operasi sinaptik menghabiskan satu juta kali lebih banyak daripada disipasi termal minimum dari operasi biner yang ireversibel pada 300 Kelvin, dan seterusnya. Mengapa kita harus berasumsi bahwa perangkat lunak otak lebih dekat ke optimal daripada besi? Keistimewaan kecerdasan manusia adalah bahwa itu adalah tingkat kecerdasan terkecil yang mampu menciptakan komputer. Jika memungkinkan untuk membuat komputer dengan tingkat kecerdasan yang lebih rendah, kami akan membahasnya di tingkat yang lebih rendah.Tapi ini bukan argumen sederhana, dan untuk deskripsi terperinci saya mengirim orang ke salah satu karya lama saya, "Ekonomi mikro ledakan kecerdasan," yang, sayangnya, masih berfungsi sebagai sumber informasi terbaik. Tetapi justru pertanyaan-pertanyaan seperti itulah yang perlu ditanyakan untuk menggunakan bukti yang tersedia untuk membahas apakah kita akan melihat ledakan AI di mana peningkatan tertentu dalam kemampuan kognitif yang diinvestasikan dalam optimasi diri akan memberikan peningkatan lebih dari peningkatan ini.Adapun peluang dan harganya:Anda bisa membayangkan dunia tanpa ledakan kecerdasan dan tanpa kecerdasan. Atau dunia di mana trik-trik yang akan digunakan para ahli pembelajaran mesin untuk mengendalikan super-AI cocok untuk mengendalikan orang dan rezim manusia super. Atau dunia tempat internalisme moral bekerja, jadi semua AI cukup maju baik. Dalam dunia seperti itu, tidak ada yang membutuhkan semua pekerjaan dan semua kekhawatiran dari Machine Research Research Institute. Dan beberapa kelambu terbuang sia-sia, dan lebih baik memberi mereka dana untuk memerangi malaria.Anda juga dapat membayangkan dunia di mana Anda berjuang melawan malaria, melawan dan mempertahankan emisi karbon pada tingkat yang tepat, atau menggunakan solusi geoengineering untuk menetralkan kesalahan yang telah dibuat. Dan semua ini ternyata menjadi sia-sia, karena peradaban tidak mampu menyelesaikan masalah moralitas AI - dan semua anak yang diselamatkan dari malaria dengan bantuan jala tumbuh hanya sehingga nanomachine membunuh mereka dalam mimpi.Saya pikir orang-orang yang berusaha melakukan amal yang masuk akal akan setuju bahwa kami tidak ingin hidup di dunia ini. Satu-satunya pertanyaan adalah yang mana yang lebih mungkin. Prinsip utama rasionalitas adalah untuk tidak menolak kepercayaan pada goblin, karena itu bodoh dan tidak bergengsi, dan tidak percaya pada goblin, karena itu sehat dan indah. Prinsip utama rasionalitas adalah tanda-tanda yang dapat diamati dan kesimpulan logis akan membantu kita memilih salah satu dari dua dunia ini.Saya pikir dunia pertama tidak mungkin, dan yang kedua mungkin. Saya mengerti bahwa mencoba meyakinkan orang lain tentang hal ini adalah mencoba untuk berenang melawan aliran iman dalam normalitas kekal. Keyakinan bahwa hanya peradaban jangka pendek kita, yang telah ada selama beberapa dekade, dan hanya spesies kita, yang hanya ada sesaat pada skala evolusi dan geologis, masuk akal dan harus ada selamanya. Dan meskipun saya percaya bahwa dunia pertama hanyalah mimpi optimis, saya tidak berpikir bahwa kita perlu mengabaikan masalah, yang akan kita panik di masa depan. Misi Institut adalah untuk melakukan penelitian hari ini, yang, menurut orang yang hidup setelah 30 tahun, harus dimulai 30 tahun yang lalu.X: Apakah istri Anda Brijena percaya pada singularitas?Brijena: Jika seseorang bertanya kepada saya apakah saya percaya pada singularitas, saya akan mengangkat alis dan bertanya apakah mereka percaya pada truk otomatis. Ini pertanyaan aneh. Saya tidak tahu seperti apa armada truk otomatis pertama, atau berapa lama waktu yang diperlukan untuk mengganti sistem transportasi kargo yang ada. Dan saya bukan karena saya percaya pada truk robot, saya yakin memprediksi bahwa transportasi tak berawak akan menggantikan transportasi modern dengan partisipasi orang-orang, karena kita akan ke arah ini jika tidak ada yang benar-benar aneh terjadi. Untuk alasan yang sama, saya yakin memprediksi ledakan kecerdasan. Dalam arti lain dari kata "singularitas" saya tidak begitu yakin.Yu: Brijena memberikan jawabannya tanpa melihat jawaban saya. Hanya saja kita cocok satu sama lain.X:Mungkinkah menciptakan kecerdasan super tanpa memahami cara kerja otak?Yu: Dalam arti yang sama Anda dapat membuat pesawat tanpa memahami bagaimana seekor burung terbang. Anda tidak perlu menjadi ahli burung, tetapi pada saat yang sama Anda membutuhkan banyak pengetahuan untuk membangun pesawat terbang, setelah memperoleh yang, pada prinsipnya, Anda sudah dapat memahami bagaimana kira-kira seekor burung terbang atau menangkis dari udara. Karena itu, saya menulis tentang rasionalitas manusia - jika Anda melangkah cukup jauh dalam masalah kecerdasan mesin, Anda tidak dapat membantu tetapi memikirkan beberapa ide tentang bagaimana orang berpikir.X: Apa yang mungkin diinginkan oleh intelijen super? Akankah mereka memiliki sesuatu seperti hasrat seksual?Yu:Pikirkan ruang kemungkinan yang luas, dari bola multidimensi raksasa. Ini adalah ruang jenis pikiran, satu set semua algoritma kognitif yang mungkin. Bayangkan bahwa di suatu tempat di bagian bawah bola ada titik kecil yang menunjukkan semua orang yang pernah hidup. Ini adalah titik kecil, karena semua orang memiliki otak yang kira-kira sama, dengan korteks, otak kecil, thalamus, dll. Beberapa orang tidak seperti orang lain, sehingga bisa menjadi titik runcing, tetapi paku akan berada pada skala yang sama dengan titik itu sendiri. Terlepas dari neuroatypicality Anda, Anda tidak akan bekerja pada algoritma kortikal lain.Mengajukan pertanyaan "apa yang diinginkan intelijen" adalah pertanyaan yang salah. Kecerdasan bukan suku aneh orang yang tinggal di seberang sungai dan memiliki kebiasaan eksotis. AI hanyalah nama seluruh ruang kemungkinan di luar titik manusia kecil. Memiliki pengetahuan yang memadai, Anda dapat naik ke ruang peluang ini dan keluar dari sana AI yang memiliki keinginan yang dapat dijelaskan dalam bahasa manusia oleh Wishlist, tetapi bukan karena itu akan menjadi Wishlist alami dari manusia super eksotis ini, tetapi karena Anda mengisolasi satu bagian dari ruang jenis pikiran .Mengenai hasrat seksual - jika Anda tahu persis apa yang Anda lakukan, Anda telah memecahkan masalah utama dalam membangun AI, secara stabil menginginkan hal-hal tertentu sementara itu membaik, jika Anda telah memecahkan masalah utama mengarahkan fungsi utilitarian AI ke tugas-tugas yang tampak sederhana bagi seseorang, dan masalah yang bahkan lebih rumit adalah pembangunan AI menggunakan jenis arsitektur tertentu, di mana hal-hal seperti "hasrat seksual" dan "kebahagiaan dari seks" penting, maka, mungkin, Anda dapat membuat AI melihat orang-orang yang menjadi model menjadi keinginan mereka, ekstrak bagian dari mereka sehubungan dengan hasrat seksual, dan buat AI mengalaminya.Tentu saja, Anda juga bisa, dengan pengetahuan yang baik tentang biologi organik dan aerodinamika, membangun pesawat yang dapat kawin dengan burung.Tetapi saya tidak berpikir bahwa saudara-saudara Wright seharusnya melakukan hal-hal seperti itu pada awal kegiatan mereka. Itu tidak masuk akal.Tampaknya lebih masuk akal untuk menyelesaikan masalah menembus ruang pikiran dan mengekstraksi AI dari sana yang tidak ingin membongkar kita menjadi atom cadangan.X: Saya ingin berpikir bahwa makhluk yang sangat pintar akan menyatakan tanpa kekerasan, karena mereka akan mengerti bahwa kekerasan itu bodoh. Apakah saya naifYu: Saya kira begitu. David humeSaya akan memberitahu Anda bahwa Anda membuat kesalahan tipikal dengan menerapkan predikat "kebodohan" pada nilai-nilai atau operasi resmi seseorang. Tindakan, pilihan, aturan bisa bodoh jika Anda memiliki preferensi tentang keadaan akhir dunia. Jika Anda adalah orang dengan preferensi meta yang belum Anda perhitungkan sepenuhnya, Anda mungkin memiliki platform tempat Anda dapat mengandalkan dan menyebut beberapa spekulasi tentang preferensi objek "bodoh".Staple maximizer [ eksperimen pikiran yang menunjukkan bagaimana AI yang dibuat tanpa niat jahat dapat membahayakan umat manusia - kira-kira. perev.] tidak membuat kesalahan komputasi, memilih kasus-kasus dari yang mana jumlah staples maksimum diperoleh. Itu tidak di dalam platform preferensi Anda, memilih tindakan yang salah, dan itu tidak di dalam platform preferensi meta Anda, keliru memilih preferensi. Dia menghitung jawaban untuk pertanyaan lain, dan bukan untuk pertanyaan yang Anda ajukan sendiri, pertanyaan "Apa yang harus saya lakukan?" Maximizer staples hanya mengambil tindakan yang mengarah ke staples paling banyak.Skenario yang fatal adalah ketika AI tidak mencintai Anda atau membenci Anda, karena Anda terbuat dari atom yang dapat digunakan untuk membuat sesuatu yang lain. Teori permainan dan masalah kerja sama dalam dilema tahananjangan memanifestasikan diri dalam semua kasus yang mungkin. Sebagai contoh, mereka tidak muncul ketika subjek tertentu jauh lebih kuat dari Anda sehingga ia dapat membuat Anda menjadi atom ketika Anda ingin mengklik tombol "bekerja sama" atau "mengubah". Dan ketika kami melewati ambang ini, apakah Anda telah memecahkan masalah menciptakan sesuatu yang tidak ingin membahayakan Anda, atau Anda telah kehilangan.X: Akankah kecerdasan super memecahkan masalah sulit kesadaran ?Yu: Ya, dan melihat ke belakang, jawabannya akan tampak sederhana bagi kami.X: Akankah kecerdasan super memiliki kehendak bebas?Yu: Ya, tetapi mereka tidak akan memiliki ilusi kehendak bebas.X: Seperti apa utopia Anda?Yu: Saya akan mengarahkan pembaca Anda untuk menambang "Urutan teori hiburan, "karena saya belum berhasil menulis cerita yang tindakannya terjadi di dunia optimal yang menghibur-teoretis.