Pengembangan sistem kecerdasan buatan yang kompleks di laboratorium adalah tugas yang sulit. Tetapi apa yang terjadi ketika sistem seperti itu memasuki dunia nyata dan mulai berinteraksi dengan orang-orang nyata? Inilah yang peneliti coba cari tahu, termasuk Dr. Fernando Diaz, direktur penelitian senior di Microsoft Research Montreal. Hari ini, Dr. Diaz akan membagikan pemikirannya dan menjawab pertanyaan kami tentang kecerdasan buatan dan dampaknya terhadap masyarakat.
Bersama dengan rekan-rekannya, Fernando berusaha memahami bagaimana sistem AI memengaruhi masyarakat, memasuki dunia nyata, dan bagaimana menghadapi konsekuensinya.
Dia juga akan berbicara tentang bagaimana teknologi dapat membentuk selera musik dan menjelaskan mengapa hari ini sangat penting untuk mendidik siswa dalam ilmu komputer, tidak hanya algoritma, tetapi juga prinsip-prinsip etis.
Wawancara
Ketika saya memulai percobaan, saya bertanya pada diri sendiri: percobaan pengguna mana yang dianggap etis dan mana yang tidak? Seberapa luas orang perlu diberi tahu bahwa mereka telah menjadi peserta dalam percobaan? Bagaimana cara mengenali dan menghilangkan data bias yang digunakan oleh teknologi pembelajaran mesin? Terlintas dalam pikiran pertama. Pada tahun-tahun berikutnya, banyak pertanyaan lain akan muncul, misalnya, bagaimana mengembangkan sistem AI sedemikian rupa untuk menunjukkan rasa hormat kepada pengguna.
Anda sedang mendengarkan Microsoft Research Podcast. Di sini kami memperkenalkan Anda pada penelitian teknologi canggih dan para ilmuwan di baliknya. Saya adalah tuan rumah dari Gretchen Huizinga.
Pengembangan sistem kecerdasan buatan yang kompleks di laboratorium adalah tugas yang sulit. Tetapi apa yang terjadi ketika sistem seperti itu memasuki dunia nyata dan mulai berinteraksi dengan orang-orang nyata? Inilah yang para peneliti seperti Dr. Fernando Diaz, direktur riset senior di Microsoft Research Montreal, coba cari tahu. Bersama dengan rekan-rekannya, Fernando berusaha memahami bagaimana sistem AI memengaruhi masyarakat, memasuki dunia nyata, dan bagaimana menghadapi konsekuensinya.
Hari ini, Dr. Diaz akan membagikan pemikirannya dan menjawab pertanyaan kami tentang kecerdasan buatan dan dampaknya terhadap masyarakat. Dia juga akan berbicara tentang bagaimana teknologi dapat membentuk selera musik dan menjelaskan mengapa hari ini sangat penting untuk mendidik siswa dalam ilmu komputer, tidak hanya algoritma, tetapi juga prinsip-prinsip etis. Tentang ini dan banyak lagi - dalam rilis baru podcast Microsoft Research.
Fernando Diaz, selamat datang di podcast.Terima kasih
Anda adalah Direktur Riset Senior di Microsoft Research Montreal dan bekerja di bidang kecerdasan buatan, pencarian, dan pengambilan informasi. Tetapi Anda juga mempelajari prinsip-prinsip keadilan, akuntabilitas, transparansi, dan etika (Keadilan, Akuntabilitas, Transparansi dan Etika, NASIB). Artinya, berbicara secara umum (kita akan membahas secara spesifik nanti): apa yang membuat Anda bangun di pagi hari? Apa pertanyaan serius yang Anda cari jawabannya, masalah penting apa yang ingin Anda selesaikan?Banyak sistem yang kami buat sangat sukses. Pencarian informasi, pencarian web, visi komputer - semua teknologi ini telah dikembangkan selama bertahun-tahun. Hari ini mereka secara aktif mengisi pasar massal, dan orang-orang mulai menggunakannya setiap hari. Namun, beberapa spesialis TI tidak memikirkan sebagaimana mestinya ketika merancang teknologi ini: di mana konteks sosial mereka akan digunakan.
Dan dalam hal ini, saya hanya mencoba memahami apa prasyarat sosial yang ada untuk menciptakan sistem ini, bagaimana konteks sosial di mana mereka bekerja mempengaruhi tidak hanya indikator kami, misalnya, keakuratan dan kelengkapan data yang dikembalikan, tetapi juga kepada masyarakat secara keseluruhan . Tampak bagi saya bahwa masalah ini menjadi yang terdepan bagi para profesional TI, karena banyak dari teknologi ini, yang dikembangkan secara terpisah, baru sekarang mulai memasuki pasar.
Jadi, Anda adalah seorang spesialis IT, Anda telah meneliti algoritma untuk mendapatkan informasi, pembelajaran mesin dan metode statistik. Namun, baru-baru ini Anda telah tertarik pada interaksi teknologi kecerdasan buatan dengan masyarakat, khususnya, konsekuensi dari penyebarannya yang luas atau, seperti beberapa orang katakan, publikasi mereka. Mengapa Anda tertarik dengan itu sekarang? Apa yang mengganggumu? Apa yang mendorong minat Anda di bidang ini?Pertanyaan yang bagus Pertama, tentu saja, saya masuk magistrasi, mendapat gelar. Saya mempelajari semua sistem ini, sehingga untuk berbicara, pada tingkat abstrak, bereksperimen dengan data statis yang diperoleh secara offline. Segera setelah lulus, saya berakhir di laboratorium penelitian industri. Di sini saya bekerja dengan pekerja produksi, kami terlibat dalam implementasi praktis dari teknologi yang saya pelajari di universitas.
Dan kemudian saya mulai mengerti: ketika kita mengukur algoritme ini dan memberikannya kepada pengguna nyata, sebagian besar asumsi dasar yang diajukan di laboratorium benar-benar tidak dapat diterapkan dalam kenyataan. Bagi saya itu adalah semacam pemeriksaan akhir dari semua penelitian saya, kembali ke prinsip-prinsip dasar dan upaya untuk memahami apa masalahnya, bagaimana saya dapat secara akurat mengevaluasi hasil dan mencapai indikator spesifik.
Artinya, Anda sudah bekerja di Microsoft Research, lalu Anda pergi dari sana, dan kemudian kembali lagi. Anda mulai di New York, dan sekarang Anda telah pindah ke Montreal. Kenapa kamu kembali?Setelah universitas, saya mulai bekerja penelitian di Montreal dan, karena sejumlah alasan, terpaksa meninggalkan sana. Tapi, tinggal di sana, saya menyadari bahwa di kota ini - seperti di Kanada secara keseluruhan - tradisi penelitian di bidang IT dan pembelajaran mesin cukup kuat. Dan jauh di lubuk hati saya selalu ingin kembali ke sini untuk berpartisipasi dalam pekerjaan ini. Dan ketika saya memiliki kesempatan untuk kembali ke laboratorium Penelitian Microsoft di Montreal, saya dengan senang hati memanfaatkannya. Terutama ketika Anda menganggap bahwa laboratorium sepenuhnya terlibat dalam pengembangan kecerdasan buatan. Di Montreal, penelitian yang sangat aktif dilakukan di bidang ini, dan saya ingin menjadi bagian dari semua ini, untuk berkontribusi.
Katakanlah sedikit tentang Montreal. Kota ini telah menjadi Mekah nyata dalam segala hal yang berkaitan dengan kecerdasan buatan, dan laboratorium SMR Montreal memiliki tugas yang sangat spesifik - untuk mengajarkan mesin membaca, berpikir, dan berkomunikasi dengan cara yang sama seperti yang dilakukan orang. Ceritakan kepada kami tentang seberapa jauh Anda telah menempuh jalan ini dan bagaimana penelitian Anda sendiri berkorelasi dengan pekerjaan laboratorium Montreal.Saya pikir laboratorium khusus yang didedikasikan untuk studi AI dibuat karena ada banyak pertanyaan mengenai pengembangan sistem seperti itu, dan mereka masih belum menemukan jawaban. Dan saya pikir ini membutuhkan jauh tidak hanya spesialis dalam pemrosesan bahasa alami, tidak hanya spesialis dalam pembelajaran interaktif atau dalam merangsang pembelajaran. Bahkan, mereka semua harus bekerja sama secara erat. Dan menurut saya inilah yang membuat laboratorium kami benar-benar unik.
Tugas saya hari ini adalah datang ke laboratorium, jika mungkin, berkomunikasi dengan spesialis dan memberi tahu mereka bagaimana sistem ini dapat berperilaku ketika orang sungguhan mulai berinteraksi dengan mereka. Seperti yang saya katakan sebelumnya, sistem seperti itu cukup mudah untuk dikembangkan dalam isolasi dari kenyataan, dalam isolasi. Tetapi ketika implementasi praktis mereka dimulai, ternyata terlalu banyak asumsi yang dibuat selama percobaan. Sekarang saya membentuk sebuah tim yang tugasnya mengantisipasi munculnya pertanyaan-pertanyaan seperti itu, mengoptimalkan pengembangan sistem, meningkatkan stabilitas dalam hal, katakanlah, perbedaan antara kelompok-kelompok populasi tempat kita berinteraksi, atau variasi dalam basis pengetahuan dari mana saya mengambil informasi.
Tim mana yang ingin Anda bentuk?Saya mencoba membuat semacam "saudara perempuan" untuk kelompok NASIB yang kami kelola di New York beberapa tahun lalu. Kami akan fokus pada konsekuensi sosial dari mengintegrasikan kecerdasan buatan ke dalam masyarakat. Tim kami akan melibatkan spesialis tidak hanya di bidang IT, tetapi juga dalam disiplin ilmu terkait, misalnya, dalam sosiologi. Untuk para profesional TI untuk lebih memahami konsekuensi bagi masyarakat, kita membutuhkan sosiolog ahli, antropolog, dan sebagainya. Mereka akan dapat memberi tahu banyak hal berguna tentang hal-hal yang belum kita evaluasi atau perhitungkan.
Ya, mari kita bicarakan ini secara lebih rinci. Penerapan prinsip-prinsip NASIB dalam berbagai penelitian di bidang kecerdasan buatan dan pembelajaran mesin adalah sangat penting saat ini. Seperti yang Anda katakan, alasannya adalah bahwa tidak semua masalah kontroversial dapat dipelajari dengan benar di laboratorium. Bersama dengan hasil yang direncanakan, konsekuensi orang yang benar-benar tak terduga dan mengejutkan dapat muncul. Jadi, para peneliti komunitas ini memiliki spesialisasi dan pendidikan yang berbeda. Apa kontribusi masing-masing pakar dalam hal prinsip-prinsip kejujuran, akuntabilitas, transparansi, dan etika?Ya, sosiolog memahami jauh lebih baik berbagai aspek penerapan teknologi secara umum, mereka tahu tentang kemungkinan konsekuensi positif dan negatif, tentang bagaimana orang bereaksi terhadap alat-alat atau yang kami tawarkan. Spesialis dengan pendidikan hukum akan dapat mengomentari latar belakang politik masing-masing teknologi yang sedang dikembangkan dan akan membantu kami lebih memahami konsep "kejujuran," misalnya.
Profesional TI, pada gilirannya, lebih memahami esensi dari sistem yang sedang dikembangkan, mampu menerjemahkan konsep seperti "kejujuran" menjadi konsep yang layak dan memasukkannya ke dalam sistem. Namun, keberadaan sudut pandang yang sangat berbeda pada masalah yang sama hanya diperlukan untuk merancang sistem yang lebih efisien.
Mari kita kembali ke apa yang telah Anda lakukan di masa lalu dan apa yang Anda terus kerjakan sekarang: akses ke sistem informasi, mesin pencari, dan memperoleh informasi. Dalam dokumen yang telah Anda tulis, Anda berbicara tentang adanya kesenjangan tertentu antara studi sistem tersebut dan implementasi praktisnya, tetapi pada saat yang sama Anda membuat pernyataan provokatif bahwa lembaga pendidikan akan lebih baik mengatasi beberapa masalah daripada spesialis teknis industri. Apa masalah ini dan mengapa menurut Anda begitu?Mari kita lihat situasi di bidang penelitian tentang akses ke informasi. Ada ilmuwan dari lembaga pendidikan yang telah melakukan banyak hal untuk kebaikan masyarakat, tetapi saat ini banyak penelitian, katakanlah di bidang pencarian web, dilakukan oleh raksasa pencarian besar yang memiliki data, informasi pengguna, dan sebagainya. Dan para ilmuwan dalam banyak kasus tidak memiliki akses ke data tersebut, sebuah platform untuk melakukan eksperimen. Oleh karena itu, peluang penelitian jelas tidak setara.
Dan dalam artikel saya, saya menulis bahwa staf ilmiah dari lembaga pendidikan tidak memiliki banyak data, tetapi mereka memiliki kemampuan untuk menarik beragam spesialis, yang tidak dapat dilakukan oleh raksasa pencarian. Universitas ini memiliki sosiolog dan pakar sains lain. Ada guru disiplin ilmu ekonomi. Semua "mitra" penelitian potensial ini akan membantu untuk melihat masalah secara lebih luas, untuk mempelajarinya dari berbagai sudut pandang, alih-alih berlari ke satu dan hanya satu yang dianut raksasa pencarian.
Saya pikir membangun set data hanyalah salah satu strategi. Pendekatan lain, atau jenis platform ilmiah, tidak dapat diakses oleh lembaga pendidikan, adalah eksperimen. Saya bisa melakukan tes A / B. Anda dapat mengatur percobaan terkontrol yang melibatkan sampel besar pengguna, yang tidak tersedia dalam kumpulan data.
Ya itu benar.Namun, bagi saya, perlu ditelusuri bagaimana kami benar-benar memberikan lembaga pendidikan akses ke sumber daya kami untuk melakukan eksperimen terkontrol tersebut.
Menarik.Semua ini terjadi secara kacau, serampangan, dan bagi saya tampaknya itulah yang kita, para peneliti industri, perlu pikirkan: bagaimana membuat akses ke peluang seperti itu lebih mudah dan lebih nyaman.
Jadi, mari kita kembali ke data. Katakan beberapa kata tentang mereka. Pakar pembelajaran mesin sepakat bahwa hanya "data besar" tidak cukup - saya secara khusus mengatakan "data besar" dalam tanda kutip. Antara lain, data objektif dan berkualitas tinggi diperlukan. Kita tahu bahwa semua kumpulan data besar ini kurang memiliki objektivitas.
Dan kita harus memperbaikinya. Saat ini, ada banyak pembicaraan tentang bagaimana meningkatkan objektifitas data melalui, misalnya, audit mesin pencari, algoritma untuk memastikan kesetaraan dan sejenisnya. Bagaimana cara melakukannya?Salah satu alasan keprihatinan kami tentang bias data: model yang dilatih berdasarkan data ini akan menjadi bias selama penyebaran. Artinya, yang paling penting adalah untuk bisa menentukan bagaimana kecerdasan buatan bekerja secara objektif. Dan jika dia bertindak bias, Anda harus kembali dan melatih ulang algoritma atau menambahkan batasan yang tidak akan memungkinkan Anda untuk mengambil bias dari data. Pekerjaan saya hari ini terutama difokuskan pada penilaian dan pengukuran.
Kami ingin memahami pengguna yang mengakses sistem, untuk memahami apa yang mereka butuhkan, dan untuk mengevaluasi, secara objektif atau bias, sistem beroperasi dengan mempertimbangkan siapa pengguna ini, kelompok populasi mereka. Ini membutuhkan pengalaman yang kaya yang diperoleh oleh para spesialis dalam memperoleh informasi yang, sejak awal penelitian seperti itu di tahun 50-an abad ke-20, berhasil memikirkan semua estimasi dan algoritma pengukuran. Inilah yang memungkinkan Anda menemukan keseimbangan alami antara audit, evaluasi, dan memperoleh informasi.
Seperti yang telah kami katakan, bias adalah sedikit kata kunci di antara para peneliti di bidang pemrosesan data dan analisis dan kecerdasan buatan. Namun, Anda mengatakan bahwa selain bias, ada masalah lain yang bersifat sosial yang perlu ditangani. Apa masalah ini, dan bagaimana penelitian dapat membantu menyelesaikannya?Ya, saya benar-benar berpikir bias adalah masalah yang sangat penting, tetapi mengapa saya bahkan berbicara tentang konteks sosial menggunakan kecerdasan buatan? Karena saya percaya bahwa bias hanyalah salah satu masalah sosial yang dapat kita identifikasi. Tentu saja ada yang lain. Jelas, salah satunya terkait dengan transparansi. Bagaimana saya bisa membuat keputusan yang dibuat oleh algoritma transparan untuk pengguna, biarkan mereka merasa bahwa mereka dapat mengendalikan situasi, berpartisipasi dalam pekerjaan algoritma?
Masalah kedua adalah latar belakang budaya dari algoritma. Ini semua terjadi dalam konteks, katakanlah, pemilihan rekomendasi untuk film atau musik. Sebagai contoh, saya membuat sistem besar untuk memilih rekomendasi musik untuk pengguna. Apa yang akan menjadi konsekuensi dari penyebaran algoritma ini untuk budaya, jika saya tahu, misalnya, bahwa dengan menambahkan pemain individu ke rekomendasi, adalah mungkin untuk membentuk selera musik seseorang dengan cara tertentu? Apa artinya menciptakan atau memelihara budaya dalam jangka panjang?
Ada aspek lain dari masalah ini: algoritma untuk memilih rekomendasi musik dapat memiliki dampak yang signifikan pada penulis atau pemain itu sendiri. Sebagai seorang profesional TI, saya dapat mengatakan bahwa ini adalah algoritma terbaik untuk memilih rekomendasi musik. Dan saya akan membawanya ke pasar. Tapi kami para profesional TI tidak berpikir sama sekali tentang bagaimana algoritma ini akan mempengaruhi penulis. Bagi saya pribadi, ini sangat penting.
Lalu bagaimana Anda akan melakukan studi yang akan memperhitungkan semua ini?Mari kita kembali ke contoh dengan memilih rekomendasi musik. Bayangkan Anda berhubungan dekat dengan para musisi dan pahami betul betapa pentingnya hal ini bagi mereka. Apa yang akan mereka ketahui jika mereka dikeluarkan dari sistem? Seperti apa rasanya hidup mereka diatur oleh sistem pemilihan rekomendasi, dan mereka sama sekali tidak bisa memengaruhinya? Sebagai seorang spesialis IT, saya hanya perlu duduk di meja dengan sosiolog dan antropolog, spesialis media massa, untuk lebih memahami apa yang menjadi kelompok populasi yang signifikan seperti musisi.
Dan kemudian saya, seorang profesional IT, dapat duduk dan berpikir tentang cara membuat algoritma yang akan memenuhi kebutuhan pendengar dan musisi. Sekarang saya merasa bahwa formulasi seperti itu terdengar terlalu sederhana. Itu sebabnya saya ingin seorang spesialis dalam disiplin ilmu lain memberi tahu saya: "Fernando, Anda tahu, Anda tidak memikirkan ini, ini dan itu."
Mengingat sifat penelitian Anda dan hasilnya, dapatkah Anda memberi tahu kami apa yang harus kami khawatirkan? Adakah hal-hal yang mencegah Anda tidur nyenyak?Secara pribadi, saya prihatin dengan fakta bahwa banyak teknologi yang dikembangkan di komunitas riset kami menyebar ke dunia dan diluncurkan ke dalam sirkulasi massal dalam hitungan hari atau minggu. Dan ini dilakukan oleh orang-orang yang sendiri tidak melakukan percobaan apa pun. Tidak ada yang salah dengan "ilmu terbuka", tetapi saya pikir kita harus belajar lebih banyak dan lebih memahami konsekuensi dari penerapan algoritma sebelum mengimplementasikannya di suatu tempat. Dan itu menggangguku bahwa kami dengan sangat cepat merilis lebih banyak algoritma baru, tidak sepenuhnya menghargai dan memahami konsekuensinya.
Microsoft Research Lab dikenal karena kerja samanya yang erat dengan lembaga pendidikan. Dan saya tahu Anda sangat memperhatikan pendidikan. Mari kita bicara tentang apa yang terjadi pada pendidikan dalam hal prinsip NASIB - kejujuran, akuntabilitas, transparansi, dan etika. Beri tahu kami bagaimana Anda melihat masa depan program pendidikan di bidang ini.Anda tahu, ketika saya sudah memasuki magistrasi ... atau bahkan lebih awal, ketika saya belajar di departemen TI, kami praktis tidak diajarkan prinsip-prinsip etika dan tidak berbicara tentang konsekuensi bagi masyarakat dari teknologi yang kami kembangkan.
Ini sebagian mungkin disebabkan oleh fakta bahwa siswa belajar sistem operasi atau metode untuk memperoleh informasi pada tingkat abstrak. Mereka tidak memikirkan konteks nyata di mana teknologi ini akan digunakan. Sejujurnya, siswa memiliki cukup masalah dengan algoritma dasar.-, , , , , . , , . , - , . - , , . , , , .
— — . , , , , .
: « , : , — ? , ? , ?». . , , .
, , « ». , , , , . , , . , , . , .Ya , , , , , . , , -. . , , .
, : ? : , , , , . , ?, , … , , . , , . , , , , .
, , . , , , , , — . .
, , , (FATE) IT, .
- .
12 AI-Community «
». .
-, , , « » .
, !
Pendaftaran