Sementara bot tidak dapat berbicara seperti manusia. Tetapi para peneliti AI Facebook sudah secara aktif menembus area ini; ini dapat secara serius mempengaruhi para utusan perusahaan, dan tidak hanya
Chatbots adalah topik yang sangat populer di tahun 2015. Salah satu yang paling populer adalah M dari Facebook, yang, menurut rencana perusahaan, seharusnya menjadi bot serba guna yang fleksibel, mampu melakukan banyak hal - memesan barang, mengantarkan hadiah, memesan meja di restoran, dan merencanakan perjalanan. Namun, hype terlalu keras untuk hasilnya. Ketika Facebook menguji M-nya untuk 2500 orang dari San Francisco Bay Area, program itu tidak mengatasi sebagian besar tugas yang diberikan padanya.
Setelah ledakan pertama antusiasme terhadap M dan chatbots lainnya (Direktur Microsoft Satya Nadella umumnya
menyatakan bahwa "chatbots adalah aplikasi baru"), gelombang
kekecewaan pun menyusul. Chatbots mengobrol dengan buruk, dan condong ke arah robot. Ini karena mereka diajarkan untuk berbicara tentang topik yang sangat sempit dan melakukan tugas yang sangat spesifik. Mereka tidak dapat mempertahankan percakapan alami dengan orang-orang, untuk memberikan jawaban berdasarkan pemahaman kata-kata dan artinya. Mereka hanya bisa mengeluarkan komentar umum.
Bahkan sebelum M memasuki tahap pengujian beta, Facebook mengurangi rencana muluknya untuk bot ini, meskipun sebagian teknologi bahasa alami jatuh ke dalam obrolan yang kurang ambisius dari messenger Facebook Messenger, yang mampu melakukan tugas tunggal sederhana seperti mengambil pesanan untuk makanan atau memberikan jawaban dari daftar. pertanyaan dan jawaban. Perusahaan seperti American Express dan 1-800-FLOWERS masih menggunakan chatbots sederhana yang serupa untuk menjawab pertanyaan pengguna untuk mendukung, menerima pesanan sederhana dan mengeluarkan informasi tentang saldo akun pribadi mereka. Banyak yang masih akan mengalihkan Anda ke seseorang jika Anda mengajukan pertanyaan di luar kompetensi mereka yang terbatas.
Namun, tim peneliti AI AI sudah lebih dulu dari proyek-proyek seperti chatbots sederhana. "Selama tiga hingga empat tahun terakhir, kami telah mengatakan bahwa kami tidak akan mengikuti jalur mempelajari dialog yang bertujuan untuk mencapai tujuan tertentu - ini adalah tugas yang terlalu sulit dengan taruhan terlalu tinggi," kata Antoine Borde, seorang peneliti bahasa alami dari Facebook, kepada saya. Jika sebuah obrolan perjalanan “memesan pesawat yang salah, penerbangan yang salah, itu akan menjadi kesalahan yang sangat besar dalam hal uang, perjalanan, dll.,” Katanya.
Alih-alih berfokus pada mekanisme tugas tertentu, Borde mengatakan, Facebook mengambil langkah mundur ke tugas yang lebih dalam - untuk melatih agen virtual untuk berkomunikasi seperti orang-orang. Jika chatbots dapat lebih memahami dan berbicara dengan orang-orang, maka, sebagaimana dipahami oleh perusahaan, mereka pada akhirnya akan menjadi asisten terbaik yang dapat membantu orang melakukan tugas-tugas praktis, seperti memesan semua tiket yang sama.
Facebook secara aktif berinvestasi dalam perkembangan ini, mempekerjakan ahli AI bahasa alami terbaik. Perusahaan ini suka menunjukkan bahwa, tidak seperti raksasa teknologi lainnya, itu membuat hasil penelitian AI tersedia online untuk seluruh komunitas penelitian, berharap bahwa itu akan membantu orang lain menciptakan generasi baru AI. Tetapi penelitian ini, tentu saja, akan jatuh ke dalam produk mereka sendiri.
Utusan, seperti Messenger dan WhatsApp (Facebook masih tidak mengerti cara memonetisasi yang terakhir) tampaknya menjadi area aplikasi alami untuk perkembangan ini. Zuckerberg berbicara tentang ide-ide perusahaan untuk berkonsentrasi pada komunikasi pribadi, sehingga Messenger dan WhatsApp harus menambahkan fitur baru agar tidak memberi keunggulan pada platform serupa lainnya, khususnya, WeChat, Telegram dan Apple iMessage.
Membuat algoritma yang dapat mendukung percakapan gratis dengan seseorang telah menjadi tujuan utama perusahaan teknologi. Amazon, Google dan Microsoft bergabung dengan Facebook dalam pertaruhan mereka pada kemungkinan komunikasi manusia - dan tidak hanya melalui pesan teks, tetapi juga dengan bantuan asisten suara, dan dengan cara lain. Berkat penelitian terbaru, jalur untuk menciptakan komputer yang benar-benar mampu berkomunikasi tiba-tiba menjadi lebih jelas - namun, medali untuk tempat pertama masih menunggu pemenangnya.
Dengan kata lain, penelitian bahasa alami Facebook jauh lebih dari sekadar membangkitkan M atau meningkatkan chatbots di Messenger. Terhubung dengan masa depan seluruh perusahaan.
Memperkenalkan Jaringan Saraf Tiruan
Membuat agen digital yang mampu melakukan percakapan yang kredibel dengan seseorang mungkin adalah yang paling sulit dari semua tugas di bidang pemrosesan bahasa alami. Mesin harus belajar kamus yang penuh dengan kata-kata, dengan contoh penggunaan dan nuansa, dan kemudian menggunakannya dalam komunikasi langsung dengan orang yang tidak dapat diprediksi.
Hanya dalam beberapa tahun terakhir, komunitas AI bahasa alami telah mulai mengambil langkah besar untuk menciptakan bot umum. Secara khusus, ini terjadi karena terobosan di bidang jaringan saraf - algoritma pembelajaran mesin yang mengenali pola melalui analisis sejumlah besar data.
Untuk sebagian besar sejarah AI, orang telah mengamati program sementara mengikuti proses pembelajaran mesin. Dalam teknologi yang disebut "mengajar dengan guru", seseorang perlahan-lahan melatih jaringan saraf, memberikan jawaban yang benar untuk masalah, dan kemudian menyesuaikan algoritma sehingga mencapai solusi yang sama.
Mengajar dengan seorang guru bekerja dengan baik jika ada sejumlah besar data yang ditandai dengan cermat - misalnya, foto-foto kucing, anjing atau benda lain. Namun, pendekatan ini sering tidak berfungsi di dunia chatbots. Sulit untuk menemukan sejumlah besar (ribuan jam) percakapan berlabel orang-ke-orang, dan membuat volume data seperti itu dari satu perusahaan akan sangat mahal.
Karena sulit untuk mengajar chatbot untuk berbicara menggunakan metode lama, peneliti mencari alternatif untuk belajar dengan guru sehingga jaringan saraf dapat belajar berdasarkan data sendiri, tanpa campur tangan manusia.
Salah satu cara untuk menghilangkan kebutuhan akan data pelatihan adalah dengan melatih mesin secara umum di tingkat dasar. Jika komputer dapat memahami dunia di sekitarnya - misalnya, ukuran relatif objek, lalu bagaimana orang menggunakannya, konsep tertentu tentang efek hukum fisika pada mereka - mungkin akan dapat mempersempit berbagai pilihan, hanya menyisakan yang nyata yang mungkin.
Orang-orang melakukan ini secara alami. Misalnya, Anda mengemudi di dekat tebing curam, dan tiba-tiba Anda melihat batu besar di jalan. Anda harus menghindari tabrakan dengannya. Tetapi memilih opsi, Anda tidak mungkin memutuskan untuk dengan tajam berbalik ke arah tebing. Anda tahu bahwa sebuah mobil akan jatuh di atas batu karena gravitasi.
Yan Lekun"Banyak pembelajaran manusia adalah tentang mengamati dunia di sekitar kita," kata
Jan Lekun , wakil presiden dan kepala spesialis AI di Facebook, seorang legenda AI yang bekerja pada masalah paling sulit sejak 1980-an. "Kami belajar banyak hal dari orang tua dan orang lain, tetapi hanya dari berinteraksi dengan dunia, mencoba melakukan sesuatu, gagal dan menyesuaikan perilaku kami."
AI yang dilatih menggunakan teknologi seperti itu yang disebut “Belajar Tanpa Guru” bekerja dengan cara yang serupa. Sebagai contoh, sebuah robomobile mengumpulkan data tentang dunia melalui banyak sensor dan kamera, seperti anak kecil yang mempelajari dunia dengan bantuan panca indera. Dengan pendekatan ini, para ilmuwan menyediakan mesin dengan sejumlah besar data pelatihan. Mereka tidak memintanya untuk memberikan jawaban yang benar dan tidak mendorongnya ke tujuan tertentu. Mereka memintanya hanya untuk memproses data dan belajar darinya, menemukan pola, membangun hubungan antara berbagai titik dalam data.
Dalam banyak kasus, data yang diperlukan sulit ditemukan. Namun, ada area seperti AI di mana jaringan saraf dapat belajar banyak tentang dunia tanpa sensor: pemrosesan bahasa alami. Para peneliti dapat menggunakan sejumlah besar teks yang ada untuk membantu algoritma memahami dunia manusia, yang merupakan bagian penting dari tugas memahami bahasa.
Misalkan jaringan saraf menerima frasa berikut untuk refleksi:
Hadiah itu tidak masuk ke dalam koper karena terlalu besar.
Hadiah itu tidak masuk ke dalam koper karena terlalu kecil.
Untuk memahami bahwa dalam setiap kalimat, kata "dia" mengacu pada objek yang berbeda, model perlu memahami sifat-sifat objek dunia nyata dan hubungannya. "Teks tempat mereka dilatih berisi struktur yang cukup untuk memahami bahwa jika Anda memiliki satu objek yang cocok dengan yang lain, maka salah satu dari mereka mungkin tidak cocok dengan yang lain jika terlalu besar," kata Lekun.
Teknik ini bisa menjadi kunci untuk generasi baru chatbots Facebook yang lebih berguna dan mudah bergaul.
Temui BERT dan RoBERTa
Terobosan yang sedang berlangsung dalam pembelajaran tanpa guru untuk sistem pemrosesan bahasa alami dimulai di Google pada tahun 2018. Peneliti perusahaan menciptakan model pembelajaran yang mendalam, BERT (mewakili transformer dengan pengarahan dua arah), dan memberikannya teks tanpa teks dari 1.108 buku dan 2,5 miliar kata dari Wikipedia bahasa Inggris. Peneliti secara acak menghapus kata-kata tertentu dari teks, dan mengatur model untuk memasukkan kata yang hilang.
Setelah menganalisis seluruh teks, jaringan saraf menemukan pola dari kata-kata dan kalimat, sering muncul dalam konteks yang sama, yang membantunya memahami hubungan dasar antara kata-kata. Karena kata-kata adalah representasi dari objek atau konsep dunia nyata, model telah belajar lebih dari sekadar hubungan linguistik antara kata-kata: ia mulai memahami bagaimana objek saling terkait satu sama lain.
BERT bukan model pertama yang menggunakan pembelajaran tanpa guru untuk memahami bahasa manusia. Tetapi dia adalah orang pertama yang mempelajari arti kata itu dalam konteksnya.
"Saya akan mengatakan bahwa proyek ini adalah dua terobosan teratas di bidang pemrosesan bahasa alami," kata Jianfeng Gao, manajer penelitian di Deep Learning Group, salah satu laboratorium dari Microsoft Research. "Orang-orang menggunakan model ini sebagai level dasar untuk membuat semua model pemrosesan bahasa alami lainnya." Sejauh ini, penelitian BERT telah dikutip dalam karya lain lebih dari 1000 kali - peneliti lain sedang mengembangkan pada dasarnya.
Di antara mereka adalah Lekun dengan timnya. Mereka membuat versi mereka sendiri dari model ini, melakukan optimasi, memperluas jumlah data pelatihan dan waktu pelatihan. Setelah milyaran perhitungan, jaringan saraf Facebook bernama RoBERTa berkinerja lebih baik daripada Google. Dia menunjukkan tingkat akurasi 88,5%, dan BERT - hanya 80,5%.
BERT dan RoBERTa mewakili pendekatan baru yang radikal dalam mengajar komputer untuk berkomunikasi. "Dalam prosesnya, sistem harus menunjukkan arti kata-kata yang ditemuinya, struktur kalimat, konteks," kata Lekun. "Pada akhirnya, dia tampaknya mengenali arti dari bahasa itu, yang agak aneh, karena dia tidak tahu apa-apa tentang realitas fisik dunia." Dia tidak memiliki penglihatan, dia tidak memiliki pendengaran, dia tidak memiliki apa-apa. " Yang dia tahu hanyalah bahasa; surat, kata-kata dan kalimat.
Mendekati percakapan nyata
Lekun mengatakan bahwa model bahasa alami, yang dilatih menggunakan BERT atau RoBERTa, tidak akan mengembangkan akal sehat yang berarti - itu hanya akan cukup untuk memberikan jawaban dalam obrolan, berdasarkan pada basis data luas pengetahuan umum. Ini hanyalah awal dari proses pembelajaran dari algoritma untuk berbicara seperti orang.
Peneliti bahasa alami Facebook juga mencoba membangun lebih banyak detail komunikasi berbasis RoBERTa. Mereka mulai dengan mempelajari percakapan orang-orang dengan chatbots untuk memahami kapan suatu percakapan bisa menjadi membosankan atau hancur. Penemuan mereka membantu menemukan cara untuk melatih bot sehingga dapat menghindari kesalahan paling umum dalam percakapan.
Misalnya, chatbot sering bertentangan dengan diri mereka sendiri karena mereka tidak ingat apa yang mereka katakan sebelumnya. Seorang obrolan mungkin mengatakan bahwa dia suka menonton episode Knight Rider, dan kemudian menyatakan bahwa dia tidak suka pertunjukan itu. Chatbots yang membuat jawaban mereka sendiri (daripada mengekstraksi isyarat dari data pelatihan) sering menjawab pertanyaan dengan samar agar tidak membuat kesalahan. Mereka sering tampak tidak emosional, jadi berkomunikasi dengan mereka tidak begitu menarik.
Chatbots juga harus dapat menggunakan pengetahuan untuk membuatnya menarik untuk diajak bicara. Bot yang dapat menggunakan berbagai informasi lebih mungkin untuk mempertahankan dialog panjang dengan orang-orang. Namun, obrolan yang ada dilatih menggunakan pengetahuan dari satu area yang sesuai dengan tugas yang diberikan pada bot. Ini menjadi masalah ketika seseorang mulai mengatakan sesuatu tentang topik yang melampaui kompetensi bot. Tanyakan bot pizza yang memesan tentang apa pun selain pizza, dan percakapan akan cepat memudar.
Untuk mengatasinya, para peneliti Facebook bekerja untuk melatih model pemrosesan bahasa alami untuk mengekstrak data dari banyak bidang pengetahuan, dan secara alami menanamkan informasi ini dalam sebuah percakapan. Penelitian di masa depan akan fokus pada pengajaran bot bagaimana dan kapan mentransfer pembicaraan dari hal-hal umum ke tugas tertentu.
Salah satu tantangan terbesar dalam mengembangkan chatbot adalah bagaimana membuat mereka belajar lebih jauh setelah mereka mulai. Arti kata-kata dapat berubah seiring waktu, istilah dan jargon baru dapat menjadi penting secara budaya. Pada saat yang sama, chatbot tidak boleh terlalu dibisikkan - bot Tay Microsoft terlalu banyak belajar dari percakapan online dan berubah menjadi rasis yang kasar dalam 24 jam. Facebook mengajarkan chatbots eksperimental untuk belajar dari percakapan yang baik dan menganalisis bahasa orang yang mereka ajak bicara untuk melihat apakah bot mengatakan sesuatu yang membosankan atau bodoh.
Sulit untuk memprediksi kapan tepatnya terobosan Facebook di laboratorium akan membantu membuat chatbots yang dapat melakukan percakapan yang setidaknya sedikit seperti yang dilakukan manusia. Mungkin tidak terlalu lama sebelum Anda dapat mengevaluasi hasil ini sendiri. "Kami percaya bahwa kami sangat dekat untuk menciptakan bot yang dapat berbicara dengan orang-orang sehingga mereka melihat nilai di dalamnya," kata peneliti Facebook Jason Weston kepada saya.