Sebuah palet memudahkan pelukis untuk mengatur dan mencampur cat dengan warna berbeda saat mereka membuat karya seni di atas kanvas di depan mereka. Memiliki alat serupa yang dapat memungkinkan AI untuk bersama-sama belajar dari berbagai sumber data seperti percakapan, narasi, gambar, dan pengetahuan dapat membuka pintu bagi para peneliti dan ilmuwan untuk mengembangkan sistem AI yang mampu menghasilkan kecerdasan yang lebih umum.
Sebuah palet memungkinkan seorang pelukis untuk mengatur dan mencampur cat dengan warna berbeda. SpaceFusion berupaya membantu para ilmuwan AI melakukan hal serupa untuk berbagai model yang dilatih pada kumpulan data yang berbeda. Untuk model pembelajaran dalam saat ini, dataset biasanya diwakili oleh vektor di ruang laten yang berbeda menggunakan jaringan saraf yang berbeda. Dalam makalah "
Bersama Mengoptimalkan Keragaman dan Relevansi dalam Generasi Respons Saraf ," rekan penulis saya dan saya mengusulkan SpaceFusion, sebuah paradigma pembelajaran untuk menyelaraskan ruang laten yang berbeda ini - mengatur dan mencampurnya dengan lancar seperti cat pada palet - sehingga AI dapat memanfaatkan pola dan pengetahuan yang tertanam di masing-masing. Karya ini, yang kami presentasikan pada
Konferensi Tahunan 2019 Amerika Utara Bab Asosiasi untuk Linguistik Komputasi: Teknologi Bahasa Manusia (NAACL-HLT) , adalah bagian dari proyek
Percakapan Berbasis Data , dan implementasi dari itu adalah tersedia di
GitHub .
Menangkap warna percakapan manusia
Sebagai upaya pertama, kami menerapkan teknik ini pada AI percakapan saraf. Dalam pengaturan kami, model saraf diharapkan untuk menghasilkan respons yang relevan dan menarik mengingat riwayat percakapan, atau konteks. Sementara kemajuan menjanjikan dalam model-model percakapan saraf telah dibuat, model-model ini cenderung memainkannya dengan aman, menghasilkan respons generik dan membosankan. Pendekatan telah dikembangkan untuk mendiversifikasi tanggapan ini dan lebih baik menangkap warna percakapan manusia, tetapi seringkali
ada tradeoff, dengan relevansi menurun .
Gambar 1: Seperti palet memungkinkan kombinasi yang mudah dari cat, SpaceFusion menyelaraskan, atau campuran, ruang laten yang dipelajari dari model urutan-ke-urutan (S2S, titik merah) dan autoencoder (AE, titik biru) untuk bersama-sama memanfaatkan kedua model lebih efisien.SpaceFusion mengatasi masalah ini dengan menyelaraskan ruang laten yang dipelajari dari dua model (Gambar 1):
- model urutan-ke-urutan (S2S), yang bertujuan untuk menghasilkan respons yang relevan, tetapi mungkin kurang keanekaragaman; dan
- model autoencoder (AE), yang mampu mewakili beragam tanggapan, tetapi tidak menangkap hubungannya dengan percakapan.
Model yang dipelajari bersama dapat memanfaatkan kekuatan kedua model dan mengatur titik data dengan cara yang lebih terstruktur.
Gambar 2: Di atas menggambarkan satu konteks dan beberapa responsnya dalam ruang laten yang disebabkan oleh SpaceFusion. Jarak dan arah dari vektor respons yang diprediksi memberikan konteks yang secara kasar sesuai dengan relevansi dan keragaman.Misalnya, seperti yang diilustrasikan pada Gambar 2, diberikan konteks - dalam hal ini, "Adakah yang ingin memulai permainan ini?" - tanggapan positif "Saya ingin memainkannya" dan "Ya, saya lakukan" diatur sepanjang arah yang sama. Yang negatif— “Saya tidak tertarik dengan permainan” dan “Tidak, saya tidak” - dipetakan di jalur lain. Keragaman tanggapan dicapai dengan menjelajahi ruang laten di sepanjang arah yang berbeda. Selanjutnya, jarak dalam ruang laten sesuai dengan relevansi. Tanggapan lebih jauh dari konteks— “Ya, saya lakukan” dan “Tidak, saya tidak” - biasanya bersifat umum, sedangkan yang lebih dekat lebih relevan dengan konteks spesifik: "Saya tidak tertarik dengan permainan" dan " Kapan kamu? "
SpaceFusion menguraikan kriteria relevansi dan keragaman dan mewakili mereka dalam dua dimensi independen - arah dan jarak - sehingga lebih mudah untuk bersama-sama mengoptimalkan keduanya. Eksperimen empiris dan evaluasi manusia kami telah menunjukkan bahwa SpaceFusion memiliki kinerja lebih baik dalam dua kriteria ini dibandingkan dengan baseline kompetitif.
Mempelajari ruang laten bersama
Jadi, bagaimana sebenarnya SpaceFusion menyelaraskan ruang laten yang berbeda?
Idenya cukup intuitif: Untuk setiap pasangan poin dari dua ruang laten yang berbeda, pertama-tama kita meminimalkan jaraknya di ruang laten bersama dan kemudian mendorong transisi yang mulus di antara mereka. Ini dilakukan dengan menambahkan dua istilah regularisasi baru - istilah jarak dan istilah kelancaran - ke fungsi tujuan.
Mengambil percakapan sebagai contoh, istilah jarak mengukur jarak Euclidean antara titik dari ruang laten S2S, yang dipetakan dari konteks dan mewakili respons yang diprediksi, dan titik-titik dari ruang laten AE, yang sesuai dengan respons targetnya. Meminimalkan jarak tersebut mendorong model S2S untuk memetakan konteks ke titik dekat dan dikelilingi oleh tanggapannya dalam ruang laten bersama, seperti yang diilustrasikan oleh Gambar 2.
Istilah smoothness mengukur kemungkinan menghasilkan respons target dari interpolasi acak antara titik yang dipetakan dari konteks dan yang dipetakan dari respons. Dengan memaksimalkan kemungkinan ini, kami mendorong transisi yang lancar dari makna tanggapan yang dihasilkan saat kami menjauh dari konteks. Ini memungkinkan kami untuk menjelajahi lingkungan sekitar titik prediksi yang dibuat oleh S2S dan dengan demikian menghasilkan beragam tanggapan yang relevan dengan konteksnya.
Dengan dua peraturan baru ini ditambahkan dalam fungsi tujuan, kami menempatkan jarak dan kelancaran kendala pada pembelajaran ruang laten, sehingga pelatihan tidak hanya akan fokus pada kinerja pada setiap ruang laten, tetapi juga mencoba untuk menyelaraskan mereka bersama dengan menambahkan ini struktur yang diinginkan. Pekerjaan kami berfokus pada model percakapan, tetapi kami berharap SpaceFusion dapat menyelaraskan ruang laten yang dipelajari oleh model lain yang dilatih pada kumpulan data yang berbeda. Hal ini memungkinkan untuk menjembatani berbagai kemampuan dan domain pengetahuan yang dipelajari oleh setiap sistem AI spesifik dan merupakan langkah awal menuju kecerdasan yang lebih umum.