स्पेसफ्यूजन: संवादी एआई के लिए असंरक्षित अव्यक्त स्थान की संरचना

एक पैलेट चित्रकारों के लिए अलग-अलग रंगों के पेंट की व्यवस्था और मिश्रण करना आसान बनाता है क्योंकि वे कैनवास पर उनके सामने कला बनाते हैं। एक समान उपकरण होने से एआई को संयुक्त रूप से विविध डेटा स्रोतों से सीखने की अनुमति मिल सकती है जैसे कि वार्तालाप, कथा, चित्र और ज्ञान के लिए वे अधिक सामान्य बुद्धि के लिए सक्षम एआई सिस्टम विकसित करने के लिए शोधकर्ताओं और वैज्ञानिकों के लिए दरवाजे खोल सकते हैं।


एक पैलेट एक चित्रकार को विभिन्न रंगों के पेंट की व्यवस्था और मिश्रण करने की अनुमति देता है। स्पेसफ्यूजन एआई वैज्ञानिकों को विभिन्न डेटासेट पर प्रशिक्षित विभिन्न मॉडलों के लिए समान चीजें करने में मदद करना चाहता है।

आज डीप लर्निंग मॉडल के लिए, डेटासेट आमतौर पर अलग-अलग तंत्रिका नेटवर्क का उपयोग करते हुए अलग-अलग अव्यक्त स्थानों में वैक्टर द्वारा दर्शाए जाते हैं। पेपर में " न्यूरल रिस्पांस जेनरेशन में संयुक्त रूप से विविधता और प्रासंगिकता का अनुकूलन ", मेरे सह-लेखक और मैं स्पेसफ्यूजन का प्रस्ताव करते हैं, इन विभिन्न अव्यक्त स्थानों को संरेखित करने के लिए एक सीखने का प्रतिमान - व्यवस्थित करें और उन्हें एक पैलेट पर पेंट की तरह आसानी से मिलाएं - इसलिए एआई का लाभ उठा सकते हैं पैटर्न और ज्ञान उनमें से प्रत्येक में एम्बेडेड है। यह काम, जिसे हम कम्प्यूटेशनल भाषा विज्ञान के लिए उत्तर अमेरिकी अध्याय के 2019 वार्षिक सम्मेलन में प्रस्तुत कर रहे हैं : मानव भाषा प्रौद्योगिकी (एनएएसीएल-एचएलटी) , डेटा-संचालित वार्तालाप परियोजना का हिस्सा है, और इसका एक कार्यान्वयन है GitHub पर उपलब्ध है ।

मानवीय वार्तालाप के रंग को पकड़ना

पहले प्रयास के रूप में, हमने इस तकनीक को तंत्रिका संवादी एआई पर लागू किया। हमारे सेटअप में, एक तंत्रिका मॉडल से एक प्रासंगिक और दिलचस्प प्रतिक्रिया उत्पन्न करने की उम्मीद की जाती है, जिसे एक वार्तालाप इतिहास या संदर्भ दिया जाता है। जबकि तंत्रिका वार्तालाप मॉडल में आशाजनक बदलाव किए गए हैं, ये मॉडल इसे सुरक्षित रूप से चलाने के लिए करते हैं, सामान्य और सुस्त प्रतिक्रियाएं पैदा करते हैं। इन प्रतिक्रियाओं को विविधता देने और मानवीय बातचीत के रंग को बेहतर ढंग से पकड़ने के लिए दृष्टिकोण विकसित किए गए हैं, लेकिन अक्सर, एक व्यापार है, जिसमें प्रासंगिकता घट रही है ।


चित्र 1: जैसे कोई पैलेट पेंट्स के आसान संयोजन के लिए अनुमति देता है, स्पेसफ्यूजन संरेखित करता है, या मिक्स करता है, एक सीक्वेंस-टू-सीक्वेंस (S2S, लाल डॉट्स) मॉडल और एक ऑटोकेनोडर (AE, ब्लू डॉट्स) से संयुक्त रूप से उपयोग करने के लिए सीखा अव्यक्त रिक्त स्थान। दो मॉडल अधिक कुशलता से।

स्पेसफ्यूजन ने दो मॉडल (चित्रा 1) से सीखी गई अव्यक्त जगहों को संरेखित करके इस समस्या से निपटा:

• एक अनुक्रम से अनुक्रम (S2S) मॉडल, जिसका उद्देश्य प्रासंगिक प्रतिक्रियाओं का उत्पादन करना है, लेकिन विविधता की कमी हो सकती है; और
• एक ऑटोएन्कोडर (एई) मॉडल, जो विविध प्रतिक्रियाओं का प्रतिनिधित्व करने में सक्षम है, लेकिन बातचीत के संबंध में कब्जा नहीं करता है।

संयुक्त रूप से सीखा मॉडल दोनों मॉडलों की ताकत का उपयोग कर सकता है और अधिक संरचित तरीके से डेटा बिंदुओं की व्यवस्था कर सकता है।


चित्र 2: उपरोक्त एक संदर्भ और स्पेसफ्यूजन से प्रेरित अव्यक्त अंतरिक्ष में इसकी कई प्रतिक्रियाओं को दर्शाता है। अनुमानित प्रतिक्रिया वेक्टर से दूरी और दिशा क्रमशः संदर्भ को प्रासंगिकता और विविधता से मेल खाती है।

उदाहरण के लिए, जैसा कि चित्र 2 में दिखाया गया है, एक संदर्भ दिया गया है - इस मामले में, "कोई भी इस खेल को शुरू करना चाहता है?" - सकारात्मक प्रतिक्रियाएं "मुझे यह खेलना अच्छा लगेगा" और "हां, मैं करता हूं" की व्यवस्था की जाती है। एक ही दिशा। नकारात्मक वाले- "मैं खेल में दिलचस्पी नहीं रखता" और "नहीं, मैं नहीं" - किसी अन्य दिशा में एक लाइन पर मैप किया गया। प्रतिक्रियाओं में विविधता विभिन्न दिशाओं के साथ अव्यक्त स्थान की खोज करके प्राप्त की जाती है। इसके अलावा, अव्यक्त स्थान में दूरी प्रासंगिकता से मेल खाती है। प्रतिक्रियाएँ दूर हैं संदर्भ से - "हाँ, मैं करता हूँ" और "नहीं, मैं नहीं" - आमतौर पर सामान्य है, जबकि वे करीब विशिष्ट संदर्भ के लिए अधिक प्रासंगिक हैं: "मैं खेल में दिलचस्पी नहीं रखता हूँ" और " तुम कब आओगे? ”

स्पेसफ्यूजन प्रासंगिकता और विविधता के मानदंडों को नापसंद करता है और उन्हें दो स्वतंत्र आयामों - दिशा और दूरी में दर्शाता है - दोनों को संयुक्त रूप से अनुकूलित करना आसान बनाता है। हमारे अनुभवजन्य प्रयोगों और मानव मूल्यांकन से पता चला है कि SpaceFusion प्रतिस्पर्धी आधारभूत रेखाओं की तुलना में इन दो मानदंडों में बेहतर प्रदर्शन करता है।

एक साझा अव्यक्त स्थान सीखना

तो, स्पेसफ्यूजन बिल्कुल अलग-अलग अव्यक्त स्थानों को कैसे संरेखित करता है?

यह विचार काफी सहज है: दो अलग-अलग अव्यक्त स्थानों से प्रत्येक जोड़ी के लिए, हम पहले साझा अव्यक्त स्थान में अपनी दूरी को कम करते हैं और फिर उनके बीच एक चिकनी संक्रमण को प्रोत्साहित करते हैं। यह दो उपन्यास नियमितीकरण की शर्तों को जोड़कर किया जाता है - उद्देश्य समारोह के लिए दूरी शब्द और चिकनाई शब्द।

उदाहरण के रूप में बातचीत करते हुए, दूरी शब्द S2S अव्यक्त स्थान से एक बिंदु के बीच यूक्लिडियन दूरी को मापता है, जो संदर्भ से मैप किया जाता है और अनुमानित प्रतिक्रिया का प्रतिनिधित्व करता है, और AE अव्यक्त स्थान से बिंदु, जो इसके लक्ष्य प्रतिक्रियाओं के अनुरूप होता है। इस तरह की दूरी को कम करने से S2S मॉडल को संदर्भ को मैप करने के लिए प्रोत्साहित किया जा सकता है और चित्र 2 के अनुसार, साझा अव्यक्त स्थान में इसकी प्रतिक्रियाओं से घिरा हुआ है।

चिकनाई शब्द संदर्भ से मैप किए गए बिंदु और प्रतिक्रिया से मैप किए गए बिंदु के बीच एक यादृच्छिक प्रक्षेप से लक्ष्य प्रतिक्रिया उत्पन्न करने की संभावना को मापता है। इस संभावना को अधिकतम करते हुए, हम संदर्भ से हटते ही उत्पन्न प्रतिक्रियाओं के अर्थ के एक सहज संक्रमण को प्रोत्साहित करते हैं। यह हमें S2S द्वारा किए गए भविष्यवाणी बिंदु के पड़ोस का पता लगाने की अनुमति देता है और इस प्रकार विभिन्न प्रतिक्रियाएं उत्पन्न करता है जो संदर्भ के लिए प्रासंगिक हैं।

उद्देश्य समारोह में जोड़े गए इन दो उपन्यास नियमितीकरणों के साथ, हमने अव्यक्त स्थान की शिक्षा पर दूरी और चिकनाई की बाधाएं डाल दी हैं, इसलिए प्रशिक्षण न केवल प्रत्येक अव्यक्त स्थान पर प्रदर्शन पर ध्यान केंद्रित करेगा, बल्कि उन्हें जोड़कर संरेखित करने का भी प्रयास करेगा। वांछित संरचनाएं। हमारा काम संवादी मॉडल पर केंद्रित है, लेकिन हम उम्मीद करते हैं कि स्पेसफ्यूजन अलग-अलग डेटासेट पर प्रशिक्षित अन्य मॉडलों द्वारा सीखी गई अव्यक्त जगहों को संरेखित कर सकता है। यह प्रत्येक विशिष्ट एआई प्रणाली द्वारा सीखी गई विभिन्न क्षमताओं और ज्ञान डोमेन को पाटना संभव बनाता है और एक अधिक सामान्य बुद्धि की ओर एक बच्चा कदम है।