स्पेसफ्यूजन: स्ट्रक्चरल अनस्ट्रक्चर्ड हिडन स्पेस फॉर इंटरएक्टिव AI

पैलेट कलाकारों को विभिन्न रंगों के पेंट को व्यवस्थित करने और मिश्रण करने की अनुमति देता है, जिससे उनके सामने कैनवस पर पेंटिंग बनाई जा सकती है। एक समान उपकरण का अस्तित्व जो एआई को विभिन्न डेटा स्रोतों से एक साथ सीखने में सक्षम कर सकता है, जैसे कि वार्तालाप, कहानियां, चित्र और ज्ञान, शोधकर्ताओं और वैज्ञानिकों के लिए अधिक व्यापक एआई सिस्टम विकसित करने के लिए दरवाजा खोल सकता है।


पैलेट कलाकार को विभिन्न रंगों के पेंट को धब्बा और मिश्रण करने की अनुमति देता है। स्पेसफ्यूजन एआई वैज्ञानिकों को विभिन्न डेटासेट पर प्रशिक्षित विभिन्न मॉडलों के लिए समान चीजें करने में मदद करने के लिए प्रतिबद्ध है।

आधुनिक गहन शिक्षण मॉडल के लिए, डेटा सेट आमतौर पर विभिन्न तंत्रिका नेटवर्क का उपयोग करके विभिन्न छिपे हुए स्थानों में वैक्टर द्वारा दर्शाए जाते हैं। " न्यूरल रिएक्शंस की पीढ़ी में विविधता और प्रासंगिकता का संयुक्त अनुकूलन " लेख में , मेरे सह-लेखक और मैं स्पेसफ्यूजन पेश करते हैं, एक प्रशिक्षण प्रतिमान जो विभिन्न छिपे हुए रिक्त स्थान - जैसे कि एक पैलेट पर पेंट - "मिक्स" कर सकता है - ताकि एआई प्रत्येक में एम्बेडेड पैटर्न और ज्ञान का उपयोग कर सके। उन्हें। इस कार्य का कार्यान्वयन GitHub पर उपलब्ध है ।

मानवीय बातचीत के रंग पर कब्जा

पहले प्रयास के रूप में, हमने तंत्रिका अंतःक्रियात्मक AI के लिए इस तकनीक को लागू किया। हमारे सेटअप में, तंत्रिका मॉडल से वार्तालाप इतिहास या संदर्भ के आधार पर प्रासंगिक और दिलचस्प प्रतिक्रियाएं उत्पन्न होने की उम्मीद है। इस तथ्य के बावजूद कि तंत्रिका संचार मॉडल में आशाजनक सफलताएं प्राप्त हुई हैं, ये मॉडल, एक नियम के रूप में, सामान्य और उबाऊ जवाबों को पुन: पेश करने के लिए जोखिम नहीं लेने की कोशिश करते हैं। इन प्रतिक्रियाओं में विविधता लाने के लिए दृष्टिकोण विकसित किए गए हैं और बेहतर ढंग से मानव बातचीत के रंग को दर्शाते हैं, लेकिन अक्सर प्रासंगिकता में कमी के साथ एक समझौता होता है। ।


चित्र 1: एक पैलेट की तरह जो पेंट को संयोजित करना आसान बनाता है, स्पेसफ्यूजन दो मॉडल को अधिक कुशलता से साझा करने के लिए seq2seq (S2S, लाल डॉट्स) और ऑटोकेनोडर (AE, ब्लू डॉट्स) मॉडल से छिपे हुए स्थानों को संरेखित करता है या मिश्रित करता है।

SpaceFusion दो मॉडल (चित्रा 1) से निकाले गए छिपे हुए स्थानों को जोड़कर इस समस्या को हल करता है:

• अनुक्रम से अनुक्रम (S2S) मॉडल, जिसका उद्देश्य प्रासंगिक उत्तर प्राप्त करना है, लेकिन इसमें कुछ अंतर हो सकते हैं; साथ ही
• एक ऑटोएन्कोडर (एई) मॉडल जो विभिन्न उत्तरों को प्रस्तुत करने में सक्षम है, लेकिन बातचीत के साथ उनके संबंधों को प्रतिबिंबित नहीं करता है।

एक सह-प्रशिक्षित मॉडल दोनों मॉडल की ताकत का दोहन कर सकता है और अधिक संरचित तरीके से डेटा बिंदुओं को व्यवस्थित कर सकता है।


चित्र 2: उपरोक्त एक संदर्भ और स्पेसफ्यूजन के कारण छिपे हुए स्थान में इसकी कई प्रतिक्रियाओं को दर्शाता है। अनुमानित प्रतिक्रिया वेक्टर से दूरी और दिशा, संदर्भ को ध्यान में रखते हुए, क्रमशः महत्व और विविधता के अनुरूप है।

उदाहरण के लिए, जैसा कि चित्र 2 में दिखाया गया है, संदर्भ को ध्यान में रखते हुए - इस मामले में, "क्या कोई इस खेल को शुरू करना चाहता है?" - सकारात्मक जवाब "मैं इसे खेलना चाहूंगा" और "हां, मैं खेलता हूं" एक दिशा में स्थित हैं। नकारात्मक लोगों - "मुझे खेल में कोई दिलचस्पी नहीं है" और "नहीं, मुझे कोई दिलचस्पी नहीं है" - एक अलग दिशा में मैप किए जाते हैं। उत्तर में विविधता विभिन्न दिशाओं में छिपे हुए स्थान के अध्ययन के माध्यम से प्राप्त की जाती है। इसके अलावा, छिपी हुई जगह में दूरी प्रासंगिक है। उत्तर जो संदर्भ से दूर हैं - "हां, मैं खेलता हूं" और "नहीं, मैं नहीं खेलता" - आमतौर पर प्रकृति में सामान्य होते हैं, जबकि जो करीब होते हैं वे विशिष्ट संदर्भ के लिए अधिक प्रासंगिक होते हैं: "मुझे खेल में कोई दिलचस्पी नहीं है" और "जब क्या आप खेलने जा रहे हैं? ”

स्पेसफ्यूजन प्रासंगिकता और विविधता मानदंडों को अलग करता है और उन्हें दो स्वतंत्र आयामों में प्रस्तुत करता है - दिशा और दूरी - दोनों के संयुक्त अनुकूलन की सुविधा। मनुष्यों में हमारे अनुभवजन्य प्रयोगों और मूल्यांकन से पता चला है कि SpaceFusion प्रतिस्पर्धी आधार रेखाओं की तुलना में इन दो मानदंडों पर बेहतर प्रदर्शन करता है।

लर्निंग साझा साझा स्थान

तो वास्तव में स्पेसफ्यूजन विभिन्न छिपे हुए स्थानों को कैसे मैप करता है?

यह विचार काफी सहज है: दो अलग-अलग छिपे हुए स्थानों से प्रत्येक जोड़ी के लिए, हम पहले आम छिपे हुए स्थान में अपनी दूरी को कम करते हैं, और फिर उनके बीच एक चिकनी संक्रमण बनाए रखते हैं। यह लक्ष्य समारोह में दो नए नियमितीकरण शब्द - दूरी की अवधि और चिकनाई अवधि को जोड़कर किया जाता है।

बातचीत को एक उदाहरण के रूप में लेते हुए, दूरी शब्द छिपे हुए स्थान S2S से बिंदु के बीच यूक्लिडियन दूरी को मापता है, जो कि संदर्भ के आधार पर प्रदर्शित होता है और पूर्वानुमानित प्रतिक्रिया का प्रतिनिधित्व करता है, और छिपे हुए स्थान AE से उसके लक्ष्य उत्तरों के अनुरूप होते हैं। इस दूरी को कम करने से S2S मॉडल को संदर्भ को एक बिंदु के रूप में प्रदर्शित करने का कारण बनता है और एक आम छिपे हुए स्थान में इसकी प्रतिक्रियाओं से घिरा हुआ है, जैसा कि चित्र 2 में दिखाया गया है।

चिकनाई शब्द एक संदर्भ से मैप किए गए बिंदु और प्रतिक्रिया से मैप किए गए बिंदु के बीच यादृच्छिक प्रक्षेप से लक्ष्य प्रतिक्रिया उत्पन्न करने की संभावना को मापता है। इस संभावना को अधिकतम करके, हम संदर्भ से हटते ही उत्पन्न प्रतिक्रियाओं के मूल्य में एक सहज संक्रमण को प्रोत्साहित करते हैं। यह हमें S2S द्वारा बनाए गए पूर्वानुमान बिंदु के पड़ोस का पता लगाने की अनुमति देता है, और इस प्रकार विभिन्न उत्तर उत्पन्न करता है जो संदर्भ के लिए प्रासंगिक हैं।

उद्देश्य समारोह में जोड़े गए इन दो नए नियमितीकरणों के साथ, हम छिपी हुई जगहों को सीखने में दूरी और समान प्रतिबंध लगाते हैं, इसलिए प्रशिक्षण न केवल प्रत्येक छिपे हुए स्थान में प्रदर्शन पर ध्यान केंद्रित करेगा, बल्कि इन वांछित संरचनाओं को जोड़कर उन्हें एक साथ संरेखित करने का भी प्रयास करेगा। हमारे काम ने इंटरेक्टिव मॉडल पर ध्यान केंद्रित किया है, लेकिन हम उम्मीद करते हैं कि स्पेसफ्यूजन अलग-अलग डेटासेट पर अन्य मॉडलों द्वारा प्रशिक्षित छिपे हुए स्थानों को संरेखित करें। यह प्रत्येक विशेष AI सिस्टम द्वारा सीखी गई ज्ञान की विभिन्न क्षमताओं और क्षेत्रों को जोड़ेगा, और अधिक व्यापक AI की ओर पहला कदम होगा।

---

इसे भी देखें: डेवलपर्स के लिए 7 निःशुल्क पाठ्यक्रम