لوحة الألوان تجعل من السهل على الرسامين ترتيب وخلط الدهانات بألوان مختلفة لأنهم يخلقون فنًا على القماش قبلهم. إن امتلاك أداة مماثلة يمكن أن تسمح لمنظمة العفو الدولية بالتعلم المشترك من مصادر بيانات متنوعة مثل تلك الخاصة بالمحادثات والسرد والصور والمعرفة يمكن أن يفتح الأبواب للباحثين والعلماء لتطوير أنظمة الذكاء الاصطناعي القادرة على زيادة الذكاء العام.
لوحة يسمح للرسام لترتيب وخلط الدهانات بألوان مختلفة. يسعى SpaceFusion إلى مساعدة علماء الذكاء الاصطناعي على فعل أشياء مماثلة لنماذج مختلفة مدربة على مجموعات بيانات مختلفة. بالنسبة لنماذج التعلم العميق اليوم ، يتم تمثيل مجموعات البيانات عادة بواسطة المتجهات في مساحات كامنة مختلفة باستخدام شبكات عصبية مختلفة. في مقالة بعنوان "
تحسين التنوع والترابط بشكل مشترك في جيل الاستجابة العصبية " ، أقترح أنا وزملائي المؤلفون SpaceFusion ، نموذج تعليمي لمواءمة هذه المساحات الكامنة المختلفة - ترتيبها ومزجها بسلاسة مثل الطلاء على لوحة - حتى تتمكن AI من الاستفادة الأنماط والمعرفة المضمنة في كل منها. هذا العمل ، الذي نعرضه في
المؤتمر السنوي لعام 2019 لفرع أمريكا الشمالية لجمعية اللغويات الحاسوبية: تقنيات اللغة البشرية (NAACL-HLT) ، هو جزء من مشروع
المحادثة المدفوعة بالبيانات ، ويتم تنفيذه متاح على
جيثب .
التقاط لون المحادثة البشرية
كمحاولة أولى ، طبقنا هذه التقنية على AI للمحادثة العصبية. في الإعداد الخاص بنا ، من المتوقع أن يولد النموذج العصبي ردودًا مناسبة ومثيرة للاهتمام نظرًا لتاريخ المحادثة أو السياق. في حين تم إحراز تقدم مبشر في نماذج المحادثة العصبية ، إلا أن هذه النماذج تميل إلى تشغيلها بشكل آمن ، مما ينتج عنها استجابات عامة ومملة. تم تطوير مناهج لتنويع هذه الاستجابات وللتقاط بشكل أفضل لون المحادثة البشرية ، ولكن في كثير من الأحيان ،
هناك مفاضلة ، مع انخفاض الصلة .
الشكل 1: مثل اللوح يسمح بمزيج سهل من الدهانات ، تقوم SpaceFusion بمحاذاة ، أو مزج ، المساحات الكامنة المستفادة من نموذج التسلسل إلى التسلسل (S2S ، النقاط الحمراء) ومنشئ صوت تلقائي (AE ، نقاط زرقاء) للاستخدام المشترك النموذجين أكثر كفاءة.SpaceFusion يعالج هذه المشكلة عن طريق محاذاة المساحات الكامنة المستفادة من نموذجين (الشكل 1):
- نموذج التسلسل إلى التسلسل (S2S) ، الذي يهدف إلى إنتاج استجابات ذات صلة ، ولكن قد ينقصها التنوع ؛ و
- نموذج وحدة التشفير التلقائي (AE) ، وهو قادر على تمثيل الاستجابات المتنوعة ، لكنه لا يلتقط علاقتها بالمحادثة.
يمكن للنموذج الذي تم تعلمه بشكل مشترك الاستفادة من نقاط قوة كلا النموذجين وترتيب نقاط البيانات بطريقة أكثر تنظيماً.
الشكل 2: يوضح ما ورد أعلاه سياقًا واحدًا واستجاباته المتعددة في الفضاء الكامن الناجم عن SpaceFusion. المسافة والاتجاه من متجه الاستجابة المتوقعة بالنظر إلى السياق تقريبًا تتناسب مع الأهمية والتنوع ، على التوالي.على سبيل المثال ، كما هو موضح في الشكل 2 ، بالنظر إلى السياق - في هذه الحالة ، "أي شخص يريد بدء هذه اللعبة؟" - يتم ترتيب الردود الإيجابية "أحب أن ألعبها" و "نعم ، أفعل" على طول نفس الاتجاه. السلبية - "أنا غير مهتم باللعبة" و "لا ، أنا لا" - يتم تعيينها على خط في اتجاه آخر. يتم تحقيق التنوع في الاستجابات من خلال استكشاف المساحة الكامنة في اتجاهات مختلفة. علاوة على ذلك ، فإن المسافة في الفضاء الكامن يتوافق مع الصلة. الاستجابات بعيدة عن السياق - "نعم ، أفعل" و "لا ، لا أفعل" - عادة ما تكون عامة ، في حين أن هؤلاء الأقرب لهم صلة أكثر بالسياق المحدد: "أنا غير مهتم باللعبة" و " متى سوف؟
يقوم SpaceFusion بفك معايير الصلة والتنوع ويمثلها في بعدين مستقلين - الاتجاه والمسافة - مما يجعل من الأسهل تحسينهما معًا. أظهرت تجاربنا التجريبية وتقييمنا البشري أن أداء SpaceFusion أفضل في هذين المعيارين مقارنةً بخطوط الأساس التنافسية.
تعلم مساحة كامنة مشتركة
لذلك ، كيف بالضبط SpaceFusion محاذاة مساحات كامنة مختلفة؟
الفكرة بديهية تمامًا: بالنسبة لكل زوج من النقاط من فضاءين كامنين مختلفين ، نقوم أولاً بتقليل مسافتهم في المساحة الكامنة المشتركة ثم تشجيع الانتقال السلس بينهما. يتم ذلك عن طريق إضافة مصطلحين منظمين جديدين - مصطلح المسافة ومدى النعومة - إلى الوظيفة الهدف.
أخذ المحادثة كمثال ، يقيس مصطلح المسافة المسافة الإقليدية بين نقطة ما من مساحة الكامنة S2S ، التي يتم تعيينها من السياق وتمثل الاستجابة المتوقعة ، والنقاط من الفضاء الكامن AE ، والتي تتوافق مع استجاباتها المستهدفة. إن تقليل هذه المسافة يشجع نموذج S2S على تعيين السياق إلى نقطة قريبة من وتحيط به استجاباته في الفضاء الخفي المشترك ، كما هو موضح في الشكل 2.
يقيس مصطلح النعومة احتمال توليد استجابة الهدف من الاستيفاء العشوائي بين النقطة المعينة من السياق والنقطة المعينة من الاستجابة. عن طريق زيادة هذا الاحتمال إلى الحد الأقصى ، نشجع الانتقال السلس لمعنى الاستجابات المولدة أثناء الابتعاد عن السياق. يسمح لنا ذلك باستكشاف جوار نقطة التنبؤ التي قدمتها S2S وبالتالي توليد استجابات متنوعة ذات صلة بالسياق.
مع إضافة هذين التنظيمين الجديدين في الوظيفة الموضوعية ، فإننا نضع قيود المسافة والنعومة على تعلم المساحة الكامنة ، وبالتالي فإن التدريب لن يركز فقط على الأداء على كل مساحة كامنة ، ولكن أيضًا نحاول مواءمتها معًا بإضافة هذه الهياكل المطلوبة. ركز عملنا على نماذج المحادثة ، لكننا نتوقع أن يتمكن SpaceFusion من محاذاة المساحات الكامنة التي تعلمتها النماذج الأخرى المدربة على مجموعات بيانات مختلفة. هذا يجعل من الممكن جسر القدرات المختلفة والمجالات المعرفية التي يتعلمها كل نظام معين من الذكاء الاصطناعي ، ويمثل خطوة جديدة نحو استخبارات أكثر عمومية.