تطوير روبوت للدردشة مع شخصية معينة. محاضرة في ياندكس

من السمات المهمة لمهام تعلُم الآلة أنه يمكن تحقيق نتائج جيدة بنفس القدر باستخدام طرق مختلفة. هذا يعطي الإثارة لمسابقات ML: حتى إذا كان لديك كفاءات أخرى غير الخصم القوي الواضح ، لا يزال بإمكانك الفوز. كان لدى فريقي Tensorborne و Neurobotics فرصًا متساوية تقريبًا للفوز في الهاكاثون DeepHack ، وفي النهاية احتلوا المركزين الأولين. في تدريب Yandex ، قدم ممثلو كلا الفريقين تقريرًا ضخمًا. في فك التشفير ، ستجد تحليلاً مفصلاً للحلول والنصائح لبدء المنافسين.

وبالطبع ، خذ عطلة هاكاثون. عندما تشارك في هاكاثون أسبوعي وتعمل أيضًا في نفس الوقت ، فهذا أمر سيئ. تصل في الساعة 7 مساءً ، بعد أن عملت قليلًا ، وتجلس وتجميع Docker مع TensorFlow ، Keras ، بحيث يبدأ كل هذا على بعض الخوادم البعيدة التي لا يمكنك الوصول إليها. في مكان ما في ليلتين ، تصاب بالتنفس ، وهو يعمل من أجلك - بدون Docker ، بدون كل شيء ، لأنك فهمت أنه من الممكن وهكذا.

فيتالي دافيدوف:
- مرحبا بالجميع! كان يجب أن يكون لدينا تقريران ، لكننا قررنا دمجهما في تقرير واحد كبير ، لأننا نتحدث عن المركز الأول والثاني في مسابقة DeepHack. نمثل فريقين. احتل فريق Tensorborne المركز الثاني ، وفريق Gregory Neurobotics - الأول.


سيتألف التقرير من ثلاثة أجزاء رئيسية. في المقدمة ، سأتحدث عن تاريخ DeepHack ، وما هي ، وما هي المقاييس ، وما إلى ذلك. بعد ذلك ، سيتحدث الرجال عن الحلول ، وعن المشاكل ، والأمثلة ، وما إلى ذلك.

قبل التحدث عن DeepHack ، تجدر الإشارة إلى أنها مجموعة فرعية صغيرة من منافسة عالمية أخرى كبيرة للغاية ConvAI2 ، والتي أطلقت Facebook العام الماضي. هذا العام هو التكرار الثاني. في وقت ما ، رعى Facebook معهد موسكو للفيزياء والتكنولوجيا ، وتم إنشاء مسابقة DeepHack على أساس مختبر PhysTech.


اقرأ المزيد عن ConvAI نفسها. ما هي المشكلة التي يحاول حلها؟ متخصص في الأنظمة التفاعلية. المشكلة مع أنظمة الحوار هي أنه لا توجد أداة تقييم واحدة ، أداة تقييم ، لفهم جودة الحوارات. هذا الشيء غير موضوعي من شخص لآخر: قد يحب شخص ما المحادثة ، ولا يحب شخص آخر. تتمثل المهمة العامة العامة لـ ConvAI في التوصل إلى مقياس موحد مشترك لتقييم الحوارات ، والذي لم يتوفر بعد. الجائزة - 20000 دولار لشركة AWS Mechanical Turk. هذه ليست قروض لأمازون ، هذه قروض فقط لميكانيك ترك ، والتي هي في الواقع تناظرية من Yandex.Tolki. هذه خدمة التعهيد الجماعي التي تسمح لك بعمل ترميز على البيانات.

المهمة ، التي تم إنشاؤها على ConvAI ، هي بناء روبوت للدردشة يمكنك إجراء نوع من الحوار معه. اختاروا ثلاثة مقاييس: الحيرة ، الزيارات @ 1 ، و F1. بعد ذلك سأعرض الجدول الذي كان في وقت تقديمنا.

التقييم الذي حاولوا من خلاله القيام بذلك مر بثلاث مراحل. المرحلة الأولى هي المقاييس التلقائية ، ثم تقييم AWS Mechanical Turk ، ثم الدردشة الحية مع المتطوعين.

نظرًا لأن ConvAI برعاية Facebook ، فإنه يعمل بنشاط على الترويج لمكتبته لإنشاء أنظمة المحادثة ParlAI. إنها معقدة للغاية ، ولكن أعتقد أن جميع المشاركين استخدموا هذه المكتبة. تعاملنا معها لبعض الوقت ، وهي غير متوافقة مع Python 3.6 ، على سبيل المثال ، وهناك عدد من المشاكل معها.



في هذه الأسطر القليلة يمكنك أن ترى المواقف التي شغلناها في وقت التقديم. بشكل عام ، يتم تنظيم ConvAI بشكل غريب بمعنى أن هناك ثلاثة مقاييس وليس من الواضح جدًا كيف يسير الترتيب في هذا الجدول. يمكن ملاحظة أنه بالنسبة لبعض المقاييس تكون بعض الفرق أعلى ، والبعض الآخر أقل. كان تنظيم Convai بأكمله غريبًا بعض الشيء.

ولكن هناك ثلاثة خطوط أساس أساسية. للتأهل إلى DeepHack ، كان من الضروري كسر هذا الخط الأساسي ، وقد وصلت أفضل 10 فرق إلى النهائيات. في الخفاء ، سأقول أن 8 فرق فقط أرسلت قرارات ، ووصل الجميع إلى المباراة النهائية. لم يكن الأمر صعبًا للغاية.



كانت مهمة DeepHack مفهومة ومباشرة قليلاً. كان علينا أن نبني روبوتًا حديثًا مرة أخرى ، ولكن من شأنه أن يحاكي بعض الشخصية المعطاة. أي أنه تم إعطاء الروبوت وصفًا لشخص عند المدخل ، وخلال محادثة معه كان عليه الكشف عنه. كانت الجائزة مثيرة للاهتمام - رحلة إلى NIPS في خريف هذا العام ، والتي تتم رعايتها بالكامل.

كان المقياس ، على عكس ConvAI ، مختلفًا بالفعل. كان هناك مقياسان ، ويتم حساب المقياس الإجمالي بينهما. المقياس الأول هو الجودة الشاملة ، وهو تقييم لمدى استجابة الروبوت بشكل مناسب ، ومدى اهتمامه بالتواصل معه ، وما إذا كان يكتب بعض القمامة ، وما إلى ذلك. المقياس الثاني هو لعب الأدوار ، إما صفر أو 1. يعني ذلك هل دخل البوت في الوصف الذي أعطي له. الشخص الذي يتواصل مع البوت لا يرى الوصف. تم التقييم في Telegram ، أي كان هناك بوت واحد في Telegram ، وعندما بدأ المستخدم في التواصل معه ، حصل على بعض الروبوتات العشوائية من جميع المشاركات ، ليكون صادقًا. على ما يبدو ، قامت Yandex و MIPT بتدفق القليل من حركة المرور هناك ، وكان هناك حوالي 10 آلاف مربع حوار ، على حد ما أتذكر.

سبق أن قلت عن جولة التأهيل. كان النهائي بدوام كامل. تم ذلك خلال سبعة أيام من العمل في معهد موسكو للفيزياء والتكنولوجيا ، تم توفير مجموعة ، مكان ، جلسنا وعملنا هناك. كان التقييم في الواقع كل يوم ، وتم حساب النتيجة النهائية ، تصنيف البوت في النهاية بهذه الطريقة. بدأت المسابقة يوم الاثنين ، وكان أول تقديم يوم الثلاثاء ، وتم التقييم في اليوم التالي. تم تقييم الحل الذي نشرته يوم الثلاثاء يوم الأربعاء بوزن 1.5. ما أرسلته يوم الأربعاء - بوزن 1.4 ، إلخ.



حول مجموعة البيانات التي قدمها Facebook للتدريب. يطلق عليه Persona-Chat وهو وصف لشخصيتين ومجموعة من الحوارات. هناك وصف للشخص الأول والثاني. في عملية وصف الحوار ، يحاولون الكشف عن بعضهم البعض. هذا كل ما أعطي. ومع ذلك ، كما هو الحال دائمًا ، لم يكن ممنوعًا في المسابقة استخدام مجموعات بيانات أخرى تابعة لجهات خارجية.



مثال على حوار فريقنا. إذا قرأت بعناية ، فمن الواضح أن البوت الناتج يعمل بشكل مناسب تمامًا ويجيب بشكل صحيح تمامًا.

سوف يتحدث غريغوري عن المقام الأول.

غريغوري راشكوف:
- أود أن أتحدث عن تجربتنا في المشاركة في المسابقة واستراتيجيتنا وقرارنا.



أولاً ، خصوصية المسابقة هي أنها طويلة الأمد ، لم يكن لدينا يومين ، كما هو الحال في هاكاثون عادي ، ولكن خمسة أيام ، يمكننا من خلالها اتخاذ العديد من القرارات.



تقييمات ذاتية للغاية ، لأن الأشخاص المختلفين تمامًا مع معاييرهم تم تقييمهم ، على وجه الخصوص ، قال منظم هاكاثون ميخائيل بوبتسيف أنه حتى لو خمن ما هو الملف الشخصي الذي كان يتحدث عنه ، لكن البوت يتعارض في وقت ما مع ملفه الشخصي ، فأجاب على السؤال ليس كذلك ، كما هو مكتوب ، اختار ملفًا شخصيًا مختلفًا ، حتى لو كان يعرف ما يدور حوله.

والثالث هو عدم التحقق من الصحة. لم يتمكن المشاركون من إجراء تغيير بسيط وتلقي الملاحظات على الفور.

كما هو الحال في جميع أفلام الرعب ، قرر فريقنا في البداية الانفصال. انخرطت المجموعة الأولى في حلنا الرئيسي استنادًا إلى Wasserstein GAN ، وشاركت المجموعة الثانية في البوت ، وكانت لوحة إدارة البوت تعتمد على خط الأساس. لأنه كان علينا إرسال شيء ما في اليوم الأول والثاني.

_{^{رابط من الشريحة}}

باختصار حول خط الأساس: Seq2Seq بالإضافة إلى الاهتمام ، الذي تم تكييفه قليلاً لهذه المهمة المحددة. كيف بالضبط؟ يتم إرسال عبارة إلى الإدخال ، ويتم أخذ التضمين من GloVe ، ولكن بعد ذلك يتم النظر في تقديم كل عبارة كتضمين مرجح بشكل أكبر. يتم تحديد الأوزان بناءً على التردد العكسي للكلمة. وكلما قل ظهور كلمة ما ، زاد وزنها.

_{^{رابط من الشريحة}}

هذا ضروري لتعكس تفرد هذه الخصائص. كان كل شيء ذاهب إلى مجموعة ، مصفوفة ، تم بناء قناع على أساس هذه المجموعة وحالة مخفية ، ثم تم فرض هذا القناع على المجموعة ، وتم الحصول على سياق ، ثم تم توصيله ، من خلال عدم الخطية تم تغذيته لمدخلات أجهزة فك التشفير.



في اليوم الأول ، لم نكتب قرارنا بعد ، كان علينا إرسال شيء ما ، لذلك كتبنا وكيلًا يعتمد على الخط الأساسي ، لكننا وضعنا لأنفسنا مهمة التميز بشكل ما عن الكتلة الرمادية للوكلاء. للقيام بذلك ، استخدمنا استدلالًا بسيطًا ، وكان الروبوت الخاص بنا أول من بدأ حوارًا ، واستخدم ابتسامة في هذه العبارة. وعملت.


بطبيعة الحال ، في اليوم التالي ، بدأت جميع البوتات في صنعها أولاً ، وكانت جميع الرموز التعبيرية. في اليوم الثاني ، واصل سكان Vilabaggio العمل مع GAN ، حاول سكان Vilaribo استدلالات أخرى.



ونتيجة لذلك ، تحسنت درجة جودة الحوار قليلاً ، لكننا تجاوزنا ذلك. هذه هي نتائج اليوم الثالث ، ولم يبق سوى يومين. أدركنا أنه لن يكون هناك وقت كافٍ لنا لكتابة GAN واختباره بشكل طبيعي ، لأنه كان يدرس منذ فترة طويلة ، صعبًا ، علينا اختيار الكثير من المعلمات المفرطة. لذلك قررنا التبديل إلى خط الأساس ، لأنه يعمل بشكل جيد.


كانت مهمتنا تحسين التعرف على ملف تعريف المستخدم. اقترحنا مثل هذا ارشادي. ما هي المشكلة؟ تحدث المستخدم بسعادة مع البوت ، وسأل عن نوع العمل الذي قام به ، والهوايات ، ونوع السيارة التي يقودها ، وأجاب البوت على كل هذا بشكل جيد ، لأن البوت استجاب بشكل جيد بشكل عام. ونتيجة لذلك ، في نهاية الحوار ، شاهد المستخدم ملفين شخصيين ليس لهما علاقة بما كان موجودًا في الحوار ، وذلك ببساطة لأنه تم الإشارة إلى أشياء أخرى غير تلك التي طلبها المستخدم. لذلك ، قررنا أنه كان من الضروري إعطاء معلومات من الملف الشخصي بطريقة أو بأخرى.

كيف تفعل ذلك بالطريقة الأكثر منطقية؟ إذا كان لدى الشخص أي مصالح ، فربما سيتحدث عنها ، ابحث عن المصالح المشتركة. لذلك ، قررنا أن البوت سوف يطرح أسئلة في بعض النقاط على أساس ملفه الشخصي. كان هناك تأثير مثير للاهتمام أن المولد ، الذي تمت كتابته ببساطة وفقًا للقواعد اللغوية لـ G ، يستخدم بعض الحقائق A من الملف الشخصي ، ونتيجة لذلك ، يتم إدخال G (A) في الحوار ، ويتم إرسال كل هذا إلى ذاكرة الروبوت ، وفي المرة التالية التي يولد فيها النموذج معلومات ، من خلال كل من الملف الشخصي ومن هذا الحوار ، أي ، مع احتمال أكبر ، سيقول شيئًا يتعلق بالملف الشخصي.



كيف تبدو في الواقع؟ يقول الروبوت في الملف الشخصي أنه مسرور بالشعر ، ثم خلال المحادثة يسأل عما إذا كنت أحب الشعر. أقول نعم ، وكذلك في نموذجه ، وليس المولد الذي بنيناه وفقًا للقواعد ، يقول إنه يحب كتابة الشعر. وهكذا ، ركز البوت على ملفه الشخصي ، وعمل.



عدنا إلى المركز الأول مرة أخرى. بقي اليوم الأخير. لاحظنا أننا مع ذلك نفقد الحوار.


لقد استفدنا من العديد من الحلول. أولاً ، استخدموا إعادة صياغة ، وحللوا ما قاله الآخرون ، لأن المنظمين وضعوا قاعدة البيانات هذه ، ولاحظوا أن الكثير من الأشخاص يتواصلون مع البوت ليس صحيحًا تمامًا.

_{^{رابط من الشريحة}}

هناك حد أدنى محلي مثير للاهتمام في الروبوت: إنه يستجيب جيدًا لأي إهانات ، ويتفق معهم ، ولإصلاح ذلك ، قررنا استخدام منافسة Kaggle لمحلل التعليقات السامة ، وكتبنا مصنفًا بسيطًا للغاية ، مع اهتمام RNN أيضًا. في مجموعة البيانات هذه كانت هناك الطبقات التالية ، متداخلة: الإهانات والتهديدات ... قررنا عدم دراسة النموذج بشكل منفصل ، من سيتحدث ، لأنه تمت مواجهة مثل هذه المشكلة ، لكنها لم تكن متكررة جدًا. لذلك ، قمنا للتو بكتابة نوع من الكمامة التي أجاب عنها البوت ، وكان الجميع سعداء.


بالإضافة إلى ذلك ، استخدمنا إعادة صياغة لإثراء خطاب الروبوت الخاص بنا. لم يكن هذا أيضًا صعبًا للغاية ، فقد استبدلنا الكلمات من العبارة بمرادفات ، ونظرنا إلى n-grams الناتجة في العبارة ، بحيث لا تختلف كثيرًا عن تلك التي كانت في الأصل ، ثم اخترنا المجموعة الأكثر ملاءمة للعبارة ذات الاحتمال الأكبر.



كمثال على ما حدث ، يقول البوت هنا أنه يحب الاستماع إلى الموسيقى ، يقول استمتع في الملف الشخصي ، تم استبداله بالمثل إلى معنا. لسنا متأكدين مما إذا كان النموذج نفسه أو معاد الصياغة الخاص بنا قد ولده ، ولكن هذا الشيء قد مر. ملاحظة أخرى أنه كان من المستحيل إرسال بيانات فقط من ملف التعريف. تمت مقارنة الخماسيات هناك. إذا تزامن النجم الخماسي مع ملاحظتك وملفك الشخصي ، فإن هذه العبارة لم تمر ببساطة ، وقام المنظمون بترتيبها. علاوة على ذلك ، من بين أمور أخرى ، أضفنا قاموس مبتسم.



المثال الثاني ، لدينا الكثير من الابتسامات. ثم كان هناك استدلال ، عندما تفاعل البوت مع سلوكك الذي لم تكتبه عليه لفترة طويلة. عملت Paraphraser أيضًا هنا ، وأعطت نتيجة جيدة.

كانت جودة الحوار هي الأفضل ، ونوعية تمثيل الدور أيضًا.

لقد حاولنا جعل النموذج يولد مجموعة من الخيارات ومقارنتها بالملف الشخصي. ولكن بدا لي أنه في هذه الحالة يعمل البوت بشكل أسوأ ، لم نتمكن من إجراء التحقق ، فقط تقييمات ذاتية في محادثتين أو ثلاث. لذلك ، قرروا عدم وضع شيء من هذا القبيل ، لأن الملف الشخصي معترف به بالفعل.

ثم كتبنا حلًا للمشكلة المعكوسة ، النموذج الثاني ، الذي اختار ملف التعريف المطلوب من الحوار. خططنا لاستخدامها في البداية للتدريب ، من أجل قراءة وظيفة الخسارة منها وتوزيعها بشكل أكبر على الشبكة. لكن هذا يمكن أن يفاقم المتكلم نفسه ، لذلك قرروا عدم وضعه على هذا النحو. فكرنا أيضًا في استخدام هذا الشيء لسلوك الروبوت ، ولكن لم يكن لدينا الوقت لاختبار كل شيء ، وقررنا رفض هذا الشيء. بالإضافة إلى ذلك ، قررنا وضع الرموز التعبيرية بناءً على التلوين العاطفي للعبارة ، وكتبنا نموذجًا ، لكننا لم نجد مجموعة بيانات مناسبة ، ولم تكن تلك المستخدمة تُستخدم كثيرًا في ذلك.


فريقنا.

حتى إذا كان نموذجك الرئيسي ، الذي تأمل فيه ، لا يمكنه كتابته أو أنه يعطي نتيجة سيئة ، فلا تستسلم على الفور ، فأنت بحاجة إلى تجربة بعض الأشياء الأبسط ، وهو أمر طبيعي تمامًا. والشيء الثاني ، أنه في بعض الأحيان يجدر مشاهدة ما يفتقر إليه نموذجك والتفكير في مهام محددة ، وتفكيكها وحل مجالات مشاكل محددة ، وهو ما فعلناه. شكرا لكم على اهتمامكم.

سيرجي كوليسنيكوف:
- اسمي سيرجي كوليسنيكوف ، سأمثل قرار Tensorborne.



لقد توصلنا إلى اسم جميل ، وذهبنا إلى المسابقة ، وتوصلنا إلى العديد من القطع المختلفة لإصدار مقالتين بعد ذلك ، لكننا لم نفوز في هاكاثون. لذلك ، سيتم تسميته: "كيف لا تكسب هاكاثون ، ولكن لا تزال تنشر مقالتين لعنة". أكاديميون يا سيدي.

لقد تجاوزت ميزات المسابقة التي شاركنا فيها دافعنا. نظرًا لحقيقة إجراء التقييم يوميًا ، كان يجب إجراء الحزم يوميًا أيضًا ، وتم تحديد المكافأة النهائية ، كما نحب في RL ، عن طريق الجمع المخفض. كل هذا نما إلى حقيقة أنه كان علينا أن نرسل شيئًا على الأقل كل يوم حتى يعمل ، وحصلنا على الأقل على نوع من النقاط. ونتيجة لذلك ، نمت حقاً إلى ما تريد - لا تريد ، ولكن كان عليك أن تجادل.



ماذا لدينا؟ معاينة الأسبوع بأكمله.

على الرغم من حقيقة أن hackathon قال أنه كان أسبوعيًا ، فقد تقرر كل شيء في أربعة أيام ، وهو ما يبدو غير كافٍ لهذه المهمة ConvAI.

في البداية ، كان هناك خمسة منا ، جميعهم خريجون أكاديميون جيدون أو حتى Fiztekh ، لذلك جئنا يوم الاثنين وطرحنا الكثير من الاقتراحات والأفكار التي يمكنك تجربتها ، وهي نماذج التعلم العميق التي يمكنك تجربتها. صحيح أننا لم نجرّب GAN ، لأننا جربناها بالفعل للنصوص وهذا لا يعمل ، لذلك اتخذنا شيئًا أكثر بساطة ، إلى جانب وجود منافسات متشابهة جدًا وكان لدينا نماذج ذريعة. يوم الثلاثاء ، تمكنا من إطلاق شيء ما على التعلم العميق ، كان ML حيثما أمكن ذلك ، أطلقنا أرصفة رائعة بدعم GPU وأشياء أخرى لـ Tensorflow و Keras ، نحتاج إلى منح ميدالية منفصلة لهذا ، نظرًا لأن هذا ليس تافهًا كما أود.

وفقا لنتائج يوم الثلاثاء ، كانت واعدة ، وقررنا تحسين ML بشكل طفيف باستخدام الاستدلال الصغير وما شابه ذلك ، وفشلنا في المركز السابع. ولكن بفضل زملائنا في الفريق ، وجد أحدهم مرونة البحث وجربها. كانت هناك لحظة محرجة للغاية عندما عملت مرونة البحث بشكل جيد ، وكانت نماذج DL و ML ، وما إلى ذلك ، أقل قوة. كانت نهاية المسابقة قريبة. وكما لاحظ المتحدث السابق ، قررنا أن نسير في الاتجاه الصحيح. لقد أخذنا مرونة البحث ، والاستدلال الصغير ، واعتقدنا أن هذا جيد بما فيه الكفاية ، وجيد جدًا بما يكفي ، لأننا احتلنا المركز الثاني.



مزيد من التفاصيل. في الواقع ، كان هناك العديد من حلول DL. كان حل DL الأول بسيطًا للغاية. من يتذكر ، في العام السابق أو العام الماضي ، كانت هناك مسابقة للكشف عن إعادة صياغة Quora ، وهذا العام كانت هناك مسابقة من Yandex لـ Alice لبناء حوارات والمزيد. قد تلاحظ أن المهام هناك قريبة جدًا. في الأول كان من الضروري القول ما إذا كانت هاتين العبارتين عبارة عن إعادة صياغة ، وفي الثانية كان من الضروري مواصلة الحوار. اعتقدنا أنه نظرًا لأننا نقوم بتطوير أنظمة الحوار ، فلنواصل الحوار جيدًا. وعمل بشكل مثالي ، كان الحوار مع Quora شخصيًا جدًا.

في الأساس ، بدا كل شيء كما لو كان لدينا بعض التشفير ، وعادة ما نتدرب جميعًا على RNNs المعتادة ، ويفضل LSTM مع الاهتمام وأشياء أخرى. وبعد ذلك استخدمنا بشكل قياسي إما فقدان تضمين Cosaine المقدم على الشريحة أدناه ، أو خسارة تضمين أخرى من نوع الخسارة الثلاثية ، أو أي شيء آخر يدمج إعادة صياغة أو استجابات لحوار معين يجمع ، وليس إعادة تأجيل إعادة صياغة ، وما إلى ذلك. كان هذا هو الحل الأول ، كان على Tensorflow ، Keras ، كان جاهزًا ، جربناه ، وكان جيدًا جدًا.

ولد حل آخر في يوم واحد من أحداث الهاكاثون في المساء. هناك رجل رائع جيريمي هوارد ، وهو يروج لـ DL و ML للجميع ، ولديه دورتان رائعتان تقدمان لك هذه الدورة وأكثر ، وقد كتب لهذه الدورة FastAI. كل هذا يعمل على PyTorch ، وبطرق عديدة يعيد كتابة PyTorch ، وهذا هو أحد السلبيات لهذا lib. ولكن من الإيجابيات ، فإن جيريمي ليس له علاقة تذكر بلغة البرمجة اللغوية العصبية هذا العام في مارس نشروا مقالًا مع طالب آخر حيث دربوا LSTM على جميع أفضل الممارسات في FastAI الرائعة ، مع العديد من الحيل التي يروج لها في دراسته ، وحصلوا على SOTA عمليًا لكل شيء.

نظرًا لأنني مبشر صغير في PyTorch ، كنت لا أزال قادرًا على اقتلاع هذا النموذج من FastAI ، وحشره ، يمكنك القول بالفعل ، في إطار PyTorch الخاص بي ، وحتى تدريب كل شيء لهذه المهمة. في الأساس ، كان لدينا سياق حوار معين ، في الواقع ، حتى إذا كان لدينا عدة جمل ، فإنك ببساطة تجمعها في جملة ضخمة. answer, . FastAI, Universal Language Model — — Encoder.

, , , 1 , seq2seq. . , , FastAI — Concat poolling. ? seq2seq, attention. maxpool minpool , , .

, , , , maxpool minpool, . , — H, Hc Ha. , feedforward , . , , , , metric learning. — CosineEmbedding Loss, PyTorch.

, loss . , contrastive loss, , . , .

DL-. ElasticSearch, .



? , - ElasticSearch . - - Persona Dataset , , Facebook, , , - . - . , , , , , Persona Dataset , Amazon Mechanical Turk , .

ElasticSearch, , . , Persona Dataset , , 10 . , . , , , , .

- . , Persona , , , , , evaluation. heuristic solutions.

, , , , . . , , , , , . .

— . , — -, -, , .

dirty hack. , , . . — , .



? , -DL- , DL, . , , , . . , -, , , . , , . . , , . DL , ElasticSearch .

, personality score. , -, 0,25–0,3 , . , , - .



. — , , , Docker ElasticSearch, . , . . . Also, try to guess… , — , funny you. , general, . , , .

, , . . , — , , . , Docker, .



? ConvAI , NIPS, - .

-, ElasticSearch . , , . , , ElasticSearch . , DL.

-, DL-. : , , , . , , , , .

, . , . , . — pre-trained- ( — . .), . .

, proposals , RL bandits . , . — . , . , , , , toxic- . .

— . , DeepHacks . NLP, DeepHack , , « ». , . . , , , , , .

— . distributed- , . , DeepHack. - . . , , , , .

! . pre-trained-. , , .

وبالطبع ، خذ عطلة هاكاثون. عندما تشارك في هاكاثون أسبوعي وتعمل أيضًا في نفس الوقت ، فهذا أمر سيئ. تصل في الساعة 7 مساءً ، بعد أن عملت قليلًا ، وتجلس وتجميع Docker مع TensorFlow ، Keras ، بحيث يبدأ كل هذا على بعض الخوادم البعيدة التي لا يمكنك الوصول إليها. في مكان ما في ليلتين ، تصاب بالتنفس ، وهو يعمل من أجلك - بدون Docker ، بدون كل شيء ، لأنك فهمت أنه من الممكن وهكذا.

يبدو أنه إذا شاركت في منافسة كبيرة ، فخصص وقتًا أطول قليلاً لها من الوقت الذي لا يمكنك فيه النوم في الأسبوع ، والمشاركة. اذهب واربح. شكرا لك!