किसी दिए गए व्यक्तित्व के साथ चैट बॉट का विकास। यैंडेक्स में व्याख्यान

मशीन लर्निंग कार्यों की एक महत्वपूर्ण विशेषता यह है कि विभिन्न तरीकों का उपयोग करके समान रूप से अच्छे परिणाम प्राप्त किए जा सकते हैं। इससे एमएल-कंटेस्टेंट्स को उत्तेजना मिलती है: स्पष्ट रूप से मजबूत प्रतिद्वंद्वी की तुलना में अन्य दक्षताओं के बावजूद, आप अभी भी जीत सकते हैं। तेनसॉर्बॉर्न और न्यूरोबोटिक्स टीमों के पास डीपहैक हैकाथॉन जीतने की लगभग समान संभावना थी और अंततः पहले दो स्थान ले लिए। यैंडेक्स प्रशिक्षण में, दोनों टीमों के प्रतिनिधियों ने एक-एक रिपोर्ट बनाई। डिकोडिंग में, आपको शुरुआती प्रतियोगियों के लिए समाधान और युक्तियों का विस्तृत विश्लेषण मिलेगा।

और हां, हैकाथॉन की छुट्टी लें। जब आप एक साप्ताहिक हैकाथॉन में भाग लेते हैं और उसी समय काम करते हैं, तो यह खराब है। आप शाम 7 बजे आते हैं, थोड़ा काम करते हैं, बैठते हैं और डंकर को TensorFlow, Keras के साथ संकलित करते हैं, ताकि यह सब कुछ दूरस्थ सर्वरों पर शुरू हो जाए, जिनकी आपको पहुंच भी नहीं है। कहीं-कहीं दो रातों में आप कैथरसिस पकड़ लेते हैं, और यह आपके लिए काम करता है - बिना डॉकर के, सब कुछ बिना, क्योंकि आप समझ गए थे कि यह संभव है और इसलिए।

विटाली डेविडोव:
- सभी को नमस्कार! हमारे पास दो रिपोर्टें होनी चाहिए थीं, लेकिन हमने उन्हें एक बड़े में मिलाने का फैसला किया, क्योंकि हम दीपैक प्रतियोगिता में पहले और दूसरे स्थान के बारे में बात कर रहे हैं। हम दो टीमों का प्रतिनिधित्व करते हैं। हमारी टेंसोरबोर्न टीम ने 2 वां स्थान हासिल किया, और ग्रेगरी न्यूरोबोटिक्स की टीम - पहला।


रिपोर्ट में तीन मुख्य भाग शामिल होंगे। परिचय में, मैं DeepHack के इतिहास के बारे में बात करूंगा, यह क्या है, मेट्रिक्स क्या थे, आदि। आगे, लोग समाधानों के बारे में बात करेंगे, क्या समस्याएं, उदाहरण आदि।

डीपहैक के बारे में बात करने से पहले, यह ध्यान दिया जाना चाहिए कि यह एक और बहुत बड़ी वैश्विक प्रतियोगिता ConvAI2 का एक छोटा सा उप-समूह है, जिसने पिछले साल फेसबुक लॉन्च किया था। यह वर्ष दूसरा पुनरावृति है। कुछ बिंदु पर, फेसबुक ने मास्को इंस्टीट्यूट ऑफ फिजिक्स एंड टेक्नोलॉजी को प्रायोजित किया, और फिजिकल प्रयोगशाला के आधार पर डीपहैक प्रतियोगिता बनाई गई।


खुद कन्विक्शन के बारे में और पढ़ें। वह किस समस्या को हल करने की कोशिश कर रहा है? वह इंटरैक्टिव सिस्टम में माहिर हैं। संवाद प्रणालियों के साथ समस्या यह है कि संवादों की गुणवत्ता को समझने के लिए एक मूल्यांकन उपकरण, मूल्यांकन उपकरण नहीं है। यह बात एक व्यक्ति से दूसरे व्यक्ति के लिए बहुत व्यक्तिपरक है: किसी को बातचीत पसंद आ सकती है, किसी को नहीं। रूपांतरण का सामान्य वैश्विक कार्य संवादों के मूल्यांकन के लिए एक सामान्य एकीकृत मीट्रिक के साथ आना है, जो अभी तक उपलब्ध नहीं है। पुरस्कार - AWS मैकेनिकल तुर्क के लिए $ 20,000। ये अमेज़ॅन के लिए ऋण नहीं हैं, ये केवल मैकेनिकल तुर्क के लिए ऋण हैं, जो वास्तव में Yandex.Tolki का एक एनालॉग है। यह एक क्राउडसोर्सिंग सेवा है जो आपको डेटा पर मार्कअप करने की अनुमति देती है।

यह कार्य, जो ConvAI पर बनाया गया है, एक चिट-चैट-बॉट का निर्माण करना है जिसके साथ आप किसी प्रकार का संवाद कर सकते हैं। उन्होंने तीन मैट्रिक्स चुने: Perplexity, Hits @ 1, और F1। आगे मैं वह तालिका दिखाऊंगा जो हमारे जमा करने के समय थी।

मूल्यांकन जिसके द्वारा उन्होंने ऐसा करने की कोशिश की, तीन चरणों से गुजरे। पहला चरण स्वचालित मेट्रिक्स, फिर एडब्ल्यूएस मैकेनिकल तुर्क मूल्यांकन, और फिर स्वयंसेवकों के साथ लाइव चैट है।

चूंकि ConvAI फेसबुक द्वारा प्रायोजित है, वह ParlAI संवादी प्रणाली बनाने के लिए अपने पुस्तकालय को सक्रिय रूप से बढ़ावा दे रहा है। यह काफी जटिल है, लेकिन मुझे लगता है कि सभी प्रतिभागियों ने इस पुस्तकालय का उपयोग किया। हमने इसे कुछ समय के लिए निपटा दिया, यह पायथन 3.6 के साथ संगत नहीं है, उदाहरण के लिए, और इसके साथ कई समस्याएं हैं।



इन कुछ पंक्तियों में आप देख सकते हैं कि प्रस्तुत करने के समय हमने किन पदों पर कब्जा किया। सामान्य तौर पर, कन्वर्नी अजीब तरीके से इस अर्थ में आयोजित किया जाता है कि तीन मैट्रिक्स हैं और यह बहुत स्पष्ट नहीं है कि इस तालिका की रैंकिंग कैसे हो रही है। यह देखा जा सकता है कि कुछ मैट्रिक्स के लिए कुछ टीमें अधिक हैं, कुछ कम के लिए। पूरे कन्वर्शन का संगठन थोड़ा अजीब था।

लेकिन तीन आधारभूत आधार हैं। डीपहैक के लिए अर्हता प्राप्त करने के लिए, इस आधार रेखा को तोड़ना आवश्यक था, और शीर्ष 10 सर्वश्रेष्ठ टीमों ने फाइनल में जगह बनाई। गुप्त रूप से, मेरा कहना है कि केवल 8 टीमों ने निर्णय भेजे, और सभी अंतिम तक पहुंचे। यह बहुत मुश्किल नहीं था।



डीपहैक का कार्य थोड़ा अधिक समझ और सीधा था। हमें फिर से एक टॉकर रोबोट का निर्माण करना था, लेकिन जो कुछ दिए गए व्यक्तित्व का अनुकरण करेगा। यही है, रोबोट को प्रवेश द्वार पर एक व्यक्ति का विवरण दिया गया था, और उसके साथ बातचीत के दौरान उसे इसे प्रकट करना था। पुरस्कार काफी दिलचस्प था - एनआईपीएस के लिए एक यात्रा यह गिरावट है, जो पूरी तरह से प्रायोजित है।

ConvAI के विपरीत, मीट्रिक पहले से ही अलग था। दो मीट्रिक थे, और दोनों के बीच कुल मीट्रिक का भार होता है। पहली मीट्रिक समग्र गुणवत्ता है, बॉट ने कितनी पर्याप्त रूप से प्रतिक्रिया दी, इसका आकलन, इसके साथ संवाद करने के लिए कितना दिलचस्प था, क्या यह कुछ बकवास लिख रहा था, आदि। दूसरा मीट्रिक रोल-प्लेइंग है, या तो 0 या 1. इसका मतलब है क्या बॉट उस विवरण में मिलता है जो उसे दिया गया था। जो व्यक्ति बॉट के साथ संचार करता है, वह विवरण नहीं देखता है। टेलीग्राम में मूल्यांकन हुआ, यानी, एक एकल टेलीग्राम बॉट था, और जब उपयोगकर्ता ने उसके साथ संवाद करना शुरू किया, तो वह ईमानदार होने के लिए सभी सबमिशन से कुछ यादृच्छिक बॉट में मिला। यांडेक्स और एमआईपीटी, जाहिरा तौर पर, वहां थोड़ा ट्रैफ़िक डाला गया था, और जहाँ तक मुझे याद है, लगभग 10 हजार संवाद थे।

मैंने पहले ही क्वालिफिकेशन राउंड के बारे में कहा था। फाइनल पूर्णकालिक था। यह मास्को इंस्टीट्यूट ऑफ फिजिक्स एंड टेक्नोलॉजी में सात दिनों के काम के दौरान हुआ, एक क्लस्टर प्रदान किया गया था, एक जगह, हम वहां बैठकर काम करते थे। मूल्यांकन वास्तव में हर दिन था, और अंतिम स्कोर, अंत में बॉट की रेटिंग की गणना इस तरह से की गई थी। प्रतियोगिता सोमवार को शुरू हुई, पहला सबमिशन मंगलवार को शुरू हुआ और अगले दिन मूल्यांकन हुआ। मंगलवार को आपके द्वारा पोस्ट किए गए समाधान का मूल्यांकन बुधवार को 1.5 के वजन के साथ किया गया था। आपने बुधवार को क्या भेजा - 1.4 के वजन के साथ, आदि।



उस डेटासेट के बारे में जिसे फेसबुक ने प्रशिक्षण के लिए दिया था। इसे पर्सोना-चैट कहा जाता है और यह दो व्यक्तित्वों और संवादों के समूह का वर्णन है। इसमें पहले व्यक्ति और दूसरे का वर्णन है। संवाद का वर्णन करने की प्रक्रिया में, वे एक दूसरे को प्रकट करने का प्रयास करते हैं। वह सब दिया गया है। हालांकि, हमेशा की तरह, प्रतियोगिता में अन्य, तृतीय-पक्ष डेटासेट का उपयोग करने के लिए मना नहीं किया गया था।



हमारी टीम के संवाद का एक उदाहरण। यदि आप ध्यान से पढ़ते हैं, तो यह स्पष्ट है कि परिणामी बॉट पर्याप्त रूप से काम करता है और काफी सही उत्तर देता है।

ग्रेगरी पहले स्थान के बारे में बात करेंगे।

ग्रिगरी रोशकोव:
- मैं प्रतियोगिता में भाग लेने के हमारे अनुभव, हमारी रणनीति और हमारे निर्णय के बारे में बात करना चाहूंगा।



सबसे पहले, प्रतियोगिता की ख़ासियत यह है कि यह एक लंबी अवधि है, हमारे पास दो दिन नहीं थे, जैसा कि एक साधारण हैकाथॉन पर है, लेकिन पांच दिन, जिसके लिए हम कई निर्णय ले सकते हैं।



बहुत व्यक्तिपरक आकलन, क्योंकि पूरी तरह से अलग-अलग लोगों ने अपने मानदंडों का मूल्यांकन किया, विशेष रूप से, हैकाथॉन आयोजक मिखाइल बुबत्सेव ने कहा कि अगर वह यह भी अनुमान लगाता है कि वह किस प्रोफाइल के बारे में बात कर रहा था, लेकिन किसी बिंदु पर बॉट ने उसकी प्रोफ़ाइल का खंडन किया, तो उसने सवाल का जवाब दिया , जैसा कि लिखा गया है, उसने एक अलग प्रोफ़ाइल को चुना, भले ही वह जानता हो कि यह क्या था।

और तीसरा मान्यता का अभाव है। प्रतिभागी एक छोटा सा बदलाव नहीं कर सके और तुरंत प्रतिक्रिया प्राप्त कर सके।

सभी डरावनी फिल्मों की तरह, हमारी टीम ने शुरुआत में ही अलग होने का फैसला कर लिया। पहला समूह वासेरस्टीन GAN के आधार पर हमारे मुख्य समाधान में लगा हुआ था, दूसरा समूह आधार रेखा पर आधारित बॉट के व्यवस्थापक पैनल, बॉट में लगा हुआ था। क्योंकि हमें पहले और दूसरे दिन कुछ भेजना था।

_{^{स्लाइड से लिंक करें}}

बेस लाइन के बारे में संक्षेप में: Seq2Seq प्लस ध्यान, जो इस विशिष्ट कार्य के लिए थोड़ा अनुकूलित है। बिल्कुल कैसे? एक वाक्यांश इनपुट को भेजा जाता है, एम्बेडिंग GloVe से लिया जाता है, लेकिन फिर एक भारित एम्बेडिंग के रूप में प्रत्येक वाक्यांश की प्रस्तुति को आगे माना जाता है। शब्द के व्युत्क्रम आवृत्ति के आधार पर वेट का चयन किया जाता है। जितना अधिक शायद ही कोई शब्द सामने आता है, उतना ही अधिक वजन होता है।

_{^{स्लाइड से लिंक करें}}

इन विशेषताओं की विशिष्टता को प्रतिबिंबित करने के लिए यह आवश्यक है। यह सब एक सेट पर जा रहा था, एक मैट्रिक्स, इस सेट और एक छिपे हुए राज्य के आधार पर एक मुखौटा बनाया गया था, फिर इस मास्क को सेट पर सुपरिम्पोज किया गया था, एक संदर्भ प्राप्त किया गया था, और फिर इसे जोड़ा गया था, गैर-रैखिकता के माध्यम से इसे डिकोडर्स के इनपुट को खिलाया गया था।



पहले दिन के लिए, हमने अभी तक अपना निर्णय नहीं लिखा है, हमें कुछ भेजना था, इसलिए हमने बेस लाइन के आधार पर एक एजेंट लिखा, लेकिन अपने आप को किसी तरह एजेंटों के ग्रे द्रव्यमान से बाहर खड़े होने का कार्य निर्धारित किया। ऐसा करने के लिए, हमने साधारण उत्तराधिकारियों का उपयोग किया, हमारे बॉट ने सबसे पहले एक बातचीत शुरू की, और उन्होंने इस वाक्यांश में एक मुस्कान का उपयोग किया। और इसने काम किया।


स्वाभाविक रूप से, अगले दिन, सभी बॉट को पहले बनाया जाना शुरू हुआ, और सभी में इमोटिकॉन्स थे। दूसरे दिन, विलाबगियो के निवासियों ने जीएएन के साथ काम करना जारी रखा, विल्लारिबो के निवासियों ने अन्य उत्तराधिकारियों की कोशिश की।



नतीजतन, संवाद की गुणवत्ता पर स्कोर में थोड़ा सुधार हुआ, लेकिन हम व्यक्ति से आगे निकल गए। ये तीसरे दिन के परिणाम हैं, केवल दो दिन बाकी थे। हम समझ गए कि हमारे लिए एक GAN लिखने और इसे सामान्य रूप से परीक्षण करने के लिए पर्याप्त समय नहीं होगा, क्योंकि यह लंबे समय से अध्ययन कर रहा है, कठिन, हमें बहुत सारे हाइपरपरमेटर्स का चयन करना होगा। इसलिए हमने बेसलाइन पर स्विच करने का फैसला किया, क्योंकि यह इतनी अच्छी तरह से काम करता है।


हमारा काम उपयोगकर्ता प्रोफ़ाइल की पहचान में सुधार करना था। हमने इस तरह के एक अनुमान को प्रस्तावित किया। क्या समस्या थी? उपयोगकर्ता ने बॉट के साथ खुशी से बात की, यह पूछने पर कि उसके पास किस तरह का काम है, शौक है, वह किस तरह की कार चलाता है, बॉट ने इस सब का अच्छी तरह से जवाब दिया, क्योंकि बॉट ने आम तौर पर अच्छी प्रतिक्रिया दी। नतीजतन, संवाद के अंत में, उपयोगकर्ता ने दो प्रोफ़ाइल देखीं जिनका संवाद में कोई लेना-देना नहीं था, केवल इसलिए कि उपयोगकर्ता द्वारा पूछे गए की तुलना में अन्य चीजों को वहां इंगित किया गया था। इसलिए, हमने तय किया कि किसी तरह प्रोफ़ाइल से जानकारी देना आवश्यक था।

यह सबसे तार्किक तरीका कैसे करें? यदि किसी व्यक्ति का कोई हित है, तो शायद वह उनके बारे में बात करेगा, सामान्य हितों की तलाश करेगा। इसलिए, हमने तय किया कि बॉट कुछ बिंदुओं पर अपनी प्रोफ़ाइल के आधार पर प्रश्न पूछेगा। एक दिलचस्प प्रभाव यह था कि जनरेटर, जिसे जी के भाषाई नियमों के अनुसार लिखा गया था, प्रोफाइल से कुछ तथ्य ए का उपयोग करता है, परिणामस्वरूप, जी (ए) को बातचीत में दर्ज किया जाता है, यह सब बॉट की मेमोरी को भेजा जाता है, और अगली बार मॉडल जानकारी उत्पन्न करता है, प्रोफ़ाइल से और इस संवाद से, यानी अधिक संभावना के साथ, यह प्रोफ़ाइल से संबंधित कुछ कहेगा।



हकीकत में क्या देखा? प्रोफाइल में बॉट कहता है कि वह कविता से खुश है, फिर बातचीत के दौरान वह पूछता है कि क्या मुझे कविता पसंद है। मैं कहता हूं कि हां, और उसके मॉडल पर, न कि जनरेटर जिसे हमने नियमों के अनुसार बनाया था, कहता है कि वह कविता लिखना पसंद करता है। इस प्रकार, बॉट ने अपनी प्रोफ़ाइल पर ध्यान केंद्रित किया, और यह काम किया।



हम फिर से पहले स्थान पर लौट आए। आखिरी दिन रह गया। हमने देखा कि फिर भी हम संवाद के रूप में खो रहे हैं।


हमने कई और समाधानों का लाभ उठाया। सबसे पहले, उन्होंने पैराफ्रेज़ का इस्तेमाल किया, अन्य लोगों ने जो कहा उसका विश्लेषण किया, क्योंकि आयोजकों ने इस डेटाबेस को रखा, और देखा कि बहुत से लोग बॉट के साथ संवाद पूरी तरह से सही नहीं हैं।

_{^{स्लाइड से लिंक करें}}

बॉट में एक दिलचस्प स्थानीय न्यूनतम है: यह किसी भी अपमान के लिए बहुत अच्छी तरह से प्रतिक्रिया करता है, वह उनसे सहमत है, और इसे ठीक करने के लिए, हमने विषाक्त टिप्पणियों विश्लेषक के लिए कागले प्रतियोगिता का उपयोग करने का फैसला किया, हमने एक बहुत ही सरल क्लासिफायर लिखा, जेएनएन के साथ भी ध्यान दिया। उस डेटासेट में निम्न वर्ग थे, अतिव्यापन: अपमान, धमकी ... हमने अलग से मॉडल का अध्ययन नहीं करने का फैसला किया, जो बोलेगा, क्योंकि इस तरह की समस्या का सामना करना पड़ा था, लेकिन यह अक्सर नहीं था। इसलिए, हमने सिर्फ कुछ प्रकार के अंतराल लिखे, जो कि बॉट ने उत्तर दिए, और हर कोई खुश था।


इसके अलावा, हमने अपने बॉट के भाषण को समृद्ध करने के लिए पैराफेरेस का इस्तेमाल किया। यह भी बहुत मुश्किल नहीं था, हमने वाक्यांश के शब्दों को पर्यायवाची के साथ बदल दिया, वाक्यांश में परिणामी एन-ग्राम को देखा, ताकि वे उन लोगों से बहुत अलग न हों जो मूल रूप से थे, और फिर हमने सबसे बड़ी संभावना के साथ वाक्यांश के लिए सबसे उपयुक्त संयोजन चुना।



जो हुआ उसका एक उदाहरण के रूप में, यहां बॉट कहता है कि यह संगीत सुनना पसंद करता है, यह कहता है कि प्रोफ़ाइल में आनंद लें, इसे हमारे साथ पसंद किया गया है। हमें यकीन नहीं है कि क्या मॉडल या हमारे पैराफ्रेसर ने इसे उत्पन्न किया था, लेकिन यह बात पारित हो गई। एक और टिप्पणी कि प्रोफाइल से सिर्फ डेटा भेजना असंभव था। वहां पेंटाग्राम की तुलना की गई। यदि पेंटाग्राम आपकी टिप्पणी और आपकी प्रोफ़ाइल के साथ मेल खाता है, तो बस यह वाक्यांश पास नहीं हुआ, आयोजकों ने इसे व्यवस्थित किया। इसके अलावा, अन्य बातों के अलावा, हमने एक स्माइली शब्दकोश जोड़ा।



दूसरा उदाहरण, हमारी मुस्कुराहट बहुत है। तब वहाँ आंकड़े थे, जब बॉट ने आपके व्यवहार पर प्रतिक्रिया दी थी कि आपने इसे लंबे समय तक नहीं लिखा था। पैराफ्रेसर ने भी यहां काम किया, और इसने अच्छा परिणाम दिया।

संवाद की गुणवत्ता सबसे अच्छी थी, भूमिका निभाने का गुण भी।

हमने मॉडल बनाने के लिए विकल्पों का एक सेट बनाने की कोशिश की, और हमने उनकी तुलना प्रोफ़ाइल से की। लेकिन यह मुझे प्रतीत हुआ कि इस मामले में बॉट बदतर काम करता है, हम सत्यापन का संचालन नहीं कर सके, केवल दो या तीन वार्तालापों में व्यक्तिपरक आकलन। इसलिए, उन्होंने ऐसा कुछ नहीं करने का फैसला किया, क्योंकि प्रोफ़ाइल पहले से ही अच्छी तरह से पहचानी गई थी।

फिर हमने उलटा समस्या का समाधान लिखा, दूसरा मॉडल, जिसने संवाद से वांछित प्रोफ़ाइल का चयन किया। हमने इसे शुरू में प्रशिक्षण के लिए उपयोग करने की योजना बनाई, ताकि इससे होने वाले नुकसान-समारोह को पढ़ा जा सके और इसे ग्रिड में वितरित किया जा सके। लेकिन इससे बात करने वाले की स्थिति खराब हो सकती है, इसलिए उन्होंने इसे इस तरह नहीं करने का फैसला किया। हमने बॉट के व्यवहार के लिए भी इस चीज़ का उपयोग करने के बारे में सोचा, लेकिन हमारे पास सब कुछ परखने का समय नहीं था, और इस चीज़ को अस्वीकार करने का निर्णय लिया। इसके अलावा, हमने वाक्यांशों के भावनात्मक रंग के आधार पर इमोटिकॉन्स डालने का फैसला किया, एक मॉडल लिखा, लेकिन एक उपयुक्त डेटासेट नहीं मिला, और जो उपयोग किए गए थे, वे उसके बारे में कुछ नहीं थे।


हमारी टीम।

यहां तक ​​कि अगर आपका मुख्य मॉडल, जिसके लिए आप उम्मीद कर रहे हैं, वह इसे नहीं लिख सकता है या यह एक बुरा परिणाम देता है, तुरंत हार न मानें, आपको कुछ सरल चीजों को आजमाने की जरूरत है, जो काफी स्वाभाविक है। और दूसरी बात, कभी-कभी यह देखने लायक होता है कि आपके मॉडल में क्या कमी है और विशिष्ट कार्यों के बारे में सोचते हैं, उन्हें विघटित करें और विशिष्ट समस्या क्षेत्रों को हल करें, जो हमने किया था। आपका ध्यान के लिए धन्यवाद।

सर्गेई कोलेनिकोव:
- मेरा नाम सर्गेई कोलेसनिकोव है, मैं तेंसोरबोर्न के फैसले का प्रतिनिधित्व करूंगा।



हम एक सुंदर नाम के साथ आए, प्रतियोगिता में गए, उसके बाद दो लेख जारी करने के लिए कई अलग-अलग टुकड़े आए, लेकिन हैकाथॉन नहीं जीता। इसलिए, यह कहा जाएगा: "हैकथॉन को कैसे नहीं जीता जाए, लेकिन फिर भी लानत दो लेख प्रकाशित करें।" शिक्षाविद, सर।

प्रतियोगिता की विशेषताएं जिसमें हमने भाग लिया हमारी प्रेरणा से अधिक है। इस तथ्य के कारण कि मूल्यांकन दैनिक रूप से किया गया था, पैकेजों को दैनिक रूप से भी बनाया जाना था, और अंतिम इनाम निर्धारित किया गया था, जैसा कि हम आरएल को पसंद करते हैं, छूट वाले योग द्वारा। यह सब इस तथ्य में बढ़ गया कि हमें हर दिन कम से कम कुछ भेजना था ताकि यह काम करे, और हमें कम से कम किसी तरह का स्कोर मिले। परिणामस्वरूप, यह वास्तव में आप जो चाहते हैं उसमें वृद्धि हुई - आप नहीं चाहते हैं, लेकिन आपको पंक्तिबद्ध होना था।



हमारे पास क्या था? पूरे सप्ताह के लिए पूर्वावलोकन करें।

इस तथ्य के बावजूद कि हैकाथॉन ने कहा कि वह साप्ताहिक था, सब कुछ चार दिनों में तय किया गया था, जो इस कार्य के लिए पर्याप्त नहीं लगता है।

प्रारंभ में, हम में से पाँच थे, सभी अच्छे अकादमिक स्नातक या इतने फ़िज़टेख, इसलिए सोमवार को हम आए और बहुत सारे सुझाव, विचार फेंके जिन्हें आप आज़मा सकते हैं, जो कि सीखने के लिए गहन शिक्षण मॉडल हैं। सच है, हमने GAN के साथ प्रयोग नहीं किया, क्योंकि हमने पहले ही उनके साथ ग्रंथों के लिए प्रयोग किया था और यह काम नहीं करता है, इसलिए हमने कुछ सरल लिया, इसके अलावा, बहुत ही समान प्रतियोगिताएं थीं और हमारे पास दिखावा मॉडल थे। मंगलवार को, हम गहरी सीखने पर कुछ लॉन्च करने में सक्षम थे, एमएल जहां भी संभव था, हमने GPU डॉक्यूमेंट और टेन्सरफ्लो और केरस के लिए अन्य चीजों के साथ अद्भुत डॉकर्स लॉन्च किए, हमें इसके लिए एक अलग पदक देने की आवश्यकता है, क्योंकि यह इतना तुच्छ नहीं है जैसा मैं चाहूंगा।

मंगलवार के परिणामों के अनुसार, वे वादा कर रहे थे, और हमने अपने एमएल को छोटे उत्तराधिकारियों और पसंद के साथ थोड़ा सुधारने का फैसला किया, और सातवें स्थान पर विफल रहे। लेकिन हमारे साथियों के लिए धन्यवाद, किसी ने इलास्टिक खोजा और इसे आज़माया। एक बहुत ही अजीब क्षण था जब इलास्टिकसर्च ने ठीक काम किया, और डीएल मॉडल और एमएल, और इसी तरह, थोड़ा कम मजबूत थे। प्रतियोगिता का अंत निकट था। और जैसा कि पिछले स्पीकर ने कहा था, हमने उस दिशा में काम करने का फैसला किया है। हमने ElasticSearch लिया, छोटी-छोटी आंकड़ें और सोचा कि यह काफी अच्छा है, और वास्तव में काफी अच्छा है, क्योंकि हमने दूसरा स्थान लिया है।



अधिक जानकारी। दरअसल, कई डीएल समाधान थे। पहला डीएल समाधान काफी सरल था। कौन याद करता है, पिछले साल या आखिरी साल से पहले, एक Quora paraphrase का पता लगाने वाली प्रतियोगिता थी, और इस साल संवाद बनाने के लिए ऐलिस के लिए यैंडेक्स से एक प्रतियोगिता हुई थी। आप देख सकते हैं कि वहाँ कार्य बहुत करीब हैं। पहले में यह कहना आवश्यक था कि क्या ये दो वाक्यांश पैराफ्रीज हैं, और दूसरे में यह संवाद जारी रखने के लिए आवश्यक था। हमने सोचा कि चूंकि हम संवाद प्रणाली विकसित कर रहे हैं, इसलिए हम भी बातचीत को अच्छी तरह से जारी रखें। और इसने पूरी तरह से काम किया, क्वोरा के साथ संवाद बहुत ही व्यक्तिगत था।

मूल रूप से, यह सब कुछ ऐसा लग रहा था जैसे हमारे पास कुछ एनकोडर थे, आमतौर पर हम सभी अपने सामान्य आरएनएन पर ट्रेन करते हैं, और ध्यान से और अन्य चीजों के साथ अधिमानतः एलएसटीएम। और फिर हमने मानक रूप से या तो नीचे स्लाइड पर प्रस्तुत कोसाइन एंबेडिंग लॉस का उपयोग किया, या ट्रिपलर लॉस टाइप का एक और एम्बेडिंग लॉस, या कुछ और जो एक विशिष्ट संवाद के लिए पैराफेरेस या प्रतिक्रियाओं को एम्बेड करता है, एक साथ लाता है, और पैरापेज़ेज़ देरी नहीं करता है, और इसी तरह। यह पहला समाधान था, यह टेन्सरफ़्लो पर था, केरेस, यह तैयार था, हमने इसे आज़माया, और यह बहुत अच्छा था।

एक और समाधान का जन्म एक दिन में दो हैकेथॉन शाम में हुआ था। एक अद्भुत लड़का जेरेमी हॉवर्ड है, वह सभी के लिए डीएल और एमएल को बढ़ावा देता है, उसके पास दो अद्भुत पाठ्यक्रम हैं जो आपको इस कोर्स और अधिक से परिचित कराते हैं, और इस कोर्स के लिए उसने अपना FastAI लिखा है। यह सब PyTorch पर काम करता है, और कई मायनों में भी PyTorch को फिर से लिखता है, यह इस लिबास में से एक है। लेकिन प्लसस से, जेरेमी का एनएलपी से बहुत कम लेना-देना है, इस साल मार्च में उन्होंने एक अन्य छात्र के साथ एक लेख प्रकाशित किया, जहां उन्होंने अद्भुत FastAI में सभी सर्वोत्तम प्रथाओं पर LSTM को प्रशिक्षित किया, कई ट्रिक्स के साथ जो उन्होंने अपने पाठ्यक्रम में बढ़ावा दिया, और SOTA व्यावहारिक रूप से प्राप्त किया। हर चीज के लिए।

चूंकि मैं PyTorch का एक छोटा प्रचारक हूं, इसलिए मैं अभी भी FastAI से इस मॉडल को उखाड़ने में सक्षम था, इसे रटना, आप पहले से ही मेरे PyTorch ढांचे में कह सकते हैं, और यहां तक ​​कि इस कार्य के लिए पूरी तरह से प्रशिक्षित कर सकते हैं। असल में, हमारे पास एक निश्चित संवाद संदर्भ था, वास्तव में, भले ही हमारे पास कई वाक्य हों, आप बस इसे एक ही वाक्य में संक्षिप्त रूप में बताएं। answer, . FastAI, Universal Language Model — — Encoder.

, , , 1 , seq2seq. . , , FastAI — Concat poolling. ? seq2seq, attention. maxpool minpool , , .

, , , , maxpool minpool, . , — H, Hc Ha. , feedforward , . , , , , metric learning. — CosineEmbedding Loss, PyTorch.

, loss . , contrastive loss, , . , .

DL-. ElasticSearch, .



? , - ElasticSearch . - - Persona Dataset , , Facebook, , , - . - . , , , , , Persona Dataset , Amazon Mechanical Turk , .

ElasticSearch, , . , Persona Dataset , , 10 . , . , , , , .

- . , Persona , , , , , evaluation. heuristic solutions.

, , , , . . , , , , , . .

— . , — -, -, , .

dirty hack. , , . . — , .



? , -DL- , DL, . , , , . . , -, , , . , , . . , , . DL , ElasticSearch .

, personality score. , -, 0,25–0,3 , . , , - .



. — , , , Docker ElasticSearch, . , . . . Also, try to guess… , — , funny you. , general, . , , .

, , . . , — , , . , Docker, .



? ConvAI , NIPS, - .

-, ElasticSearch . , , . , , ElasticSearch . , DL.

-, DL-. : , , , . , , , , .

, . , . , . — pre-trained- ( — . .), . .

, proposals , RL bandits . , . — . , . , , , , toxic- . .

— . , DeepHacks . NLP, DeepHack , , « ». , . . , , , , , .

— . distributed- , . , DeepHack. - . . , , , , .

! . pre-trained-. , , .

और हां, हैकाथॉन की छुट्टी लें। जब आप साप्ताहिक हैकाथॉन में भाग लेते हैं और उसी समय काम करते हैं, तो यह खराब है। आप शाम 7 बजे पहुंचते हैं, थोड़ा काम करते हैं, बैठते हैं और डंकर को TensorFlow, Keras के साथ संकलित करते हैं, ताकि यह सब कुछ दूरस्थ सर्वरों पर शुरू हो जाए, जिनकी आपको पहुंच भी नहीं है। कहीं-कहीं दो रातों में आप रेचन करते हैं, और यह आपके लिए काम करता है - बिना डॉकर के, सब कुछ बिना, क्योंकि आप समझ गए थे कि यह संभव है और इसलिए।

ऐसा लगता है कि यदि आप एक बड़ी प्रतियोगिता में भाग लेते हैं, तो इसके लिए थोड़ा अधिक समय आवंटित करें कि आप एक सप्ताह में कितना नहीं सो सकते हैं, और भाग ले सकते हैं। जाओ और जीतो। धन्यवाद!