एसीएल 2019 सम्मेलन नोट्स

कम्प्यूटेशनल भाषा विज्ञान (ACL) के लिए एसोसिएशन की वार्षिक बैठक प्रमुख प्राकृतिक भाषा प्रसंस्करण सम्मेलन है। यह 1962 से आयोजित किया गया है। कनाडा और ऑस्ट्रेलिया के बाद, वह यूरोप लौट आई और फ्लोरेंस में मार्च किया। इस प्रकार, इस वर्ष यह EMNLP की तुलना में यूरोपीय शोधकर्ताओं के साथ अधिक लोकप्रिय था।

इस वर्ष प्रस्तुत 2900 में से 660 लेख प्रकाशित हुए थे। एक बड़ी रकम। सम्मेलन में किस तरह की वस्तुनिष्ठ समीक्षा की गई थी, इसकी समीक्षा करना शायद ही संभव हो। इसलिए, मैं इस घटना से अपनी व्यक्तिपरक भावनाओं को बताऊंगा।

मैं एक पोस्टर सत्र में दिखाने के लिए सम्मेलन में आया था, जो कि Google की Gendered Pronoun Resolution के बारे में Kaggle प्रतियोगिता से हमारा निर्णय था । हमारा समाधान पूर्व-आधारित BERT मॉडल के उपयोग पर बहुत अधिक निर्भर करता है। और, जैसा कि यह निकला, हम इसमें अकेले नहीं थे।

BERTology

BERT पर आधारित कई काम थे, इसके गुणों का वर्णन करते हुए और इसे एक तहखाने के रूप में उपयोग करते हुए, यहाँ तक कि Bertology शब्द भी दिखाई दिया। वास्तव में, BERT मॉडल इतने सफल रहे हैं कि बड़े शोध समूह भी BERT के साथ अपने मॉडल की तुलना करते हैं।

इसलिए जून की शुरुआत में, XLNet के बारे में काम दिखाई दिया। और सम्मेलन से ठीक पहले - ERNIE 2.0 और RoBERTa

फेसबुक RobertTa

जब XLNet मॉडल पहली बार पेश किया गया था, तो कुछ शोधकर्ताओं ने सुझाव दिया कि इसने न केवल इसकी वास्तुकला और प्रशिक्षण सिद्धांतों के कारण बेहतर परिणाम प्राप्त किए। उसने BERT की तुलना में बड़े शरीर (लगभग 10 गुना) और लंबे (4 गुना अधिक पुनरावृत्तियों) पर भी अध्ययन किया।

फेसबुक के शोधकर्ताओं ने दिखाया है कि बीईआरटी अब तक अधिकतम तक नहीं पहुंच पाया है। उन्होंने BERT मॉडल - RoBERTa (रोबस्टली अनुकूलित BERT दृष्टिकोण) को पढ़ाने के लिए एक अनुकूलित दृष्टिकोण प्रस्तुत किया।

मॉडल की वास्तुकला में कुछ भी नहीं बदलने पर, उन्होंने प्रशिक्षण प्रक्रिया को बदल दिया:

1. हमने प्रशिक्षण के लिए शरीर को बढ़ाया, बैच का आकार, अनुक्रम की लंबाई और प्रशिक्षण की अवधि।
2. अगले वाक्य की भविष्यवाणी करने का कार्य प्रशिक्षण से हटा दिया गया था।
3. उन्होंने गतिशील रूप से MASK टोकन (टोकन जो मॉडल पूर्व-प्रशिक्षण के दौरान भविष्यवाणी करने की कोशिश करता है) उत्पन्न करना शुरू किया।

Baidu से ERNIE 2.0

सभी लोकप्रिय हाल के मॉडल (BERT, GPT, XLM, RoBERTa, XLNet) की तरह, ERNIE एक ट्रांसफॉर्मर की अवधारणा पर आधारित है जिसमें एक आत्म-ध्यान तंत्र है। क्या यह अन्य मॉडलों से अलग है बहु कार्य सीखने और निरंतर सीखने की अवधारणा है।

ERNIE विभिन्न कार्यों पर सीखता है, लगातार अपने भाषा मॉडल के आंतरिक प्रतिनिधित्व को अद्यतन करता है। इन कार्यों में अन्य मॉडल की तरह, स्व-शिक्षण (स्वयं-पर्यवेक्षण और कमजोर-पर्यवेक्षित) लक्ष्य हैं। ऐसे कार्यों के उदाहरण:

• एक वाक्य में सही शब्द क्रम पुनर्प्राप्त करें।
• शब्दों का पूंजीकरण।
• नकाबपोश शब्दों की परिभाषा।

इन कार्यों पर, मॉडल क्रमिक रूप से सीखता है, उन कार्यों पर लौटता है जिन पर यह पहले प्रशिक्षित किया गया था।

RoberTa बनाम ERNIE

प्रकाशनों में, RoBERTa और ERNIE की एक-दूसरे के साथ तुलना नहीं की जाती है, क्योंकि वे लगभग एक साथ दिखाई देते हैं। उनकी तुलना BERT और XLNet से की जाती है। लेकिन यहां तुलना करना इतना आसान नहीं है। उदाहरण के लिए, लोकप्रिय बेंचमार्क GLUE XLNet में मॉडलों का एक समूह है। और Baidu के शोधकर्ता एकल मॉडलों की तुलना करने में अधिक रुचि रखते हैं। इसके अलावा, चूंकि Baidu एक चीनी कंपनी है, वे चीनी भाषा के साथ काम करने के परिणामों की तुलना करने में भी रुचि रखते हैं। अभी हाल ही में, एक नया मानदंड सामने आया है: SuperGLUE । अभी तक कई समाधान नहीं हैं, लेकिन RoBERTa यहां पहले स्थान पर है।

लेकिन कुल मिलाकर, RoBERTa और ERNIE दोनों XLNet की तुलना में बेहतर और BERT की तुलना में बेहतर प्रदर्शन करते हैं। RoBERTa, बदले में, ERNIE से थोड़ा बेहतर काम करता है।

ज्ञान का रेखांकन

बहुत सारे काम दो दृष्टिकोणों के संयोजन के लिए समर्पित किए गए हैं: पूर्व-प्रशिक्षित नेटवर्क और ज्ञान ग्राफ़ (नॉलेज ग्राफ़, केजी) के रूप में नियमों का उपयोग।

उदाहरण के लिए: ERNIE: सूचनात्मक संस्थाओं के साथ संवर्धित भाषा का प्रतिनिधित्व । यह पत्र BERT भाषा मॉडल के शीर्ष पर ज्ञान रेखांकन के उपयोग पर प्रकाश डालता है। यह आपको इकाई के प्रकार को निर्धारित करने जैसे कार्यों पर बेहतर परिणाम प्राप्त करने की अनुमति देता है ( इकाई टाइपिंग) और संबंध वर्गीकरण ।

सामान्य तौर पर, तिल स्ट्रीट के पात्रों के नामों से मॉडल के लिए नाम चुनने का फैशन अजीब परिणाम देता है। उदाहरण के लिए, इस ERNIE का Baidu के ERNIE 2.0 से कोई संबंध नहीं है, जिसके बारे में मैंने ऊपर लिखा था।



नया ज्ञान उत्पन्न करने के बारे में एक और दिलचस्प काम: COMET: स्वचालित ज्ञान ग्राफ़ निर्माण के लिए कॉमन्सेंस ट्रांसफ़ॉर्मर्स । कागज ज्ञान-आधारित नेटवर्क के प्रशिक्षण के लिए ट्रांसफार्मर के आधार पर नए आर्किटेक्चर का उपयोग करने की संभावना पर विचार करता है। सरलीकृत रूप में ज्ञान के आधार कई त्रिगुण हैं: विषय, दृष्टिकोण, वस्तु। उन्होंने दो ज्ञान आधार डेटासेट लिए: एटोमिक और कॉन्सेप्टनेट। और उन्होंने GPT (जेनेरिक प्री-प्रशिक्षित ट्रांसफार्मर) मॉडल के आधार पर एक नेटवर्क को प्रशिक्षित किया। विषय और दृष्टिकोण इनपुट थे और वस्तु की भविष्यवाणी करने की कोशिश की। इस प्रकार, उन्हें एक मॉडल मिला जो इनपुट विषयों और संबंधों द्वारा वस्तुओं को उत्पन्न करता है।

मैट्रिक्स

सम्मेलन में एक और दिलचस्प विषय मैट्रिक्स चुनने का मुद्दा था। प्राकृतिक भाषा प्रसंस्करण कार्यों में एक मॉडल की गुणवत्ता का मूल्यांकन करना अक्सर मुश्किल होता है, जो मशीन सीखने के इस क्षेत्र में प्रगति को धीमा कर देता है।

उपयुक्त स्कोरिंग रेंज लेख में एक अध्ययन के सारांश सारांश मूल्यांकन में , मैक्सिम पेयर एक पाठ संक्षेप समस्या में विभिन्न मैट्रिक्स के उपयोग पर चर्चा करता है। ये मैट्रिक्स हमेशा एक दूसरे के साथ अच्छी तरह से संबंध नहीं रखते हैं, जो विभिन्न एल्गोरिदम के उद्देश्य तुलना के साथ हस्तक्षेप करता है।

या यहां एक दिलचस्प काम है: मल्टी-सेंटेंस ग्रंथों के लिए स्वचालित मूल्यांकन । इसमें, लेखक एक मीट्रिक प्रस्तुत करते हैं जो BLEU और ROUGE को उन कार्यों पर प्रतिस्थापित कर सकता है जहां आपको कई वाक्यों से ग्रंथों का मूल्यांकन करने की आवश्यकता होती है।

BLEU मीट्रिक को परिशुद्धता के रूप में दर्शाया जा सकता है - मॉडल की प्रतिक्रिया से कितने शब्द (या एन-ग्राम) लक्ष्य में निहित हैं। ROUGE रिकॉल है - मॉडल की प्रतिक्रिया में लक्ष्य से कितने शब्द (या एन-ग्राम) निहित हैं।

लेख में प्रस्तावित मीट्रिक WMD (वर्ड मॉवर की दूरी) मीट्रिक - दो दस्तावेजों के बीच की दूरी पर आधारित है। यह इन शब्दों के वेक्टर प्रतिनिधित्व के स्थान में दो वाक्यों के बीच न्यूनतम दूरी के बराबर है। WMD के बारे में अधिक जानकारी ट्यूटोरियल में पाई जा सकती है, जो वर्ड 2 वीईसी और ग्लोव से डब्ल्यूएमडी का उपयोग करती है ।

अपने लेख में, वे एक नई मीट्रिक: डब्ल्यूएमएस (वर्ड मूवर की समानता) प्रदान करते हैं।

WMS(A, B) = exp(−WMD(A, B)) 

फिर वे एसएमएस (सेंटेंस मोवर की समानता) को परिभाषित करते हैं। यह डब्ल्यूएमएस के साथ दृष्टिकोण के समान एक दृष्टिकोण का उपयोग करता है। वाक्य के वेक्टर प्रतिनिधित्व के रूप में, वे वाक्य शब्दों के औसत वेक्टर को लेते हैं।

डब्ल्यूएमएस की गणना करते समय, शब्द दस्तावेज़ में उनकी आवृत्ति द्वारा सामान्यीकृत होते हैं। एसएमएस की गणना करते समय वाक्य में शब्दों की संख्या को सामान्य किया जाता है।

अंत में, S + WMS मीट्रिक WMS और SMS का संयोजन है। अपने लेख में, वे बताते हैं कि उनके मैट्रिक्स किसी व्यक्ति के मैनुअल मूल्यांकन के साथ बेहतर संबंध रखते हैं।

chatbot

सम्मेलन का सबसे उपयोगी हिस्सा, मेरी राय में, पोस्टर सत्र थे। सभी रिपोर्ट दिलचस्प नहीं थीं, लेकिन अगर आपने कुछ सुनना शुरू कर दिया, तो आप रिपोर्ट के बीच में दूसरे के लिए नहीं जाएंगे। पोस्टर एक और मामला है। पोस्टर सत्र में उनमें से कई दर्जन हैं। आप उन लोगों को चुनते हैं जिन्हें आप पसंद करते हैं और आप, एक नियम के रूप में, तकनीकी विवरण के बारे में डेवलपर के साथ सीधे बात कर सकते हैं। वैसे, सम्मेलनों के पोस्टर के साथ एक दिलचस्प साइट है। सच है, वहां दो सम्मेलनों के पोस्टर हैं, और यह ज्ञात नहीं है कि साइट को अपडेट किया जाएगा या नहीं।



पोस्टर सत्रों में, बड़ी कंपनियों ने अक्सर दिलचस्प काम प्रस्तुत किया। उदाहरण के लिए, परिनियोजन के बाद संवाद से सीखना यहाँ एक फेसबुक लेख है : फ़ीड योरसेल्फ, चैटबॉट! ।

उनके सिस्टम की ख़ासियत उपयोगकर्ता प्रतिक्रियाओं का विस्तारित उपयोग है। उनके पास एक क्लासिफायरियर है जो मूल्यांकन करता है कि उपयोगकर्ता संवाद से कितना संतुष्ट है। वे विभिन्न कार्यों के लिए इस जानकारी का उपयोग करते हैं:

• गुणवत्ता के एक मीट्रिक के रूप में संतुष्टि के उपाय का उपयोग करें।
• वे मॉडल को प्रशिक्षित करते हैं, इस प्रकार निरंतर सीखने (निरंतर सीखने) के दृष्टिकोण को लागू करते हैं।
• संवाद में सीधे प्रयोग करें। यदि उपयोगकर्ता संतुष्ट है तो कुछ मानवीय प्रतिक्रिया व्यक्त करें। या वे पूछते हैं कि यदि उपयोगकर्ता असंतुष्ट है तो क्या गलत है।

रिपोर्टों से, माइक्रोसॉफ्ट से चीनी चैटबोट के बारे में एक दिलचस्प कहानी थी। एक जिओमैटिक सोशल चैटबोट XiaoIce का डिज़ाइन और कार्यान्वयन

कृत्रिम बुद्धिमत्ता प्रौद्योगिकियों को शुरू करने में चीन पहले से ही अग्रणी है। लेकिन अक्सर चीन में जो हो रहा है वह यूरोप में अच्छी तरह से ज्ञात नहीं है। और XiaoIce एक अद्भुत परियोजना है। यह पहले से ही पांच साल के लिए मौजूद है। इस समय के कई चैटबॉट वर्तमान में काम नहीं कर रहे हैं। 2018 में, इसके पहले से ही 660 मिलियन उपयोगकर्ता थे।

सिस्टम में चिट-चैट बॉट और स्किल सिस्टम दोनों हैं। बॉट में पहले से ही 230 कौशल हैं। यानी, वे प्रति सप्ताह लगभग एक कौशल जोड़ते हैं।

चिट-चैट बॉट की गुणवत्ता का आकलन करने के लिए, वे संवाद की अवधि का उपयोग करते हैं। और मिनटों में नहीं, जैसा कि अक्सर होता है, लेकिन एक वार्तालाप में प्रतिकृतियों की संख्या में। वे इस मीट्रिक कन्वर्सेशन-टर्न प्रति सत्र (CPS) कहते हैं और लिखते हैं कि फिलहाल इसका औसत मूल्य 23 है, जो समान प्रणालियों के बीच सबसे अच्छा संकेतक है।

सामान्य तौर पर, परियोजना चीन में बहुत लोकप्रिय है। बॉट के अलावा, सिस्टम कविता लिखता है, चित्र खींचता है, कपड़े का एक संग्रह जारी करता है , गाने गाता है।

मशीनी अनुवाद

सभी भाषणों में से, जिसमें मैंने भाग लिया, लिआंग हुआंग द्वारा Baidu अनुसंधान का प्रतिनिधित्व करते हुए जीवंत व्याख्या रिपोर्ट थी।

उन्होंने आधुनिक युगपत अनुवाद में ऐसी कठिनाइयों के बारे में बात की:

• दुनिया में केवल 3,000 प्रमाणित एक साथ व्याख्याकार हैं।
• अनुवादक केवल 15-20 मिनट लगातार काम कर सकते हैं।
• केवल स्रोत पाठ का लगभग 60% अनुवादित है।

पूरे वाक्यों पर अनुवाद पहले से ही एक अच्छे स्तर पर पहुंच गया है, लेकिन साथ ही साथ अनुवाद के लिए अभी भी सुधार की गुंजाइश है। एक उदाहरण के रूप में, उन्होंने अपनी एक साथ व्याख्या प्रणाली का हवाला दिया, जो कि Baidu विश्व सम्मेलन में काम करती थी। 2017 की तुलना में 2018 में अनुवाद में देरी 10 से 3 सेकंड तक कम हो गई थी।

कई टीमें ऐसा नहीं करती हैं, और कुछ कार्य प्रणाली मौजूद हैं। उदाहरण के लिए, जब Google आपके द्वारा लिखे गए वाक्यांश का ऑनलाइन अनुवाद करता है, तो वह लगातार अंतिम वाक्यांश का रीमेक बनाता है। और यह एक साथ अनुवाद नहीं है, क्योंकि एक साथ अनुवाद के साथ हम पहले से कहे गए शब्दों को बदल नहीं सकते हैं।



उनकी प्रणाली में, वे उपसर्ग अनुवाद का उपयोग करते हैं - एक वाक्यांश का हिस्सा। यही है, वे कुछ शब्दों का इंतजार करते हैं और अनुवाद करना शुरू करते हैं, यह अनुमान लगाने की कोशिश कर रहे हैं कि स्रोत में क्या दिखाई देगा। इस पारी का आकार शब्दों में मापा जाता है और अनुकूल होता है। प्रत्येक चरण के बाद, सिस्टम यह तय करता है कि क्या यह प्रतीक्षा के लायक है, या क्या यह पहले से ही अनुवादित किया जा सकता है। इस देरी का मूल्यांकन करने के लिए, वे निम्नलिखित मीट्रिक का परिचय देते हैं: औसत लैगिंग (AL) का मीट्रिक ।

एक साथ अनुवाद में मुख्य कठिनाई भाषाओं में विभिन्न शब्द क्रम है। और संदर्भ इससे निपटने में मदद करता है। उदाहरण के लिए, आपको अक्सर राजनेताओं के भाषणों का अनुवाद करने की आवश्यकता होती है, और वे काफी बॉयलरप्लेट होते हैं। लेकिन समस्याएं भी हैं। तब स्पीकर ने ट्रम्प के बारे में मजाक किया। इसलिए, वे कहते हैं, अगर बुश ने मास्को के लिए उड़ान भरी, तो पुतिन के साथ मुलाकात करने की बहुत संभावना है। और अगर ट्रम्प उड़ गए हैं, तो वह गोल्फ से मिल सकते हैं और खेल सकते हैं। सामान्य तौर पर, अनुवाद करते समय, लोग अक्सर साथ आते हैं, खुद से कुछ जोड़ते हैं। और कहते हैं, अगर आपको किसी प्रकार के मजाक का अनुवाद करने की आवश्यकता है, और वे इसे तुरंत नहीं कर सकते हैं, तो वे कह सकते हैं: "यहां एक मजाक कहा गया था, बस हंसो।"

मशीनी अनुवाद के बारे में एक लेख भी था जिसे "द बेस्ट लॉन्ग पेपर" पुरस्कार मिला: न्यूरल मशीन ट्रांसलेशन के लिए ट्रेनिंग और इंट्रेंस के बीच गैप को पाटना ।

यह ऐसी मशीन अनुवाद समस्या का वर्णन करता है। सीखने की प्रक्रिया में, हम ज्ञात शब्दों के संदर्भ के आधार पर शब्द-से-शब्द का अनुवाद करते हैं। मॉडल का उपयोग करने की प्रक्रिया में, हम नए उत्पन्न शब्दों के संदर्भ पर भरोसा करते हैं। मॉडल को प्रशिक्षित करने और इसका उपयोग करने के बीच एक विसंगति है।

इस विसंगति को कम करने के लिए, लेखक प्रशिक्षण की प्रक्रिया में मॉडल द्वारा अनुमानित शब्दों को मिलाने के लिए प्रशिक्षण के चरण में प्रस्ताव रखते हैं। लेख ऐसे उत्पन्न शब्दों के इष्टतम विकल्प पर चर्चा करता है।

निष्कर्ष

बेशक, एक सम्मेलन केवल लेख और रिपोर्ट नहीं है। यह संचार, डेटिंग और अन्य नेटवर्किंग भी है। इसके अलावा, सम्मेलन के आयोजक किसी तरह प्रतिभागियों का मनोरंजन करने की कोशिश कर रहे हैं। एसीएल में, मुख्य पार्टी में किरायेदारों, इटली का प्रदर्शन था। और संक्षेप में, अन्य सम्मेलनों के आयोजकों से घोषणाएं हुईं। और प्रतिभागियों के बीच सबसे हिंसक प्रतिक्रिया ईएमएनएलपी के आयोजकों के संदेशों के कारण हुई थी कि इस साल मुख्य पार्टी हांगकांग डिज्नीलैंड में होगी, और 2020 में सम्मेलन डोमिनिकन गणराज्य में आयोजित किया जाएगा।