वैंकूवर में ट्रांसफॉर्मर और घृणा: कैसे एंटी-प्लाजियारिज्म न्यूरोइप्स-2019 की सवारी करता है

पिछले साल के अंत में, कनाडाई शहर वैंकूवर ने न्यूरिप्स-2019 सम्मेलन की मेजबानी की। हैबर में एक खोज सात संदर्भ देती है, जिसके बीच एक भी रिपोर्ट या समीक्षा नहीं है - एक अजीब अंतर, 2019 में घटना के स्तर और पैमाने को देखते हुए। एंटीप्लाजिअरिज्म पर हमने इस अंतर को हाउट कॉट्योर डेटा साइंस की दुनिया में दो निप्सुम न्योफाइट्स के छापों के बारे में एक कहानी के साथ भरने का फैसला किया।

रात, डोमोडेडोवो, चेक-इन, और फिर फ्रैंकफर्ट में एक बहुत छोटी गोदी, जिस पर यह पहले से ही स्पष्ट है कि सम्मेलन में कोई भीड़ नहीं होगी। चश्मा और कॉरपोरेट हुडियों में जल्दबाजी करने वाले लोग पारगमन क्षेत्र का विस्तार कर रहे थे, और लैंडिंग लाइन पहले से ही एक अच्छे (क्षमा करें, कोई भी नहीं) रूसी सम्मेलन की तरह लग रही थी। इसके बाद, दस घंटे की उड़ान ने हमारा इंतजार किया, जो कि हैकाथॉन में बदल गया: यहाँ के केबिन में और टर्मिनल या गहरे रंग के खोल के साथ काली स्क्रीन टिमटिमाती थी। ग्रीनलैंड के ऊपर आकाश में, ऐसा लगता है, इसकी सतह पर पहले से कहीं अधिक कोड लिखा गया है।

समय का अंतर 11 घंटे है, इसलिए आगमन पर, हमने तुरंत जेटलैग की क्रूर वास्तविकता का सामना किया। कार्यक्रम स्थल (वैंकूवर कन्वेंशन सेंटर, जो 43,340 वर्ग मीटर के कुल क्षेत्रफल के साथ दो भवनों से बना है, से दूर स्थित नहीं है। एम।, जो, एक सेकंड के लिए, लगभग छह फुटबॉल मैदान हैं) और शायद ही इंतजार कर रहे थे, जैसा कि उम्मीद थी, शाम में, स्थानीय समय, हम सो गए।

पहला दिन, जब हमें पूरे धैर्य के साथ भुगतान किया गया था।

8 दिसंबर, सम्मेलन का पहला दिन। आयोजकों ने एक पत्र में लिखा है कि उन्हें मरने से एक दिन पहले भेजा गया था , लेकिन पहले दिन सख्ती से पंजीकरण करने के लिए आए। सुबह 9 बजे सहमति व्यक्त की और तुरंत एक कतार से टकरा गई जो पहली मंजिल से शुरू होती है और दूसरी तरफ जाती है, सिलवटों, कर्ल और सिलवटों के चारों ओर जाती है। यह बाहर फैला है और फिर से कोने में बदल जाता है, जहां कुछ घंटों के इंतजार के बाद (मॉस्को में एनाकोंडज़ कॉन्सर्ट के लिए कतार, वैसे, सिर्फ 1 घंटे में हल किया गया) हमें प्रतिष्ठित बैज और कूल मग मिलते हैं।

जल्दी आओ, उन्होंने कहा ... (अगले दिन जो कोई भी जाँच करता है वह बिना अधिक प्रयास के करता है)

एक सक्रिय रूप से बढ़ती लाइन के सामने बैज लहराते हुए, हम पड़ोसी भवन में जाते हैं, जहां आज के लिए एक्सपो डे की योजना है: बड़ी प्रायोजक कंपनियों के स्टैंड और सेमिनार। सेमिनार कक्ष खाली हैं, स्पीकर बाकी दर्शकों का ध्यान खींचने की कोशिश कर रहे हैं, और इस समय कंपनी के हॉल में लोग खड़े हैं। यहां कॉफी और मिठाइयाँ परोसी जाती हैं, और उद्योग में प्रमुख निगमों (फेसबुक, आईबीएम, गूगल, ऐप्पल, इत्यादि) में चालाकी से अपने बारे में बात की जाती है, लोगों को उनके करियर की साइटों पर पंजीकृत किया जाता है और कॉरपोरेट पार्टियों को टोपी, एडेप्टर, मोजे और निमंत्रण वितरित किए जाते हैं। कुछ पहले से ही साक्षात्कार कर रहे हैं।

प्रायोजकों से व्यापारी बैग (बैग खुद भी मर्च है)

ईस्ट सेंटर बिल्डिंग और खाड़ी का दृश्य

दूसरे दिन, जब सब कुछ खो जाने जैसा लग रहा था।

अगले दिन, कार्रवाई भड़क गई। ओलेग_नखतेव और मैं खुशी से उन्नत विज्ञान को अवशोषित करने के लिए दौड़े। हमने आरयू और क्लासिक सुपरवाइज्ड लर्निंग के लाभों के संयोजन, नकल सीखना प्रतिमान के बारे में क्युनघुन चो द्वारा शानदार प्रदर्शन किया। यह सच है, यह सब खत्म हो गया था, बाकी दिनों के लिए, जो सेमिनार पहले से ही पारंपरिक हो गए थे, वे ब्लैक इन एआई , वूमन इन मशीन लर्निंग , एआई में लैटिन , एआई में क्यूआर और मशीन लर्निंग में नए थे। इन सेमिनारों को चुनने के लिए तीन मैचों में से एक के साथ इंटरसेप्ट किया गया था, जहां डीप न्यूरल नेटवर्क के प्रस्तावित कुशल प्रसंस्करण से: एल्गोरिदम से हार्डवेयर आर्किटेक्चर , कम्प्यूटेशनल बायोलॉजी के लिए मशीन लर्निंग और डिस्ट्रीब्यूशन और मॉडल्स की इंटरप्रेटेबल कम्पैरिजन , हमने प्रभावी डिपरेलिंग चुना और ... खो दिया। प्रेरणादायक और बहुत गहन दक्षता की खोज में उत्पन्न होने वाली स्पष्ट अड़चनों और व्यापारों का वर्णन किया गया था। हमारे लिए दिन रिपोर्टों के एक श्रृंखला के साथ समाप्त हो गया सुदृढीकरण सीखना: अतीत, वर्तमान, और भविष्य के परिप्रेक्ष्य, जहां बड़ी स्क्रीन पर लगभग सभी दो घंटे चक्कर लगाए गए, गिर गए और लाठी से छोटे पुरुषों के विभिन्न कंप्यूटर सिमुलेशन उठे। यह मजेदार था। इतना ही नहीं मैं बर्कले के एक मनोवैज्ञानिक की दार्शनिक प्रस्तुति पर नहीं जाना चाहता था जिसका शीर्षक था फ्लोर एनाउंसमेंट के साथ हाउ टू नो।

तीसरा दिन, जब हमारा मन आशा से भरा था।

जब हम बोलने वालों के मुंह से मशीन सीखने की कम से कम कुछ सफलता की खबर सुनने के लिए पहले से ही बेताब थे, तो जानकार लोगों ने सुझाव दिया कि पोस्टर सत्र में सब कुछ शांत और वर्तमान होता है। महान, वह आज ही शुरू कर रही है। आइए हाइलाइट्स को सुनते हैं। हाइलाइट्स - यह तब होता है जब हर कोई इकट्ठा होता है, सबसे अच्छे कार्यों के लेखकों की पांच मिनट की रिपोर्ट को सुनता है जो पोस्टर सत्र में होगा। प्रेजेंटेशन कीमती स्लाइड्स को स्विच करने पर लोग प्रस्तुति को देखने के लिए बेताब रहते हैं और बहुत परेशान होते हैं। ऐसा लगता है कि यह सब आवश्यक है ताकि एक लक्ष्य के बिना तीन या चार सौ पोस्टर के बीच न भटकें, लेकिन वास्तव में दिलचस्प उजागर करने के लिए। एक घंटे के मुख्य आकर्षण के बाद, हम इस विश्वास के साथ पोस्टर देखने के लिए रवाना हुए कि वास्तव में बहुत सारी दिलचस्प चीजें होंगी। पोस्टर सत्र दो संयुक्त प्रदर्शनी स्थलों में स्थित है, जिस रास्ते पर लाइन खींची गई है। एक बार अंदर, हम हाइलाइट से संबंधित विषयों और पसंदीदा सामग्री की तलाश करने के लिए बिखर जाते हैं। सब कुछ बहुत अच्छा है, लेकिन लेखक के साथ बात करने के लिए, आपको लाइन में खड़े होने की जरूरत है या, गलती से कहानी के मध्य को पकड़ने, शुरुआत की प्रतीक्षा करें। निरंतर कतार से थकान और जल्दी से पर्याप्त सिर रोल के माध्यम से पोस्टर को बाहर करने का प्रयास करता है। शक्ति केवल एक शमीदहुबर के बिना आसपास सख्ती से सूँघने देती है । नतीजतन, हम लगभग दस दिलचस्प कार्यों को ध्यान से देखने और सुनने में कामयाब रहे। पिछले दिनों की तुलना में अच्छा कैच।

चौथे दिन और बाद के दिन, जब, आखिरकार, यह शुरू हुआ।

अगले दिन, जानकार लोग हमें फिर से एक मूल्यवान संकेत देते हैं: यह हाइलाइट्स को सुनने के लिए जाने के लिए आवश्यक नहीं है और यहां तक ​​कि contraindicated है, क्योंकि आपको पोस्टरों को चलाने की आवश्यकता है जब वे केवल लटका रहे हैं - लगभग कोई लोग नहीं हैं, और लेखक पहले से ही सवालों के जवाब देने के लिए तैयार हैं। तो उन्होंने किया। रणनीति ने काम किया - उन्होंने सहकर्मियों के साथ बहुत अधिक और उत्पादक रूप से बात की, बड़ी संख्या में दिलचस्प कार्यों को देखा। हमने भविष्य में उसी योजना का पालन किया, कभी-कभी वक्ताओं के भाषणों का स्वाद चखने की कोशिश की, लेकिन हमेशा इस बात से सहमत थे कि हमें उन्हें पोस्टर में जाने से राहत नहीं लेनी चाहिए। सम्मेलन के अंतिम दो दिनों में विषयगत कार्यशालाएँ भी जानकारी की समृद्धि और प्रासंगिकता से प्रसन्न हुईं। संकीर्ण विषयों पर टूटे हुए कार्यों को एक छोटे से दर्शकों की दीवारों पर रखा गया था, भाषण और जीवंत चर्चाएं थीं।

दस्तावेज़ खुफिया कार्यशाला

हम न्यूरोइप्स 2019 में न सिर्फ उस तरह पहुंचे, बल्कि डॉक्यूमेंट इंटेलिजेंस वर्कशॉप में भाग लेने वालों के रूप में, जो दस्तावेजों के बौद्धिक प्रसंस्करण के लिए समर्पित है। कार्यशाला के अधिकांश कार्य ग्रंथों की ऑप्टिकल मान्यता और स्कैन किए गए दस्तावेजों में कलाकृतियों के दमन, बिक्री प्राप्तियों या अनुबंधों से संस्थाओं के चयन से संबंधित थे। ओलेग_नखतेव और मैंने क्रॉस- लेंडिंग उधार के लिए खोज पर अपना काम प्रस्तुत किया : क्रास-लिंगुअल प्लेगिस्म का पता लगाने की प्रणाली , जिसे हब पर लोकप्रिय रूप से पढ़ा जा सकता है यहाँ हम सम्मेलन के सामान्य छापों से और अधिक विस्तार में रहते हैं, कार्यशाला के लेखों का एक छोटा सा पाचन करते हैं। एक छोटा और स्पष्ट परिणाम - पिछले वर्ष हमारे क्षेत्र के लिए BERT'a वर्ष बन गया है। सभी कार्यशाला लेखों की सामग्री नीचे एक पंक्ति में है (लगभग):

1. क्रॉसलैंग: क्रॉस-लिंगुअल प्लेगिस्म का पता लगाने की प्रणाली। हमारा लेख हस्तांतरणीय उधार का पता लगाने के लिए प्रणाली के बारे में है। अंग्रेजी में एक संग्रह में रूसी में इनपुट पाठ के उधार अंशों को खोजने की समस्या पर विचार किया जाता है। हमने अनुवादित वाक्यों की तुलना करने के लिए अनुवादक + प्रशिक्षित अर्ध-पर्यवेक्षित एनकोडर-डिकोडर का एक गुच्छा इस्तेमाल किया। परिणामस्वरूप प्रणाली सफलतापूर्वक बड़ी संख्या में विश्वविद्यालयों की सेवा करने वाले उत्पादों में काम करती है।
2. सार संक्षेपण के लिए डिकोडर-ट्रांसफ़ॉर्मर भाषा मॉडल पुन: व्यवस्थित करना। अमूर्त संक्षेपण की समस्या पर विचार किया जाता है। यह दिखाया गया है कि पूर्व-प्रशिक्षित ट्रांसफार्मर डिकोडर का उपयोग करके, आप कार्य को भाषा मॉडलिंग के रूप में देखते हुए अच्छे परिणाम प्राप्त कर सकते हैं। बीम खोज और अन्य डिकोडर अनुकूलन के बिना, लेकिन सिर्फ लालच को डिकोड करना।
3. स्ट्रोक से परिमित ऑटोमेटा तक: एक ऑफ़लाइन मान्यता दृष्टिकोण। छात्रों को कंप्यूटर विज्ञान पढ़ाने के लिए एक इलेक्ट्रॉनिक प्रणाली है। परिमित राज्य मशीनों का अध्ययन करने के लिए, हाथ से बने आरेखों के लिए एक मान्यता प्रणाली बनाई गई है। कार्य के लिए डेटासेट प्रस्तुत किया गया है।
4. पोस्ट-ओसीआर पार्सिंग: BIO टैगिंग के माध्यम से सरल और मजबूत पार्सर का निर्माण। समूहों में चेक से सूचना का विभाजन। प्रत्येक टोकन को BERT एम्बेडिंग का उपयोग करके स्टार्ट-इनसाइड-आउट (BIO) में वर्गीकृत किया गया है। हमने इसके लिए अपना डेटासेट बनाया।
5. BERTgrid: 2D दस्तावेज़ प्रतिनिधित्व और समझ के लिए प्रासंगिक एम्बेडिंग। मैं पृष्ठ और पाठ की पूरी तस्वीर का उपयोग करना चाहता हूं। पाठ के लिए BERT, चित्रों के लिए CNN, हमें बाद के कार्यों के लिए पृष्ठ पर तत्वों का प्रासंगिक प्रतिनिधित्व मिलता है, जैसे कि वर्गीकरण। इसका उपयोग चेक पर भी किया जाता है।
6. चारग्रिड-ओसीआर: सिमेंटिक सेगमेंटेशन और ऑब्जेक्ट डिटेक्शन के माध्यम से एंड-टू-एंड ट्रेन योग्य ऑप्टिकल कैरेक्टर मान्यता। OCR कार्य को बहुत अधिक झूठ बोलने वाली वस्तुओं के लिए एक वस्तु-विभाजन कार्य के रूप में माना जाता है। कोई विशेष प्रीप्रोसेसिंग नहीं है, शुद्ध पिक्सेल दिए गए हैं। Tesseract और CNN-RNN की तुलना में।
7. SVDocNet: ब्लाइंड डॉक्यूमेंट डेब्लरिंग के लिए स्पेसियल वेरिएंट U- नेट। U- नेट के साथ इमेज स्कैन को स्पष्ट करें।
8. स्प्रेडशीट के लिए सिमेंटिक स्ट्रक्चर एक्सट्रैक्शन एक मल्टी-टास्क लर्निंग आर्किटेक्चर में टेबल्स के साथ। तालिकाओं के साथ काम करने के लिए मल्टी-टास्किंग ढांचा: सेल इंटीरियर सेमेंटिक्स (बीईआरटी) और सेल प्रकार (सीएनएन) दोनों को ध्यान में रखा जाता है।
9. ऑटो एन्कोडर का उपयोग करते हुए दस्तावेज़ एन्हांसमेंट सिस्टम। कटाव, कलाकृतियों, वॉटरमार्क से स्कैन किए गए दस्तावेज़ों की सफाई। उन्होंने अवशिष्ट एनकोडर-डिकोडर नेटवर्क की तैयार वास्तुकला को लिया। डेटासेट में स्वच्छ और प्रासंगिक शोर दस्तावेज़ होते हैं। पुनर्निर्माण त्रुटि कम से कम है।
10. CORD: पोस्ट-ओसीआर पार्सिंग के लिए एक समेकित रसीद डेटासेट। हमने जोन और उनके मानों की जाँच के साथ एक डेटासेट बनाया।
11. सिरिलिक टेक्स्ट की मान्यता पर। हमने हस्तलिखित सिरिलिक भाषाओं को पहचानने के लिए एक डेटासेट बनाया।
12. भूविज्ञान और गिल्बर्ट में प्रतिनिधित्व सीखना। BERT का उपयोग करके भूवैज्ञानिक दस्तावेजों में समान शर्तों के लिए खोजें।
13. तंत्रिका अनुबंध तत्व निष्कर्षण पर दोबारा गौर किया गया। अनुबंध से निकाय निकाले: पक्ष, दिनांक, धन, आदि। एक कार्य लेबलिंग के रूप में कार्य पर विचार करें। BiLSTM, पतला-सीएनएन, ट्रांसफार्मर, BERT की कोशिश की। BiLSTM ने शीर्ष पर CRF के साथ सबसे अच्छा काम किया। इनपुट के रूप में डोमेन-विशिष्ट w2v का उपयोग किया जाता है।
14. Doc2Dial: बिजनेस डॉक्यूमेंट्स में ग्राउंड के लिए कंपोजिशन के लिए एक फ्रेमवर्क। एक संवाद एजेंट जो दस्तावेज़ के एक सरणी के आधार पर एक उपयोगकर्ता के अनुरोध का जवाब देता है।
15. डोमेन ट्रांसफर फॉर इंटेंट प्रिडिक्टिंग इन टेक्स्ट। स्थिति के बारे में एक लेख जब सार्वजनिक डेटासेट (ईमेल) होते हैं, लेकिन हम उन्हें बंद डेटासेट (वास्तविक उपयोगकर्ता पत्र) पर उपयोग करना चाहते हैं। वे एक अलग वितरण से आ सकते हैं और एमएल के मूल परिसर को तोड़ सकते हैं। वितरण अंतर का पता लगाने के लिए विभिन्न तकनीकों को पेश किया जाता है।
16. तंत्रिका समानता के मूल्यांकनकर्ताओं की ओर। समन की समस्या और इसकी गुणवत्ता मीट्रिक पर विचार किया जाता है। BLEU और ROUGE के साथ बहुत सी समस्याएं हैं, इसलिए हमने RoBERTa आर्किटेक्चर को लिया और सेंटेंस समानता टास्क पर इसे पूरा किया। गुणवत्ता मीट्रिक - परिणामस्वरूप वेक्टर प्रतिनिधित्व की तुलना।

अंत में, जैसा कि अपेक्षित था, निष्कर्ष। पहले दो या तीन दिनों के लिए, सम्मेलन गर्म हो जाता है, इसलिए यदि आप विज्ञान के लिए यात्रा कर रहे हैं, तो आप जेट लैग से उबरने के बाद उन्हें सुरक्षित रूप से छोड़ सकते हैं या वैंकूवर और उसके आस-पास देख सकते हैं। यदि आप किसी उद्योग या अकादमी में नौकरी पाने जा रहे हैं (और योग्यता प्राप्त कर रहे हैं), तो एक्सपो में आपके पास एक बड़ी (और ऐसा नहीं) कंपनी में नौकरी खोजने का मौका है। वैसे अकादमी के सभी सितारे, प्रयोगशाला के नेता भी सम्मेलन में हैं, इसलिए मिलने और बातचीत करने का मौका है।

इसलिए यह हमारे लिए NeurIPS 2019 :) निकला, हम आशा करते हैं कि यह लेख हाबरोवॉय एमएल-समुदाय के लिए दिलचस्प और उपयोगी था।