एक पत्रकार को एक तंत्रिका नेटवर्क से बाहर कैसे बनाया जाए, या "एक शब्द के बिना होबे पर पाठ को कम करने का रहस्य"

बस आश्चर्यचकित न हों, लेकिन इस पोस्ट के दूसरे शीर्षक ने एक तंत्रिका नेटवर्क, या बल्कि, संकरण के एल्गोरिदम को उत्पन्न किया। और संस्कारीकरण क्या है?

यह प्राकृतिक भाषा प्रसंस्करण (एनएलपी) की प्रमुख और क्लासिक चुनौतियों में से एक है। यह एक एल्गोरिथ्म बनाने में शामिल है जो पाठ को इनपुट के रूप में लेता है और इसके एक संक्षिप्त संस्करण को आउटपुट करता है। इसके अलावा, सही संरचना (भाषा के मानदंडों के अनुरूप) को इसमें संरक्षित किया गया है और पाठ का मुख्य विचार सही तरीके से प्रेषित किया गया है।

इस तरह के एल्गोरिदम उद्योग में व्यापक रूप से उपयोग किए जाते हैं। उदाहरण के लिए, वे खोज इंजन के लिए उपयोगी होते हैं: पाठ में कमी का उपयोग करके, आप आसानी से समझ सकते हैं कि किसी साइट या दस्तावेज़ का मुख्य विचार खोज क्वेरी से संबंधित है या नहीं। उनका उपयोग मीडिया डेटा की एक बड़ी धारा में प्रासंगिक जानकारी की खोज करने और सूचना कचरे को छानने के लिए किया जाता है। पाठ में कमी वित्तीय अनुसंधान में मदद करती है, कानूनी अनुबंधों के विश्लेषण में, वैज्ञानिक पत्रों की व्याख्या और बहुत कुछ। वैसे, इस पोस्ट के लिए सबमरीज़ एल्गोरिथ्म ने सभी सबहेडिंग उत्पन्न किए।

मेरे आश्चर्य के लिए, हेबे पर संस्कारीकरण के बारे में बहुत कम लेख थे, इसलिए मैंने इस दिशा में अपने शोध और परिणामों को साझा करने का निर्णय लिया। इस साल मैंने संवाद सम्मेलन में रेसट्रैक में भाग लिया और समाचार आइटमों और तंत्रिका नेटवर्क का उपयोग करने वाली कविताओं के लिए शीर्षक जनरेटर के साथ प्रयोग किया। इस पोस्ट में, मैं पहले संक्षेप में संकरण के सैद्धांतिक भाग पर जाऊंगा, और फिर मैं शीर्षकों की पीढ़ी के साथ उदाहरण दूंगा, मैं आपको बताऊंगा कि पाठ को छोटा करते समय कौन-कौन सी कठिनाइयाँ आती हैं और बेहतर शीर्षक प्राप्त करने के लिए इन मॉडलों को कैसे बेहतर बनाया जा सकता है।

नीचे एक समाचार आइटम और उसके मूल संदर्भ शीर्षक का एक उदाहरण है। जिन मॉडलों के बारे में मैं बात करूंगा वे इस उदाहरण के साथ हेडर बनाने के लिए प्रशिक्षित करेंगे:

पाठ seq2seq वास्तुकला काटने के लिए राज

पाठ में कमी के दो तरीके हैं:

1. निकालने वाला । इसमें पाठ के सबसे अधिक जानकारीपूर्ण भागों को खोजने और उनसे दिए गए भाषा के लिए एनोटेशन सही का निर्माण शामिल है। विधियों का यह समूह केवल उन शब्दों का उपयोग करता है जो स्रोत पाठ में हैं।
2. सार। इसमें भाषा से निर्भरता को ध्यान में रखते हुए पाठ से शब्दार्थ लिंक निकालना शामिल है। अमूर्त संस्मरण के साथ, एनोटेशन शब्दों को संक्षिप्त पाठ से नहीं चुना जाता है, लेकिन शब्दकोश (किसी दी गई भाषा के लिए शब्दों की सूची) से - जिससे मुख्य विचार फिर से मिल जाता है।

दूसरा दृष्टिकोण यह बताता है कि एल्गोरिथ्म को भाषा की निर्भरता, रीफ़्रेज़ और सामान्यीकरण को ध्यान में रखना चाहिए। वह तथ्यात्मक त्रुटियों को रोकने के लिए वास्तविक दुनिया का कुछ ज्ञान भी रखना चाहता है। लंबे समय तक, यह एक मुश्किल काम माना जाता था, और शोधकर्ताओं को एक उच्च गुणवत्ता वाला समाधान नहीं मिल सका - मुख्य विचार को संरक्षित करते हुए एक व्याकरणिक रूप से सही पाठ। यही कारण है कि अतीत में, अधिकांश एल्गोरिदम एक निकालने वाले दृष्टिकोण पर आधारित थे, क्योंकि पाठ के पूरे टुकड़ों का चयन और उन्हें परिणाम में स्थानांतरित करना आपको स्रोत के समान साक्षरता स्तर बनाए रखने की अनुमति देता है।

लेकिन यह तंत्रिका नेटवर्क के उछाल और एनएलपी में इसके आसन्न प्रवेश से पहले था। 2014 में, seq2seq आर्किटेक्चर को एक ध्यान तंत्र के साथ पेश किया गया था जो कुछ पाठ अनुक्रमों को पढ़ सकता है और दूसरों को उत्पन्न कर सकता है (जो इस बात पर निर्भर करता है कि मॉडल आउटपुट के लिए क्या सीखा है) (Sutskever et al। द्वारा लेख )। 2016 में, इस तरह के एक आर्किटेक्चर को सीधे संकरण की समस्या के समाधान के लिए लागू किया गया था, जिससे एक सार दृष्टिकोण लागू किया गया था और एक सक्षम व्यक्ति के लिए एक तुलनीय परिणाम लिख सकता था (नल्लपति एट अल से लेख । 2016; रश एट अल।, 2015) लेख। )। यह वास्तुकला कैसे काम करती है?



Seq2Seq में दो भाग होते हैं:

1. एनकोडर (एनकोडर) - एक दो-तरफ़ा आरएनएन, जिसका उपयोग इनपुट अनुक्रम को पढ़ने के लिए किया जाता है, अर्थात्, क्रमिक रूप से इनपुट तत्वों को एक साथ बाएं से दाएं और दाएं से बाएं से संदर्भ में बेहतर रूप से संसाधित करता है।
2. डिकोडर (डिकोडर) - एक तरफ़ा आरएनएन, जो क्रमिक रूप से और तत्व-वार एक आउटपुट अनुक्रम पैदा करता है।

सबसे पहले, इनपुट अनुक्रम को एक एम्बेडिंग अनुक्रम में अनुवादित किया जाता है (संक्षेप में, एम्बेडिंग वेक्टर के रूप में एक शब्द का संक्षिप्त प्रतिनिधित्व है)। एंबेडिंग फिर एनकोडर के पुनरावर्ती नेटवर्क के माध्यम से जाते हैं। इसलिए, प्रत्येक शब्द के लिए, हमें एनकोडर के छिपे हुए राज्य मिलते हैं ( आरेख पर लाल आयतों द्वारा इंगित ), और उनमें टोकन और स्वयं के संदर्भ के बारे में जानकारी होती है, जिससे हम शब्दों के बीच भाषा कनेक्शन को ध्यान में रखते हैं।

इनपुट को संसाधित करने के बाद, एनकोडर डिकोडर को अपनी अंतिम छिपी हुई स्थिति (जिसमें संपूर्ण पाठ के बारे में संकुचित जानकारी होती है) को स्थानांतरित करता है, जो एक विशेष टोकन प्राप्त करता है और आउटपुट अनुक्रम का पहला शब्द बनाता है ( चित्र में यह "जर्मनी" है )। फिर वह अपने पिछले आउटपुट को चक्रीय रूप से लेता है, उसे खुद को खिलाता है और फिर से अगला आउटपुट एलिमेंट प्रदर्शित करता है ( इसलिए "जर्मनी" "बीट" आने के बाद, और "बीट" के बाद अगला शब्द आता है, आदि )। यह एक विशेष टोकन जारी होने तक दोहराया जाता है । इसका अर्थ है पीढ़ी का अंत।

अगले तत्व को प्रदर्शित करने के लिए, डिकोडर, एन्कोडर की तरह, इनपुट टोकन को एम्बेडिंग में परिवर्तित करता है, पुनरावर्ती नेटवर्क का एक चरण लेता है और डिकोडर की अगली छिपी स्थिति ( आरेख में पीले आयत ) प्राप्त करता है। फिर, एक पूरी तरह से जुड़ी हुई परत का उपयोग करके, पूर्व-संकलित मॉडल शब्दकोश से सभी शब्दों के लिए एक संभाव्यता वितरण प्राप्त किया जाता है। सबसे अधिक संभावना वाले शब्द मॉडल द्वारा काटे जाएंगे।

एक ध्यान तंत्र को जोड़ने से डिकोडर को इनपुट जानकारी का बेहतर उपयोग करने में मदद मिलती है। प्रत्येक पीढ़ी के चरण में तंत्र तथाकथित ध्यान वितरण को निर्धारित करता है (चित्र में नीली आयतें मूल अनुक्रम के तत्वों के अनुरूप भार का समूह हैं, वजन का योग 1 है, सभी भार> = 0 ), और इसके द्वारा सभी छिपे हुए एनकोडर राज्यों का भार प्राप्त होता है, जिससे गठन होता है। संदर्भ वेक्टर ( आरेख एक लाल स्ट्रोक के साथ एक लाल आयत दिखाता है )। यह वेक्टर अव्यक्त स्थिति की गणना के चरण में डिकोडर इनपुट शब्द को एम्बेड करने और अगले शब्द को निर्धारित करने के चरण में अव्यक्त स्थिति के साथ ही समाप्‍त करता है। इसलिए आउटपुट के प्रत्येक चरण पर, मॉडल यह निर्धारित कर सकता है कि वर्तमान में कौन से एनकोडर राज्य इसके लिए सबसे महत्वपूर्ण हैं। दूसरे शब्दों में, यह संदर्भ तय करता है कि कौन से इनपुट शब्दों को सबसे अधिक ध्यान में रखा जाना चाहिए (उदाहरण के लिए, चित्र में, "बीट" शब्द को प्रदर्शित करते हुए, ध्यान तंत्र विजयी और जीतने वाले टोकन को बड़े वजन देता है, और बाकी शून्य के करीब है)।

चूंकि हेडर्स की पीढ़ी भी संकरण के कार्यों में से एक है, केवल न्यूनतम संभव आउटपुट (1-12 शब्द) के साथ, मैंने हमारे मामले के लिए ध्यान तंत्र के साथ seq2seq को लागू करने का निर्णय लिया। हम हेडिंग के साथ ग्रंथों पर इस तरह की एक प्रणाली को प्रशिक्षित करते हैं, उदाहरण के लिए, समाचार पर। इसके अलावा, डिकोडर को अपने स्वयं के आउटपुट को प्रस्तुत करने के लिए प्रशिक्षण चरण में सलाह दी जाती है, लेकिन वास्तविक शीर्षक (शिक्षक मजबूर) के शब्द, खुद और मॉडल के लिए जीवन को आसान बनाते हैं। त्रुटि फ़ंक्शन के रूप में, हम मानक क्रॉस-एन्ट्रापी लॉस फ़ंक्शन का उपयोग करते हैं, यह दिखाते हैं कि आउटपुट शब्द और वास्तविक हेडर से शब्द के संभाव्यता वितरण कितने करीब हैं:


प्रशिक्षित मॉडल का उपयोग करते समय, हम लालची एल्गोरिथ्म का उपयोग करने की तुलना में शब्दों के अधिक संभावित अनुक्रम को खोजने के लिए किरण खोज का उपयोग करते हैं। ऐसा करने के लिए, पीढ़ी के प्रत्येक चरण में, हम सबसे संभावित शब्द नहीं पाते हैं, लेकिन एक ही समय में शब्दों के सबसे संभावित अनुक्रमों के बीम_साइज़ को देखते हैं। जब वे समाप्त होते हैं (प्रत्येक एक पर समाप्त होता है ), हम सबसे संभावित अनुक्रम प्राप्त करते हैं।

मॉडल का विकास

Seq2seq पर मॉडल की समस्याओं में से एक उन शब्दों को उद्धृत करने में असमर्थता है जो शब्दकोश में नहीं हैं। उदाहरण के लिए, मॉडल में ऊपर के लेख से "ओबामैकेरे" को कम करने का कोई मौका नहीं है। उसी के लिए जाता है:

• दुर्लभ उपनाम और नाम
• नई शर्तें
• अन्य भाषाओं में शब्द,
• हाइफ़न द्वारा जुड़े शब्दों के विभिन्न जोड़े ("रिपब्लिकन सीनेटर" के रूप में)
• और अन्य डिजाइन।

बेशक, आप शब्दकोश का विस्तार कर सकते हैं, लेकिन इससे प्रशिक्षित मापदंडों की संख्या बढ़ जाती है। इसके अलावा, बड़ी संख्या में दस्तावेज प्रदान करना आवश्यक है जिसमें ये दुर्लभ शब्द पाए जाते हैं, जिससे कि जनरेटर गुणात्मक तरीके से उनका उपयोग करना सीखता है।

इस समस्या का एक और अधिक सुरुचिपूर्ण समाधान 2017 के एक लेख में प्रस्तुत किया गया था - " गेट टू द पॉइंट: सारांश विद प्वाइंटर-जेनरेटर नेटवर्क " (अबीगैल सी एट अल।)। वह हमारे मॉडल में एक नया तंत्र जोड़ता है - एक सूचक तंत्र , जो स्रोत पाठ से शब्दों का चयन कर सकता है और सीधे उत्पन्न अनुक्रम में सम्मिलित कर सकता है। यदि पाठ में ओओवी ( शब्दावली से बाहर - एक शब्द है जो शब्दकोश में नहीं है ), तो मॉडल, यदि यह आवश्यक समझता है, तो ओओवी को अलग कर सकता है और इसे आउटपुट पर सम्मिलित कर सकता है। इस तरह की प्रणाली को " पॉइंटर-जनरेटर" (पॉइंटर-जनरेटर या पीजी) कहा जाता है और यह संस्मरण के लिए दो दृष्टिकोणों का संश्लेषण है। वह खुद तय कर सकती है कि उसे किस कदम पर अमूर्त होना चाहिए, और किस कदम पर - अर्क निकालना। वह यह कैसे करती है, हम अभी इसका पता लगाएंगे।



सामान्य seq2seq मॉडल से मुख्य अंतर अतिरिक्त क्रिया है जिस पर पी _जीन की गणना की जाती है - पीढ़ी की संभावना। यह डिकोडर और संदर्भ वेक्टर की छिपी स्थिति का उपयोग करके किया जाता है। अतिरिक्त कार्रवाई का अर्थ सरल है। 1 के करीब पी _{जीन है} , अधिक संभावना यह है कि मॉडल अमूर्त पीढ़ी का उपयोग करके अपने शब्दकोश से एक शब्द जारी करेगा। करीब पी _जीन 0 के लिए है, अधिक संभावना यह है कि जनरेटर पाठ से शब्द को निकालेगा, पहले ध्यान के वितरण द्वारा निर्देशित। शब्द परिणामों का अंतिम संभाव्यता वितरण शब्दों द्वारा उत्पन्न संभाव्यता वितरण का योग है (जिसमें कोई OOV नहीं है) पी _{जीन से} गुणा किया गया है और ध्यान वितरण (जिसमें OOV है, उदाहरण के लिए, "2-0" चित्र में गुणा करके (1 - p) _जनरल )।



इंगित तंत्र के अलावा, लेख एक कवरेज तंत्र का परिचय देता है , जो शब्दों को दोहराने से बचने में मदद करता है। मैंने इसके साथ प्रयोग भी किया, लेकिन शीर्षकों की गुणवत्ता में महत्वपूर्ण सुधार नहीं देखा - इसकी वास्तव में आवश्यकता नहीं है। सबसे अधिक संभावना है, यह कार्य की बारीकियों के कारण है: चूंकि छोटी संख्या में शब्दों का उत्पादन करना आवश्यक है, इसलिए जनरेटर के पास खुद को दोहराने का समय नहीं है। लेकिन संकरण के अन्य कार्यों के लिए, उदाहरण के लिए, एनोटेशन, यह काम में आ सकता है। यदि रुचि है, तो आप इसके बारे में मूल लेख में पढ़ सकते हैं।

रूसी शब्दों की महान विविधता

आउटपुट हेडर की गुणवत्ता में सुधार करने का एक और तरीका इनपुट अनुक्रम को ठीक से प्रीप्रोसेस करना है। अपरकेस वर्णों के स्पष्ट निपटान के अलावा, मैंने स्रोत पाठ के शब्दों को शैलियों और विभक्तियों (यानी नींव और समाप्ति) के जोड़े में बदलने की भी कोशिश की। विभाजन के लिए, पोर्टर स्टेमर का उपयोग करें।


हम अन्य टोकनों से उन्हें अलग करने के लिए शुरुआत में "+" प्रतीक के साथ सभी विभक्तियों को चिह्नित करते हैं। हम प्रत्येक विषय और विभक्ति को एक अलग शब्द मानते हैं और उनसे उसी तरह सीखते हैं जैसे शब्दों में। यही है, हम उनसे एम्बेडिंग प्राप्त करते हैं और एक अनुक्रम प्राप्त करते हैं (नींव और अंत में भी टूट जाते हैं) जिसे आसानी से शब्दों में बदल दिया जा सकता है।

रूसी जैसी आकार-प्रकार की समृद्ध भाषाओं के साथ काम करने पर ऐसा रूपांतरण बहुत उपयोगी है। विभिन्न प्रकार के रूसी शब्द रूपों के साथ विशाल शब्दकोशों की रचना करने के बजाय, आप अपने आप को इन शब्दों के तनों की एक बड़ी संख्या तक सीमित कर सकते हैं (वे शब्द रूपों की संख्या से कई गुना छोटे हैं) और अंत का एक बहुत छोटा सा सेट (मुझे 450 से अधिक विभक्तियाँ मिलीं)। इस प्रकार, हम इस "धन" के साथ काम करना मॉडल के लिए आसान बनाते हैं और साथ ही हम वास्तुकला की जटिलता और मापदंडों की संख्या में वृद्धि नहीं करते हैं।



मैंने लेम्मा + ग्रामम परिवर्तन का उपयोग करने की भी कोशिश की। अर्थात्, प्रसंस्करण से पहले प्रत्येक शब्द से, आप इसके प्रारंभिक रूप और व्याकरणिक अर्थ का उपयोग कर प्राप्त कर सकते हैं (उदाहरण के लिए, "" "होने के लिए" और "VERB | impf | अतीत | गाओ | मादा")। इस प्रकार, मुझे समानांतर अनुक्रमों की एक जोड़ी मिली (एक में - प्रारंभिक रूप, दूसरे में - व्याकरणिक मूल्य)। प्रत्येक प्रकार के अनुक्रम के लिए, मैंने अपने एम्बेडिंग को संकलित किया, जिसे मैंने तब संक्षिप्त किया और पहले वर्णित पाइपलाइन को प्रस्तुत किया। इसमें, डिकोडर ने एक शब्द देना नहीं सीखा, लेकिन एक लेम्मा और व्याकरण। लेकिन इस तरह की प्रणाली ने विषय पर पीजी की तुलना में दृश्य सुधार नहीं लाया। शायद यह व्याकरणिक मूल्यों के साथ काम करने के लिए एक अत्यधिक सरल वास्तुकला था, और यह आउटपुट में प्रत्येक व्याकरणिक श्रेणी के लिए एक अलग वर्गीकरण बनाने के लायक था। लेकिन मैंने ऐसे या अधिक जटिल मॉडलों के साथ प्रयोग नहीं किया।

मैंने सूचक-जनरेटर की मूल वास्तुकला के लिए एक और जोड़ के साथ प्रयोग किया, जो हालांकि, प्रीप्रोसेसिंग पर लागू नहीं होता है। यह एनकोडर और डिकोडर के पुनरावर्ती नेटवर्क की परतों (3 तक) की संख्या में वृद्धि है। आवर्तक नेटवर्क की गहराई बढ़ाने से आउटपुट की गुणवत्ता में सुधार हो सकता है, क्योंकि अंतिम परतों के छिपे हुए राज्य में एकल-परत आरएनएन की छिपी स्थिति की तुलना में बहुत लंबे इनपुट के बाद की जानकारी हो सकती है। यह इनपुट अनुक्रम के तत्वों के बीच जटिल विस्तारित सिमेंटिक कनेक्शन को ध्यान में रखने में मदद करता है। सच है, यह मॉडल मापदंडों की संख्या में महत्वपूर्ण वृद्धि की लागत और सीखने को जटिल बनाता है।

हैडर जनरेटर प्रयोग

हेडलाइन जनरेटर पर मेरे सभी प्रयोगों को दो प्रकारों में विभाजित किया जा सकता है: समाचार लेखों और छंदों के साथ प्रयोग। मैं उनके बारे में आपको क्रम से बताऊंगा।

समाचार प्रयोग

समाचार के साथ काम करते समय, मैंने seq2seq, pg, pg with stems and inflections - सिंगल-लेयर और थ्री-लेयर जैसे मॉडल का उपयोग किया। मैंने उन मॉडलों पर भी विचार किया जो ग्राम के साथ काम करते हैं, लेकिन सब कुछ जो मैं उनके बारे में बताना चाहता था, मैंने पहले ही ऊपर वर्णित किया है। मुझे तुरंत कहना होगा कि इस खंड में वर्णित सभी pg ने कोटिंग तंत्र का उपयोग किया था, हालांकि परिणाम पर इसका प्रभाव संदिग्ध है (क्योंकि इसके बिना यह बहुत बुरा नहीं था)।

मैंने आरआईए नोवोस्ती डाटासेट पर प्रशिक्षण दिया, जो कि रोसिया सेगोडन्या समाचार एजेंसी द्वारा डायलॉग सम्मेलन में एक हेडलाइन जेनरेशन ट्रैक का संचालन करने के लिए प्रदान किया गया था। डेटासेट में जनवरी 2010 से दिसंबर 2014 तक प्रकाशित 1,003,869 समाचार लेख हैं।

सभी अध्ययन किए गए मॉडल ने समान एम्बेडिंग (128), शब्दावली (100k) और अव्यक्त अवस्था (256) का उपयोग किया और समान संख्या में युगों के लिए प्रशिक्षित किया। इसलिए, वास्तुकला या प्रीप्रोसेसिंग में केवल गुणात्मक परिवर्तन परिणाम को प्रभावित कर सकते हैं।

पूर्व-संसाधित पाठ के साथ काम करने के लिए अनुकूलित मॉडल उन मॉडल की तुलना में बेहतर परिणाम देते हैं जो शब्दों के साथ काम करते हैं। एक तीन-परत पीजी जो विषयों और विभक्तियों के बारे में जानकारी का उपयोग करता है सबसे अच्छा काम करता है। किसी भी पीजी का उपयोग करते समय, हेडर की गुणवत्ता में seq2seq की तुलना में अपेक्षित सुधार भी दिखाई देता है, जो हेडर बनाते समय पॉइंटर के पसंदीदा उपयोग पर संकेत देता है। यहाँ सभी मॉडलों के संचालन का एक उदाहरण दिया गया है:


उत्पन्न हेडर को देखते हुए, हम अध्ययन के तहत मॉडल से निम्नलिखित समस्याओं को अलग कर सकते हैं:

1. मॉडल अक्सर शब्दों के अनियमित रूपों का उपयोग करते हैं। उपजी के साथ मॉडल (ऊपर उदाहरण में) इस खामी से अधिक राहत मिली है;
2. सभी मॉडल, उन लोगों को छोड़कर जो थीम के साथ काम करते हैं, हेडर का उत्पादन कर सकते हैं जो अधूरे लगते हैं, या अजीब डिजाइन जो भाषा में नहीं हैं (जैसा कि ऊपर उदाहरण में है);
3. सभी अध्ययन किए गए मॉडल अक्सर वर्णित व्यक्तियों को भ्रमित करते हैं, गलत तिथियों का विकल्प देते हैं या काफी उपयुक्त शब्दों का उपयोग नहीं करते हैं।

छंद के साथ प्रयोग

चूंकि थीम के साथ थ्री-लेयर pg में उत्पन्न हेडर में कम से कम अशुद्धि होती है, यह वह मॉडल है जिसे मैंने छंद के साथ प्रयोगों के लिए चुना था। मैंने उसे केस पर पढ़ाया, साइट "stihi.ru" से 6 मिलियन रूसी कविताओं से बना। उनमें प्रेम शामिल है (लगभग आधे छंद इस विषय के लिए समर्पित हैं), नागरिक (लगभग एक चौथाई), शहरी और परिदृश्य कविता। लेखन अवधि: जनवरी 2014 - मई 2019। मैं छंद के लिए उत्पन्न शीर्षकों के उदाहरण दूंगा:







मॉडल ज्यादातर निकालने वाला निकला: लगभग सभी हेडर एक एकल पंक्ति हैं, जिन्हें अक्सर पहले या आखिरी श्लोक से निकाला जाता है। असाधारण मामलों में, मॉडल उन शब्दों को उत्पन्न कर सकता है जो कविता में नहीं हैं। यह इस तथ्य के कारण है कि मामले में बहुत बड़ी संख्या में ग्रंथों में वास्तव में एक नाम के रूप में लाइनें हैं।

अंत में, मैं कहूंगा कि तने पर काम करने वाले इंडेक्स जनरेटर, सिंगल-लेयर डिकोडर और एनकोडर का उपयोग करते हुए, कंप्यूटर भाषाविज्ञान "डायलॉग" पर वैज्ञानिक संवाद सम्मेलन में समाचार लेखों के लिए सुर्खियां पैदा करने के लिए प्रतियोगिता ट्रैक पर दूसरा स्थान हासिल किया। इस सम्मेलन का मुख्य आयोजक एबीबीवाई है, कंपनी प्राकृतिक भाषा प्रसंस्करण के लगभग सभी आधुनिक क्षेत्रों में अनुसंधान में लगी हुई है।

अंत में, मैं आपको थोड़ा इंटरएक्टिव सुझाव देता हूं: टिप्पणियों में समाचार भेजें, और देखें कि उनके लिए तंत्रिका नेटवर्क क्या उत्पन्न करेगा।

मैटवे, एबीबीवाई में एनएलपी ग्रुप में डेवलपर