R & D ABBYY क्या करते हैं: एनएलपी एडवांस्ड रिसर्च ग्रुप

वे ABBYY में R & D विभाग में क्या करते हैं? इस प्रश्न का उत्तर देने के लिए, हम प्रकाशनों की एक श्रृंखला शुरू करते हैं कि कैसे हमारे डेवलपर्स नई तकनीकों का निर्माण करते हैं और मौजूदा समाधानों में सुधार करते हैं। आज हम प्राकृतिक भाषा प्रसंस्करण (एनएलपी) लाइन के बारे में बात करेंगे।

हम एबीबीवाई में प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में अनुसंधान में लगे हुए हैं और जटिल वैज्ञानिक समस्याओं से निपट रहे हैं जिसके लिए कोई तैयार समाधान नहीं हैं। इसलिए हम ऐसे नवाचार बनाते हैं जो उत्पादों का आधार बनाते हैं और हमारे ग्राहकों की मदद करते हैं, और हम आगे बढ़ते हैं। वैसे, 24 नवंबर को मॉस्को इंस्टीट्यूट ऑफ फिजिक्स एंड टेक्नोलॉजी में स्कूल ऑफ डीप लर्निंग के एक व्याख्यान में , आरएंडडी एबीबीवाई विभाग में एनएलपी एडवांस्ड रिसर्च ग्रुप के प्रमुख इवान स्मुरोव आपको बताएंगे कि दुनिया में पाठ विश्लेषण की समस्याएं क्या हैं और आधुनिक तंत्रिका नेटवर्क उन्हें कैसे हल कर सकते हैं। और इस पोस्ट में, इवान ने हमें उन तीन कार्यों के बारे में बताया जो वह वर्तमान में काम कर रहे हैं।

एनएलपी एडवांस्ड रिसर्च ग्रुप के सहकर्मियों के लिए अलग-थलग कार्यों का चयन करना महत्वपूर्ण है, अर्थात् मौजूदा एबीबीवाई प्रौद्योगिकियों और समाधानों से बहुत सख्ती से संबंधित नहीं है। कभी-कभी हमारे कर्मचारी इस तरह के कार्यों को पाते हैं, कभी-कभी हमारे आरएंडडी उनके बारे में बात करते हैं और उनके समाधान के लिए मदद मांगते हैं, और फिर वैज्ञानिक पत्रिकाओं में परिणामों के प्रकाशन के साथ। तो, पहला काम।

संक्षेप: रिटेलिंग से अधिक जटिल नहीं है?

यह पाठ विश्लेषण तकनीक आपको इसे रीटेलिंग या एनोटेशन में बदलने की अनुमति देती है। इस रूप में, लोग लंबे समय से संस्कारीकरण का उपयोग कर रहे हैं। हम एबीबीवाई में एक विस्तारित अर्थ में sammarization की तकनीकों को लागू करने की कोशिश कर रहे हैं: हम उन समस्याओं को हल करने की कोशिश कर रहे हैं जो पारंपरिक रूप से sammarization की मदद से हल नहीं होते हैं, उदाहरण के लिए, पाठ की अभिन्न विशेषताओं को प्राप्त करने और पाठ में होने वाली घटनाओं को उजागर करने के लिए।

संक्षेपण एक पारंपरिक पाइपलाइन को सरल बना सकता है। उदाहरण के लिए, अब, दस्तावेज़ से अनुबंध के लिए कंपनियों-पार्टियों के नाम निकालने के लिए, कई अनुक्रमिक एनएलपी कार्यों को पारंपरिक रूप से हल किया जाता है, निकाय की पहचान से निकाले गए तथ्यों को फ़िल्टर करने के लिए। ये सभी कार्य एक दूसरे पर निर्भर करते हैं, और सबसे महत्वपूर्ण बात यह है कि इनमें से प्रत्येक को अपने स्वयं के संदर्भ मार्कअप की आवश्यकता होती है। और मशीन लर्निंग में मार्कअप बनाना सबसे महंगी चीजों में से एक है।

संस्कारीकरण की मदद से, तथ्यों को अंत-से-अंत तक निकालना संभव है, अर्थात, मध्यवर्ती चरणों, उप-मुखौटे और मार्कअप के बिना। और यह टेक्स्ट को रिट्वीट करने जैसा सरल और तेज़ होगा। और शायद सस्ता है।

सिंथेटिक पार्सिंग: एक दीर्घवृत्त की तलाश में

याद रखें, स्कूल में हमने वाक्यों की व्याख्या की: विषय, विधेय, जोड़? एक भाषाई अर्थ में, एक वाक्य को पार्स करना अधिक जटिल और विस्तृत है। सब कुछ निर्भरता के रूप में चित्रित किया जा सकता है, जहां मुख्य चीज एक विधेय या क्रिया है, और विषय, परिवर्धन आदि इस पर निर्भर करते हैं। वाक्यगत पार्सर आधुनिक कार्यक्रमों में वाक्यों के इस विश्लेषण से संबंधित है। आमतौर पर, वाक्यात्मक पार्सर एक दीर्घवृत्त में प्रकट होने वाले वाक्यात्मक शून्य को बनाने और छोड़ने में काफी समय व्यतीत करता है।

यहाँ एक उदाहरण है: मिशा ने एक नाशपाती खाया, और माशा ने एक सेब खाया । मौखिक और लिखित दोनों भाषणों में, हम केवल क्रिया "खाया" छोड़ देते हैं और हमारे लिए अर्थ नहीं बदलता है। लेकिन कंप्यूटर भाषाविज्ञान के लिए, वाक्यगत शून्य को परिभाषित करना एक जटिल समस्या है। कई प्रकार के दीर्घवृत्त हैं, वे वाक्यों के विभिन्न स्थानों में हो सकते हैं। नतीजतन, पार्सर को कई परिकल्पनाओं को दोबारा जांचने के लिए मजबूर किया जाता है: क्या एक शून्य था, जो वास्तव में शून्य नहीं है?

इस तरह के रीचेकिंग पेर्स के काम को जटिल बनाते हैं और धीमा कर देते हैं, इसके अलावा, यह बहुत अधिक कंप्यूटिंग शक्ति लेता है। इसलिए, हम उन स्थानों की खोज के लिए नए तरीके का आविष्कार कर रहे हैं जहां सिंटैक्स शून्य होने की संभावना है। यह उस समय को कम कर देगा, जिसके दौरान पार्सर दीर्घवृत्त निर्धारित करेगा।

वैसे, इस साल कंप्यूटर भाषा विज्ञान में दीर्घवृत्ताओं में रुचि काफी बढ़ी है। हमारे समय के सबसे बड़े कंप्यूटर भाषाविदों सेबस्टियन स्कस्टर , जोआचिम निवरे और क्रिस्टोफर माइनिंग द्वारा प्रकाशित किया गया शोध आलेख " गैपिंग के साथ वाक्य: पार्सिंग और रिक्रस्ट्रिंगिंग एल्ड प्रेडिकेट्स " प्रकाशित किया गया था। इस प्रकार, दीर्घवृत्त का अध्ययन एक अच्छा कार्य है, जिसका समाधान वैज्ञानिक समुदाय और व्यावहारिक अनुप्रयोग दोनों के लिए परिणाम दे सकता है।

लेसिक विघटन

"स्टॉप" क्या है? यह वह वस्तु हो सकती है जहां बस आ गई है, या यह प्रक्रिया के लिए एक पड़ाव हो सकता है, या शायद भाषण में ठहराव हो सकता है। शब्द एक है, लेकिन उसके कई अर्थ हैं।

कई कंपनियों के पास थिसौरी है जहाँ इन अर्थों का वर्णन किया गया है। शब्दों, शब्द रूपों या टोकन के अनुक्रम से स्वचालित रूप से प्राप्त करना सुविधाजनक है - अर्थ या अर्थ वर्गों का एक क्रम। ABBYY में हम एक अलग मॉडल बनाने की कोशिश करते हैं जो अच्छी गुणवत्ता और गति वाले शब्द के अर्थ को सटीक रूप से परिभाषित करता है। यदि आप जल्दी से शाब्दिक अस्पष्टता को दूर करते हैं, तो आप कार्य को तेजी से बढ़ा सकते हैं - चाहे वह नामित संस्थाओं / तथ्यों को पार्स या निकालना हो।

और तंत्रिका नेटवर्क और डीप लर्निंग स्कूल को इसके साथ क्या करना है?

इन सभी कार्यों को तंत्रिका नेटवर्क का उपयोग करके हल किया जाता है। ऐसा नहीं है कि वे जाल के बिना हल नहीं किया जा सकता है, लेकिन अब यह सबसे आधुनिक तरीका है। पुनरावर्ती तंत्रिका नेटवर्क एनएलपी कार्यों के लिए बेहतर परिणाम देते हैं। तो यह केवल एक सार फैशन घटना नहीं है, लेकिन एनएलपी कार्यों की एक विस्तृत विविधता को हल करने के लिए व्यवहार में क्या उपयोग किया जाता है।

इवान स्मारोव आपको बताएगा कि मॉस्को इंस्टीट्यूट ऑफ फिजिक्स एंड टेक्नोलॉजी में स्कूल ऑफ डीप लर्निंग के एक व्याख्यान में रूस और दुनिया में इस तरह की समस्याओं को हल करने के लिए आधुनिक तंत्रिका नेटवर्क का उपयोग कैसे किया जाता है। इस व्याख्यान का आयोजन इस शनिवार 24 नवंबर को 17:00 बजे 9 दिमित्रोवस्की शोसे में किया जाएगा।