हैकाथॉन DevDays'19 (भाग 2): टेलीग्राम और इंटेलीजे आईडिया में व्याकरण की जाँच के लिए ऑडियो संदेश पार्सर

हम स्प्रिंग हैकाथॉन देवडे की परियोजनाओं के बारे में बात करना जारी रखते हैं, जिसमें मास्टर प्रोग्राम "सॉफ्टवेयर इंजीनियरिंग / सॉफ्टवेयर इंजीनियरिंग" के छात्रों ने भाग लिया।



वैसे, हम पाठकों को जादूगर के वीके-समूह में शामिल होने के लिए आमंत्रित करना चाहते हैं। इसमें हम भर्ती और अध्ययन के बारे में नवीनतम समाचार प्रकाशित करेंगे। खुले दिन से वीडियो भी समूह में पाया जा सकता है। हम आपको याद दिलाते हैं: घटना 29 अप्रैल को आयोजित की जाएगी, साइट पर विवरण।

टेलीग्राम डेस्कटॉप वॉयस मैसेज पार्सर

विचार के लेखक
खरोशेव अर्टिओम

टीम रचना

ख़रोशेव आर्टेम - प्रोजेक्ट मैनेजर / डेवलपर / क्यूए
एलीसेव एंटोन - व्यापार विश्लेषक / विपणन विशेषज्ञ
कुकलिना मारिया - यूआई डिजाइनर / डेवलपर
बाखवलोव पावेल - यूआई डिजाइनर / डेवलपर / क्यूए

हमारे दृष्टिकोण से, टेलीग्राम एक आधुनिक और सुविधाजनक संदेशवाहक है, और इसका पीसी संस्करण लोकप्रिय और खुला स्रोत है, इसलिए इसे संशोधित करना संभव है। क्लाइंट एक काफी समृद्ध कार्यक्षमता प्रदान करता है। मानक पाठ संदेशों के अलावा, इसमें वॉयस कॉल, वीडियो संदेश, वॉयस संदेश शामिल हैं। और यह बाद की बात है कि कभी-कभी उनके प्राप्तकर्ता को असुविधा होती है। अक्सर कंप्यूटर या लैपटॉप पर वॉयस मैसेज सुनने का कोई तरीका नहीं होता है। परिवेश शोर, हेडफ़ोन की कमी हस्तक्षेप कर सकती है, या आप नहीं चाहते कि संदेश की सामग्री किसी को सुनाई जाए। ऐसी समस्याएं लगभग कभी नहीं होती हैं यदि आप अपने स्मार्टफोन पर टेलीग्राम का उपयोग करते हैं, क्योंकि आप इसे लैपटॉप या पीसी के विपरीत, बस अपने कान में ला सकते हैं। हमने इस समस्या को हल करने की कोशिश की।

DevDays पर हमारी परियोजना का उद्देश्य टेलीग्राम डेस्कटॉप क्लाइंट (इसके बाद टेलीग्राम डेस्कटॉप) में पाठ के लिए प्राप्त किए गए वॉइस संदेशों को अनुवाद करने की क्षमता जोड़ना था।

इस समय सभी एनालॉग्स बॉट हैं जिनसे आप एक ऑडियो संदेश भेज सकते हैं, और बदले में एक टेक्स्ट प्राप्त करते हैं। यह हमारे लिए बहुत सुविधाजनक नहीं है: किसी बॉट को संदेश भेजना बहुत सुविधाजनक नहीं है, मैं मूल कार्यक्षमता रखना चाहूंगा। इसके अलावा, कोई भी बॉट एक तीसरा पक्ष है जो भाषण मान्यता एपीआई और उपयोगकर्ता के बीच मध्यस्थ के रूप में कार्य करता है, और यह कम से कम असुरक्षित है।

जैसा कि पहले उल्लेख किया गया है, टेलीग्राम-डेस्कटॉप के दो वजन फायदे हैं: लपट और गति। और यह कोई संयोग नहीं है, क्योंकि यह पूरी तरह से C ++ में लिखा गया है। और चूंकि हमने क्लाइंट में सीधे नई कार्यक्षमता जोड़ने का फैसला किया, इसलिए हमें इसे C ++ में विकसित करना पड़ा।

हमारी टीम में 4 लोग थे। प्रारंभ में, दो भाषण पहचान के लिए एक उपयुक्त पुस्तकालय की तलाश कर रहे थे, एक व्यक्ति ने टेलीग्राम-डेस्कटॉप के स्रोत कोड का अध्ययन किया, एक अन्य टेलीग्राम डेस्कटॉप प्रोजेक्ट के निर्माण को तैनात कर रहा था। बाद में, सभी यूआई फ़िक्स और डीबगिंग में व्यस्त थे।

ऐसा लगता था कि अभीष्ट कार्यक्षमता का कार्यान्वयन कठिन नहीं होगा, लेकिन, हमेशा की तरह, कठिनाइयाँ उत्पन्न हुईं।

समस्या के समाधान में दो स्वतंत्र उप-कार्य शामिल थे: भाषण मान्यता के लिए उपयुक्त साधन का चयन करना और नई कार्यक्षमता के लिए यूआई को लागू करना।

आवाज पहचान के लिए एक पुस्तकालय चुनते समय, हमें तुरंत सभी ऑफ़लाइन APIs को छोड़ना पड़ा, क्योंकि भाषा मॉडल बहुत अधिक स्थान लेते हैं। लेकिन यह केवल एक भाषा है। यह स्पष्ट हो गया कि आपको ऑनलाइन एपीआई का उपयोग करना होगा। बाद में यह पता चला कि Google, यैंडेक्स और माइक्रोसॉफ्ट जैसे दिग्गजों की वाक् पहचान सेवाएं बिल्कुल भी मुफ्त नहीं हैं, और हमें परीक्षण अवधि के साथ संतोष करना होगा। नतीजतन, Google भाषण-टू-टेक्स्ट को चुना गया, क्योंकि यह आपको सेवा का उपयोग करने के लिए एक टोकन प्राप्त करने की अनुमति देता है, जो पूरे एक वर्ष तक चलेगा।

हमने जो दूसरी समस्या का सामना किया, वह C ++ की कुछ कमियों से जुड़ा है - एक केंद्रीकृत भंडार के अभाव में विभिन्न पुस्तकालयों का चिड़ियाघर। ऐसा हुआ कि टेलीग्राम डेस्कटॉप विशिष्ट संस्करणों के कई अन्य पुस्तकालयों पर निर्भर करता है। आधिकारिक भंडार में परियोजना के निर्माण के निर्देश हैं । और निर्माण समस्याओं के बारे में खुले मुद्दों की एक बड़ी संख्या, उदाहरण के लिए, एक बार और दो बार । सभी समस्याएं इस तथ्य से संबंधित थीं कि बिल्ड स्क्रिप्ट Ubuntu 14.04 के लिए लिखी गई थी, और Ubuntu 18.04 के तहत टेलीग्राम को सफलतापूर्वक बनाने के लिए, मुझे बदलाव करना पड़ा।

टेलीग्राम डेस्कटॉप अपने आप में काफी लंबा समय है: इंटेल कोर i5-7200U के साथ एक लैपटॉप पर, सभी निर्भरताओं के साथ पूर्ण असेंबली (-j 4 ध्वज) में लगभग तीन घंटे लगते हैं। इनमें से क्लाइंट को स्वयं लिंक करने में लगभग 30 मिनट लगते हैं (बाद में यह पता चला कि डिबग कॉन्फ़िगरेशन में, लिंकिंग में लगभग 10 मिनट लगते हैं), लेकिन लिंकिंग चरण को हर बार बदलाव करने के बाद दोहराना पड़ता है।

समस्याओं के बावजूद, हम अपने विचार को लागू करने में कामयाब रहे, साथ ही साथ उबंटू 18.04 के लिए बिल्ड स्क्रिप्ट को अपडेट किया। यहां काम का प्रदर्शन देखा जा सकता है । हम कई एनिमेशन भी लगाते हैं। सभी वॉइस मैसेज के पास एक बटन दिखाई देता है, जिससे आप मैसेज को टेक्स्ट में ट्रांसलेट कर सकते हैं। जब आप राइट-क्लिक करते हैं, तो आप वैकल्पिक रूप से उस भाषा को निर्दिष्ट कर सकते हैं जिसका उपयोग अनुवाद के लिए किया जाएगा। ग्राहक लिंक के माध्यम से डाउनलोड के लिए उपलब्ध है।

भंडार।

हमारी राय में, हमें कॉन्सेप्ट कार्यक्षमता का एक अच्छा सबूत मिला जो कई उपयोगकर्ताओं के लिए सुविधाजनक होगा। हम इसे टेलीग्राम डेस्कटॉप के भविष्य के रिलीज में देखने की उम्मीद करते हैं।

IntelliJ आईडिया में विस्तारित प्राकृतिक भाषा समर्थन

विचार के लेखक

टैंक व्लादिस्लाव

टीम रचना

टैंक व्लादिस्लाव (टीम लीड, LanguageTool और IntelliJ IDEA के साथ काम करना)
सोकोलोव निकिता (LanguageTool के साथ काम करना और UI बनाना)
होवरोव अलेक्जेंडर (LanguageTool के साथ काम करना और प्रदर्शन का अनुकूलन करना)
सदोवनिकोव अलेक्जेंडर (मार्कअप भाषाओं और कोड को पार्स करने के लिए समर्थन)

हमने IntelliJ IDEA के लिए एक प्लगइन विकसित किया है जो व्याकरणिक, वर्तनी और शैलीगत निष्ठा (अंग्रेजी में इसे प्रूफरीडिंग कहा जाता है) के लिए विभिन्न पाठों (टिप्पणियों और प्रलेखन, कोड में शाब्दिक रेखाएं, मार्कडाउन या XML मार्कअप में स्वरूपित) की जांच करता है।

परियोजना का विचार मानक वर्तनी जांच इंटेलीज आईडीईए को व्याकरण के पैमाने पर विस्तारित करना था, ताकि आईडीई के अंदर एक प्रकार का व्याकरण हो सके।

आप लिंक पर क्लिक करके देख सकते हैं कि क्या हुआ।

खैर, नीचे हम प्लगइन की क्षमताओं के बारे में अधिक बात करेंगे, साथ ही इसे बनाने में आने वाली कठिनाइयों के बारे में भी।

प्रेरणा

प्राकृतिक भाषाओं में ग्रंथों को लिखने के लिए कई उत्पाद तैयार किए गए हैं, लेकिन कोड और दस्तावेज़ों पर टिप्पणियां विकास के वातावरण में सबसे अधिक बार लिखी जाती हैं। उसी समय, आईडीई कोड लिखने में त्रुटियों को खोजने का एक बड़ा काम करता है, लेकिन प्राकृतिक भाषाओं में ग्रंथों के लिए खराब रूप से अनुकूलित है। इस वजह से, व्याकरण, विराम चिह्न या शैली में गलतियाँ करना बहुत आसान है, और विकास का वातावरण उन्हें इंगित नहीं करेगा। उपयोगकर्ता इंटरफ़ेस को लिखने में गलती करना सबसे महत्वपूर्ण है, क्योंकि यह न केवल कोड की समझदारी को प्रभावित करेगा, बल्कि स्वयं विकसित एप्लिकेशन के उपयोगकर्ताओं को भी प्रभावित करेगा।

सबसे लोकप्रिय और विकसित विकास परिवेशों में से एक IntelliJ IDEA है, साथ ही IntelliJ प्लेटफार्म पर आधारित IDEs भी है। IntelliJ प्लेटफ़ॉर्म में पहले से ही एक अंतर्निहित स्पेलसेचर है, हालांकि यह सरल व्याकरण त्रुटियों को भी नहीं बचाता है। हमने लोकप्रिय प्राकृतिक भाषा विश्लेषण प्रणालियों में से एक इंटेलीज आईडिया में एकीकृत करने का निर्णय लिया।

कार्यान्वयन

हमने ग्रंथों को सत्यापित करने के लिए अपनी प्रणाली बनाने का कार्य स्वयं निर्धारित नहीं किया, इसलिए हमने मौजूदा समाधान का लाभ उठाया। सबसे उपयुक्त विकल्प LanguageTool था। लाइसेंस ने हमें अपने उद्देश्यों के लिए इसे स्वतंत्र रूप से उपयोग करने की अनुमति दी: यह मुफ़्त है, जावा में लिखा है और ओपन-सोर्स में रखी गई है। इसके अलावा, यह 25 भाषाओं का समर्थन करता है और पंद्रह से अधिक वर्षों से विकसित हो रहा है। इसके खुलेपन के बावजूद, LanguageTool सशुल्क पाठ सत्यापन समाधानों के लिए एक गंभीर प्रतियोगी है, और यह तथ्य कि यह स्थानीय स्तर पर काम करने में सक्षम है, वस्तुतः इसकी हत्यारा विशेषता है।

प्लगइन कोड GitHub पर रिपॉजिटरी में है । पूरे प्रोजेक्ट को कोटलिन में यूआई के लिए जावा के एक छोटे से जोड़ के साथ लिखा गया था। हैकथॉन के दौरान, मार्कडाउन, जावाडॉक, एचटीएमएल और प्लेन टेक्स्ट के लिए समर्थन लागू करने में कामयाब रहे। हैकाथॉन के बाद, एक बड़े अपडेट ने एक्सएमएल के लिए समर्थन जोड़ा, जावा, कोटलिन और पायथन में स्ट्रिंग शाब्दिक, साथ ही वर्तनी जाँच।

कठिनाइयों

काफी जल्दी, हमें एहसास हुआ कि अगर हम LanguageTool जाँच के लिए हर बार सभी पाठ फ़ीड करते हैं, तो IDEA इंटरफ़ेस किसी भी अधिक या कम गंभीर पाठ पर लटकाएगा, क्योंकि निरीक्षण स्वयं UI स्ट्रीम को ब्लॉक करता है। समस्या `ProgressManager.checkCancelled` की जाँच के माध्यम से हल की गई थी - यह फ़ंक्शन एक अपवाद फेंकता है अगर IDEA का मानना ​​है कि निरीक्षण बाधित होना चाहिए।

इसने हैंग को पूरी तरह से समाप्त कर दिया, लेकिन इसका उपयोग करना असंभव है: पाठ को बहुत लंबे समय तक संसाधित किया गया है। इसके अलावा, हमारे मामले में, सबसे अधिक बार पाठ का एक बहुत छोटा हिस्सा बदलता है और मैं किसी भी तरह से परिणामों को कैश करना चाहता हूं। यही हमने किया। हर बार हर चीज की जांच न करने के लिए, हमने नियत रूप से पाठ को टुकड़ों में तोड़ दिया और केवल उन लोगों को चेक किया जो बदल गए थे। चूंकि ग्रंथ बड़े हो सकते हैं और कैश लोड नहीं करना चाहते थे, इसलिए हमने ग्रंथों को स्वयं संग्रहीत नहीं किया, बल्कि उनकी हैश। इससे प्लग-इन बड़ी फ़ाइलों पर भी आसानी से काम कर सकता है।

LanguageTool 25 से अधिक भाषाओं का समर्थन करता है, लेकिन शायद ही एक उपयोगकर्ता को उन सभी की आवश्यकता होती है। मैं अनुरोध पर एक विशिष्ट भाषा के लिए पुस्तकालयों को डाउनलोड करने का अवसर देना चाहता था (यदि यूआई में एक टिक द्वारा जाँच की जाती है)। हमने इसे लागू भी किया, लेकिन यह बहुत जटिल और अविश्वसनीय था। विशेष रूप से, हमें LanguageTool को एक अलग क्लास लोडर के रूप में भाषाओं के एक नए सेट के साथ लोड करना था, और फिर सावधानीपूर्वक इसे प्रारंभ करना था। उसी समय, सभी लाइब्रेरी उपयोगकर्ता .m2 रिपॉजिटरी में थीं, और प्रत्येक शुरुआत में हमें उनकी अखंडता की जांच करनी थी। अंत में, हमने तय किया कि यदि उपयोगकर्ताओं को प्लगइन के आकार के साथ समस्या है, तो हम कई लोकप्रिय भाषाओं के लिए एक अलग प्लगइन की आपूर्ति करेंगे।

हैकाथॉन के बाद

हैकाथॉन समाप्त हो गया, लेकिन एक संकीर्ण रचना के साथ प्लग-इन पर काम जारी रहा। मैं लाइनों, टिप्पणियों और यहां तक ​​कि भाषा के निर्माण का समर्थन करना चाहता था, जैसे कि चर और वर्ग के नाम। यह वर्तमान में केवल जावा, कोटलिन और पायथन के लिए समर्थित है, लेकिन हमें उम्मीद है कि यह सूची बढ़ती है। हमने कई छोटे कीड़े तय किए और आइडिया बिल्ट-इन स्पेलचैकर के साथ अधिक संगत हो गए। इसके अलावा, XML समर्थन और वर्तनी जाँच दिखाई दी है। यह सब दूसरे संस्करण में पाया जा सकता है जिसे हमने हाल ही में प्रकाशित किया था।

आगे क्या है?

ऐसा प्लगइन न केवल डेवलपर्स के लिए, बल्कि तकनीकी लेखकों के लिए भी उपयोगी हो सकता है (अक्सर काम कर रहा है, उदाहरण के लिए, IDE में XML के साथ)। हर दिन उन्हें संभावित त्रुटियों के बारे में संपादक के सुझावों के रूप में सहायक के बिना, प्राकृतिक भाषा के साथ काम करना पड़ता है। हमारा प्लगइन इस तरह के संकेत प्रदान करता है और उच्च सटीकता के साथ ऐसा करता है।
हम नई भाषाओं को जोड़कर और पाठ सत्यापन को व्यवस्थित करने के लिए सामान्य दृष्टिकोण की खोज करके प्लगइन को विकसित करने की योजना बनाते हैं। निकट भविष्य में, स्टाइल प्रोफाइल के कार्यान्वयन (नियमों के सेट जो पाठ के लिए शैली गाइड को परिभाषित करते हैं, उदाहरण के लिए, "उदाहरण के लिए लिखें, लेकिन पूर्ण फ़ॉर्म लिखें"), शब्दकोश का विस्तार करें और उपयोगकर्ता इंटरफ़ेस में सुधार करें (विशेष रूप से, हम उपयोगकर्ता को केवल शब्द को अनदेखा नहीं करने की क्षमता देना चाहते हैं, लेकिन जोड़ते हैं) उसे शब्दकोश में, भाषण का हिस्सा दर्शाता है)।