अपना खुद का ट्रांसलेटर कैसे लिखें

2018 में सीएस सेंटर के एक स्नातक, डारिया रोडियोनोवा , लिप्यंतरण के बारे में बात करते हैं: यह क्या है, लिप्यंतरण के लिए दृष्टिकोण क्या हैं, अपना खुद का अनुवादक कैसे बनाएं और मॉडल को कैसे सुधारें।

लिप्यंतरण एक वर्णमाला से दूसरे में एक शब्द का एक ग्राफिक अनुवाद है, बशर्ते कि हमारे पास एक प्रणाली से दूसरे के संकेतों के पत्राचार की एक तालिका हो। वास्तव में, लिप्यंतरण एक सरल अनुवादक की याद नहीं दिलाता है। यहां भाषाएं अक्षर हैं और चार महत्वपूर्ण लोगों के लिए अनुवाद नियमों की संभावित संख्या सरल है:

• एक-से-एक: बी → बी, आर → पी, पी → पी
• एक से कई: Y → FIRST
• कई-से-एक: SCH → U, CH → H, YU → U
• कई-कई: संदर्भ पर निर्भर करता है, उदाहरण के लिए IE -> IE

हाल तक तक, सभी रनेट लैटिन में लिखे गए थे। तब, सभी उपकरणों में एक सिरिलिक लेआउट उपलब्ध नहीं था, लेकिन ASCII सबसे आगे था - जबकि एन्कोडिंग अभी भी सिरिलिक की प्रक्रिया नहीं कर सकता था। नतीजतन, रूसी में एक संदेश के बजाय, प्राप्तकर्ता ने अब्राकडाब्रा प्राप्त किया।

15 साल पहले, जब मोबाइल फोन पर सिरिलिक वर्णमाला उपलब्ध हुई, तो लैटिन में एसएमएस संदेश मोबाइल ऑपरेटरों से प्राप्त होते रहे। मैं यह नहीं छिपाऊंगा कि मैंने इन संदेशों को खुशी के साथ मना लिया :) और अब लोग अक्सर मंचों या चैट रूम में लैटिन अक्षरों में मेल खाते हैं, क्योंकि हाथ में कोई रूसी कीबोर्ड नहीं है।

स्वचालित लिप्यंतरण की आवश्यकता क्यों है

आमतौर पर वे लैटिन वर्णमाला में रूसी शब्दों के प्रत्यक्ष लिप्यंतरण के बारे में बात करते हैं। जब आपको विदेशी दस्तावेजों, वैज्ञानिक लेखों के लिए भौगोलिक नामों या नामों का अनुवाद करने की आवश्यकता होती है।

रिवर्स ट्रांसलिट्रेशन लैटिन के एक शब्द का सिरिलिक में एक शब्द में रूपांतरण है। कई क्षेत्रों में इसकी आवश्यकता है, इसलिए उनमें से प्रत्येक में, समय के साथ, एक मानक दिखाई दिया है। और इसलिए अब एक साथ कई मानक हैं, जिनके अनुसार शब्दों का अनुवाद अस्पष्ट रूप से किया जाता है।

हम अक्सर समाचारों में भौगोलिक नामों के हास्यास्पद अनुवाद और लिप्यंतरण के बारे में सुनते हैं। उदाहरण के लिए, "sch" अक्षर का संयोजन अनुक्रम "MF" या अक्षर "" हो सकता है, जैसा कि शब्द Schotot में है। मंचों पर भी, लैटिन अक्षरों में "in" पत्र लिखने के तरीके पर अलग-अलग विचार हैं। वहां आप संयोजन "ch" की अस्पष्टता भी पा सकते हैं। ऐसा लगता है कि यह हमेशा "एच" है! नहीं, यह शब्दों के अंत में एक "X" भी है: आमतौर पर "I / S" अक्षर इससे पहले चलते हैं। और आप लैटिन से "YE" का अनुवाद कैसे करेंगे? "ई" में या "एस" में? अधिक विवरण लेख में पाया जा सकता है "नियमों के बिना अनुवाद" ।

अनुवादक का सैद्धांतिक विवरण

यह एक परिमित-राज्य ट्रांसड्यूसर है, जिसमें नोड्स शामिल हैं, जिनमें से प्रत्येक इनपुट प्रतीक को संसाधित कर सकता है और एक आउटपुट का उत्पादन कर सकता है। यदि हम एक औपचारिक परिभाषा देते हैं, तो ट्रांसड्यूसर में 6 घटक होते हैं (क्यू, definition, definition, I, F,:), जहां:

Q - कई राज्य
Habet - इनपुट वर्णमाला
Habet - आउटपुट वर्णमाला
मैं क्यू से प्रारंभिक राज्यों का एक सबसेट हूं
F, Q से अंतिम राज्यों का सबसेट है
⨉ Q ⨉ (δ} {e}) से Q Γ (Γ ⋃ {e}) का संक्रमण है

सामान्य स्थिति में, सेट Q कई राज्यों का प्रतिनिधित्व करता है। हम वर्णमाला में अक्षरों की संख्या के कारण एक में कुछ लिखते हैं:

• शुरू, राज्य 1 या दूसरे के साथ एक चरित्र के प्रतिस्थापन,
• राज्य 2 या एक के साथ कई वर्णों को प्रतिस्थापित करना,
• राज्य 3 या एक वर्ण को कई के साथ बदलना,
• राज्य 4 या एक चरित्र समूह को दूसरे वर्ण समूह के साथ बदलना, समाप्त करना।

याद रखें कि हमने लेख की शुरुआत में कितने अनुवाद नियम परिभाषित किए थे? :) quote के रूप में, लैटिन वर्णमाला और एक एकल उद्धरण का उपयोग एक नरम संकेत को दर्शाने के लिए किया जाता है, और सेट Γ में लक्ष्य वर्णमाला - सिरिलिक वर्णमाला शामिल है। प्रारंभिक और अंतिम राज्यों में से कई वर्णमाला वर्णों या वर्णमाला वर्णों के संयोजन से मिलकर बनते हैं, क्योंकि यह तब हो सकता है जब अक्षर एच, डब्ल्यू, यू, वाई, वाई को एन्कोडिंग करते हैं।

कुछ समय के लिए, ट्रांसड्यूसर का उपयोग एनएलपी की कुछ समस्याओं में किया गया, जिसमें शब्दों का रूपात्मक विश्लेषण भी शामिल है:


अनुवादक के लिए एक सरल ट्रांसड्यूसर का एक और उदाहरण यहां दिया गया है। बाद की योजना लिप्यंतरण डिजाइन के लिए सबसे उपयुक्त है। एक अंतर: प्रत्येक राज्य q में, हम एक शब्द नहीं, बल्कि उसके प्रतीक को संसाधित कर रहे हैं।


ट्रांसड्यूसर पर अधिक

खैर, हम एक ऐसे अनुवादक को बनाने की कोशिश करेंगे कि यह विभिन्न GOSTs से इनपुट डेटा का विश्लेषण कर सके और विभिन्न वर्तनी को एक एकल सिरिलिक वर्णमाला में बदल सके। दूसरे शब्दों में, हम ट्रांसड्यूसर ट्रांजिशन लॉजिक डिजाइन करेंगे।

लिप्यंतरण के लिए बुनियादी दृष्टिकोण

अनुवादक के निर्माण के लिए कई दृष्टिकोण हैं, जिनमें से दो एमएल और नियम-आधारित हैं।

एमएल - किसी भी संभाव्य seq-to-seq मॉडल (एक आधार के रूप में मार्कोव)। यह विटर्बी सिद्धांत पर आधारित है, जब हम एक साथ लैटिन शब्द सेगमेंट करते हैं और अव्यक्त राज्यों या सिरिलिक संयोजनों के सबसे अधिक संभावित अनुक्रम की तलाश करते हैं।

राज्य सिरिलिक संयोजनों की एक सीमित संख्या हैं। अवलोकन या इनपुट अनुक्रम - लैटिन संयोजन, संक्रमण - लैटिन संयोजन और सिरिलिक के बीच, उत्सर्जन (एक नए राज्य में संक्रमण के बाद अवलोकन की संभावनाएं) - कुछ सिरिलिक संयोजन में लैटिन संयोजन की संभावना।

इसके अलावा, लिप्यंतरण के एमएल मॉडल को मशीन अनुवाद समस्या के रूप में परिभाषित किया जा सकता है। इसलिए, उदाहरण के लिए, आप किसी भाषा में शब्दों को लिखने के लिए एक मॉडल को प्रशिक्षित कर सकते हैं। पहले आपको अक्षरों को ध्वनियों के पत्राचार की एक तालिका को संकलित करने की आवश्यकता है, और फिर ध्वनियों में अक्षरों के अनुवाद की संभावना के उदाहरणों पर प्रशिक्षित करें।

अब हम एमएल-मॉडल पर विचार नहीं करेंगे, क्योंकि हाथ में लिप्यंतरण विकल्प के साथ कोई प्रतिनिधि डेटासेट नहीं है। डेटा संग्रह एक अलग कार्य है। आइए लिप्यंतरण पर वापस जाएं और नियम-आधारित दृष्टिकोण पर ध्यान केंद्रित करें। ऐसा करने के लिए, हमें एक शब्दकोश (किसी भी भाषाविद् के लिए लाइफसेवर), पत्र संगतता तालिका और वाक्यांश अनुवाद के लिए एक तालिका की आवश्यकता है।

यह कैसे काम करता है?

सरलतम लिप्यंतरण प्रक्रिया में तीन चरण होते हैं:

• हम अनुक्रम का पालन करते हैं, जिसका रूसी में अनुवाद किया जाना चाहिए।
• हम ध्वनियों के लिप्यंतरण की तालिका में ध्वनियों के संयोजन की तलाश कर रहे हैं।
• यदि फोनमेस पाए जाते हैं, तो हम वर्तमान संयोजन का अनुवाद करते हैं और नियमित अभिव्यक्ति का उपयोग करते हुए अक्षरों की असंगति को ठीक करते हैं।

बाद में रूसी चरित्रों में अस्पष्ट व्याख्या हो सकती है। यह वह जगह है जहां नियमों के लिए शाखाएं शुरू होती हैं। तीसरे चरण के मुख्य नुकसान:

1. ध्वनि अनुवाद सीएच। किसी शब्द की शुरुआत में, यह Ch, X और K हो सकता है। एक शब्द के अंत में, दो विकल्प भी होते हैं: Ch, X. वर्तमान कार्यान्वयन में उपयोग किया जाने वाला सबसे सरल अनुमानक ध्वनि CH से पहले I / S ध्वनि-मेल की उपस्थिति है। आप पूछ सकते हैं, हमें क्यों यकीन है कि ओ से पहले सीएचआर को एक्सपी में बदलना संभव है, और इससे पहले और केआर के लिए? यह रूसी भाषा के वर्तमान शब्दकोशों में चेक गणराज्य के साथ शुरू होने वाले शब्दों को खोजने के बारे में है। आज तक, किसी ने चेरो / सीआरआई की शुरुआत के साथ रूसी शब्द नहीं पाया है।

2. पृथक्करण ठोस संकेत को पहचानना सीखना। इस मामले में, हम एक नियमित अभिव्यक्ति में संभावित उपसर्गों को इकट्ठा करते हैं, अगले चरित्र की जांच करते हैं, जो लिप्यंतरण में एक iotated स्वर होना चाहिए (EYUYA)। यदि सब ठीक है, तो हम स्वर के सामने एक ठोस संकेत देते हैं। "हॅक्स" शब्द के साथ गलत विश्लेषण भी हैं, जो वास्तव में "हॅक्स" के रूप में विघटित होना चाहिए।

3. जहां हम आईओटेड ध्वनियों को ई / ई / वाई / वाई में अनुवाद करते हैं, और जहां - हम स्वर के एक जोड़े के रूप में छोड़ते हैं। हम जानते हैं कि iotated स्वर एक विभाजित ठोस संकेत के बाद उपसर्गों के बाद जाते हैं, पिछले चरण में हमने अंतिम को मान्यता दी थी। तो, हमारा वर्तमान पत्र एक ही स्वर है। हमें एक शब्द के आरंभ में एक आयतित स्वर भी मिलता है। बेशक, यहाँ यह गलत विश्लेषण के बिना नहीं किया जा सकता है: JONA के बजाय IONY → JONES। लेकिन इस तरह के विश्लेषण को कम किया जा सकता है। हम फिर से शब्दकोश का उपयोग करते हैं, जिसमें हम देखते हैं कि IO से शुरू होने वाले शब्द में, TAD आमतौर पर अनुसरण करते हैं। इस अवलोकन को हमारे नियमों में जोड़ें।

4. कहां IS, और कहां OH? यहां, एक साधारण हेयुरिस्टिक भी लागू किया जाता है, जहां वर्णों के वांछित अनुक्रम से पहले एक व्यंजन ध्वनि की जांच की जाती है। यदि यह GDZHKTSCHShSCH है, तो हमें अंतिम OI मिलता है, अन्यथा हम अनुवाद तालिका से संयोजन ओए लेते हैं।

इस मॉडल को कैसे बेहतर बनाया जाए

• विचार करें कि शब्दों में नरम संकेत कैसे पहचाना जाए।
• कुछ वास्तविक वर्तनी इलेक्ट्रॉनिक डिक्शनरी को कनेक्ट करें, जिस पर उत्तराधिकार आधारित हैं। यह हमारे नियमों की प्रासंगिकता पर नज़र रखने में मदद करेगा और संभवत: इस तरह की अवधारणा को "नियम भार" के रूप में पेश करेगा। इसलिए हम धीरे-धीरे एमएल मॉडल की ओर बढ़ेंगे।
• वर्तनी जाँचक के संदर्भ में उपयोग करें। बेशक, यह अब लिप्यंतरण का काम नहीं है, लेकिन वर्तनी अधिक सार्थक परिणाम प्राप्त करने में मदद करेगी :)

स्व-अध्ययन लिप्यंतरण विवरण

मुझे टिप्पणियों में सवालों के जवाब देने और अनुवादक सुधार के बारे में सोचने में खुशी होगी :)