ज्ञान हस्तांतरण और व्यवहार में तंत्रिका मशीन अनुवाद

न्यूरल मशीन ट्रांसलेशन (NMT) बहुत तेजी से विकसित हो रहा है। आज, अपने अनुवादक को इकट्ठा करने के लिए, आपको दो उच्च शिक्षाओं की आवश्यकता नहीं है। लेकिन मॉडल को प्रशिक्षित करने के लिए, आपको एक बड़े समानांतर कॉर्पस (एक कॉर्पस जिसमें स्रोत भाषा में अनुवाद वाक्य के साथ जुड़ा हुआ है) की आवश्यकता है। व्यवहार में, हम कम से कम दस लाख जोड़े वाक्यों के बारे में बात कर रहे हैं। आईएमएफ का एक अलग क्षेत्र भी है जो इलेक्ट्रॉनिक रूप (अंग्रेजी कम संसाधन बीएमडब्ल्यू) में डेटा की एक छोटी राशि के साथ भाषा जोड़े को पढ़ाने के तरीकों की पड़ताल करता है।

हम चुवाश-रूसी कोर एकत्र कर रहे हैं और साथ ही हम देख रहे हैं कि उपलब्ध डेटा वॉल्यूम के साथ क्या किया जा सकता है। इस उदाहरण में, 90,000 जोड़े वाक्यों का मामला इस्तेमाल किया गया था। इस समय सबसे अच्छा परिणाम ज्ञान हस्तांतरण (Eng। Transfer Learning) की विधि द्वारा दिया गया था, और इस पर लेख में चर्चा की जाएगी। लेख का उद्देश्य कार्यान्वयन का एक व्यावहारिक उदाहरण देना है जिसे आसानी से पुन: प्रस्तुत किया जा सकता है।

प्रशिक्षण योजना इस प्रकार है। हमें एक बड़ी (मूल) इमारत लेने की जरूरत है, उस पर एक तंत्रिका मॉडल को प्रशिक्षित करें और फिर हमारी बेटी मॉडल को प्रशिक्षित करें। इसके अलावा, अनुवाद की लक्षित भाषा समान होगी: रूसी। सहज रूप से, इसकी तुलना दूसरी भाषा सीखने से की जा सकती है। एक विदेशी भाषा को सीखना आसान है। यह एक विदेशी भाषा के संकीर्ण क्षेत्र का अध्ययन करने के लिए भी दिखता है, उदाहरण के लिए, अंग्रेजी भाषा की चिकित्सा शब्दावली: पहले आपको सामान्य रूप से अंग्रेजी सीखने की आवश्यकता है।

पैतृक वाहिनी के रूप में, हमने अंग्रेजी-रूसी समानांतर कोर से 1 मिलियन जोड़े और कजाख-रूसी कोर से 1 मिलियन जोड़े लेने की कोशिश की। कजाख डेटा में 5 मिलियन वाक्य हैं। इनमें से केवल 2 से अधिक के अनुपालन गुणांक (तीसरा स्तंभ) वाले लोगों को लिया गया था। कज़ाख संस्करण ने थोड़ा बेहतर परिणाम दिया। यह सहज रूप से लगता है कि यह समझ में आता है, क्योंकि चुवाश और कज़ाख भाषा एक दूसरे के समान हैं। लेकिन वास्तव में, यह साबित नहीं होता है, और मामले की गुणवत्ता पर भी निर्भर करता है। माता-पिता के शरीर के चयन के बारे में अधिक विवरण इस लेख में पाया जा सकता है। 90,000 जोड़े प्रस्तावों की सहायक वाहिनी के बारे में, आप यहां नमूना डेटा का पता लगा सकते हैं और उसका अनुरोध कर सकते हैं।

अब कोड के लिए। यदि आपके पास अपना तेज़ ग्राफिक्स कार्ड नहीं है, तो आप कोलाब साइट पर मॉडल को प्रशिक्षित कर सकते हैं। प्रशिक्षण के लिए, हमने सॉकी लाइब्रेरी का उपयोग किया। यह माना जाता है कि पायथन 3 पहले से ही स्थापित है।

pip install sockeye 

आपको एमएक्सनेट के साथ अलग से टिंकर करना पड़ सकता है, जो वीडियो कार्ड के साथ काम करने के लिए जिम्मेदार है। कोलाब को अतिरिक्त पुस्तकालय स्थापना की आवश्यकता है

 pip install mxnet-cu100mkl 

तंत्रिका नेटवर्क के बारे में, यह आमतौर पर स्वीकार किया जाता है कि यह उनके लिए डेटा को फीड करने के लिए पर्याप्त है, और वे इसका पता लगाएंगे। लेकिन वास्तव में हमेशा ऐसा नहीं होता है। तो हमारे मामले में, शरीर को पूर्व-संसाधित करने की आवश्यकता है। सबसे पहले, हम इसे टोकन देते हैं ताकि यह समझना आसान हो कि मॉडल "बिल्ली!" और "बिल्ली" एक ही चीज के बारे में हैं। उदाहरण के लिए, सिर्फ एक पायथन टोकेनाइज़र करेगा।

 from nltk.tokenize import WordPunctTokenizer def tokenize(src_filename, new_filename): with open(src_filename, encoding="utf-8") as src_file: with open(new_filename, "w", encoding="utf-8") as new_file: for line in src_file: new_file.write("%s" % ' '.join(WordPunctTokenizer().tokenize(line))) new_file.write("\n") 

परिणामस्वरूप, हम प्रपत्र के वाक्यों के जोड़े को खिलाते हैं

   ӗ  ҫ ӳ ӑӑ. ӑ ӑ ӑ ӑӗ, ӑ ӑӑӗ,   ӑ  ӗӗ -ӑ ӗӗҫ,  ҫӗ ӗ ӗҫ ӑӑ ӑӑ, ҫ ӗ ӗ   ӑ ӑ ӑӑ ӑ . 

और

      .  , ,       , ,    ,        . 

आउटपुट निम्नलिखित टोकन प्रदान करता है:

   ӗ  ҫ ӳ ӑӑ . ӑ ӑ ӑ ӑӗ , ӑ ӑӑӗ ,   ӑ  ӗӗ  - ӑ ӗӗҫ ,  ҫӗ ӗ ӗҫ ӑӑ ӑӑ , ҫ ӗ ӗ   ӑ ӑ ӑӑ ӑ  . 

और रूसी में

       .   ,  ,        ,  ,     ,         . 

हमारे मामले में, हमें माता-पिता और बच्चे के मामलों के संयुक्त शब्दकोशों की आवश्यकता होगी, इसलिए हम आम फाइलें बनाएंगे:

 cp kk.parent.train.tok kkchv.all.train.tok cat chv.child.train.tok >> kk.parent.train.tok cp ru.parent.train.tok ru.all.train.tok cat ru.child.train.tok >> ru.all.train.tok 

चूंकि बाल मॉडल का आगे का प्रशिक्षण उसी शब्दकोश पर होता है।

अब एक छोटा लेकिन महत्वपूर्ण विषयांतर। एमपी में, वाक्य को शब्दों के रूप में परमाणुओं में विभाजित किया जाता है और फिर शब्दों के अनुक्रम के रूप में वाक्यों पर काम किया जाता है। लेकिन यह आमतौर पर पर्याप्त नहीं होता है, क्योंकि एक बार कोष में होने वाले शब्दों से एक बड़ी पूंछ बनती है। उनके लिए एक संभाव्य मॉडल का निर्माण मुश्किल है। यह विशेष रूप से विकसित आकृति विज्ञान (केस, लिंग, संख्या) वाली भाषाओं के लिए सच है। रूसी और चुवाश दोनों ही ऐसी भाषाएँ हैं। लेकिन एक उपाय है। आप वाक्य को निचले स्तर में तोड़ सकते हैं, सब-पासवर्ड में। हमने बाइट जोड़ी एन्कोडिंग का उपयोग किया ।

 git clone https://github.com/rsennrich/subword-nmt.git 

हमें लगभग ऐसे ही सब-पासवर्ड्स मिलते हैं

 @@   ӗ  ҫ ӳ@@  ӑӑ . @@ ӑ ӑ ӑ @@ ӑӗ , ӑ ӑӑ@@ ӗ ,   ӑ@@  @@  ӗӗ  - ӑ@@  ӗ@@ ӗҫ ,  ҫӗ@@  ӗ ӗҫ@@ @@  ӑӑ ӑӑ , ҫ@@ @@ @@  ӗ ӗ @@ @@  @@  ӑ ӑ ӑӑ ӑ  . 

और

 @@    @@  @@   . @@  @@ @@ @@ @@  , @@  , @@ @@  @@    @@  @@ @@  @@ @@ @@ @@  ,  ,  @@  @@ @@ @@  @@ @@ @@  ,       @@ @@  @@ @@ @@  . 

यह देखा जा सकता है कि एफिक्स शब्द से अच्छी तरह से अलग हैं: लंबे समय तक @@ नहीं और अच्छा @@।
ऐसा करने के लिए, bpe शब्दकोशों को तैयार करें

 python subword-nmt/subword_nmt/learn_joint_bpe_and_vocab.py --input kkchv.all.train.tok ru.all.train.tok -s 10000 -o bpe.codes --write-vocabulary bpe.vocab.kkchv bpe.vocab.ru 

और उन्हें टोकनों पर लागू करें, उदाहरण के लिए:

 python subword-nmt/subword_nmt/apply_bpe.py -c bpe.codes --vocabulary bpe.vocab.kkchv --vocabulary-threshold 50 < kkchv.all.train.tok > kkchv.all.train.bpe !python subword-nmt/subword_nmt/apply_bpe.py -c bpe.codes --vocabulary bpe.vocab.ru --vocabulary-threshold 50 < ru.all.train.tok > ru.all.train.bpe 

सादृश्य से, आपको सभी फ़ाइलों के लिए करने की आवश्यकता है: प्रशिक्षण, सत्यापन और परीक्षण माता-पिता और बच्चे के मॉडल।

अब हम सीधे तंत्रिका मॉडल के प्रशिक्षण की ओर मुड़ते हैं। पहले आपको सामान्य मॉडल शब्दकोश तैयार करने की आवश्यकता है:

 python -m sockeye.prepare_data -s kk.all.train.bpe -t ru.all.train.bpe -o kkru_all_data 

इसके बाद, मूल मॉडल को प्रशिक्षित करें। एक साधारण उदाहरण सॉकी पृष्ठ पर अधिक विस्तार से वर्णित है। तकनीकी रूप से, प्रक्रिया में दो चरण होते हैं: पहले से तैयार किए गए मॉडल शब्दकोशों का उपयोग करके डेटा तैयार करना

 python -m sockeye.prepare_data -s kk.parent.train.bpe -t ru.parent.train.bpe -o kkru_parent_data --source-vocab kkru_all_data/vocab.src.0.json --target-vocab kkru_all_data/vocab.trg.0.json 

और स्वयं सीखने

 python -m sockeye.train -d kkru_parent_data -vs kk.parent.dev.bpe -vt ru.parent.dev.bpe --encoder transformer --decoder transformer --transformer-model-size 512 --transformer-feed-forward-num-hidden 256 --transformer-dropout-prepost 0.1 --num-embed 512 --max-seq-len 100 --decode-and-evaluate 500 -o kkru_parent_model --num-layers 6 --disable-device-locking --batch-size 1024 --optimized-metric bleu --max-num-checkpoint-not-improved 10 

कोलाब सुविधाओं पर प्रशिक्षण में लगभग एक दिन लगता है। जब मॉडल का प्रशिक्षण पूरा हो जाता है, तो आप इसे इसके साथ अनुवाद कर सकते हैं

 python -m sockeye.translate --input kk.parent.test.bpe -m kkru_parent_model --output ru.parent.test_kkru_parent.bpe 

बच्चे के मॉडल को प्रशिक्षित करने के लिए

 python -m sockeye.prepare_data -s chv.child.train.bpe -t ru.child.train.bpe -o chvru_child_data --source-vocab kkru_all_data/vocab.src.0.json --target-vocab kkru_all_data/vocab.trg.0.json 

प्रशिक्षण प्रारंभ कोड इस तरह दिखता है

 python -m sockeye.train -d chvru_child_data -vs chv.child.dev.bpe -vt ru.child.dev.bpe --encoder transformer --decoder transformer --transformer-model-size 512 --transformer-feed-forward-num-hidden 256 --transformer-dropout-prepost 0.1 --num-embed 512 --max-seq-len 100 --decode-and-evaluate 500 -o ruchv_150K_skv_dev19_model --num-layers 6 --disable-device-locking --batch-size 1024 --optimized-metric bleu --max-num-checkpoint-not-improved 10 --config kkru_parent_model/args.yaml --params kkru_parent_model/params.best 

पैरामीटर जोड़े जाते हैं जो इंगित करते हैं कि मूल मॉडल के कॉन्फ़िगरेशन और वजन को शुरुआती बिंदु के रूप में उपयोग किया जाना चाहिए। उदाहरण में सॉकी से मुकरने के साथ विवरण। एक बाल मॉडल सीखना लगभग 12 घंटे में परिवर्तित हो जाता है।

संक्षेप में, परिणामों की तुलना करें। सामान्य मशीन अनुवाद मॉडल में 24.96 BLEU गुणवत्ता थी, जबकि ज्ञान हस्तांतरण मॉडल 32.38 BLEU था। अनुवाद के उदाहरणों पर भी अंतर दृष्टिगोचर होता है। इसलिए, जबकि हम मामले को इकट्ठा करना जारी रखते हैं, हम इस मॉडल का उपयोग करेंगे।