YouTokenToMe: VKontakte टीम से पाठ के त्वरित टोकन के लिए एक उपकरण

हम टेक्स्ट टोकेनाइजेशन के लिए अपना नया टूल शुरू करना चाहते हैं - YouTokenToMe। यह यूरोपीय की संरचना के समान भाषाओं में अन्य लोकप्रिय संस्करणों की तुलना में 7-10 गुना तेजी से काम करता है, और 40-50 बार - एशियाई भाषाओं में। हम YouTokenToMe के बारे में बात करते हैं और इसे GitHub पर खुले स्रोत में आपके साथ साझा करते हैं। लेख के अंत में लिंक!



आज, तंत्रिका नेटवर्क एल्गोरिदम के लिए कार्यों का एक महत्वपूर्ण अनुपात वर्ड प्रोसेसिंग है। लेकिन, चूंकि तंत्रिका नेटवर्क संख्याओं के साथ काम करते हैं, पाठ को मॉडल में स्थानांतरित करने से पहले परिवर्तित करने की आवश्यकता होती है।

हम उन लोकप्रिय समाधानों को सूचीबद्ध करते हैं जो आमतौर पर इसके लिए उपयोग किए जाते हैं:

• अंतरिक्ष विराम
• नियम-आधारित एल्गोरिदम: स्पासी, एनएलटीके;
• उपजी, नींबू पानी।

उनमें से प्रत्येक के अपने नुकसान हैं:

• आप टोकन शब्दकोश के आकार को नियंत्रित नहीं कर सकते। मॉडल में एम्बेडिंग परत का आकार सीधे इस पर निर्भर करता है;
• प्रत्ययों या उपसर्गों से भिन्न होने वाले शब्दों की रिश्तेदारी पर जानकारी का उपयोग नहीं किया जाता है, उदाहरण के लिए: विनम्र - impolite;
• भाषा पर निर्भर है।

हाल ही में, बाइट जोड़ी एन्कोडिंग दृष्टिकोण लोकप्रिय रहा है। प्रारंभ में, यह एल्गोरिथ्म पाठ संपीड़न के लिए था, लेकिन कई साल पहले इसका उपयोग मशीन अनुवाद में पाठ को टोकन करने के लिए किया गया था। अब इसका उपयोग कई प्रकार के कार्यों के लिए किया जाता है, जिनमें BERT और GPT-2 मॉडल शामिल हैं।

सबसे प्रभावी बीपीई कार्यान्वयन, Google एआई द्वारा विकसित और फेसबुक एआई रिसर्च द्वारा निर्मित FastBPE , सेंटेंसपैन थे । लेकिन हम यह साबित करने में कामयाब रहे कि टोकन से काफी तेजी आ सकती है। हमने बीपीई एल्गोरिदम को अनुकूलित किया और स्रोत कोड प्रकाशित किया, और पाइप रिपॉजिटरी में तैयार पैकेज भी पोस्ट किया।

नीचे आप हमारे एल्गोरिथ्म और अन्य संस्करणों की गति को मापने के परिणामों की तुलना कर सकते हैं। एक उदाहरण के रूप में, हमने पहले 100 एमबी विकिपीडिया डेटा कॉर्पस को रूसी, अंग्रेजी, जापानी और चीनी में लिया।





रेखांकन दिखाते हैं कि ऑपरेटिंग समय भाषा पर काफी निर्भर करता है। ऐसा इसलिए है क्योंकि एशियाई भाषाओं में अधिक अक्षर हैं, और शब्द रिक्त स्थान से अलग नहीं होते हैं। YouTokenToMe यूरोपीय की संरचना के समान भाषाओं में 7-10 गुना तेजी से और एशियाई में 40-50 बार काम करता है। टोकनाइज़ेशन को कम से कम दो बार त्वरित किया गया था, और कुछ परीक्षणों में दस बार से अधिक।

हमने दो प्रमुख विचारों के लिए ये परिणाम प्राप्त किए:

• नए एल्गोरिथ्म में प्रशिक्षण के लिए मामले के आकार के आधार पर एक रेखीय रनटाइम है। सेंटेंसपाय और फास्टबीपीई में कम प्रभावी स्पर्शोन्मुख व्यवहार है;
• नई एल्गोरिथ्म प्रभावी रूप से सीखने की प्रक्रिया और टोकन प्रक्रिया दोनों में कई धाराओं का उपयोग कर सकता है - यह आपको कई बार त्वरण प्राप्त करने की अनुमति देता है।

आप कमांड लाइन से और सीधे पायथन से काम करने के लिए इंटरफ़ेस के माध्यम से YouTokenToMe का उपयोग कर सकते हैं।

आप भंडार में अधिक जानकारी पा सकते हैं: github.com/vkcom/YouTokenToMe