हम संदेशों की भाषा को सरल और सटीक रूप से परिभाषित करते हैं

YouScan में , हम एक दिन में लगभग 100 मिलियन संदेशों को संसाधित करते हैं, जिस पर कई नियम और विभिन्न स्मार्ट फ़ंक्शन लागू होते हैं। उनके सही काम के लिए, भाषा को सही ढंग से निर्धारित करना आवश्यक है, क्योंकि भाषा के संबंध में सभी कार्यों को अज्ञेय नहीं बनाया जा सकता है। इस लेख में, हम इस समस्या के बारे में हमारे अध्ययन के बारे में संक्षेप में बात करेंगे और एक सामाजिक नेटवर्क डेटासेट पर एक गुणवत्ता मूल्यांकन दिखाएंगे। नेटवर्क।

लेख की रूपरेखा

1. भाषा की परिभाषा समस्याएँ
2. सस्ती सार्वजनिक समाधान
   
   • कॉम्पैक्ट भाषा डिटेक्टर 2
   • FastText
3. गुणवत्ता का आकलन
4. निष्कर्ष

1. भाषा की परिभाषा की समस्याएं

भाषा की परिभाषा एक पुरानी समस्या है और कई लोग इसे अपने उत्पादों की बहुभाषावाद के दायरे में हल करने का प्रयास करते हैं। पुराने दृष्टिकोण एन-ग्राम पर आधारित समाधान का उपयोग करते हैं, जब एक निश्चित एन-ग्राम की घटनाओं की संख्या पर विचार किया जाता है और इसके आधार पर, प्रत्येक भाषा के लिए "गति" की गणना की जाती है, जिसके बाद हमारे मॉडल के अनुसार सबसे अधिक संभावना वाली भाषा का चयन किया जाता है। इन मॉडलों का मुख्य दोष यह है कि संदर्भ को बिल्कुल ध्यान में नहीं रखा जाता है, इसलिए, समान भाषा समूहों के लिए भाषा की परिभाषा मुश्किल है। लेकिन मॉडलों की सादगी के कारण, हम एक उच्च निर्धारण गति के साथ समाप्त होते हैं, जो अत्यधिक भरी हुई प्रणालियों के लिए संसाधनों को बचाता है। एक और विकल्प, अधिक आधुनिक एक, आवर्तक तंत्रिका नेटवर्क पर एक समाधान है। यह समाधान न केवल एन-ग्राम पर आधारित है, बल्कि संदर्भ को भी ध्यान में रखता है, जिससे काम की गुणवत्ता में वृद्धि होनी चाहिए।

अपने स्वयं के समाधान बनाने की जटिलता प्रशिक्षण और सीखने की प्रक्रिया के लिए डेटा एकत्र करने में टिकी हुई है। सबसे स्पष्ट समाधान विकिपीडिया लेखों पर मॉडल को प्रशिक्षित करना है, क्योंकि हम सुनिश्चित करने के लिए भाषा जानते हैं और बहुत उच्च गुणवत्ता वाले सत्यापित पाठ हैं जो संकलन के लिए अपेक्षाकृत आसान हैं। और अपने मॉडल को प्रशिक्षित करने के लिए, आपको डेटासेट को इकट्ठा करने, उसे संसाधित करने और फिर सर्वश्रेष्ठ वास्तुकला चुनने के लिए बहुत समय बिताने की आवश्यकता है। सबसे अधिक संभावना है कि किसी ने हमसे पहले ही ऐसा किया है। अगले ब्लॉक में, हम मौजूदा समाधानों को देखते हैं।

2. उपलब्ध सार्वजनिक समाधान

कॉम्पैक्ट भाषा डिटेक्टर 2

CLD2 एक मशीन लर्निंग बेस्ड प्रोबेबिलिस्टिक मॉडल (Naive Baessian classifier) ​​है जो UTF-8 या html / xml प्रारूप में पाठ के लिए 83 विभिन्न भाषाओं को परिभाषित कर सकता है। मिश्रित भाषाओं के लिए, मॉडल शीर्ष 3 भाषाओं को लौटाता है, जहां संभावना की गणना बाइट्स की कुल संख्या के पाठ के अनुमानित प्रतिशत के रूप में की जाती है। यदि मॉडल इसके उत्तर के बारे में सुनिश्चित नहीं है, तो "अनचाहा" टैग लौटाता है।

इस मॉडल की सटीकता और पूर्णता काफी अच्छे स्तर पर है, लेकिन मुख्य लाभ गति है। रचनाकार 1ms में 30kb के बारे में दावा करते हैं, पायथन रैपर के हमारे परीक्षणों पर हमें 1ms में 21 से 26kb (70,000-85,000 संदेश प्रति सेकंड) प्राप्त हुए, जिसका औसत आकार 0.8kb और मंझला 0.3kb है।

इस घोल का उपयोग करना बहुत आसान है। पहले आपको इसके अजगर रैपर को स्थापित करने या हमारे डॉकटर का उपयोग करने की आवश्यकता है।

एक पूर्वानुमान बनाने के लिए, बस pycld2 लाइब्रेरी आयात करें और कोड की एक अतिरिक्त पंक्ति लिखें:

 import pycld2 as cld2 cld2.detect("Bonjour, Habr!") # (True, # 14, # (('FRENCH', 'fr', 92, 1102.0), # ('Unknown', 'un', 0, 0.0), # ('Unknown', 'un', 0, 0.0))) 

डिटेक्टर प्रतिक्रिया एक तीन-तत्व टपल है:

• भाषा परिभाषित है या नहीं;
• पात्रों की संख्या;
• तीन सबसे अधिक संभावित भाषाओं में से, जहां पूरा नाम पहले आता है,
  दूसरा आईएसओ 3166 कोड के अनुसार संक्षिप्त नाम है, तीसरा इस भाषा से संबंधित वर्णों का प्रतिशत है, और चौथा बाइट्स की संख्या है।

FastText

FastText , ग्रंथों के प्रभावी अध्ययन और वर्गीकरण के लिए फेसबुक द्वारा लिखी गई एक लाइब्रेरी है। इस परियोजना के ढांचे के भीतर, फेसबुक रिसर्च ने 157 भाषाओं के लिए एम्बेडिंग प्रस्तुत किया जो विभिन्न कार्यों के लिए अत्याधुनिक परिणाम दिखाते हैं, साथ ही साथ भाषा और अन्य पर्यवेक्षी कार्यों को निर्धारित करने के लिए एक मॉडल है।

लैंग्वेज डेफिनेशन मॉडल के लिए, उन्होंने विकिपीडिया, ततोइबा और सेटाइम्स के डेटा का उपयोग किया और एक क्लासिफायर के रूप में, उन्होंने अपने फास्टटेक्स समाधान का उपयोग किया।

फेसबुक अनुसंधान के डेवलपर्स दो मॉडल प्रदान करते हैं:

• ढक्कन। १६ lid.बीन , जो दूसरे मॉडल की तुलना में थोड़ा तेज़ और अधिक सटीक है, लेकिन इसका वजन १२. एमबी है ;
• lid.176.ftz - मूल मॉडल का एक संपीड़ित संस्करण।

अजगर में इन मॉडलों का उपयोग करने के लिए, आपको सबसे पहले फास्टटैक्स के लिए अजगर आवरण को स्थापित करने की आवश्यकता है। इसे स्थापित करना मुश्किल हो सकता है, इसलिए आपको गीथूब पर निर्देशों का सावधानीपूर्वक पालन करने या हमारे डॉकटर का उपयोग करने की आवश्यकता है । ऊपर दिए गए लिंक से मॉडल को डाउनलोड करना भी आवश्यक है। हम इस लेख में मूल संस्करण का उपयोग करेंगे।

फेसबुक से एक मॉडल का उपयोग करते हुए एक भाषा का वर्गीकरण थोड़ा अधिक जटिल है, इसके लिए हमें कोड की तीन पंक्तियों की आवश्यकता है:

 from pyfasttext import FastText model = FastText('../model/lid.176.bin') model.predict_proba(["Bonjour, Habr!"], 3) #[[('fr', 0.7602248429835308), # ('en', 0.05550386696556002), # ('ca', 0.04721488914800802)]] 

FastText'a मॉडल एन-भाषाओं के लिए संभावना की भविष्यवाणी करने की अनुमति देता है, जहां डिफ़ॉल्ट रूप से n = 1 है, लेकिन इस उदाहरण में हमने शीर्ष 3 भाषाओं के लिए परिणाम घटा दिया है। इस मॉडल के लिए, यह पहले से ही पाठ के लिए भाषा की भविष्यवाणी की सामान्य संभावना है, न कि उन पात्रों की संख्या जो एक विशेष भाषा से संबंधित हैं, जैसा कि cld2 मॉडल में मामला था। गति भी काफी अधिक है - प्रति सेकंड 60,000 से अधिक संदेश।

3. गुणवत्ता का आकलन

हम YouScan प्रणाली (लगभग 500 हजार संदर्भ) से लिए गए यादृच्छिक समय के लिए सामाजिक नेटवर्क के डेटा का उपयोग करके एल्गोरिदम की गुणवत्ता का मूल्यांकन करेंगे, इसलिए, नमूना में क्रमशः अधिक रूसी और अंग्रेजी भाषाएं, 43% और 32%, यूक्रेनी, स्पेनिश और पुर्तगाली होंगे - लगभग ... प्रत्येक का 2%, शेष भाषाओं में 1% से कम है। सही लक्ष्य के लिए, हम Google अनुवाद के माध्यम से मार्कअप लेंगे, क्योंकि इस समय Google न केवल अनुवाद का प्रबंधन करने में बहुत अच्छा है, बल्कि ग्रंथों की भाषा की परिभाषा भी है। बेशक, इसका मार्कअप आदर्श नहीं है, लेकिन ज्यादातर मामलों में इस पर भरोसा किया जा सकता है।

भाषा की परिभाषाओं की गुणवत्ता का आकलन करने के लिए मैट्रिक्स सटीकता, पूर्णता और एफ 1 होगा। चलो उन्हें गिनते हैं और तालिका में प्रदर्शित करते हैं:

 with open("../data/lang_data.txt", "r") as f: text_l, cld2_l, ft_l, g_l = [], [], [], [] s = '' for i in f: s += i if ' |end\n' in s: text, cld2, ft, g = s.strip().rsplit(" ||| ", 3) text_l.append(text) cld2_l.append(cld2) ft_l.append(ft) g_l.append(g.replace(" |end", "")) s='' data = pd.DataFrame({"text": text_l, "cld2": cld2_l, "ft": ft_l, "google": g_l}) def lang_summary(lang, col): prec = (data.loc[data[col] == lang, "google"] == data.loc[data[col] == lang, col]).mean() rec = (data.loc[data["google"] == lang, "google"] == data.loc[data["google"] == lang, col]).mean() return round(prec, 3), round(rec, 3), round(2*prec*rec / (prec + rec),3) results = {} for approach in ["cld2", "ft"]: results[approach] = {} for l in data["google"].value_counts().index[:20]: results[approach][l] = lang_summary(l, approach) res = pd.DataFrame.from_dict(results) res["cld2_prec"], res["cld2_rec"], res["cld2_f1"] = res["cld2"].apply(lambda x: [x[0], x[1], x[2]]).str res["ft_prec"], res["ft_rec"], res["ft_f1"] = res["ft"].apply(lambda x: [x[0], x[1], x[2]]).str res.drop(columns=["cld2", "ft"], inplace=True) arrays = [['cld2', 'cld2', 'cld2', 'ft', 'ft', 'ft'], ['precision', 'recall', 'f1_score', 'precision', 'recall', 'f1_score']] tuples = list(zip(*arrays)) res.columns = pd.MultiIndex.from_tuples(tuples, names=["approach", "metrics"]) 

परिणाम स्पष्ट रूप से दिखाते हैं कि भाषा को निर्धारित करने में cld2 दृष्टिकोण में बहुत अधिक सटीकता है, केवल अलोकप्रिय भाषाओं के लिए यह 90% से नीचे आता है, और 90% मामलों में परिणाम फास्टटेक्स से बेहतर होता है। दो दृष्टिकोणों के लिए लगभग समान पूर्णता के साथ, f1 cld2 पर तेज है।
Cld2 मॉडल की ख़ासियत यह है कि यह केवल उन संदेशों के लिए एक पूर्वानुमान देता है जहां यह पर्याप्त आत्मविश्वास है, यह उच्च सटीकता की व्याख्या करता है। Fasttext'a मॉडल अधिकांश संदेशों के लिए एक उत्तर देता है, इसलिए सटीकता काफी कम है, लेकिन यह अजीब है कि पूर्णता काफी अधिक नहीं है, और आधे मामलों में कम है। लेकिन अगर आप फास्टटेक्स मॉडल के लिए दहलीज को "मोड़" देते हैं, तो आप सटीकता में सुधार कर सकते हैं।

4. निष्कर्ष

सामान्य तौर पर, दोनों मॉडल अच्छे परिणाम देते हैं और विभिन्न डोमेन में भाषा का निर्धारण करने की समस्या को हल करने के लिए उपयोग किया जा सकता है। उनका मुख्य लाभ उच्च गति है, जो तथाकथित "पहनावा" बनाने और गुणवत्ता में सुधार के लिए आवश्यक प्रीप्रोसेसिंग जोड़ना संभव बनाता है।

आप प्रयोगों को पुन: प्रस्तुत करने और हमारे भंडार में उपरोक्त दृष्टिकोणों के परीक्षण के लिए सभी कोड पा सकते हैं।

आप एक अन्य लेख में इन समाधानों का परीक्षण भी देख सकते हैं, जो 6 पश्चिमी यूरोपीय भाषाओं में सटीकता और गति की तुलना करता है।