😦 🦎 😘 एक स्वचालित संदेश मॉडरेशन सिस्टम का निर्माण 🧜🏼 🧜🏿 🤚🏻

स्वचालित मॉडरेशन सिस्टम वेब सेवाओं और अनुप्रयोगों में लागू किए जाते हैं जहां बड़ी संख्या में उपयोगकर्ता संदेशों को संसाधित करना आवश्यक होता है। इस तरह के सिस्टम मैन्युअल मॉडरेशन की लागत को कम कर सकते हैं, इसे गति दे सकते हैं और वास्तविक समय में सभी उपयोगकर्ता संदेशों को संसाधित कर सकते हैं। लेख में, हम मशीन लर्निंग एल्गोरिदम का उपयोग करके अंग्रेजी के प्रसंस्करण के लिए एक स्वचालित मॉडरेशन सिस्टम बनाने के बारे में बात करेंगे। हम अनुसंधान कार्यों और उत्पादन में रोल आउट करने के लिए एमएल एल्गोरिदम की पसंद से पूरी पाइपलाइन कार्य पर चर्चा करेंगे। आइए देखें कि तैयार किए गए डेटासेट कहां देखें और स्वयं कार्य के लिए डेटा कैसे एकत्र करें।

इटा स्टेपान्युक ( id_step ) के साथ तैयार, पोथा लैब्स में डेटा वैज्ञानिक

कार्य विवरण

हम बहु-उपयोगकर्ता सक्रिय चैट के साथ काम करते हैं, जहां हर मिनट एक चैट में दर्जनों उपयोगकर्ताओं के लघु संदेश आ सकते हैं। कार्य ऐसे चैट से संवाद में किसी भी अश्लील टिप्पणी के साथ जहरीले संदेशों और संदेशों को उजागर करना है। मशीन लर्निंग के दृष्टिकोण से, यह एक द्विआधारी वर्गीकरण कार्य है, जहां प्रत्येक संदेश को कक्षाओं में से एक को सौंपा जाना चाहिए।

इस समस्या को हल करने के लिए, सबसे पहले, यह समझना आवश्यक था कि विषाक्त संदेश क्या हैं और क्या वास्तव में उन्हें विषाक्त बनाता है। ऐसा करने के लिए, हमने इंटरनेट पर बड़ी संख्या में विशिष्ट उपयोगकर्ता संदेशों को देखा। यहां कुछ उदाहरण दिए गए हैं जिन्हें हम पहले ही विषाक्त और सामान्य संदेशों में विभाजित कर चुके हैं।

विषैला	साधारण
आप एक लानत फाग * ओट हैं	यह किताब इतनी ही डमी है
उर बच्चा कितना बदसूरत है (1)	जीतने वाले, हारने वाले बहाने बनाते हैं
गोरे लोग काले रंग के मालिक हैं (2)	मेरी आत्मा की तरह काला (2)

यह देखा जा सकता है कि विषाक्त संदेशों में अक्सर अश्लील शब्द होते हैं, लेकिन फिर भी यह एक पूर्वापेक्षा नहीं है। संदेश में अनुचित शब्द नहीं हो सकते हैं, लेकिन किसी के लिए आक्रामक हो सकते हैं (उदाहरण (1))। इसके अलावा, कभी-कभी विषाक्त और सामान्य संदेशों में समान शब्द होते हैं जो विभिन्न संदर्भों में उपयोग किए जाते हैं - आक्रामक या नहीं (उदाहरण (2))। इस तरह के संदेशों को भी भेद करने में सक्षम होने की आवश्यकता है।
विभिन्न संदेशों का अध्ययन करने के बाद, हमारी मॉडरेशन प्रणाली के लिए हमने उन संदेशों को विषाक्त कर दिया , जिनमें अश्लील, अपमानजनक भाव या किसी से घृणा करने वाले कथन हैं।

डेटा

डेटा खोलें

सबसे प्रसिद्ध मॉडरेशन डेटासेट्स में से एक केगल टॉक्सिक कमेंट क्लासिफिकेशन चैलेंज का डेटासेट है। डेटासेट में मार्कअप का हिस्सा गलत है: उदाहरण के लिए, अश्लील शब्दों वाले संदेशों को सामान्य रूप में चिह्नित किया जा सकता है। इस वजह से, आप सिर्फ कर्नेल प्रतियोगिताओं को नहीं ले सकते हैं और एक अच्छी तरह से काम कर रहे वर्गीकरण एल्गोरिदम प्राप्त कर सकते हैं। आपको डेटा के साथ अधिक काम करने की आवश्यकता है, देखें कि कौन से उदाहरण पर्याप्त नहीं हैं, और ऐसे उदाहरणों के साथ अतिरिक्त डेटा जोड़ें।

प्रतियोगिताओं के अलावा, उपयुक्त डेटासेट ( उदाहरण ) के लिंक के साथ कई वैज्ञानिक प्रकाशन हैं, लेकिन सभी का उपयोग वाणिज्यिक परियोजनाओं में नहीं किया जा सकता है। ज्यादातर इन डेटासेट में सोशल नेटवर्क ट्विटर के संदेश होते हैं, जहां आप कई जहरीले ट्वीट्स पा सकते हैं। इसके अलावा, ट्विटर से डेटा एकत्र किया जाता है, क्योंकि कुछ हैशटैग का उपयोग विषाक्त उपयोगकर्ता संदेशों को खोजने और चिह्नित करने के लिए किया जा सकता है।

मैनुअल डेटा

जब हमने डेटासेट को खुले स्रोतों से एकत्र किया और इसे मूल मॉडल पर प्रशिक्षित किया, तो यह स्पष्ट हो गया कि खुला डेटा पर्याप्त नहीं है: मॉडल की गुणवत्ता संतोषजनक नहीं है। समस्या को हल करने के लिए खुले आंकड़ों के अलावा, एक गेम मैसेंजर से बड़ी संख्या में जहरीले संदेशों वाले संदेशों का एक असंबद्ध चयन हमारे लिए उपलब्ध था।

अपने कार्य के लिए इस डेटा का उपयोग करने के लिए, उन्हें किसी तरह लेबल करना होगा। उस समय, पहले से ही एक प्रशिक्षित बेसलाइन क्लासिफायरियर था, जिसे हमने अर्ध-स्वचालित अंकन के लिए उपयोग करने का निर्णय लिया था। मॉडल के माध्यम से सभी संदेशों को चलाने के बाद, हमें प्रत्येक संदेश की विषाक्तता संभावनाएं मिलीं और अवरोही क्रम में हल किया गया। इस सूची की शुरुआत में अश्लील और आपत्तिजनक शब्दों के साथ संदेश एकत्र किए गए थे। अंत में, इसके विपरीत, सामान्य उपयोगकर्ता संदेश हैं। इस प्रकार, अधिकांश डेटा (बहुत बड़े और बहुत छोटे संभाव्यता मूल्यों के साथ) को चिह्नित नहीं किया जा सकता है, लेकिन तुरंत एक निश्चित वर्ग को सौंपा गया है। यह उन संदेशों को चिह्नित करने के लिए रहता है जो सूची के बीच में गिर गए थे, जो मैन्युअल रूप से किया गया था।

डेटा ऑगमेंटेशन

अक्सर डेटासेट में आप बदले हुए संदेश देख सकते हैं, जिस पर क्लासिफायर से गलती हुई है, और व्यक्ति सही ढंग से उनके अर्थ को समझता है।
ऐसा इसलिए है क्योंकि उपयोगकर्ता मॉडरेशन सिस्टम को समायोजित करना सीखते हैं और इसलिए कि एल्गोरिदम विषाक्त संदेशों पर गलतियां करते हैं और व्यक्ति को अर्थ स्पष्ट रहता है। उपयोगकर्ता अब क्या कर रहे हैं:

टाइपो जनरेट: आप बेवकूफ हैं, आप को धोखा दें ,
वर्णन में समान संख्याओं के साथ वर्णनात्मक वर्ण बदलें: n1gga, b0ll0cks ,
अतिरिक्त स्थान डालें: बेवकूफ ,
शब्दों के बीच रिक्त स्थान निकालें: dieyoustupid ।

इस तरह के प्रतिस्थापन के लिए प्रतिरोधी एक क्लासिफायरियर को प्रशिक्षित करने के लिए, आपको उपयोगकर्ताओं को ऐसा करने की आवश्यकता है: संदेशों में समान परिवर्तन उत्पन्न करें और उन्हें मुख्य डेटा पर प्रशिक्षण सेट में जोड़ें।
सामान्य तौर पर, यह संघर्ष अपरिहार्य है: उपयोगकर्ता हमेशा कमजोरियों और हैक को खोजने की कोशिश करेंगे, और मध्यस्थ नए एल्गोरिदम को लागू करेंगे।

उपशीर्षक का विवरण

दो अलग-अलग तरीकों से संदेशों का विश्लेषण करने के लिए हमें सबटुक का सामना करना पड़ा:

ऑनलाइन मोड - अधिकतम प्रतिक्रिया गति के साथ, संदेशों का वास्तविक समय विश्लेषण;
ऑफ़लाइन मोड - संदेश लॉग का विश्लेषण और विषाक्त संवादों का आवंटन।

ऑनलाइन मोड में, हम प्रत्येक उपयोगकर्ता संदेश को संसाधित करते हैं और इसे मॉडल के माध्यम से चलाते हैं। यदि संदेश विषाक्त है, तो उसे चैट इंटरफ़ेस में छिपाएं, और यदि यह सामान्य है, तो इसे प्रदर्शित करें। इस मोड में, सभी संदेशों को बहुत तेज़ी से संसाधित किया जाना चाहिए: मॉडल को इतनी जल्दी प्रतिक्रिया देनी चाहिए, ताकि उपयोगकर्ताओं के बीच संवाद की संरचना बाधित न हो।
ऑफ़लाइन मोड में कोई समय सीमा नहीं होती है, और इसलिए मैं उच्चतम गुणवत्ता के साथ मॉडल को लागू करना चाहता था।

ऑनलाइन मोड। शब्दकोश खोज

इसके बावजूद कि कौन सा मॉडल चुना जाता है, हमें अश्लील शब्दों के साथ संदेशों को खोजना और फ़िल्टर करना होगा। इस उपप्रकार को हल करने के लिए, अमान्य शब्दों और अभिव्यक्तियों के एक शब्दकोश को संकलित करना सबसे आसान है, जिसे छोड़ दिया नहीं जा सकता है, और प्रत्येक संदेश में ऐसे शब्दों की खोज करें। खोज तेज़ होनी चाहिए, इसलिए उस समय के लिए भोली विकल्प खोज एल्गोरिथम फिट नहीं होता है। एक स्ट्रिंग में शब्दों का एक सेट खोजने के लिए एक उपयुक्त एल्गोरिथ्म अहो-कोरसिक एल्गोरिथ्म है । इस दृष्टिकोण के कारण, कुछ जहरीले उदाहरणों को जल्दी से पहचानना और संदेशों को ब्लॉक करना संभव है इससे पहले कि वे मुख्य एल्गोरिथ्म में प्रेषित हों। एमएल एल्गोरिथ्म का उपयोग आपको संदेशों के "अर्थ को समझने" और वर्गीकरण की गुणवत्ता में सुधार करने की अनुमति देगा।

ऑनलाइन मोड। बेसिक मशीन लर्निंग मॉडल

बेस मॉडल के लिए, हमने टेक्स्ट वर्गीकरण के लिए एक मानक दृष्टिकोण का उपयोग करने का निर्णय लिया: TF-IDF + शास्त्रीय वर्गीकरण एल्गोरिथ्म। फिर से गति और प्रदर्शन कारणों के लिए।

टीएफ-आईडीएफ एक सांख्यिकीय उपाय है जो आपको दो मापदंडों का उपयोग करके शरीर में पाठ के लिए सबसे महत्वपूर्ण शब्द निर्धारित करने की अनुमति देता है: प्रत्येक दस्तावेज़ में शब्दों की आवृत्ति और एक विशिष्ट शब्द ( यहां और अधिक विवरण में) युक्त दस्तावेजों की संख्या। TF-IDF संदेश में प्रत्येक शब्द के लिए गणना करने पर, हमें इस संदेश का सदिश प्रतिनिधित्व मिलता है।
पाठ में शब्दों के लिए टीएफ-आईडीएफ की गणना की जा सकती है, साथ ही साथ एन-ग्राम शब्दों और पात्रों के लिए भी। ऐसा विस्तार बेहतर काम करेगा, क्योंकि यह अक्सर होने वाले वाक्यांशों और शब्दों को संभालने में सक्षम होगा जो प्रशिक्षण सेट (आउट-ऑफ-शब्दावली) में नहीं थे।

from sklearn.feature_extraction.text import TfidfVectorizer from scipy import sparse vect_word = TfidfVectorizer(max_features=10000, lowercase=True, analyzer='word', min_df=8, stop_words=stop_words, ngram_range=(1,3)) vect_char = TfidfVectorizer(max_features=30000, lowercase=True, analyzer='char', min_df=8, ngram_range=(3,6)) x_vec_word = vect_word.fit_transform(x_train) x_vec_char = vect_char.fit_transform(x_train) x_vec = sparse.hstack([x_vec_word, x_vec_char])

शब्दों और पात्रों के n-ग्राम पर TF-IDF का उपयोग करने का उदाहरण

संदेश को वैक्टर में परिवर्तित करने के बाद, आप वर्गीकरण के लिए किसी भी शास्त्रीय विधि का उपयोग कर सकते हैं: लॉजिस्टिक रिग्रेशन, एसवीएम , रैंडम फॉरेस्ट, बूस्टिंग ।

हमने अपने कार्य में लॉजिस्टिक रिग्रेशन का उपयोग करने का निर्णय लिया, क्योंकि यह मॉडल अन्य क्लासिक एमएल क्लासिफायर के साथ तुलना में गति में वृद्धि देता है और कक्षा की संभावनाओं की भविष्यवाणी करता है, जो आपको उत्पादन में एक वर्गीकरण सीमा का लचीले ढंग से चयन करने की अनुमति देता है।

टीएफ-आईडीएफ और लॉजिस्टिक रिग्रेशन का उपयोग करके प्राप्त एल्गोरिथ्म जल्दी से काम करता है और अश्लील शब्दों और अभिव्यक्तियों के साथ संदेशों को अच्छी तरह से परिभाषित करता है, लेकिन हमेशा इसका अर्थ नहीं समझता है। उदाहरण के लिए, अक्सर ' ब्लैक ' और ' फेमिनिज़म ' शब्दों वाले संदेश विषाक्त वर्ग में आते हैं। मैं इस समस्या को ठीक करना चाहता था और क्लासिफायर के अगले संस्करण का उपयोग करके संदेशों के अर्थ को बेहतर ढंग से समझना सीखता था।

ऑफ़लाइन मोड

संदेशों के अर्थ को बेहतर ढंग से समझने के लिए, आप तंत्रिका नेटवर्क एल्गोरिदम का उपयोग कर सकते हैं:

एंबेडिंग (Word2Vec, FastText)
तंत्रिका नेटवर्क (CNN, RNN, LSTM)
नए पूर्व-प्रशिक्षित मॉडल (ELMo, ULMFiT, BERT)

हम इनमें से कुछ एल्गोरिदम पर चर्चा करेंगे और उनका अधिक विस्तार से उपयोग कैसे किया जा सकता है।

Word2Vec और FastText

एम्बेड करने वाले मॉडल आपको ग्रंथों से शब्दों के वेक्टर प्रतिनिधित्व प्राप्त करने की अनुमति देते हैं। Word2Vec दो प्रकार के होते हैं : स्किप-ग्राम और CBOW (शब्दों का निरंतर थैला)। स्किप-ग्राम में, संदर्भ शब्द द्वारा भविष्यवाणी की जाती है, लेकिन CBOW में, इसके विपरीत: शब्द का संदर्भ द्वारा भविष्यवाणी की जाती है।

इस तरह के मॉडल ग्रंथों के बड़े कोर पर प्रशिक्षित होते हैं और आपको एक प्रशिक्षित तंत्रिका नेटवर्क की एक छिपी हुई परत से शब्दों के वेक्टर प्रतिनिधित्व प्राप्त करने की अनुमति देते हैं। इस वास्तुकला का नुकसान यह है कि मॉडल सीमित शब्दों से सीखता है जो कॉर्पस में निहित हैं। इसका मतलब है कि उन सभी शब्दों के लिए जो प्रशिक्षण चरण में ग्रंथों के शरीर में नहीं थे, कोई एम्बेडिंग नहीं होगा। और यह स्थिति अक्सर तब होती है जब पूर्व-प्रशिक्षित मॉडल अपने कार्यों के लिए उपयोग किए जाते हैं: कुछ शब्दों के लिए कोई एम्बेडिंग नहीं होगी, तदनुसार बड़ी मात्रा में उपयोगी जानकारी खो जाएगी।

ऐसे शब्दों के साथ समस्या को हल करने के लिए जो शब्दकोश में नहीं हैं (OOV, आउट-ऑफ-शब्दावली) एक बेहतर एम्बेडिंग मॉडल है - Fastnext । तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए एकल शब्दों का उपयोग करने के बजाय, FastText ने शब्दों को एन-ग्राम (सब-पासवर्ड) में तोड़ दिया और उनसे सीखता है। किसी शब्द का वेक्टर प्रतिनिधित्व प्राप्त करने के लिए, आपको इस शब्द के एन-ग्राम के वेक्टर प्रतिनिधित्व को प्राप्त करने और उन्हें जोड़ने की आवश्यकता है।

इस प्रकार, पूर्व-प्रशिक्षित Word2Vec और FastText मॉडल का उपयोग संदेशों से फीचर वैक्टर प्राप्त करने के लिए किया जा सकता है। प्राप्त विशेषताओं को शास्त्रीय एमएल क्लासीफायर या पूरी तरह से जुड़े तंत्रिका नेटवर्क का उपयोग करके वर्गीकृत किया जा सकता है।

पूर्व प्रशिक्षित FastText का उपयोग करते हुए "निकटतम" शब्दों के आउटपुट का एक उदाहरण

सीएनएन क्लासिफायर

तंत्रिका नेटवर्क एल्गोरिदम से पाठों के प्रसंस्करण और वर्गीकरण के लिए, आवर्तक नेटवर्क (LSTM, GRU) का अधिक बार उपयोग किया जाता है, क्योंकि वे अनुक्रम के साथ अच्छी तरह से काम करते हैं। संवादात्मक नेटवर्क (CNN) का उपयोग अक्सर छवि प्रसंस्करण के लिए किया जाता है, लेकिन उनका उपयोग पाठ वर्गीकरण कार्य में भी किया जा सकता है। विचार करें कि यह कैसे किया जा सकता है।
प्रत्येक संदेश एक मैट्रिक्स है जिसमें टोकन (शब्द) के लिए प्रत्येक पंक्ति पर इसका वेक्टर प्रतिनिधित्व लिखा जाता है। एक निश्चित तरीके से इस तरह के मैट्रिक्स पर कन्वेंशन लागू किया जाता है: मैट्रिक्स (शब्द वेक्टर) की पूरी पंक्तियों पर कन्वेक्शन फिल्टर "ग्लाइड" होता है, लेकिन यह एक समय में कई शब्दों को पकड़ लेता है (आमतौर पर 2-5 शब्द), इस प्रकार शब्दों को पड़ोसी शब्दों के संदर्भ में संसाधित करता है। ऐसा कैसे होता है इसका विवरण तस्वीर में देखा जा सकता है।

जब आप आवर्तक का उपयोग कर सकते हैं तो वर्ड प्रोसेसिंग के लिए कंसॉल्यूशनल नेटवर्क का उपयोग क्यों करें? तथ्य यह है कि दृढ़ संकल्प बहुत तेजी से काम करते हैं। संदेशों के वर्गीकरण के लिए उनका उपयोग करना, आप प्रशिक्षण पर समय बचा सकते हैं।

एल्मो

ELMo (भाषा मॉडल से एंबेडिंग) एक भाषा मॉडल पर आधारित एक एम्बेडिंग मॉडल है जिसे हाल ही में पेश किया गया था। नया एम्बेडिंग मॉडल Word2Vec और FastText मॉडल से अलग है। ELMo शब्द वैक्टर के कुछ फायदे हैं:

प्रत्येक शब्द की प्रस्तुति पूरे संदर्भ पर निर्भर करती है जिसमें इसका उपयोग किया जाता है।
प्रतिनिधित्व प्रतीकों पर आधारित है, जो OOV (आउट-ऑफ-शब्दावली) शब्दों के लिए विश्वसनीय प्रतिनिधित्व के गठन की अनुमति देता है।

एलएलएमओ का उपयोग एनएलपी में विभिन्न कार्यों के लिए किया जा सकता है। उदाहरण के लिए, हमारे कार्य के लिए, एलएलओओ का उपयोग करके प्राप्त किए गए संदेश वैक्टर को क्लासिक एमएल क्लासिफायरियर के पास भेजा जा सकता है या एक प्रासंगिक या पूरी तरह से नेटवर्क का उपयोग कर सकता है।
ELMo पूर्व-प्रशिक्षित एम्बेडिंग आपके कार्य के लिए उपयोग करना आसान है, उपयोग का एक उदाहरण यहां पाया जा सकता है ।

कार्यान्वयन सुविधाएँ

फ्लास्क एपीआई

प्रोटोटाइप एपीआई फ्लास्क में लिखा गया था, क्योंकि इसका उपयोग करना आसान है।

दो डॉकटर छवियां

तैनाती के लिए, हमने दो डॉकटर छवियों का उपयोग किया: आधार एक, जहां सभी निर्भरताएं स्थापित की गईं, और एप्लिकेशन लॉन्च करने के लिए मुख्य एक। यह बहुत विधानसभा समय बचाता है, क्योंकि पहली छवि शायद ही कभी बनाई गई है, और यह तैनाती के दौरान समय बचाता है। काफी समय लाइब्रेरी सीखने की मशीन के निर्माण और डाउनलोड करने में बिताया जाता है, जो हर प्रतिबद्ध के साथ आवश्यक नहीं है।

परीक्षण

मशीन लर्निंग एल्गोरिदम के एक बड़ी संख्या के कार्यान्वयन की ख़ासियत यह है कि सत्यापन डेटासेट पर उच्च मैट्रिक्स के साथ भी, उत्पादन में एल्गोरिदम की वास्तविक गुणवत्ता कम हो सकती है। इसलिए, एल्गोरिथ्म के संचालन का परीक्षण करने के लिए, पूरी टीम ने स्लैक में बॉट का इस्तेमाल किया। यह बहुत सुविधाजनक है, क्योंकि टीम का कोई भी सदस्य यह जांच सकता है कि एल्गोरिदम किसी विशेष संदेश के लिए क्या प्रतिक्रिया देता है। यह परीक्षण विधि आपको तुरंत यह देखने की अनुमति देती है कि एल्गोरिदम लाइव डेटा पर कैसे काम करेगा।
एक अच्छा विकल्प Yandex Toloka और AWS मैकेनिकल तुर्क जैसी सार्वजनिक साइटों पर समाधान लॉन्च करना है।

निष्कर्ष

हमने स्वचालित संदेश मॉडरेशन की समस्या को हल करने के लिए कई दृष्टिकोणों की जांच की और हमारे कार्यान्वयन की विशेषताओं का वर्णन किया।
कार्य के दौरान प्राप्त मुख्य अवलोकन:

टीएफ-आईडीएफ और लॉजिस्टिक रिग्रेशन पर आधारित डिक्शनरी सर्च और मशीन लर्निंग एल्गोरिदम ने संदेशों को जल्दी से वर्गीकृत करने की अनुमति दी, लेकिन हमेशा सही ढंग से नहीं।
तंत्रिका नेटवर्क एल्गोरिदम और एम्बेडिंग के पूर्व-प्रशिक्षित मॉडल इस कार्य के साथ बेहतर तरीके से सामना करते हैं और संदेश के अर्थ के भीतर विषाक्तता निर्धारित कर सकते हैं।

बेशक, हमने फेसबुक बॉट पर ओपन पोथा टॉक्सिक कमेंट डिटेक्शन डेमो पोस्ट किया। हमें बॉट को बेहतर बनाने में मदद करें!

मुझे टिप्पणियों में प्रश्नों का उत्तर देने में खुशी होगी।

एक स्वचालित संदेश मॉडरेशन सिस्टम का निर्माण