संवादी BERT - सामाजिक मीडिया की भाषा में तंत्रिका नेटवर्किंग सीखें

2018 में कंप्यूटर भाषा विज्ञान और मशीन सीखने के क्षेत्र में मुख्य घटनाओं में से एक, Google AI से BERT की रिहाई थी, जिसे एसोसिएशन ऑफ कंप्यूटर लिंग्विस्टिक्स (NACL) की उत्तरी अमेरिकी शाखा के अनुसार वर्ष की सर्वश्रेष्ठ रिपोर्ट के रूप में मान्यता दी गई थी। इस लेख में हम इस भाषा मॉडल और इसकी क्षमताओं के बारे में बात करेंगे।

जिन लोगों ने पहले नहीं सुना है, बीईआरटी एक तंत्रिका नेटवर्क है जो शब्दों के प्रासंगिक प्रतिनिधित्व की प्रारंभिक तैयारी की पद्धति पर आधारित है, अर्थात यह एक द्विदिश भाषा मॉडल का उपयोग करता है, और आपको पूरे वाक्यों का विश्लेषण करने की भी अनुमति देता है। इस मामले में, दिए गए और उसके माध्यम से आने वाले शब्दों को भी ध्यान में रखा जाता है। यह विधि प्राकृतिक भाषा प्रसंस्करण (एनएलपी) कार्यों की एक विस्तृत श्रृंखला में अत्याधुनिक के एक बड़े मार्जिन के साथ परिणाम प्राप्त करने की अनुमति देती है, लेकिन बड़ी कम्प्यूटेशनल शक्ति की आवश्यकता होती है।

औपचारिक भाषण से लेकर संवादी तक

BERT मूल रूप से 104 विकिपीडिया भाषाओं (बहुभाषी) में पढ़ाया जाता था। बहुभाषी संस्करण के अलावा, Google ने अंग्रेज़ी में विकिपीडिया पर आधारित BERT और चीनी में BERT को रिलीज़ किया है।

तंत्रिका तंत्र और गहरी सीखने की प्रयोगशाला में, हमने BES का उपयोग TensorFlow और Keras के आधार पर एक आभासी इंटरैक्टिव सहायक और पाठ विश्लेषण विकसित करने के लिए एक खुला स्रोत इंटरैक्टिव लाइब्रेरी DeepPavlov के एनएलपी घटकों को बेहतर बनाने के लिए किया। हमने रूसी विकिपीडिया - RuBERT पर BERT मॉडल को प्रशिक्षित किया, रूसी मॉडल की गुणवत्ता में उल्लेखनीय सुधार किया। और इसके अलावा, बीईआरटी को तीन लोकप्रिय एनएलपी कार्यों के समाधान में एकीकृत किया गया था: पाठ वर्गीकरण, अनुक्रम टैगिंग और सवालों के जवाब। आप हमारे ब्लॉग के नवीनतम प्रकाशनों में दीपपावलोव के बीईआरटी-मॉडल के बारे में अधिक पढ़ सकते हैं:

• १०४ भाषाओं के लिए १ ९ संस्थाएँ: दीपपावलोव बहुभाषी BERT के साथ NER का एक नया युग
  
• दीपपावलोव के BERT- आधारित पाठ वर्गीकरण मॉडल
• डीईआरटी आधारित क्रॉस-लिंगुअल सवाल डीपपावलोव के साथ जवाब दे रहा है?
  

हाल ही में, पुस्तकालय की एक नई रिलीज

इस अद्यतन की मुख्य विशेषता BERT थी, जिसे अंग्रेजी में सामाजिक नेटवर्क की शब्दावली में प्रशिक्षित किया गया था। विकिपीडिया की औपचारिक भाषा आम बोलचाल की भाषा से अलग है, जबकि कुछ समस्याओं को हल करने के लिए, आपको बस एक की आवश्यकता है।

कन्वर्सेशनल बीईआरटी को ट्विटर, रेडिट, डेलीडायलॉग्स, ओपनसुबेट्स, डिबेट्स, ब्लॉग्स और फेसबुक समाचारों पर टिप्पणियों के खुले डेटा का उपयोग करके अंग्रेजी में प्रशिक्षित किया गया था । इस डेटा का उपयोग BERT के अंग्रेजी संस्करण में अंग्रेजी सबकोन्स की शब्दावली बनाने के लिए किया गया था, जो कि अंग्रेजी बोली जाने वाली BERT के आरंभिक के रूप में है। नतीजतन, बोली जाने वाली BERT ने उन कार्यों में अत्याधुनिक परिणाम दिखाए जो सामाजिक डेटा प्रदर्शित करते थे।

डीपपावलोव में संवादी बीईआरटी का उपयोग कैसे करें

आप अंग्रेजी में स्पोकन बीईआरटी के आधार पर नए इंसल्ट डिटेक्शन मॉडल का उपयोग कर सकते हैं। या प्रलेखन से एक साधारण गाइड का उपयोग कर किसी भी अन्य BERT- आधारित मॉडल।



SOTA अपमान पहचान मॉडल में दुरुपयोग का पता लगाने के लिए एक द्विआधारी वर्गीकरण कार्य होता है। आरओसी-एयूसी मीट्रिक (विभिन्न थ्रेसहोल्ड सेटिंग्स में वर्गीकरण कार्य के लिए प्रदर्शन माप) के लिए, यह मॉडल सामान्य बीईआरटी - 92.55 की तुलना में डेटा पर 93.89 का मूल्य दर्शाता है।

और अंत में

तो यह लगभग हम आपको हमारे वार्तालाप BERT के बारे में बताना चाहते थे। और यह मत भूलो कि दीपपावलोव के पास एक मंच है - पुस्तकालय और मॉडल के बारे में अपने प्रश्न पूछें। व्यवसाय में रहो!