Node.js पर पाठ भावना विश्लेषण

सभी को नमस्कार। विषय काफी दिलचस्प है और इसे लागू करना मुश्किल लग सकता है। लेकिन मैं एक व्यावहारिक व्यक्ति हूं और मैं सुंदर को विशेष रूप से बिना तनाव के छूना चाहता हूं। आज हम पाठ की भावुकता / टॉन्सिलिटी के विश्लेषण के लिए एक "माइक्रोसर्विस" बनाएंगे। और मामला, कुछ और रोचक बातें जो आपको स्काईनेट के लिए अपनी पाठ्य अपील तैयार करने में मदद करेंगी।

परिचय

क्यों? यह बहुत अच्छा प्रश्न है। लेकिन इसका जवाब देने से पहले, आइए थोड़ा होशियार हो जाएं और पता करें कि पाठ की टॉन्सिलिटी का विश्लेषण क्या है और टॉन्सिलिटी क्या है?

टेक्स्ट टॉन्सिलिटी का विश्लेषण (सेंटीमेंट एनालिसिस, इंग्लिश सेंटीमेंट एनालिसिस, इंग्लिश ओपिनियन माइनिंग) - कंप्यूटर भाषाविज्ञान में सामग्री विश्लेषण के तरीकों का एक वर्ग, जो वस्तुओं के संबंध में लेखकों की भावनात्मक रूप से रंगीन शब्दावली और लेखकों (विचारों) के भावनात्मक मूल्यांकन की स्वचालित रूप से पहचान करने के लिए डिज़ाइन किया गया है। जो पाठ में जाता है।

एक वस्तु (वास्तविक दुनिया की एक वस्तु, एक घटना, एक प्रक्रिया या उनके गुण / गुण), पाठ में व्यक्त किए गए एक बयान के लेखक का भावनात्मक दृष्टिकोण है। भावनात्मक घटक, जो लेक्सेम या संचारी अंश के स्तर पर व्यक्त किया जाता है, को लेक्सिकल टॉन्सिलिटी (या लेक्सिकल सेंटिमेंट) कहा जाता है। एक पूरे के रूप में पूरे पाठ की टॉन्सिलिटी को एक फ़ंक्शन (सरलतम मामले में, इसकी इकाइयों के लेक्सिकल टोनेलिटी (योग) और उन्हें संयोजित करने के नियमों के रूप में परिभाषित किया जा सकता है)।

विकिपीडिया द्वारा

क्यों?

मेरे पास अक्सर विकिपीडिया पढ़ने के जवाब से ज्यादा सवाल होते हैं। चलो सरल करते हैं - पाठ की कुंजी हमें "पाठ के मूड" के बारे में बताती है। उदाहरण के लिए, "यहाँ आओ, तुम्हारी माँ ..." संकेत देता है कि श्रोता को समस्याएँ हैं। "हनी, मैं घर हूँ" - थोड़ी बेहतर, लेकिन स्थिति के अनुसार।

आप इस विश्लेषण का उपयोग सकारात्मक समाचारों की खोज करने, नकारात्मक टिप्पणियों को फ़िल्टर करने, समीक्षाओं द्वारा उत्पाद रेटिंग बनाने, आदि के लिए कर सकते हैं। मुझे लगता है कि सामान्य विचार स्पष्ट है।

आवश्यक स्थापित करें

चूंकि हम Node.js का उपयोग करने जा रहे हैं, हमें एक्सप्रेस की आवश्यकता होगी। आप कुछ भी उपयोग कर सकते हैं, एला लो एक्सप्रेस को कम कर सकते हैं और कार्य के लिए महत्वपूर्ण नहीं है।

npm install -g express-generator 

एक्सप्रेस-जनरेटर एक्सप्रेस फ्रेमवर्क के लिए एक तरह का क्रिएक्ट-रिएक्शन-ऐप है ।

हम node_nlp फ़ोल्डर में एप्लिकेशन उत्पन्न करते हैं:

 express node_nlp --no-view 

आप npx का उपयोग करके पिछले दो आदेशों को सरल बना सकते हैं:

 npx express-generator node_nlp --no-view 

एप्लिकेशन शुरू करने के लिए, फ़ोल्डर पर जाएं, निर्भरताएं डाउनलोड करें और लॉन्च करें:

 cd node_nlp npm install npm start 

प्रत्येक परिवर्तन के लिए सर्वर को मैन्युअल रूप से रिबूट करने में समय बर्बाद न करने के लिए, आइए हम nodemon और कॉन्फ़िगर nodemon :

 npm install --save nodemon 

पैकेज में लघु संपादन

 "dev": "nodemon ./bin/www" 

और विकास के लिए हम उपयोग करते हैं:

 npm run dev 

आइए हम तुरंत कुछ पैकेज तैयार करते हैं, मैं आपको बताता हूं कि रास्ते में उनकी आवश्यकता क्यों है। यह प्रोजेक्ट सेटअप होने का प्रयास करने के लिए एक अलग ट्यूटोरियल है और मैं पहले से ही भूल गया था कि मैं इन सभी npm install साथ क्या लिख ​​रहा हूं।

 npm install --save natural apos-to-lex-form spelling-corrector stopword 

मार्ग

वास्तव में, हमारे पास ./routers फ़ोल्डर में केवल एक ही समापन बिंदु होगा, एक index.js फ़ाइल है जिसे हम इसे छोड़ देंगे:

 const express = require('express'); const natural = require('natural'); const router = express.Router(); router.post('/', function(req, res, next) { const { text } = req.body; }); module.exports = router; 

एक साधारण POST समापन बिंदु जो text फ़ील्ड के साथ एक body लेता है।

प्रसंस्करण

यदि आप, मेरी तरह, किसी तरह रचना के संपर्क में आए हैं स्काईनेट , डेटा संसाधित करता है, तो आप शायद जानते हैं कि तैयारी प्रक्रिया डेटा प्रोसेसिंग प्रक्रिया जितनी महत्वपूर्ण है। हमें विभिन्न शोर और संभावित त्रुटियों को कम करने की आवश्यकता है, ताकि आप स्पीकर की ओर न जाएं, "ठीक है, अपनी माँ के यहाँ आओ ..."।

कटौती से छुटकारा

चूँकि microservice अंग्रेजी भाषा की आज की रात के विश्लेषण में लगी होगी, इसलिए हमें इस पर विचार करने की आवश्यकता है कि इस तरह के संक्षिप्तीकरण को मैं कैसे करूं, आप मैं हूं, आप हैं।
इसके लिए हम apos-to-lex-form का उपयोग करेंगे

 const express = require('express'); const natural = require('natural'); const aposToLexForm = require('apos-to-lex-form') const router = express.Router(); router.post('/', function(req, res, next) { const { text } = req.body; const lexedText = aposToLexForm(text); }); module.exports = router; 

पाठ को लोअरकेस (लोअरकेस) में बदलें

यहां जाने के लिए और यहां आने के लिए इसी तरह से, आपको यह सुनिश्चित करने की आवश्यकता है कि संपूर्ण पाठ एक ही रजिस्टर में हो।

 const casedReview = lexedText.toLowerCase(); 

अतिरिक्त वर्ण हटाएं

हमारे विश्लेषण की सटीकता में अगले सुधार के लिए, आपको अतिरिक्त वर्णों को हटा देना चाहिए, मेरे लिए यह कहना कठिन है कि आज रात @ # $% ^ # ऐसे वर्ण क्या हैं। इसलिए, हम सभी अनावश्यक हटा देते हैं और केवल पत्र छोड़ देते हैं।
हम मानक जावास्क्रिप्ट फ़ंक्शन का उपयोग करते हैं - replace() :

 const alphaOnlyReview = casedReview.replace(/[^a-zA-Z\s]+/g, '') 

tokenization

टोकनाइजेशन पाठ को अलग-अलग घटकों में तोड़ने की प्रक्रिया है। उदाहरण के लिए, शब्द वाक्य टोकन है, और वाक्य, बदले में, पैराग्राफ टोकन है।

यहाँ हमारा मुख्य घोड़ा प्राकृतिक दृश्य में आता है।
इस पैकेज में, हमें WordTokenizer टोकन WordTokenizer :

 ... const { WordTokenizer } = natural; const tokenizer = new WordTokenizer(); const tokenizedReview = tokenizer.tokenize(alphaOnlyReview); ... 

बग ठीक करता है

चूंकि पाठ कहीं से भी आ सकता है, त्रुटियों का एक मौका है। हमें उन्हें ठीक करने की कोशिश करने की जरूरत है। वर्तनी-सुधारक इससे हमें मदद मिलेगी।

 const express = require('express'); const natural = require('natural'); const aposToLexForm = require('apos-to-lex-form'); const SpellCorrector = require('spelling-corrector'); const router = express.Router(); const spellCorrector = new SpellCorrector(); spellCorrector.loadDictionary(); router.post('/', function(req, res, next) { const { text } = req.body; const lexedText = aposToLexForm(text); const casedReview = lexedText.toLowerCase(); const alphaOnlyReview = casedReview.replace(/[^a-zA-Z\s]+/g, '') const { WordTokenizer } = natural; const tokenizer = new WordTokenizer(); const tokenizedReview = tokenizer.tokenize(alphaOnlyReview); tokenizedReview.forEach((word, index) => { tokenizedReview[index] = spellCorrector.correct(word); }); }); module.exports = router; 

स्टॉप शब्द हटाएं

शब्दों को रोकें, ये कुछ प्रकार के शब्द परजीवी हैं। खैर, जैसा कि यह था, उह, ऊऊ, हे, परजीवियों की तरह नहीं, लेकिन सिर्फ सतही शब्द जो हमारे टॉनिक के लिए बिल्कुल कोई मौसम नहीं बनाते हैं। इस तरह के शब्दों को हटाने से स्टॉपवार्ड पैकेज हमारी मदद करेगा।

 const SW = require('stopword'); ... const filteredReview = SW.removeStopwords(tokenizedReview); 

स्टेमिंग (स्टेमिंग)

स्टेमिंग शब्दों को सामान्य करने की प्रक्रिया है। उदाहरण के लिए, "देना," "दिया," और "देने वाला" सरल रूप में "देना" है।
हम इसे एक अलग कदम के रूप में नहीं लेंगे, क्योंकि SentimentAnalyzer जो हमें Natural पैकेज प्रदान करता है वह हमारे लिए यह कर सकता है।

प्राकृतिक के साथ टोन पाठ विश्लेषण

वह सब है! हम वहां पहुंच गए। अब स्काईनेट हमारी बात मान लेगा और सब कुछ समझ जाएगा। यह SentimentAnalyzer में पाठ को खिलाने और यह समझने का समय है कि क्या हम ऐसे सहिष्णु समाज में सकारात्मक हैं या नहीं।

टोन विश्लेषण काफी जटिल रूप से काम करता है। प्राकृतिक पैकेज में शब्दों की "ध्रुवता" के साथ शब्दों का अपना शब्दकोश होता है। उदाहरण के लिए, "अच्छा" शब्द में 3 की ध्रुवीयता है, और "बुरा" शब्द -3 है। वास्तव में, इन सभी "बिंदुओं" को सारांशित किया जाता है और प्रस्ताव के आकार को सामान्य किया जाता है। इसलिए, वास्तव में, हमने अपने पाठ को स्पष्ट करने के लिए बहुत कुछ किया, जो कि बहुत ही अच्छा था, ताकि हमें पर्याप्त मूल्यांकन प्राप्त करने से रोकने के लिए कुछ भी न हो।
यदि रेटिंग 0 है तो टेक्स्ट पॉजिटिव है, अगर रेटिंग पॉजिटिव है, तो नेगेटिव और नेगेटिव न्यूट्रल है।

SentimentAnalyzer 3 मापदंडों को स्वीकार करता है :

• पाठ की भाषा
• स्ट्रीम या स्ट्रीम नहीं
• शब्दकोश (AFINN, सेंटिकॉन, पैटर्न), यह अंतर्निहित है

अंत में पाठ के टोन विश्लेषण के साथ सभी अंतिम कोड:

 const express = require('express'); const natural = require('natural'); const aposToLexForm = require('apos-to-lex-form'); const SpellCorrector = require('spelling-corrector'); const SW = require('stopword'); const router = express.Router(); const spellCorrector = new SpellCorrector(); spellCorrector.loadDictionary(); router.post('/', function(req, res, next) { const { text } = req.body; const lexedText = aposToLexForm(text); const casedReview = lexedText.toLowerCase(); const alphaOnlyReview = casedReview.replace(/[^a-zA-Z\s]+/g, '') const { WordTokenizer } = natural; const tokenizer = new WordTokenizer(); const tokenizedReview = tokenizer.tokenize(alphaOnlyReview); tokenizedReview.forEach((word, index) => { tokenizedReview[index] = spellCorrector.correct(word); }); const filteredReview = SW.removeStopwords(tokenizedReview); const { SentimentAnalyzer, PorterStemmer } = natural; const analyzer = new SentimentAnalyzer('English', PorterStemmer, 'afinn'); const analysis = analyzer.getSentiment(filteredReview); res.status(200).json({ analysis }); }); module.exports = router; 

हमने कुछ नई लाइनें जोड़ी हैं। विनाशकारी natural , हमारे द्वारा आवश्यक उपकरण प्राप्त करने के लिए, हमने विश्लेषक के लिए एक चर बनाया और चर analysis का परिणाम सौंपा।
SentimentAnalyzer पैरामीटर अपेक्षाकृत स्पष्ट हैं। भाषा अंग्रेजी के पाठ के रूप में है जिसे हम अंग्रेजी में संसाधित करते हैं। उन शब्दों पर Natrual , Natrual मैंने ऊपर उल्लेख किया है और जो शब्दकोश हमें Natrual पैकेज द्वारा प्रदान किया गया है।

मैं इस मामले के लिए एक UI बनाना चाहूंगा, लेकिन आप इसे कुछ DevTools में परीक्षण कर सकते हैं:

 fetch('/', { method: 'POST', headers: { 'Content-Type': 'application/json' }, body: JSON.stringify({text: 'hey'}) }) // {"analysis":0} fetch('/', { method: 'POST', headers: { 'Content-Type': 'application/json' }, body: JSON.stringify({text: 'hey f*** you'}) }) // {"analysis":-2} fetch('/', { method: 'POST', headers: { 'Content-Type': 'application/json' }, body: JSON.stringify({text: 'hey love you'}) }) // {"analysis":1} 

जैसा कि हम देखते हैं कि यह काम करता है :)

गितुब रेपो

निष्कर्ष

इस लेख में हमने एक "माइक्रोसर्विस" बनाया है जो पाठ की टॉन्सिलिटी का विश्लेषण करता है। इसे किसी भी तसलीम पर ले जाएं और विश्लेषण करें कि आपके विरोधी क्या कह रहे हैं। हमने डेटा तैयार करने के विषय पर भी बात की और निर्भरता का एक टन स्थापित किया। आपका ध्यान के लिए धन्यवाद!

वही पढ़ें

• 2020 वेब ट्रेंड्स वर्थ ट्राइंग
• गेमपैड के साथ इंटरनेट सर्फिंग (जावास्क्रिप्ट)