सामाजिक नेटवर्क के बीच, संदेश की लंबाई पर सख्त प्रतिबंध के कारण ट्विटर दूसरों की तुलना में अधिक उपयुक्त है, जिसमें उपयोगकर्ताओं को सभी सबसे आवश्यक स्थान रखने के लिए मजबूर किया जाता है।

मैं यह अनुमान लगाने का सुझाव देता हूं कि यह शब्द क्लाउड फ्रेम किस तकनीक का है?

Twitter API का उपयोग करके, आप विभिन्न प्रकार की जानकारी निकाल सकते हैं और उनका विश्लेषण कर सकते हैं। प्रोग्रामिंग भाषा आर के साथ ऐसा करने के बारे में एक लेख।

कोड लिखने में इतना समय नहीं लगता है, ट्विटर एपीआई में बदलाव और कड़े होने के कारण मुश्किलें पैदा हो सकती हैं, जाहिर है कि कंपनी 2016 में अमेरिकी चुनावों में "रूसी हैकर्स" के प्रभाव की जांच के बाद अमेरिकी कांग्रेस में घसीटे जाने के बाद सुरक्षा मुद्दों को लेकर गंभीर थी।

एक्सेस एपीआई

किसी को ट्विटर से औद्योगिक डेटा प्राप्त करने की आवश्यकता क्यों होगी? खैर, उदाहरण के लिए, यह खेल की घटनाओं के परिणाम के बारे में अधिक सटीक भविष्यवाणियां करने में मदद करता है। लेकिन मुझे यकीन है कि अन्य उपयोगकर्ता परिदृश्य हैं।

आरंभ करने के लिए, यह स्पष्ट है कि आपके पास फ़ोन नंबर के साथ एक ट्विटर खाता होना चाहिए। एप्लिकेशन बनाने के लिए यह आवश्यक है, यह यह कदम है जो एपीआई तक पहुंच प्रदान करता है।

हम डेवलपर के पेज पर जाते हैं और Create a app बटन पर क्लिक करते हैं। अगला वह पृष्ठ है जिस पर आपको आवेदन के बारे में जानकारी भरने की आवश्यकता है। वर्तमान में पृष्ठ में निम्नलिखित फ़ील्ड शामिल हैं।

• AppName - आवेदन नाम (आवश्यक)।
• आवेदन विवरण - आवेदन विवरण (आवश्यक)।
• वेबसाइट URL - एप्लिकेशन की वेबसाइट का पृष्ठ (आवश्यक), आप एक URL की तरह दिखने वाले कुछ भी दर्ज कर सकते हैं।
• ट्विटर के साथ साइन इन सक्षम करें (चेक बॉक्स) - ट्विटर पर एप्लिकेशन के पेज से लॉग इन करना छोड़ा जा सकता है।
• कॉलबैक यूआरएल - प्रमाणीकरण (आवश्यक) और आवश्यक के दौरान आवेदन की कॉलबैक , आप http://127.0.0.1:1410 छोड़ सकते हैं।

निम्नलिखित वैकल्पिक क्षेत्र हैं: सेवा की शर्तों के लिए पृष्ठ का पता, संगठन का नाम, आदि।

डेवलपर खाता बनाते समय, तीन संभावित विकल्पों में से एक चुनें।

• मानक - मूल संस्करण, आप, 7 दिनों की गहराई तक रिकॉर्ड की खोज कर सकते हैं, मुफ्त।
• प्रीमियम - एक अधिक उन्नत विकल्प, आप रिकॉर्ड की तलाश कर सकते हैं and 30 दिनों की गहराई और 2006 के बाद से। नि: शुल्क, लेकिन वे एक आवेदन पर विचार करते समय तुरंत अधिकार नहीं देते हैं।
• एंटरप्राइज - बिजनेस क्लास, सशुल्क और विश्वसनीय टैरिफ।

मैंने प्रीमियम चुना, अनुमोदन के लिए लगभग एक सप्ताह का समय लगा। मैं हर किसी को यह नहीं बता सकता कि वे मुझे एक पंक्ति में देते हैं, लेकिन यह वैसे भी कोशिश करने लायक है, और मानक कहीं भी नहीं जाएगा।

ट्विटर कनेक्शन

आपके द्वारा एप्लिकेशन बनाने के बाद, कुंजी और टोकन टैब में निम्नलिखित तत्वों वाला एक सेट दिखाई देगा। नीचे R के नाम और संगत चर हैं।

उपभोक्ता एपीआई कुंजी

• एपीआई कुंजी - api_key
• एपीआई गुप्त कुंजी - api_secret

एक्सेस टोकन और एक्सेस टोकन सीक्रेट

• प्रवेश टोकन - access_token
• प्रवेश टोकन रहस्य - access_token_secret

आवश्यक पैकेज स्थापित करें।

 install.packages("rtweet") install.packages("tm") install.packages("wordcloud") 

यह कोड का टुकड़ा इस तरह दिखेगा।

 library("rtweet") api_key <- "" api_secret <- "" access_token <- "" access_token_secret <- "" appname="" setup_twitter_oauth ( api_key, api_secret, access_token, access_token_secret) 

प्रमाणीकरण के बाद, R आपको बाद में उपयोग के लिए डिस्क पर OAuth कोड सहेजने के लिए संकेत देगा।

 [1] "Using direct authentication" Use a local file to cache OAuth access credentials between R sessions? 1: Yes 2: No 

दोनों विकल्प स्वीकार्य हैं, मैंने 1 को चुना।

खोज और फ़िल्टर परिणाम

 tweets <- search_tweets("hadoop", include_rts=FALSE, n=600) 

include_rts कुंजी आपको यह नियंत्रित करने की अनुमति देती है कि क्या रीट्वीट शामिल हैं या खोज से बाहर रखा गया है। आउटपुट में, हमें कई फ़ील्ड्स के साथ एक तालिका मिलती है जिसमें प्रत्येक रिकॉर्ड का विवरण और विवरण होता है। यहाँ पहले 20 हैं।

 > head(names(tweets), n=20) [1] "user_id" "status_id" "created_at" [4] "screen_name" "text" "source" [7] "display_text_width" "reply_to_status_id" "reply_to_user_id" [10] "reply_to_screen_name" "is_quote" "is_retweet" [13] "favorite_count" "retweet_count" "hashtags" [16] "symbols" "urls_url" "urls_t.co" [19] "urls_expanded_url" "media_url" 

आप एक अधिक जटिल खोज स्ट्रिंग लिख सकते हैं।

 search_string <- paste0(c("data mining","#bigdata"),collapse = "+") search_tweets(search_string, include_rts=FALSE, n=100) 

खोज परिणाम एक पाठ फ़ाइल में सहेजे जा सकते हैं।

 write.table(tweets$text, file="datamine.txt") 

हम ग्रंथों के शरीर में विलीन हो जाते हैं, हम सेवा शब्दों, विराम चिह्नों को छानते हैं और निचले मामले में सब कुछ अनुवाद करते हैं।

एक और खोज फ़ंक्शन है - searchTwitter , जिसे twitteR लाइब्रेरी की आवश्यकता है। कुछ मायनों में, यह search_tweets तुलना में अधिक सुविधाजनक है, लेकिन कुछ मायनों में यह हीन है।

प्लस - समय से एक फिल्टर की उपस्थिति।

  tweets <- searchTwitter("hadoop", since="2017-09-01", n=500) text = sapply(tweets, function(x) x$getText()) 

माइनस - आउटपुट एक तालिका नहीं है, लेकिन प्रकार की status का एक ऑब्जेक्ट है। हमारे उदाहरण में इसका उपयोग करने के लिए, हमें आउटपुट से एक टेक्स्ट फ़ील्ड निकालने की आवश्यकता है। यह दूसरी पंक्ति में sapply बनाता है।

 corpus <- Corpus(VectorSource(tweets$text)) clearCorpus <- tm_map(corpus, function(x) iconv(enc2utf8(x), sub = "byte")) tdm <- TermDocumentMatrix(clearCorpus, control = list(removePunctuation = TRUE, stopwords = c("com", "https", "hadoop", stopwords("english")), removeNumbers = TRUE, tolower = TRUE)) 

दूसरी पंक्ति में, किसी भी इमोजी वर्णों को लोअरकेस में बदलने के लिए tm_map फ़ंक्शन tm_map आवश्यकता है, अन्यथा tolower का उपयोग करके निचले मामले में रूपांतरण विफल हो जाएगा।

एक शब्द बादल का निर्माण

वर्ड क्लाउड पहली बार फ्लिकर फोटो होस्टिंग पर दिखाई दिए, जहां तक ​​मुझे पता है, और तब से लोकप्रियता हासिल की है। इस कार्य के लिए, हमें wordcloud लाइब्रेरी की आवश्यकता है।

 m <- as.matrix(tdm) word_freqs <- sort(rowSums(m), decreasing=TRUE) dm <- data.frame(word=names(word_freqs), freq=word_freqs) wordcloud(dm$word, dm$freq, scale=c(3, .5), random.order=FALSE, colors=brewer.pal(8, "Dark2")) 

search_string फ़ंक्शन आपको भाषा को एक पैरामीटर के रूप में सेट करने की अनुमति देता है।

 search_tweets(search_string, include_rts=FALSE, n=100, lang="ru") 

हालांकि, इस तथ्य के कारण कि आर के लिए एनएलपी पैकेज खराब रूप से Russified है, विशेष रूप से, सेवा की कोई सूची नहीं है या शब्दों को रोकना नहीं है, मैं रूसी में खोज के साथ एक शब्द बादल बनाने में सफल नहीं हुआ। यदि आप टिप्पणियों में बेहतर समाधान ढूंढते हैं तो मुझे खुशी होगी।

खैर, वास्तव में ...

 library("rtweet") library("tm") library("wordcloud") api_key <- "" api_secret <- "" access_token <- "" access_token_secret <- "" appname="" setup_twitter_oauth ( api_key, api_secret, access_token, access_token_secret) oauth_callback <- "http://127.0.0.1:1410" setup_twitter_oauth (api_key, api_secret, access_token, access_token_secret) appname="my_app" twitter_token <- create_token(app = appname, consumer_key = api_key, consumer_secret = api_secret) tweets <- search_tweets("devops", include_rts=FALSE, n=600) corpus <- Corpus(VectorSource(tweets$text)) clearCorpus <- tm_map(corpus, function(x) iconv(enc2utf8(x), sub = "byte")) tdm <- TermDocumentMatrix(clearCorpus, control = list(removePunctuation = TRUE, stopwords = c("com", "https", "drupal", stopwords("english")), removeNumbers = TRUE, tolower = TRUE)) m <- as.matrix(tdm) word_freqs <- sort(rowSums(m), decreasing=TRUE) dm <- data.frame(word=names(word_freqs), freq=word_freqs) wordcloud(dm$word, dm$freq, scale=c(3, .5), random.order=FALSE, colors=brewer.pal(8, "Dark2")) 

प्रयुक्त सामग्री।

लघु लिंक:

• ट्विटर डेटा एकत्रित करना: आरंभ करना
• आर टू माइन का उपयोग करना और लोकप्रिय भावनाओं का विश्लेषण करना
• डेटा इकट्ठा करने के लिए ट्विटर एपीआई का उपयोग करना
• आर का उपयोग कर ट्विटर डेटा का अन्वेषण करें
• टीएम पैकेज का परिचय, आर में पाठ खनन

मूल लिंक:

https://stats.seandolinar.com/collecting-twitter-data-getting-started/
https://opensourceforu.com/2018/07/using-r-to-mine-and-analyse-popular-sentiments/
http://dkhramov.dp.ua/images/edu/Stu.WebMining/ch17_twitter.pdf
http://opensourceforu.com/2018/02/explore-twitter-data-using-r/
https://cran.r-project.org/web/packages/tm/vignettes/tm.pdf

PS Hint, KDPV पर क्लाउड कीवर्ड का उपयोग प्रोग्राम में नहीं किया गया है, यह मेरे पिछले लेख से जुड़ा है।