आर। के साथ वेब स्क्रैपिंग। किनोपोइक और IMDB पर फिल्म रेटिंग की तुलना

वर्ल्ड वाइड वेब डेटा का एक महासागर है। यहां आप लगभग किसी भी जानकारी को देख सकते हैं जिसमें आप रुचि रखते हैं। हालांकि, इंटरनेट से यह जानकारी "खींचना" पहले से अधिक कठिन है। डेटा प्राप्त करने के कई तरीके हैं और वेब-स्क्रैपिंग उनमें से एक है।

वेब स्क्रैपिंग क्या है? संक्षेप में, यह एक तकनीक है जो आपको HTML पृष्ठों से डेटा पुनर्प्राप्त करने की अनुमति देती है। स्क्रैपिंग का उपयोग करते समय, आवश्यक जानकारी को कॉपी-पेस्ट करने या स्क्रीन से नोटपैड में स्थानांतरित करने की आवश्यकता नहीं है। सूचना आपके कंप्यूटर पर आपके लिए सुविधाजनक रूप में दिखाई देगी।

साइट Kinopoisk.ru के उदाहरण पर वेब-स्क्रैपिंग

स्क्रैपिंग में संलग्न न होने के लिए अपने आप को एक लक्ष्य निर्धारित करना एक अच्छा विचार है मैंने तय किया कि यह Kinopoisk.ru और IMDB.com पर फिल्म रेटिंग की तुलना होगी , साथ ही शैली द्वारा फिल्मों के लिए औसत रेटिंग भी । विश्लेषण के लिए, फिल्मों को लिया गया था जो 2010 से 2018 तक कम से कम 500 वोटों के साथ जारी की गई थीं।

आरंभ करने के लिए, उन पुस्तकालयों को लोड करें जिनकी हमें आवश्यकता है:

#   library(rvest) library(selectr) library(xml2) library(jsonlite) library(tidyverse) 

आगे, मुझे एक वर्ष में फिल्मों की संख्या मिलती है जो चयन की स्थिति (500 से अधिक वोट) को संतुष्ट करती हैं। यह डेटा के साथ पृष्ठों की कुल संख्या का पता लगाने और उनके लिए "लिंक" उत्पन्न करने के लिए किया जाता है, क्योंकि लिंक संरचना में समान हैं।

 #        2018  url <- "https://www.kinopoisk.ru/top/navigator/m_act[year]/2018/m_act[rating]/1%3A/order/rating/page/1/#results" 

हमारा कार्य संख्या 672 को "बाहर निकालना" है, चित्र में लाल आयत द्वारा दर्शाया गया है। इसके लिए हमें वेब-स्क्रैपिंग की आवश्यकता है।

Kinopoisk.ru साइट वेब-स्क्रैपिंग पेजों का उपयोग करते हुए rvest पैकेज का उपयोग करती है

पहले हमें प्राप्त यूआरएल को "पढ़ना" चाहिए। ऐसा करने के लिए, read_html() पैकेज के read_html() फ़ंक्शन का उपयोग करें।

 #     XML  HTML  webpage <- read_html(url) 

और फिर, rvest पैकेज के फ़ंक्शंस का उपयोग करते हुए rvest हम पहले HTML डॉक्यूमेंट के उस हिस्से को "एक्स्ट्रेक्ट" करते हैं, जिसकी हमें ज़रूरत है ( html_nodes() फंक्शन), और फिर इस भाग से हम वह जानकारी निकालते हैं जो हमें हमारे लिए सुविधाजनक रूप में html_text() , html_table() फ़ंक्शंस में। html_attr() अन्य)

लेकिन हम कैसे समझते हैं कि हमें किस तत्व को निकालने की आवश्यकता है? ऐसा करने के लिए, हमें उस जानकारी पर मँडरा करना चाहिए जिसमें हम रुचि रखते हैं, एलएमबी पर क्लिक करें और "व्यू कोड" चुनें। हमारे मामले में, हमें निम्न चित्र मिलते हैं:

html_nodes() फ़ंक्शन का फॉर्म html_nodes(x, css) । x पहले परिभाषित वेबपेज है, लेकिन css में हम id या एलिमेंट क्लास लिखते हैं। हमारे मामले में, यह है:

 number_html <- html_nodes(webpage, ".pagesFromTo") 

इसके अलावा, वांछित तत्व का "पता लगाने" के लिए, आप चयनकर्ता एक्सटेंशन का उपयोग कर सकते हैं, जो दिखाता है कि हमें स्पष्ट रूप से दर्ज करने की आवश्यकता है:

अगला, html_text फ़ंक्शन के साथ, हम चयनित तत्व से टेक्स्ट का हिस्सा निकालते हैं:

 number <- html_text(number_html) [1] "1—50  672" "1—50  672" 

हमें किन्नोपोइक के HTML पृष्ठ से हमें वह संख्या मिल गई, लेकिन अब हमें इसे "स्पष्ट" करने की आवश्यकता है। यह स्क्रैपिंग के लिए एक मानक प्रक्रिया है, क्योंकि बहुत कम ही हमें उस तत्व की आवश्यकता होती है जिसकी हमें आवश्यकता होती है।

हमें इस तथ्य के कारण 2 समान तत्व मिले हैं कि फिल्मों की कुल संख्या पृष्ठ के ऊपर और नीचे इंगित की गई है और उनके सीएसएस चयनकर्ता बिल्कुल समान हैं। इसलिए, शुरुआत के लिए, हम अतिरिक्त तत्व को हटा देते हैं:

 number <- number[1] [1] "1—50  672" 

अगला, हमें वेक्टर के उस भाग से छुटकारा पाना होगा जो 672 नंबर तक जाता है। आप इसे विभिन्न तरीकों से कर सकते हैं, लेकिन सभी विधियों का आधार एक नियमित अभिव्यक्ति लिख रहा है। इस स्थिति में, मैं शून्य के साथ "1-50" भाग को "प्रतिस्थापित करता हूं" (आप str_remove बजाय str_remove उपयोग कर सकते हैं), फिर अतिरिक्त रिक्त स्थान ( str_trim फ़ंक्शन) को हटा दें और अंत में वेक्टर को वर्ण से संख्यात्मक प्रकार में अनुवाद करें। आउटपुट पर, मुझे नंबर 672 मिलता है। वास्तव में 2018 की कई फिल्मों में Kinopoisk पर 500 से अधिक उपयोगकर्ता वोट हैं।

 number <- str_replace(number, ".{2,}", "") number <- as.numeric(str_trim(number)) [1] 672 

हम आगे क्या करें? यदि आप किनोपोइक पर पृष्ठों के माध्यम से देखते हैं तो आप देखेंगे कि खोज पृष्ठों के पते समान संरचना और केवल संख्या में भिन्न हैं। इसलिए, हर बार मैन्युअल रूप से पृष्ठ का पता दर्ज नहीं करने के लिए, हम पृष्ठों की संख्या की गणना करेंगे और पते की आवश्यक संख्या को "उत्पन्न" करेंगे। यह इस तरह किया जाता है:

 #   page_number <- ceiling(number/50) #   page <- sapply(seq(1:page_number), function(n){ list_page <- paste0("https://www.kinopoisk.ru/top/navigator/m_act[year]/2018/m_act[rating]/1%3A/order/rating/page/", n, "/#results") }) 

आउटपुट 14 पते का है। इस उदाहरण में ceiling फ़ंक्शन एक संख्या को एक बड़े पूर्णांक के लिए गोल करता है।

और फिर हम इनपुट के लिए lapply फ़ंक्शन का उपयोग करते हैं, जिसमें पृष्ठों के पते खिलाए जाते हैं, और फ़ंक्शन नाम, रेटिंग, वोटों की संख्या और फिल्म के मुख्य शैलियों (अधिकतम 3) के बारे में Kinopoisk के पृष्ठों से "अर्क" करता है। फ़ंक्शन कोड जीथब पर रिपॉजिटरी में पाया जा सकता है।

नतीजतन, हमें 8111 फिल्मों के साथ एक तालिका मिलती है।

यह Sys.sleep फ़ंक्शन के उपयोग के बारे में ध्यान देने योग्य है। इसका उपयोग करके, आप अभिव्यक्ति के बीच देरी का समय निर्धारित कर सकते हैं। इसकी आवश्यकता क्यों है? यदि आप एक वर्ष पर जानकारी प्राप्त करना चाहते हैं, तो कोई आवश्यकता नहीं है। लेकिन यदि आप बड़ी संख्या में फिल्मों / वर्षों में रुचि रखते हैं, तो एक निश्चित संख्या में अनुरोधों के बाद, किनोकोइस्क आपको एक रोबोट पर विचार करेगा और आपको आपके अनुरोध के लिए एक खाली सूची प्राप्त होगी। इससे बचने के लिए, आपको देरी समय दर्ज करने की आवश्यकता है।

इसी प्रकार, IMDB.com साइट को "स्क्रैप" करें ।

डेटा विश्लेषण

हमारे पास दो टेबल हैं, IMDB के साथ फिल्मों के बारे में एक जानकारी में, दूसरे में किनोपोइक से। अब हमें उन्हें संयोजित करने की आवश्यकता है। हम कॉलम NAME और YEAR के अनुसार एकजुट होंगे। नामों की विसंगतियों की संख्या को कम करने के लिए, यहां तक ​​कि स्क्रैपिंग के चरण में, मैंने सभी विराम चिह्नों को हटा दिया और अक्षरों को निचले मामले में बदल दिया। नतीजतन, सभी कनेक्शन और विलोपन के बाद, हमें 3450 फिल्में मिलती हैं, जिनके बारे में जानकारी हमें दोनों साइटों से चाहिए।

मुझे दो साइटों पर फिल्मों की रेटिंग के अंतर में दिलचस्पी है, इसलिए हम DELTA वैरिएबल बनाएंगे, जो IMDB और Kinopoisk के अनुमानों के बीच का अंतर है। यदि DELTA धनात्मक है, तो IMDB स्कोर अधिक है, यदि ऋणात्मक, निम्न है।

सबसे पहले, DELTA संकेतक के लिए एक हिस्टोग्राम का निर्माण करें:

चार्ट पर आश्चर्य की कोई बात नहीं है। रेटिंग में अंतर का सामान्य वितरण और शून्य के क्षेत्र में एक शिखर है, जो बताता है कि दो साइटों के उपयोगकर्ता आमतौर पर फिल्मों की रेटिंग पर सहमत होते हैं।

एकाग्र, लेकिन काफी नहीं। दो स्वतंत्र नमूनों का टी-परीक्षण हमें यह कहने की अनुमति देता है कि किनोपोइक पर रेटिंग अधिक है और यह अंतर सांख्यिकीय रूप से महत्वपूर्ण है (पी-मूल्य <0.05)।

हालांकि अंतर महत्वपूर्ण है, यह बहुत छोटा है।

अगला, आइए देखें कि रेटिंग में अंतर वोटों की संख्या पर निर्भर करता है।

यहां कुछ भी अप्रत्याशित नहीं है। बड़ी संख्या में वोट वाली फिल्मों की रेटिंग में बहुत कम अंतर होता है।

अब शैली द्वारा फिल्मों का मूल्यांकन करने के लिए आगे बढ़ते हैं। यह तुरंत ध्यान देने योग्य है कि एक फिल्म में तीन शैलियों तक हो सकते हैं, लेकिन केवल एक रेटिंग, इसलिए एक फिल्म "परीक्षण" और कॉमेडी, और मेलोड्रामा में जा सकती है।

चलिए किनोपोइक से शुरू करते हैं। डेटाबेस में कम से कम 150 उपस्थिति के साथ शैलियों में, डरावनी एक स्पष्ट बाहरी व्यक्ति है। कम उपयोगकर्ता भी थ्रिलर, एक्शन जासूस और, मुझे क्या आश्चर्यचकित थे, साइंस फिक्शन। दूसरी ओर, किनोपोइक पर मेलोड्रामैटिक फिल्में एक धमाके के साथ आती हैं, जिनकी औसत रेटिंग 6.5 से ऊपर है और केवल कार्टून और बायोपिक के लिए दूसरी है, जो डेटाबेस में बहुत छोटी हैं।

अब उसी चार्ट पर विचार करें, लेकिन IMDB के लिए। सिद्धांत रूप में, वह फिर से पुष्टि करता है कि साइटों के बीच की रेटिंग में अंतर नगण्य है। यह आश्चर्य की बात नहीं है, क्योंकि कई उपयोगकर्ताओं के दोनों साइटों पर खाते हैं और विभिन्न साइटों पर अलग-अलग रेटिंग देने की संभावना नहीं है। फिर से, मुख्य हारने वाला भयावह है, और हम कह सकते हैं कि वे फिल्मों की सबसे निचली श्रेणी की शैली हैं। मेरे लिए यह आकलन करना कठिन है कि ऐसा क्यों होता है, क्योंकि मेरे जीवन में मैंने जो एकमात्र हॉरर फिल्म देखी वह ग्रेमलिन्स है। शायद यह सबसे भयावह बजट शैली है, जहां सस्ते अभिनेताओं का कमजोर खेल और खुलकर खराब परिदृश्य आते हैं। विज्ञान कथाओं और IMDB पर थ्रिलर लैगार्ड के बीच हैं, लेकिन उग्रवादी बेहतर कर रहे हैं। नेताओं के बीच फिर से जीवनी फिल्में और कार्टून हैं। नाटक तीसरे स्थान पर है, लेकिन साहसिक फिल्मों के स्तर पर मेलोड्रामास का स्कोर 6.5 से नीचे गिर गया। इसके अलावा कॉमेडी के नीचे IMDB पर।

निष्कर्ष और "बाहरी कारकों" के बारे में थोड़ा

हालाँकि अनुमानों में अंतर है (किन्नोपोइक पर वे थोड़ा अधिक हैं), लेकिन यह थोड़ा है। विभिन्न शैलियों के अनुसार, बड़ा अंतर भी अस्वीकार्य है। ब्लॉकबस्टर जिनके पास दर्जनों या यहां तक ​​कि सैकड़ों हजारों वोट हैं, अगर उनके बीच मतभेद हैं, तो 0.5 अंक के भीतर।

10 हजार तक की एक छोटी (विशेष रूप से किन्नोपिस्क) संख्या वाली फिल्में, आमतौर पर रेटिंग में बड़ा अंतर होता है। हालांकि, आईएमडीबी के पक्ष में रेटिंग में सबसे बड़ा अंतर एक विदेशी साइट पर 30,000 वोटों के साथ और किनोफिस्क पर 90,000 से अधिक है। यह अलेक्सई पिमनोव "क्रीमिया" की रचना है। क्या फिल्म को विदेशी दर्शकों द्वारा पसंद किया गया है? शायद ही। सबसे अधिक संभावना है, फिल्म निर्माताओं ने IMDB के संबंध में उसी "मार्केटिंग नीति" का इस्तेमाल किया, जैसा कि किनोपीक में है। यह सिर्फ इतना ही है कि अगर किनोकोइक ने इस तरह के अनुमानों को "साफ" कर दिया, तो वे IMDB पर बने रहे। मुझे लगता है कि क्यों "क्रीमिया" एक "अच्छा सा किंचिक" है।

मैं किसी भी टिप्पणी, सुझाव, शिकायत के लिए आभारी रहूंगा

जीथब रिपोजिटरी लिंक
मेरी मंडली प्रोफ़ाइल