मुझे लगता है कि यदि आप कर सकते हैं: इसकी रिलीज से पहले एक फिल्म की रेटिंग की भविष्यवाणी करना

हाल ही में मैं फुल मूवीलेन्स डेटासेट की 45 हजार फिल्मों के डेटा के साथ एक कागलील डेटासेट में आया था। डेटा में न केवल अभिनेताओं, चालक दल, भूखंड, आदि के बारे में जानकारी थी, बल्कि फिल्मों के लिए उपयोगकर्ताओं द्वारा रेटिंग भी रखी गई थी (270 हजार उपयोगकर्ताओं से 26 मिलियन रेटिंग)।

इस तरह के डेटा के लिए एक मानक कार्य एक सिफारिश प्रणाली है। लेकिन किसी कारण से, यह मुझे रिलीज से पहले उपलब्ध जानकारी के आधार पर फिल्म की रेटिंग की भविष्यवाणी करने के लिए हुआ। मैं सिनेमा का पारखी नहीं हूं, और इसलिए आमतौर पर समीक्षाओं पर ध्यान केंद्रित करता हूं, यह चुनना कि समाचार से क्या देखना है। लेकिन समीक्षक भी कुछ हद तक पक्षपाती हैं - वे औसत दर्शक की तुलना में बहुत अधिक अलग फिल्में देखते हैं। इसलिए, यह अनुमान लगाना दिलचस्प था कि फिल्म को आम जनता द्वारा कैसे सराहा जाएगा।

तो, डेटा सेट में निम्नलिखित जानकारी होती है:

• फिल्म के बारे में जानकारी: रिलीज का समय, बजट, भाषा, कंपनी और मूल देश, आदि। साथ ही औसत रेटिंग (और हम इसकी भविष्यवाणी करेंगे)
• कथानक के बारे में खोजशब्द (टैग)
• अभिनेताओं और चालक दल के नाम
• वास्तव में रेटिंग (अनुमान)

लेख (अजगर) में प्रयुक्त कोड जीथब पर उपलब्ध है।

डेटा पूर्व फ़िल्टरिंग

पूर्ण सरणी में 45 हजार से अधिक फिल्मों के डेटा शामिल हैं, लेकिन चूंकि कार्य रेटिंग की भविष्यवाणी करना है, इसलिए आपको यह सुनिश्चित करने की आवश्यकता है कि किसी विशेष फिल्म की रेटिंग उद्देश्यपूर्ण है। उदाहरण के लिए, इस तथ्य में कि काफी लोगों ने इसकी सराहना की।

अधिकांश फिल्मों की रेटिंग बहुत कम है:



वैसे, सबसे बड़ी रेटिंग (14075) वाली फिल्म ने मुझे चौंका दिया - यह "इंसेप्शन" है । लेकिन अगले तीन - "द डार्क नाइट", "अवतार" और "एवेंजर्स" काफी तार्किक हैं।

यह अपेक्षित है कि रेटिंग की संख्या और फिल्म का बजट आपस में जुड़ा हुआ है (कम बजट - कम रेटिंग)। इसलिए, कम संख्या में रेटिंग वाली फिल्मों को हटाने से पक्षपाती मॉडल और अधिक महंगी फिल्मों की ओर बढ़ जाता है:



हम 50+ रेटिंग के साथ विश्लेषण फिल्मों के लिए जाते हैं।

इसके अलावा, हम रेटिंग सेवा (1996) की शुरुआत से पहले रिलीज़ हुई फिल्मों को हटा देंगे। यहां समस्या यह है कि आधुनिक फिल्मों को पुराने लोगों की तुलना में औसतन खराब माना जाता है, सिर्फ इसलिए कि पुरानी फिल्मों में वे सबसे अच्छे रूप में देखते हैं और उनका मूल्यांकन करते हैं, और आधुनिक लोगों के बीच यह सब है।

नतीजतन, अंतिम सरणी में लगभग 6 हजार फिल्में शामिल हैं।

प्रयुक्त सुविधाएँ

हम सुविधाओं के कई समूहों का उपयोग करेंगे:

• फिल्म मेटाडेटा: चाहे फिल्म "संग्रह" (फिल्मों की श्रृंखला), रिलीज के देश, निर्माण कंपनी, फिल्म की भाषा, बजट, शैली, वर्ष और फिल्म की रिलीज के महीने, उसकी अवधि से संबंधित हो
• कीवर्ड: प्रत्येक फिल्म के लिए उसके कथानक का वर्णन करने वाले टैग की एक सूची होती है। चूंकि कई शब्द हैं, उन्हें निम्नानुसार संसाधित किया गया था: इन समूहों और व्यक्तिगत शब्दों के आधार पर समानता समूहों (उदाहरण के लिए, दुर्घटना और कार दुर्घटना) में समूहीकृत, एक पीसीए विश्लेषण किया गया था, और इसके परिणामों से सबसे महत्वपूर्ण घटकों का चयन किया गया था। इसने फीचर स्पेस के आयाम को कम कर दिया।
• पिछला फिल्म में अभिनय करने वाले अभिनेताओं की "योग्यता"। प्रत्येक अभिनेता के लिए, फिल्मों की एक सूची बनाई गई थी जिसमें उन्होंने पहले अभिनय किया था और इन फिल्मों की रेटिंग की गणना की गई थी। इसलिए प्रत्येक फिल्म के लिए एक संकेतक बनाया गया है जो फिल्मों की सफलता को एकत्रित करता है जिसमें अभिनेता पहले अभिनय करते थे।
• "ऑस्कर"। यदि अभिनेताओं, निर्देशक, निर्माता, पटकथा लेखक या कैमरामैन ने पहले ऐसी फिल्म में भाग लिया था जिसे नामांकित किया गया था या सर्वश्रेष्ठ फिल्म, निर्देशन या पटकथा के लिए ऑस्कर प्राप्त किया गया था, तो इसे मॉडल में ध्यान में रखा गया था। इसके अलावा, यदि अभिनेता सर्वश्रेष्ठ सहायक अभिनेता या सहायक भूमिका के लिए अकादमी पुरस्कार के नामित या विजेता थे, तो यह भी ध्यान में रखा गया था। विकिपीडिया से प्राप्त ऑस्कर के बारे में जानकारी।

कुछ दिलचस्प आंकड़े

वृत्तचित्र फिल्मों को उच्चतम रेटिंग प्राप्त होती है। यह ध्यान देने का एक अच्छा कारण है कि विभिन्न फिल्मों का मूल्यांकन अलग-अलग लोगों द्वारा किया जाता है, और यदि वृत्तचित्रों को एक्शन बफ़र्स द्वारा मूल्यांकन किया गया था, तो परिणाम भिन्न हो सकते हैं। यही है, अनुमान जनता की प्रारंभिक प्राथमिकताओं के कारण पक्षपाती हैं। लेकिन हमारे काम के लिए यह महत्वपूर्ण नहीं है, क्योंकि हम सशर्त रूप से उद्देश्य मूल्यांकन नहीं करना चाहते हैं (जैसे कि प्रत्येक दर्शक ने सभी फिल्मों को देखा था), अर्थात् वह जो उसके दर्शकों द्वारा फिल्म को दी जाएगी।

वैसे, यह दिलचस्प है कि ऐतिहासिक फिल्मों को वृत्तचित्रों की तुलना में बहुत कम दर्जा दिया गया है।



दिसंबर, सितंबर और मई में रिलीज़ होने वाली फिल्मों को सर्वोच्च रेटिंग दी गई है।

इसे संभवतः इस प्रकार समझाया जा सकता है:

• दिसंबर में, कंपनियां क्रिसमस की छुट्टियों के दौरान बॉक्स ऑफिस को इकट्ठा करने के लिए सबसे अच्छी फिल्में जारी करती हैं
• सितंबर में, फिल्में रिलीज़ की जाएंगी जो ऑस्कर के लिए संघर्ष में भाग लेंगी
• मई ग्रीष्मकालीन ब्लॉकबस्टर के लिए रिलीज का समय है।

मूवी की रेटिंग बजट पर बहुत कम निर्भर करती है


कुछ फिल्मों के लिए शून्य बजट - शायद कोई डेटा नहीं

शीर्ष लघु और सबसे लंबी फिल्में


कुछ फिल्मों के लिए, शून्य अवधि का संकेत दिया जाता है - शायद कोई डेटा नहीं

विभिन्न फीचर सेट पर परिणाम

हमारा कार्य - रेटिंग का पूर्वानुमान - प्रतिगमन का कार्य। हम तीन मॉडलों का परीक्षण करेंगे - रैखिक प्रतिगमन (जैसे बेसलाइन), एसवीएम और एक्सजीबी। गुणवत्ता मीट्रिक के रूप में, हम RMSE चुनते हैं। नीचे दिया गया ग्राफ़ विभिन्न मॉडलों और सुविधाओं के विभिन्न सेटों के सत्यापन सेट पर RMSE मान दिखाता है (मैं समझना चाहता था कि क्या यह कीवर्ड के साथ और ऑस्कर के साथ खिलवाड़ करने लायक था)। सभी मॉडल बुनियादी हाइपरपैरामीटर के साथ बनाए गए हैं।

जैसा कि आप देख सकते हैं, एक्सजीबी के पास सबसे अच्छा परिणाम है फीचर का पूरा सेट (फिल्म मेटाडेटा + कीवर्ड + ऑस्कर)।



हाइपरपरमेटर्स को ट्यून करके, आरएमएसई को 0.708 से 0.706 तक कम करना संभव था

त्रुटि विश्लेषण और अंतिम टिप्पणी

हम मानते हैं कि 5% से कम की त्रुटियां छोटी हैं (लगभग एक तिहाई), और 20% से अधिक की त्रुटियां बड़ी (लगभग 10%) हैं। अन्य मामलों में (आधे से थोड़ा अधिक) हम त्रुटि औसत पर विचार करेंगे।

दिलचस्प बात यह है कि त्रुटि का आकार और फिल्म की रेटिंग संबंधित हैं: मॉडल में अच्छी फिल्मों पर गलतियां होने की संभावना कम होती है और अक्सर खराब लोगों पर। यह तार्किक लगता है: अच्छी फिल्में, किसी भी अन्य काम की तरह, बल्कि अधिक अनुभवी और पेशेवर लोगों द्वारा बनाई जाती हैं। ब्रैड पिट की भागीदारी के साथ टारनटिनो फिल्म के बारे में, आप पहले से कह सकते हैं कि सबसे अधिक संभावना है कि यह अच्छा होगा। उसी समय, कम-बजट वाली फिल्म जिसमें कम-ज्ञात कलाकार अच्छे और बुरे दोनों हो सकते हैं, और इसे देखे बिना उसे आंकना मुश्किल है।



यहां मॉडल की सबसे महत्वपूर्ण विशेषताएं हैं (पीसीए चर संसाधित किए गए कीवर्ड को संदर्भित करते हैं जो फिल्म की साजिश का वर्णन करते हैं):



इनमें से दो विशेषताएं ऑस्कर से संबंधित हैं, जिन्हें पहले टीम के सदस्यों (निर्देशक, निर्माता, पटकथा लेखक, कैमरामैन), या उन फिल्मों द्वारा नामांकित किया गया था जिनमें अभिनेताओं ने अभिनय किया था। जैसा कि ऊपर उल्लेख किया गया है, पूर्वानुमान त्रुटि फिल्म के मूल्यांकन से जुड़ी है, और इस अर्थ में, ऑस्कर के लिए पिछले नामांकन मॉडल के लिए एक अच्छा सीमांकक हो सकता है। दरअसल, ऐसी फिल्में जिनमें कम से कम एक ऑस्कर नामांकन (अभिनेताओं या टीमों के बीच) में औसतन 8.3% की पूर्वानुमान त्रुटि होती है, और जिनके पास ऐसे नामांकन नहीं होते हैं - 9.8%। मॉडल में उपयोग की जाने वाली शीर्ष 10 विशेषताओं में से यह ऑस्कर नामांकन है जो त्रुटि के आकार के साथ सबसे अच्छा कनेक्शन देता है।

इसलिए, दो अलग-अलग मॉडल बनाने का विचार आया: एक फिल्मों के लिए जिसमें अभिनेता या टीम को ऑस्कर के लिए नामांकित किया गया था, और बाकी के लिए दूसरा। विचार यह था कि इससे समग्र त्रुटि कम हो सकती है। हालांकि, प्रयोग विफल रहा: सामान्य मॉडल ने आरएमएसई को 0.706, और दो अलग-अलग ने 0.715 दिए।

इसलिए, हम मूल मॉडल को छोड़ देंगे। इसकी सटीकता के परिणाम निम्नानुसार हैं: प्रशिक्षण नमूने में आरएमएसई - 0.688, सत्यापन नमूने में - 0.706, और परीक्षण नमूने में - 0.732।

यानी कुछ ओवरफिटिंग है। मॉडल में नियमितीकरण पैरामीटर पहले से ही निर्धारित किए गए हैं। ओवरफिटिंग को कम करने का एक और तरीका अधिक डेटा एकत्र करना हो सकता है। यह समझने में कि क्या यह मदद करेगा, हम प्रशिक्षण नमूने के विभिन्न आकारों के लिए त्रुटियों का एक ग्राफ बनाएंगे - 100 से अधिकतम उपलब्ध 3 हजार तक। यह ग्राफ दिखाता है कि प्रशिक्षण सेट में लगभग 2.5 हजार अंक से शुरू होता है, प्रशिक्षण में त्रुटियां, सत्यापन और परीक्षण सेट परिवर्तन। छोटे, अर्थात्, नमूने में वृद्धि का महत्वपूर्ण प्रभाव नहीं होगा।



मॉडल को परिष्कृत करने के लिए आप और क्या प्रयास कर सकते हैं:

• प्रारंभ में, फिल्मों को अलग तरह से चुना जाता है (वोटों की संख्या पर अलग सीमा, अन्य चर पर अतिरिक्त सीमाएं)
• रेटिंग की गणना करने के लिए सभी रेटिंग का उपयोग नहीं किया जाता है - अधिक सक्रिय उपयोगकर्ताओं का चयन करना या केवल खराब रेटिंग देने वालों को हटाना संभव है
• लापता डेटा को बदलने के विभिन्न तरीकों का प्रयास करें

दिलचस्प बात यह है कि 1997 की "बैटमैन और रॉबिन" फिल्म में सबसे बड़ी पूर्वानुमान त्रुटि थी (4.2 वास्तविक लोगों के बजाय 7 पूर्वानुमान बिंदु)। अर्नोल्ड श्वार्ज़नेगर, जॉर्ज क्लूनी और उमा थुरमैन के साथ फिल्म को गोल्डन रास्पबेरी पुरस्कार के लिए 11 नामांकन (और एक जीत) प्राप्त हुए, जिसने एम्पायर न्यूजरेेल से इतिहास की 50 सबसे खराब फिल्मों की सूची में शीर्ष स्थान हासिल किया , और अगली कड़ी को रद्द करने और पूरी श्रृंखला को फिर से शुरू करने का नेतृत्व किया। खैर, यहाँ मॉडल, शायद, एक आदमी की तरह गलत था :)