हम Google Play Store में एप्लिकेशन की रेटिंग के गहन विश्लेषण के लिए उपकरण बनाते हैं

एक अनुवादक से: आज हम आपके लिए तीन डेवलपर्स, आकाश चिकरमैन, एर्टे बबलू और निखिल गौर का एक संयुक्त लेख प्रकाशित कर रहे हैं, जो Google Play Store में अनुप्रयोगों की रेटिंग की भविष्यवाणी करने की विधि का वर्णन करता है।

इस लेख में, हम दिखाएंगे कि हम उन सूचनाओं को कैसे संसाधित करते हैं जिनका उपयोग हम रेटिंग का अनुमान लगाने के लिए करते हैं। हम यह भी बताएंगे कि हम इन या उनमें से क्यों उपयोग करते हैं। हम उस डेटा पैकेट के परिवर्तनों के बारे में बात करेंगे, जिसके साथ हम काम करते हैं और दृश्यता की मदद से क्या हासिल किया जा सकता है।

स्किलबॉक्स सलाह देता है: दो साल का व्यावहारिक कोर्स "मैं एक प्रो वेब डेवलपर हूं । "

हम आपको याद दिलाते हैं: "हैबर" के सभी पाठकों के लिए - "हैबर" प्रोमो कोड का उपयोग करके किसी भी स्किलबॉक्स कोर्स के लिए पंजीकरण करते समय 10,000 रूबल की छूट।

हमने इसे करने का फैसला क्यों किया

मोबाइल एप्लिकेशन लंबे समय से जीवन का एक अभिन्न हिस्सा बन गए हैं, अधिक से अधिक डेवलपर्स अकेले अपने निर्माण में लगे हुए हैं। इसके अलावा, बहुत से लोग सीधे उस आय पर निर्भर होते हैं जो अनुप्रयोग लाते हैं। इसलिए, सफलता का पूर्वानुमान लगाना उनके लिए बहुत महत्वपूर्ण है।

हमारा लक्ष्य आवेदन की समग्र रेटिंग को निर्धारित करना है, इसे बड़े पैमाने पर करना है, क्योंकि बहुत से लोग कार्यक्रम का न्याय करते हैं, केवल उपयोगकर्ताओं द्वारा निर्धारित "सितारों" की संख्या पर भरोसा करते हैं। 4-5 अंकों के साथ आवेदन अधिक विश्वसनीय हैं।

ट्रेनिंग

इस परियोजना का अधिकांश कार्य प्रीप्रोसेसिंग सहित डेटा के साथ काम कर रहा है। चूंकि सभी जानकारी Google Play Store से ली गई थी, परिणामी सरणियों में बहुत सारी त्रुटियां थीं। हमने कई प्रतिगमन मॉडल का उपयोग किया, जिसमें XGBoost पैकेज, रैखिक प्रतिगमन, और रिजरिजेशन से ग्रेडिएंट-बूस्टिंग रेजिस्टर शामिल हैं।

डेटा संग्रह और विश्लेषण

हमारे द्वारा काम किया गया डेटासेट यहां पाया जा सकता है । इसमें दो भाग होते हैं। पहला वस्तुनिष्ठ जानकारी है, जैसे कि एप्लिकेशन का आकार, इंस्टॉलेशन की संख्या, श्रेणी, समीक्षाओं की संख्या, आवेदन का प्रकार, इसकी शैली, अंतिम अपडेट की तिथि, आदि और व्यक्तिपरक, यानी उपयोगकर्ता समीक्षाएं।

समीक्षा स्वयं विश्लेषण के अधीन थी। परिणामों की तुलना करने के बाद, हमने निर्णय लिया कि सर्वेक्षण डेटा को अंतिम मॉडल में शामिल किया जाए या नहीं।

हमने 12 फ़ंक्शन और एक लक्ष्य चर (रेटिंग) द्वारा निर्धारित एक उद्देश्य डेटा का गठन किया। पैकेज में 10.8 हजार यूनिट की जानकारी शामिल थी। उपयोगकर्ता समीक्षाओं के लिए, हमने 100 सबसे अधिक प्रासंगिक का चयन किया और 64.3 हजार तत्वों के लिए पांच कार्यों का उपयोग किया। सभी डेटा सीधे Google Play Store से एकत्र किए गए थे, आखिरी बार इसे तीन महीने पहले अपडेट किया गया था।

डेटा प्रीप्रोसेसिंग

सूचना का प्रारंभिक सेट कुछ इस तरह से देखा गया था:



सेटिंग्स, रेटिंग, लागत और आकार - हमने यह सब इस तरह से संसाधित किया है कि मशीन के लिए समझ में आने वाले नंबर प्राप्त करने के लिए। विभिन्न कार्यों को संसाधित करते समय, समस्याएं उत्पन्न हुईं, जैसे "+" को हटाने की आवश्यकता। लागत में हमने $ निकाल दिए। प्रसंस्करण के संदर्भ में आवेदन की मात्रा सबसे अधिक समस्याग्रस्त हो गई, क्योंकि केबी और एमबी दोनों भर में आए थे, इसलिए सब कुछ को एक प्रारूप में कम करने के लिए कुछ काम करना आवश्यक था। प्राथमिक डेटा नीचे दिखाया गया है और वे प्रसंस्करण के बाद भी हैं।



इसके अलावा, हमने कुछ डेटा को बदल दिया, जिससे यह हमारे काम के लिए अधिक प्रासंगिक हो गया। उदाहरण के लिए, नवीनतम एप्लिकेशन अपडेट के बारे में जानकारी बहुत उपयोगी नहीं थी। उन्हें और अधिक सार्थक बनाने के लिए, हमने इसे अंतिम अपडेट के बाद बीते हुए समय की जानकारी में बदल दिया। इस कार्य के लिए कोड नीचे दिखाया गया है।

from datetime import datetime from dateutil.relativedelta import relativedelta n = 3 # month bin size last_updated_list = (new_google_play_store["Last Updated"]).values last_n_months = list() for (index, last_updated) in enumerate(last_updated_list): window2 = datetime.today() window1 = window2 - relativedelta(months=+n) date_bin = 1 #print("{0}: {1}".format(index, last_updated)) last_update_date = datetime.strptime(last_updated, "%d-%b-%y") while(not(window1 < last_update_date < window2)): date_bin = date_bin + 1 window2 = window2 - relativedelta(months=+n) window1 = window1 - relativedelta(months=+n) last_n_months.append(date_bin) new_google_play_store["Updated ({0} month increments)".format(n)] = last_n_months new_google_play_store = new_google_play_store.drop(labels = ["Last Updated"], axis = 1) new_google_play_store.head() 

कई अलग-अलग मूल्यों (उदाहरण के लिए, "शैली") के साथ एकल मानक चर लाने के लिए भी आवश्यक था। यह कैसे किया गया नीचे दिखाया गया है।

 from copy import deepcopy from sklearn.preprocessing import LabelEncoder def one_hot_encode_by_label(df, labels): df_new = deepcopy(df) for label in labels: dummies = df_new[label].str.get_dummies(sep = ";") df_new = df_new.drop(labels = label, axis = 1) df_new = df_new.join(dummies) return df_new def label_encode_by_label(df, labels): df_new = deepcopy(df) le = LabelEncoder() for label in labels: print(label + " is label encoded") le.fit(df_new[label]) dummies = le.transform(df_new[label]) df_new.drop(label, axis = 1) df_new[label] = pd.Series(dummies) return df_new 

डेटा को सामान्य करने के लिए, हमने लॉग 1 पी रूपांतरण की कोशिश की। उससे पहले:



के बाद:

डेटा की खोज

जैसा कि आप देख सकते हैं, परिवार के लिए गेम और एप्लिकेशन दो सबसे लोकप्रिय श्रेणियां हैं। अधिकांश एप्लिकेशन "सभी उम्र के लिए" श्रेणी में भी थे।





यह तर्कसंगत है कि अधिकतम रेटिंग वाले अनुप्रयोगों में कम-मूल्यांकन वाले की तुलना में अधिक समीक्षाएँ हैं। उनमें से कुछ अन्य सभी की तुलना में बहुत अधिक समीक्षाएँ हैं। शायद इसका कारण एक पॉप-अप संदेश, कॉल टू रेट या अन्य समान तकनीकें हैं।



इंस्टॉलेशन की संख्या और समीक्षाओं की संख्या के बीच एक संबंध भी है। सहसंबंध नीचे स्क्रीनशॉट में दिखाया गया है।

इस निर्भरता का एक विस्तृत विश्लेषण यह समझ दे सकता है कि लोकप्रिय श्रेणियों के अनुप्रयोगों की अधिक स्थापना और अधिक समीक्षाएं क्यों हैं।

मॉडल और परिणाम

हमने परीक्षण और प्रशिक्षण सेटों में डेटा को तोड़ने के लिए परीक्षण विभाजन का उपयोग किया। GridSearchCV के साथ क्रॉस सत्यापन का उपयोग मॉडल प्रशिक्षण परिणामों को बेहतर बनाने के लिए किया गया था ताकि XGBoost पैकेज से Lasso, रिज रिग्रेशन और XGBRegressor के साथ सबसे अच्छा अल्फा का पता लगाया जा सके। उत्तरार्द्ध मॉडल आम तौर पर बेहद प्रभावी होता है, लेकिन इसका उपयोग करते हुए, परिणामों को समायोजित करने से सावधान रहना चाहिए - यह शोधकर्ताओं का इंतजार कर रहे खतरों में से एक है। वस्तुओं के किसी भी विशेष रूप से सावधानीपूर्वक प्रसंस्करण (केवल कोडिंग और सफाई) के बिना प्रारंभिक आरएमएस मूल्य लगभग 0.228 था।

रेटिंग्स के लघुगणक रूपांतरण के बाद, मानक त्रुटि 0.219 तक गिर गई, जो थोड़ा सुधार था, लेकिन हमें एहसास हुआ कि हम सब कुछ ठीक कर रहे हैं।

हमने समीक्षाओं, दृष्टिकोणों और रेटिंग्स के बीच संबंधों का मूल्यांकन करने के बाद रैखिक प्रतिगमन का उपयोग किया। विशेष रूप से, हमने इन चरों की सांख्यिकीय जानकारी का विश्लेषण किया, जिसमें आर-स्क्वेर और पी भी शामिल हैं, जिसके परिणामस्वरूप रैखिक प्रतिगमन पर निर्णय लिया गया है। उपयोग किए गए पहले रैखिक प्रतिगमन मॉडल ने सेटिंग्स और 0.2233 की रेटिंग के बीच सहसंबंध दिखाया, रैखिक प्रतिगमन मॉडल हमारी समीक्षा और रेटिंग ने हमें 0.2107 का एमएसई दिया, और संयुक्त रेखीय प्रतिगमन मॉडल, समीक्षा, सेटिंग्स और रेटिंग ", हमें 0.214 का MSE दिया।

इसके अलावा, हमने KNeighborsRegressor मॉडल का उपयोग किया। इसके उपयोग के परिणाम नीचे दिखाए गए हैं।

निष्कर्ष

Google Play Store से प्राथमिक डेटा को एक प्रयोग करने योग्य प्रारूप में परिवर्तित करने के बाद, हमने व्यक्तिगत मूल्यों के बीच संबंधों को समझने के लिए कार्य किए और प्राप्त किए। तब इन परिणामों का उपयोग एक इष्टतम मॉडल बनाने के लिए किया गया था।

शुरू में, हमें विश्वास था कि इसे खोजना बहुत मुश्किल नहीं होगा, ताकि हम एक सटीक मॉडल बना सकें। लेकिन यह कार्य हमारी अपेक्षा से अधिक कठिन था।

क्या किया गया है इसके अलावा, आप यह भी कर सकते हैं:

• प्रत्येक शैली के लिए एक अलग मॉडल बनाएं;
• Android OS संस्करणों से नई सुविधाएँ बनाएँ, जैसा कि हमने पहले तारीखों के साथ किया था;
• एल्गोरिथ्म को अधिक गहराई से जानने के लिए - हमारे पास पर्याप्त संख्या में श्रेणीबद्ध और संख्यात्मक डेटा बिंदु हैं;
• Google ऐप स्टोर से स्वतंत्र रूप से पार्स और स्पष्ट डेटा।

सभी परिणाम यहां उपलब्ध हैं ।

स्किलबॉक्स अनुशंसा करता है:

• ऑनलाइन कोर्स "प्रोफेशन फ्रंटेंड-डेवलपर"
• व्यावहारिक पाठ्यक्रम "मोबाइल डेवलपर प्रो" ।
• व्यावहारिक वार्षिक पाठ्यक्रम "पीएचपी-डेवलपर 0 से प्रो तक" ।