हर दिन, दुनिया भर के उपयोगकर्ताओं को बड़ी संख्या में विभिन्न मेलिंग प्राप्त होती हैं - केवल मेलकम्पिन सेवा के माध्यम से प्रतिदिन एक बिलियन पत्र भेजते हैं । इनमें से 20.81% खोजे जाते हैं।

हर महीने, हमारी साइटों के उपयोगकर्ता संपादक द्वारा चयनित सामग्री के साथ समाचार पत्र प्राप्त करते हैं। लगभग 21% पाठक इन पत्रों को खोलते हैं।

इस संख्या को बढ़ाने के लिए, आप उन्हें व्यक्तिगत बना सकते हैं। एक तरीका एक सिफारिश प्रणाली को जोड़ना है जो किसी विशेष पाठक के लिए दिलचस्प सामग्री को संकेत देगा।

इस लेख में मैं बात करूंगा कि सहयोगी फ़िल्टरिंग के आधार पर स्क्रैच से एक सिफारिश प्रणाली कैसे लागू की जाए।

लेख के पहले भाग में सिफारिश प्रणाली के कार्यान्वयन के लिए सैद्धांतिक आधार शामिल है। स्कूल की गणित सामग्री को समझने के लिए पर्याप्त है।

दूसरा भाग हमारी साइट डेटा के लिए पायथन कार्यान्वयन का वर्णन करता है।

सहयोगी फ़िल्टरिंग सिद्धांत का एक सा

सहयोगी प्रणालियों में सहयोगात्मक फ़िल्टरिंग शायद सबसे आसान तरीका है। यह इस विचार पर आधारित है कि समान उपयोगकर्ता को समान वस्तुएं पसंद हैं, जैसे कि लेख।

"समान उपयोगकर्ताओं" का क्या अर्थ है?

कैसे निर्धारित करें कि वासिली इवान या SQL सर्वर के बारे में PostgreSQL के बारे में एक लेख के लिए कितना पसंद है?

आइए एक उदाहरण देखें। मान लीजिए कि हमारे चार उपयोगकर्ता हैं: वासिली, इवान, इन्ना और अन्ना। साइट में पांच लेख हैं: अनुच्छेद 1, अनुच्छेद 2, अनुच्छेद 3, अनुच्छेद 4 और अनुच्छेद 5। नीचे दी गई तालिका में, उपयोगकर्ता और लेख के चौराहे पर संख्या पांच-बिंदु पैमाने पर उपयोगकर्ता की रेटिंग है। तालिका में शून्य ऐसे लेख हैं जो उपयोगकर्ता द्वारा रेट नहीं किए गए हैं। उदाहरण के लिए, वसीली को लेख 1, 3 और 4 पसंद हैं।

तालिका 1

सहज रूप से, हम यह मान सकते हैं कि यदि उपयोगकर्ता समान लेख पसंद करते हैं, तो उनका स्वाद मेल खाता है। आप क्या सोचते हैं, किसके हित वैसिली के हितों के समान हैं?

वासिली के हित इवान और इन्ना के हितों के समान हैं और अन्ना के हितों की तरह कम हैं। क्यों - यह आगे बताया जाएगा।

आगे के काम के लिए, वैसिली और इवान या इन्ना और अन्ना की "समानता" को औपचारिक रूप देना और मापना आवश्यक है।

ऐसा करने का सबसे आसान तरीका उपयोगकर्ता रेटिंग को उनकी प्रोफ़ाइल के विवरण के रूप में माना जाता है। उदाहरण में, तालिका में प्रत्येक पंक्ति एक उपयोगकर्ता का वर्णन है। पहली पंक्ति - तुलसी का वर्णन - पाँच संख्याओं का एक सदिश है: [४, ०, ५, ५, ०]; दूसरा - इवान - [0, 0, 4, 5, 0]; तीसरा इना है - [4, 2, 4, 0, 0]; चौथा है अन्ना - [५, ५, ०, ०, ५]।

अब आप "समानता के माप" उपयोगकर्ता विवरण की अवधारणा को पेश कर सकते हैं।

उपयोगकर्ताओं की "समानता" को मापने का एक तरीका वैक्टरों के बीच कॉशन दूरी की गणना करना है जो उनका वर्णन करते हैं।

ब्रह्मांडीय दूरी की गणना सूत्र द्वारा की जाती है:

$$

$$1 - cos \ theta = 1 - \ frac {A \ cdot B} {|| A || \ cdot || B ||}$$

जहाँ $$$ए$और $$$ब$- उपयोगकर्ता विवरण वैक्टर; $$$A \ cdot B$- विवरण वैक्टर के स्केलर उत्पाद; $$$|| A ||$। $$$|| B ||$- विवरण वैक्टर की लंबाई।

कोसाइन दूरी का अर्थ इस प्रकार है: यदि दो वैक्टर जहां $$$ए$और $$$ब$(उपयोगकर्ता विवरण वैक्टर) "समान" हैं, तो उनके बीच का कोण शून्य हो जाएगा, और इस कोण के कोसाइन में एकता हो जाएगी। आदर्श मामले में, जब दो उपयोगकर्ताओं के "हित" मेल खाते हैं, तो उनके लिए कॉशन की दूरी शून्य होगी।

वासिली और इवान के बीच कोसाइन दूरी:

$$

$$1 - cos \ थीटा = 1 - \ frac {4 \ cdot 0 + 0 \ cdot 0 + 5 \ cdot 4 + 5 \ cdot 5 + 0 \ cdot 0} {\ sqrt {4 ^ 2 + 0 ^ 2 + 5 ^ 2 + 5 ^ 2 + 0 ^ 2} \ cdot \ sqrt {0 ^ 2 + 0 ^ 2 + 4 ^ 2 + 5 ^ 2 + 0 ^ 2}} = 0.1349$$

इसी तरह, वैसिली और अन्ना के बीच कोसाइन दूरी 0.715 है। यानी, वासिली के हित इवान के हितों की तरह अन्ना के हितों से अधिक हैं।

उपयोगकर्ता रेटिंग की भविष्यवाणी कैसे करें?

यह हिस्सा सबसे दिलचस्प है। कई अलग-अलग विकल्प हैं। नीचे हम दो सरल विकल्पों पर विचार करते हैं।

अनुमानित रेटिंग - "समान" उपयोगकर्ताओं के बीच औसत रेटिंग

भविष्यवाणी की गई रेटिंग की गणना के लिए सबसे आसान विकल्प यह देखना है कि "समान" उपयोगकर्ताओं को कौन सी रेटिंग्स लेख में डालते हैं और औसत रेटिंग लेते हैं:

$$

$$r_ {u, i} = \ frac {1} {N} \ sum_ {u '\ _ in U} r_ {u', i}$$

इस सूत्र में:

• $$$r_ {u, i}$अनुमान है कि के लिए भविष्यवाणी की है $$$मैं$वें लेख और उपयोगकर्ता $$$यू$।
• $$$r_ {u ', i}$- उपयोगकर्ता रेटिंग $$$यू '$के लिए $$$मैं$वें लेख
• $$$यू$- "समान" उपयोगकर्ताओं के बहुत सारे,
• $$$एन$- "समान" उपयोगकर्ताओं की संख्या।

अनुमानित रेटिंग - "समान" उपयोगकर्ताओं के बीच औसत रेटिंग

थोड़ा और अधिक जटिल विकल्प समानता की डिग्री को ध्यान में रखना है: अधिक समान उपयोगकर्ताओं की रेटिंग को अंतिम रेटिंग को कम समान लोगों की रेटिंग से अधिक प्रभावित करना चाहिए:

$$

$$r_ {u, i} = \ frac {\ sum_ {u '\ _ in U} (1 - simil (u, u')) r_ {u ', i}} {\ _ sum_ {u' \ _ in U} | 1 - सिमिल (यू, यू ') |}$$

इस सूत्र में:

• $$$r_ {u, i}$अनुमान है कि के लिए भविष्यवाणी की है $$$मैं$वें लेख और उपयोगकर्ता $$$यू$।
• $$$r_ {u ', i}$- उपयोगकर्ता रेटिंग $$$यू '$के लिए $$$मैं$वें लेख
• $$$यू$- "समान" उपयोगकर्ताओं के बहुत सारे,
• $$$सिमिल (यू, यू ')$- उपयोगकर्ताओं की (समानता) (कोज्या दूरी) $$$यू$और $$$यू '$।

सिफारिशों की गुणवत्ता कैसे मापें?

किसी भी सिफारिश प्रणाली का निर्माण करते समय, आपको उस मीट्रिक का निर्धारण करना चाहिए जिसके द्वारा आप हमारे मॉडल की गुणवत्ता का मूल्यांकन कर सकते हैं - उपयोगकर्ता उपयोगकर्ता को कितनी अच्छी सामग्री प्रदान करता है। उदाहरण के लिए, रूट माध्य वर्ग त्रुटि ( $$$आरएमएसई$) सभी उपयोगकर्ता रेटिंग के लिए औसत त्रुटि का वर्गमूल है। औपचारिक रूप से, यह उपाय सूत्र द्वारा वर्णित है:

$$

$$RMSE = \ sqrt {\ frac {1} {| D |} \ sum_ {u, i \ _ in D} (\ hat {r} _ {u, i} - r_ {u, i}) ^ 2}$$

इस सूत्र में

• $$$डी$- उपयोगकर्ताओं द्वारा लेखों के सभी रेटिंग का सेट,
• $$$\ टोपी {r} _ {u, i}$- उपयोगकर्ता रेटिंग की भविष्यवाणी की $$$यू$लेख $$$मैं$।
• $$$r_ {u, i}$- वास्तविक उपयोगकर्ता रेटिंग $$$यू$लेख $$$मैं$।

आदर्श स्थिति में, जब अनुमानित रेटिंग उपयोगकर्ता के साथ मेल खाती है $$$आरएमएसई$शून्य के बराबर।

एक उदाहरण पर विचार करें। दो संदर्भ प्रणालियों ने वसीली के लिए भविष्यवाणियां कीं। परिणाम नीचे दी गई तालिका में है।

यह स्पष्ट रूप से स्पष्ट है कि दूसरी सिफारिश प्रणाली ने पहले की तुलना में बेहतर रेटिंग का अनुमान लगाया था। गिनती $$$आरएमएसई$:

$$

$$RMSE _ {(1)} = \ sqrt {\ frac {(4-1) ^ 2 + (0-3) ^ 2 + (5-5) ^ 2 + (5-2) ^ 2 + (0-2) ) ^ 2} {5}} = $ 2.48$$

$$

$$RMSE _ {(2)} = \ sqrt {\ frac {(4-4) ^ 2 + (0-1) ^ 2 + (5-5) ^ 2 + (5-3) ^ 2 + (0-0) ) ^ 2} {5}} = 1$$

दूसरी सिफारिश प्रणाली के मूल्यांकन के लिए त्रुटि काफी कम होने की उम्मीद है।

कार्यान्वयन

हमारे पास अपने निपटान में लेख और साइट के उपयोगकर्ताओं के अधिकांश डेटा हैं: लेख, टैग, उपयोगकर्ता की पसंद, आदि की जानकारी।

सहयोगी फ़िल्टरिंग को लागू करने के लिए, उपयोगकर्ता रेटिंग पर्याप्त हैं।

 import pandas as pd import numpy as np import os ratings_df = pd.read_csv('./input/Ratings.csv') print(' :', ratings_df.shape[0]) print(' :', ratings_df[ratings_df['Rate']].shape[0]) unique_user_ids = ratings_df[ratings_df['Rate']]['UserId'].unique() print(' :', len(unique_user_ids)) ratings_df.head() 

1007 सक्रिय उपयोगकर्ताओं ने 15313 "रेटिंग" दी। इनमें से, 15121 "पसंद"।

डेटा में चार कॉलम होते हैं: डेटाबेस ( आइडी कॉलम) से एक पंक्ति पहचानकर्ता, ऑब्जेक्ट पहचानकर्ता ( डॉक्यूमेंटआईड कॉलम), एक संकेत जो उपयोगकर्ता को लेख ( रेट कॉलम), और एक उपयोगकर्ता पहचानकर्ता ( UserId कॉलम) पसंद आया।

सुविधा के लिए, कॉलम दर जोड़ें। इस कॉलम में 1 का अर्थ है कि उपयोगकर्ता को लेख पसंद आया; -1 - जो पसंद नहीं आया।

 ratings_df['RateInt'] = ratings_df['Rate'].apply(lambda x: 1 if x else -1) ratings_df.head() 

आगे के काम के लिए, डेटा सेट को प्रशिक्षण और परीक्षण में विभाजित करना आवश्यक है: प्रशिक्षण का उपयोग मॉडल को प्रशिक्षित करने के लिए किया जाएगा, और परीक्षण एक भविष्यवाणियों की गुणवत्ता निर्धारित करेगा।

 from sklearn.model_selection import train_test_split train, test = train_test_split(ratings_df, test_size=0.2) 

सुविधा के लिए, हम प्रत्येक सेट को एक तालिका में बदलते हैं, जहाँ पंक्तियों में उपयोगकर्ताओं के पहचानकर्ता होते हैं, और कॉलम में लेख की शुरुआत में उदाहरण के साथ सादृश्य द्वारा लेखों के पहचानकर्ता होते हैं।

 def create_matrix(df): ratings_per_user = [] post_ids = df['DocumentId'].unique() for user_id in tqdm_notebook(all_users_ids, ''): row = {'user_id': user_id} ratings = df[df['UserId'] == user_id]['DocumentId'].values for post_id in post_ids: row[str(post_id)] = 1 if post_id in ratings else 0 ratings_per_user.append(row) return pd.DataFrame(ratings_per_user) train_df = create_matrix(train) test_df = create_matrix(test) 

मैट्रिक्स मिलान वाले उपयोगकर्ता और पसंदीदा लेख आपको उपयोगकर्ताओं के बीच कॉशन की दूरी की गणना करने की अनुमति देंगे:

 from scipy import spatial def cos_distance(x1, x2): return spatial.distance.cosine(x1, x2) at_least_one_fav_post_users = list(train_valuable_df['user_id'].values) def calculate_distances(df): columns = df.columns[:-1] cp = at_least_one_fav_post_users.copy() data = [] for user_id_1 in tqdm_notebook(at_least_one_fav_post_users, ''): row = {'user_id': user_id_1} for user_id_2 in cp: x1 = df[df['user_id'] == user_id_1][columns].values[0] x2 = df[df['user_id'] == user_id_2][columns].values[0] row[str(user_id_2)] = cos_distance(x1, x2) data.append(row) return pd.DataFrame(data) train_distances = calculate_distances(train_valuable_df) 

अब सब कुछ तैयार है ताकि उपयोगकर्ताओं को उन लेखों के बारे में बताया जा सके जो वे हमारी राय में पसंद करेंगे।

हम ऊपर वर्णित सिफारिशों की गणना के लिए दो रणनीतियों को लागू करते हैं: समान उपयोगकर्ताओं के बीच औसत और भारित औसत रेटिंग।

पहला तरीका

हम वर्तमान के सबसे करीब 10 उपयोगकर्ताओं को लेते हैं और इस तरह के उपयोगकर्ताओं के लिए औसत के रूप में रेटिंग का अनुमान लगाते हैं:

 from tqdm import tqdm_notebook import heapq def rmse(predicted, actual): return ((predicted - actual) ** 2).mean() ** 0.5 def get_similar(id, n): df = train_distances[train_distances['user_id'] == id] d = df.to_dict('records')[0] top_similar_ids = heapq.nsmallest(n+1, d, key=d.get) top_similar = df[top_similar_ids] return top_similar.to_dict('records')[0] def get_predictions(id, n): top_similar_users = get_similar(id, n) top_similar_users_ids = list([int(x) for x in top_similar_users.keys()]) ratings_for_top_similar = train_df[train_df['user_id'].isin(top_similar_users_ids)] predicted_ratings = {} for article_id in train_df.columns[:-1]: predicted_ratings[article_id] = ratings_for_top_similar[article_id].mean() return predicted_ratings rand_n_users = train_distances.sample(50)['user_id'].values err = 0 for u in tqdm_notebook(rand_n_users): pred = get_predictions(u, 10) err += rmse(test_df[test_df['user_id'] == u][list(pred.keys())].values, pd.DataFrame(pred, index=[0]).values) print(err / len(rand_n_users)) 

पहले दृष्टिकोण के लिए, हमें 0.855 के बराबर त्रुटि मिली।

दूसरा तरीका

दूसरी विधि उपयोगकर्ताओं की समानता की डिग्री को ध्यान में रखती है। इसका कार्यान्वयन पहले के समान है:

 def get_predictions(id, n): similar_users = get_similar(u, 10) prediction = {} user_ids = list(similar_users.keys()) user_similarities = [] for user_id in user_ids: user_similarities.append(similar_users[user_id]) predicted_ratings = {} for article_id in train_df.columns[:-1]: prediction_for_article = 0 numerator = 0 denominator = 0 for user_id in user_ids: rating = train_df[train_df['user_id'] == int(user_id)][article_id].values[0] numerator += rating * (1 - similar_users[user_id]) denominator += np.abs(similar_users[user_id]) predicted_ratings[article_id] = numerator / denominator return predicted_ratings err = 0 for u in tqdm_notebook(rand_n_users): pred = get_predictions(u, 10) err += rmse(test_df[test_df['user_id'] == u][list(pred.keys())].values, pd.DataFrame(pred, index=[0]).values) print(err / len(rand_n_users)) 

इस मामले में, उन्हें 0.866 त्रुटि मिली। पहले मामले की तुलना में त्रुटि थोड़ी बड़ी है।

परिणाम विभिन्न परिदृश्यों में उपयोग किए जा सकते हैं। उदाहरण के लिए, प्रति माह नए लेखों के समाचारपत्रिकाएँ या साइट पर "आप रुचि हो सकती है।"

सारांश

इस लेख में, मैंने एक वास्तविक कार्य के उदाहरण का उपयोग करते हुए विस्तार से जानने की कोशिश की कि कैसे सहयोग फ़िल्टरिंग के आधार पर एक सिफारिश प्रणाली बनाई जाए।

इस दृष्टिकोण का लाभ इसकी बहुमुखी प्रतिभा है - सिफारिशें ध्यान में नहीं रखती हैं कि किन वस्तुओं की सिफारिश की जाती है। ऑनलाइन स्टोर में ब्लॉग सिस्टम और उत्पादों दोनों के लिए एक प्रणाली का उपयोग किया जा सकता है।

नुकसान में निम्नलिखित शामिल हैं:

• अनुशंसाओं के लिए बड़ी संख्या में ऑब्जेक्ट के मामले में, उपयोगकर्ता-ऑब्जेक्ट मैट्रिक्स विरल हो जाता है, और पर्याप्त रूप से समान उपयोगकर्ता (कम उपयोगकर्ता-ऑब्जेक्ट जोड़े मिलान) खोजना मुश्किल हो जाता है
• कोल्ड स्टार्ट की समस्या - नए उपयोगकर्ता के लिए समान उपयोगकर्ताओं को खोजना असंभव है (इस सीमा को दरकिनार करने की रणनीति है, लेकिन वे रामबाण नहीं हैं)
• सहयोगी फ़िल्टरिंग पर आधारित एक प्रणाली लोकप्रिय वस्तुओं की सिफारिश करने के लिए जाती है, क्योंकि उपयोगकर्ताओं के विशाल बहुमत ऐसी वस्तुओं की सराहना करेंगे।

अगले लेख में, एक और दृष्टिकोण पर विचार किया जाएगा - खुद वस्तुओं के विश्लेषण के आधार पर।