🙋🏾 👑 👅 सिफारिश प्रणालियों के एनाटॉमी। भाग दो 🤚🏿 💧 🎵

एक हफ्ते पहले, मैंने यहां मौजूदा सिफारिश एल्गोरिदम का अवलोकन किया। इस लेख में मैं इस समीक्षा को जारी रखूंगा: मैं सहयोगी फ़िल्टरिंग के आइटम-आधारित संस्करण के बारे में बात करूँगा, मैट्रिक्स डिकम्पोजिशन पर आधारित विधियों के बारे में, समस्याओं का परीक्षण करूँगा, और कम "अनवांटेड" (लेकिन कोई कम दिलचस्प) एल्गोरिदम के बारे में भी नहीं।

सहयोगात्मक फ़िल्टरिंग (आइटम-आधारित विकल्प)

आइटम-आधारित दृष्टिकोण शास्त्रीय उपयोगकर्ता-आधारित दृष्टिकोण का पहला भाग में वर्णित एक प्राकृतिक विकल्प है, और इसे लगभग पूरी तरह से दोहराता है, एक बिंदु को छोड़कर - यह ट्रांसपोज़्ड वरीयता मैट्रिक्स पर लागू होता है। यानी संबंधित उत्पादों की तलाश है, उपयोगकर्ताओं की नहीं।

मैं आपको याद दिलाता हूं कि उपयोगकर्ता-आधारित सहयोगी फ़िल्टरिंग (उपयोगकर्ता-आधारित CF) प्रत्येक ग्राहक के लिए ग्राहकों के एक समूह को खोजता है जो इसके समान है (पिछली खरीद के संदर्भ में) और अपनी वरीयताओं को औसत करता है। ये औसत प्राथमिकताएं उपयोगकर्ता के लिए सिफारिशों के रूप में काम करती हैं। कमोडिटी सहयोगी फ़िल्टरिंग (आइटम-आधारित सीएफ) के मामले में, निकटतम पड़ोसियों को उत्पादों के सेट पर खोजा जाता है - वरीयता मैट्रिक्स के कॉलम। और औसत उन पर ठीक होता है।

वास्तव में, यदि उत्पाद समान रूप से समान हैं, तो सबसे अधिक संभावना है कि वे या तो पसंद किए जाते हैं या एक ही समय में पसंद नहीं किए जाते हैं। इसलिए, जब हम देखते हैं कि दो उत्पादों में मजबूत संबंध हैं, तो यह संकेत दे सकता है कि वे समान उत्पाद हैं।

उपयोगकर्ता-आधारित आइटम-आधारित के लाभ:

जब बहुत सारे उपयोगकर्ता (लगभग हमेशा) होते हैं, तो निकटतम पड़ोसी को खोजने का कार्य खराब रूप से कम्प्यूटेशनल हो जाता है। उदाहरण के लिए, 1 मिलियन उपयोगकर्ताओं के लिए आपको गणना और स्टोर करने की आवश्यकता है $\ frac {1} {2} 10 ^ 6 * 10 ^ 6$ ~ 500 बिलियन की दूरी। यदि दूरी को 8 बाइट्स के साथ एन्कोड किया गया है, तो इसका परिणाम केवल दूरी मैट्रिक्स के लिए 4TB में होता है। यदि हम आइटम-आधारित करते हैं, तो गणनाओं की जटिलता कम हो जाती है $O (N ^ 2n)$ को $O (n ^ 2N)$ और दूरी मैट्रिक्स का आयाम नहीं है (1 मिलियन प्रति 1 मिलियन), लेकिन, उदाहरण के लिए, (100 प्रति 100) माल की संख्या से।
निकटता रेटिंग की तुलना में निकटता रेटिंग अधिक सटीक है। यह इस तथ्य का प्रत्यक्ष परिणाम है कि सामानों की तुलना में आमतौर पर बहुत अधिक उपयोगकर्ता हैं, और इसलिए सामानों के सहसंबंध की गणना में मानक त्रुटि बहुत कम है। निष्कर्ष निकालने के लिए हमारे पास अभी और जानकारी है।
उपयोगकर्ता-आधारित संस्करण में, उपयोगकर्ता विवरण आमतौर पर बहुत विरल होते हैं (कई उत्पाद हैं, कुछ रेटिंग्स)। एक तरफ, यह गणना को अनुकूलित करने में मदद करता है - हम केवल उन तत्वों को गुणा करते हैं जहां एक चौराहा है। लेकिन दूसरी तरफ - आप कितने पड़ोसियों को नहीं लेते हैं, जिन सामानों की सूची आप अंततः सुझा सकते हैं, वे बहुत छोटे हैं।
उपयोगकर्ता प्राथमिकताएं समय के साथ बदल सकती हैं, लेकिन आइटम विवरण बहुत अधिक स्थिर है।

बाकी एल्गोरिथ्म लगभग पूरी तरह से उपयोगकर्ता-आधारित विकल्प को दोहराता है: निकटता के मुख्य उपाय के रूप में एक ही कोसाइन दूरी, डेटा सामान्यीकरण की समान आवश्यकता। पड़ोसी माल एन की संख्या आमतौर पर 20 के क्षेत्र में चुनी जाती है।

इस तथ्य के कारण कि उत्पादों के सहसंबंध को बड़ी संख्या में टिप्पणियों पर माना जाता है, प्रत्येक नए मूल्यांकन के बाद इसे पुनर्गणना करना इतना महत्वपूर्ण नहीं है, और आप इसे समय-समय पर युद्ध मोड में कर सकते हैं।

एल्गोरिथ्म में कई संभावित सुधार:

एक दिलचस्प संशोधन उत्पादों की "समानता" पर विचार करना है, न कि विशिष्ट कोसाइन दूरी के रूप में, बल्कि उनकी सामग्री (सामग्री-आधारित समानता) की तुलना करके। यदि एक ही समय में उपयोगकर्ता की वरीयताओं को किसी भी तरह से ध्यान में नहीं रखा जाता है, तो ऐसे फ़िल्टरिंग "सहयोगी" होना बंद हो जाते हैं। इसके अलावा, एल्गोरिथ्म का दूसरा हिस्सा - औसत अनुमान प्राप्त करना - किसी भी तरह से बदलता नहीं है।
आइटम समानता की गणना करते समय एक और संभावित संशोधन उपयोगकर्ताओं को तौलना है। उदाहरण के लिए, अधिक उपयोगकर्ता रेटिंग बनाते हैं, दो उत्पादों की तुलना करते समय उनका अधिक वजन होता है।
केवल पड़ोसी उत्पादों के अनुमानों को औसत करने के बजाय, एक रेखीय प्रतिगमन करके वज़न का चयन किया जा सकता है।

आइटम-आधारित दृष्टिकोण का उपयोग करते समय, सिफारिशें अधिक रूढ़िवादी होती हैं। वास्तव में, सिफारिशों का बिखराव कम है और इसलिए गैर-मानक उत्पादों को दिखाने की संभावना कम है।

यदि प्राथमिकता मैट्रिक्स में हम रेटिंग के रूप में उत्पाद विवरण दृश्य का उपयोग करते हैं, तो अनुशंसित उत्पादों को एनालॉग्स - उत्पाद होने की संभावना सबसे अधिक होती है जो अक्सर एक साथ होते हैं। यदि हम खरीद के आधार पर वरीयता मैट्रिक्स में रेटिंग की गणना करते हैं, तो सबसे अधिक संभावना है कि अनुशंसित उत्पाद सामान होंगे - सामान जो अक्सर एक साथ खरीदे जाते हैं।

सिस्टम गुणवत्ता मूल्यांकन

अनुशंसाकर्ता प्रणाली का परीक्षण एक कठिन प्रक्रिया है और हमेशा कई प्रश्न उठाता है, मुख्यतः "गुणवत्ता" की अवधारणा की अस्पष्टता के कारण।

सामान्य तौर पर, मशीन सीखने के कार्यों में, परीक्षण के दो मुख्य दृष्टिकोण हैं:

रेट्रो परीक्षणों का उपयोग करते हुए ऐतिहासिक डेटा पर मॉडल का ऑफ़लाइन परीक्षण,
ए / बी परीक्षण का उपयोग करके तैयार मॉडल का परीक्षण करना (हम कई विकल्प लॉन्च करते हैं, देखें कि कौन सा सबसे अच्छा परिणाम देता है)।

ये दोनों दृष्टिकोण सक्रिय रूप से सिफारिश प्रणालियों के विकास में उपयोग किए जाते हैं। चलो ऑफ़लाइन परीक्षण के साथ शुरू करते हैं।

मुख्य सीमा जिसे आपको सामना करना पड़ता है वह पूर्वानुमान की सटीकता का मूल्यांकन करने के लिए है जो हम केवल उन उत्पादों पर कर सकते हैं जिन्हें उपयोगकर्ता ने पहले ही रेट किया है।

मानक दृष्टिकोण लीव-वन-आउट और लीव-पी-आउट विधियों के साथ क्रॉस-मान्यता है। परिणामों के औसत के साथ परीक्षण की दोहराया पुनरावृत्ति एक अधिक स्थिर गुणवत्ता मूल्यांकन प्राप्त करने की अनुमति देती है।

लीव-वन-आउट - मॉडल को उपयोगकर्ता द्वारा मूल्यांकन की गई सभी वस्तुओं पर प्रशिक्षित किया जाता है, एक को छोड़कर, और इस एक ऑब्जेक्ट पर परीक्षण किया जाता है। यह सभी n वस्तुओं के लिए किया जाता है, और औसत की गणना n गुणवत्ता अनुमानों के बीच की जाती है।
लीव-पी-आउट एक समान है, लेकिन पी पॉइंट्स को हर चरण पर बाहर रखा गया है।

सभी गुणवत्ता मैट्रिक्स को तीन श्रेणियों में विभाजित किया जा सकता है:

भविष्यवाणी सटीकता - अनुमानित रेटिंग की सटीकता का मूल्यांकन करें,
निर्णय का समर्थन - सिफारिशों की प्रासंगिकता का मूल्यांकन,
रैंक सटीकता मेट्रिक्स - जारी की गई सिफारिशों की रैंकिंग की गुणवत्ता का मूल्यांकन करें।

दुर्भाग्य से, सभी अवसरों के लिए कोई एकल अनुशंसित मीट्रिक नहीं है, और हर कोई जो अनुशंसाकर्ता प्रणाली के परीक्षण में शामिल है, वह अपने स्वयं के प्रयोजनों के लिए इसका चयन करता है।

जब रेटिंग्स को निरंतर पैमाने (0-10) पर वर्गीकृत किया जाता है, तो प्रीडिक्शन एक्यूरेसी क्लास मेट्रिक्स आमतौर पर पर्याप्त होती हैं।

नाम	सूत्र	विवरण
MAE (मतलब पूर्ण त्रुटि)	$E (\| P-R \|)$	औसत पूर्ण विचलन
MSE (मतलब चुकता त्रुटि)	$E (\| P-R \| ^ 2)$	मानक त्रुटि
RMSE (रूट मीन चुकता त्रुटि)	$\ sqrt {E (\| P-R \| ^ 2)}$	माध्य वर्ग त्रुटि का मूल

निर्णय समर्थन वर्ग मैट्रिक्स बाइनरी डेटा (0 और 1, हां और नहीं) के साथ काम करता है। यदि हमारे कार्य में रेटिंग्स को शुरू में निरंतर पैमाने पर स्थगित किया जाता है, तो उन्हें निर्णायक नियम लागू करके द्विआधारी प्रारूप में परिवर्तित किया जा सकता है - कहते हैं, यदि रेटिंग 3.5 से कम है, तो हम रेटिंग को "बुरा" मानते हैं, और यदि यह अधिक है, तो "अच्छा" है।

नाम	सूत्र	विवरण
शुद्धता	$\ frac {TP} {TP + FP}$	उपयोगकर्ता की सिफारिशों का प्रतिशत
याद	$\ frac {TP} {TP + FN}$	उन उत्पादों का प्रतिशत जो उपयोगकर्ता के लिए रुचि रखते हैं।
एफ 1-उपाय	$\ frac {2PR} {P + R}$	हार्मोनिक का मतलब है मेट्रिक्स प्रिसिजन और रिकॉल। यह उपयोगी है जब अग्रिम में यह कहना असंभव है कि कौन सा मीट्रिक अधिक महत्वपूर्ण है।
आरओसी एयूसी		सिफारिशों की सूची के शीर्ष पर दिलचस्प उत्पादों की एकाग्रता कितनी अधिक है
परिशुद्धता @ एन		टॉप-एन रिकॉर्ड्स पर सटीक मेट्रिक की गिनती
@ एन याद करते हैं		रिकॉल मेट्रिक की गिनती टॉप-एन रिकॉर्ड्स में की जाती है
AverageP		सिफारिशों की पूरी सूची में सटीक औसत

एक नियम के रूप में, सिफारिशों को कई पदों की सूची में प्रदर्शित किया जाता है (पहले शीर्ष, फिर वरीयता के अवरोही क्रम में)। रैंक सटीकता क्लास मेट्रिक्स मापता है कि किस क्रम में क्रमबद्ध सूची में सिफारिशें दर्शाई गई हैं।

नाम	सूत्र	विवरण
मीन रेसिप्रोकल रैंक	$E (\ frac {1} {pos})$	सिफारिशों की सूची में किस स्थिति में उपयोगकर्ता को पहला उपयोगी लगता है
स्पीयरमैन सहसंबंध	$E (\| P-R \| ^ 2)$	सिफारिशों का वास्तविक और अनुमानित रैंक का सहसंबंध (स्पीयरमैन)
nDCG	$\ sum {\ frac {R (i)} {अधिकतम (1, लॉग (i))}}$	सिफारिशों की रैंकिंग को ध्यान में रखते हुए समस्या की सूचना
समवर्ती जोड़े का अंश	$P (X_ {R}> X_ {P})$	सिफारिशों की सूची के शीर्ष पर दिलचस्प उत्पादों की एकाग्रता कितनी अधिक है

यदि हम ऑनलाइन व्यापार में सिफारिश प्रणाली लेते हैं, तो, एक नियम के रूप में, उनके पास दो (कभी-कभी परस्पर विरोधी) लक्ष्य हैं:

एक दिलचस्प उत्पाद के बारे में उपयोगकर्ता को सूचित करें,
उसे खरीदारी करने के लिए प्रोत्साहित करें (मेल करके, व्यक्तिगत प्रस्ताव का संकलन करके, आदि)।

उपयोगकर्ता को कार्रवाई के लिए प्रेरित करने के उद्देश्य से किसी भी मॉडल में, लक्ष्य कार्रवाई में केवल वृद्धिशील वृद्धि का मूल्यांकन किया जाना चाहिए। उदाहरण के लिए, अनुशंसा के आधार पर खरीदारी की गणना करते समय, हमें उन लोगों को बाहर करने की आवश्यकता होती है जो उपयोगकर्ता स्वयं हमारे मॉडल के बिना करते थे। यदि ऐसा नहीं किया जाता है, तो मॉडल को पेश करने का प्रभाव बहुत कम हो जाएगा।

लिफ्ट इस बात का सूचक है कि किसी मॉडल की सटीकता एक निश्चित आधारभूत एल्गोरिथ्म से कितनी गुना अधिक है। हमारे मामले में, आधारभूत एल्गोरिथ्म बस सिफारिशों की कमी हो सकती है। यह मीट्रिक वृद्धिशील खरीद की हिस्सेदारी को अच्छी तरह से पकड़ लेती है और इससे आप विभिन्न मॉडलों की प्रभावी रूप से तुलना कर सकते हैं।

उपयोगकर्ता परीक्षण

स्रोत

उपयोगकर्ता का व्यवहार एक खराब औपचारिक चीज़ है और एक भी मीट्रिक किसी उत्पाद को चुनते समय उसके सिर में सोचा प्रक्रियाओं का पूरी तरह से वर्णन नहीं करेगा। निर्णय कई कारकों से प्रभावित होता है। अनुशंसित उत्पाद के साथ लिंक पर क्लिक करने पर इसकी उच्च रेटिंग या यहां तक कि ब्याज भी नहीं है। ऑनलाइन परीक्षण ग्राहक के तर्क को आंशिक रूप से समझने में मदद करता है। इस तरह के परीक्षण के लिए कुछ परिदृश्य निम्नलिखित हैं।

पहला और सबसे स्पष्ट परिदृश्य साइट की घटनाओं का विश्लेषण है। हम देखते हैं कि उपयोगकर्ता साइट पर क्या कर रहा है, क्या वह हमारी सिफारिशों पर ध्यान दे रहा है, क्या यह उनका अनुसरण कर रहा है, सिस्टम की कौन-सी विशेषताएं मांग में हैं, जो नहीं हैं, कौन से उत्पाद बेहतर अनुशंसित हैं, जो बदतर हैं। यह समझने के लिए कि कौन सा एल्गोरिदम पूरी तरह से बेहतर काम करता है या सिर्फ एक नए आशाजनक विचार की कोशिश करता है, हम ए / बी परीक्षण करते हैं और परिणाम एकत्र करते हैं।

दूसरा परिदृश्य उपयोगकर्ताओं से चुनाव और चुनाव के रूप में प्रतिक्रिया प्राप्त कर रहा है। एक नियम के रूप में, ये समझने के लिए सामान्य प्रश्न हैं कि ग्राहक सेवा का उपयोग कैसे करते हैं - जो अधिक महत्वपूर्ण है: प्रासंगिकता या विविधता, चाहे वह नकली उत्पादों को दिखाना संभव हो, या क्या यह बहुत कष्टप्रद है। स्क्रिप्ट का लाभ यह है कि यह इन सभी सवालों का सीधा जवाब प्रदान करता है।

ऐसा परीक्षण एक जटिल बात है, लेकिन बड़ी सिफारिश सेवाओं के लिए यह आवश्यक है। प्रश्न अधिक जटिल हो सकते हैं, उदाहरण के लिए, "आपको कौन सी सूचियां अधिक प्रासंगिक लगती हैं", "शीट कितनी पूरी लगती है", "क्या आप इस फिल्म को देखेंगे / एक पुस्तक पढ़ेंगे"।

इंप्लिमेंट रेटिंग और यूनरी डेटा

इसके विकास की शुरुआत में, अनुशंसा प्रणालियों का उपयोग उन सेवाओं में किया गया था जहां उपयोगकर्ता स्पष्ट रूप से रेटिंग द्वारा उत्पाद का मूल्यांकन करता है - ये अमेज़ॅन, नेटफ्लिक्स और अन्य ऑनलाइन ट्रेडिंग साइट हैं। हालांकि, अनुशंसाकर्ता प्रणालियों की लोकप्रियता के साथ, उन्हें भी लागू करने की आवश्यकता थी जहां कोई रेटिंग नहीं है - ये बैंक, कार की मरम्मत की दुकानें, शॉर्मा के साथ कियोस्क और कोई अन्य सेवाएं हो सकती हैं जहां किसी कारण से मूल्यांकन प्रणाली स्थापित करना असंभव है। इन मामलों में, उपयोगकर्ता के हितों की गणना केवल अप्रत्यक्ष संकेतों से की जा सकती है - उत्पाद के साथ कुछ क्रियाएं उपयोगकर्ता वरीयताओं को इंगित करती हैं, उदाहरण के लिए, साइट पर विवरण देखना, उत्पाद को टोकरी में जोड़ना, आदि। यह "खरीदा - यह प्यार का मतलब है!" के सिद्धांत का उपयोग करता है। इस तरह की निहित रेटिंग प्रणाली को इंप्लिमेंट रेटिंग कहा जाता है।

स्पष्ट रेटिंग स्पष्ट रूप से अधिक खराब काम करती है, क्योंकि वे परिमाण के एक आदेश को अधिक शोर से जोड़ते हैं। आखिरकार, एक उपयोगकर्ता अपनी पत्नी के लिए एक उत्पाद के रूप में एक उत्पाद खरीद सकता है या उत्पाद के विवरण के साथ एक पृष्ठ पर जा सकता है, केवल "वहाँ किस तरह की नग्नता है यह सब एक समान है" या अपनी प्राकृतिक जिज्ञासा को संतुष्ट करने के लिए एक टिप्पणी छोड़ दें।

यदि स्पष्ट रेटिंग के मामले में, हमें यह उम्मीद करने का अधिकार है कि कम से कम एक नकारात्मक रेटिंग नहीं, नहीं और हां है, तो हम कहीं से भी नकारात्मक रेटिंग नहीं लेंगे। यदि उपयोगकर्ता ने "फिफ्टी शेड्स ऑफ ग्रे" पुस्तक नहीं खरीदी, तो वह दो कारणों से ऐसा कर सकता है:

वह वास्तव में उसकी दिलचस्पी नहीं है (यह एक नकारात्मक मामला है),
वह उसमें दिलचस्पी लेती है, लेकिन वह उसके बारे में आसानी से नहीं जानता है (यह एक गलत सकारात्मक मामला है)।

लेकिन हमारे पास पहले मामले को दूसरे से अलग करने के लिए कोई डेटा नहीं है। यह बुरा है, क्योंकि जब किसी मॉडल को प्रशिक्षित करते हैं, तो हमें सकारात्मक मामलों पर इसे मजबूत करना चाहिए और नकारात्मक लोगों पर जुर्माना करना चाहिए, और इसलिए हम लगभग हमेशा ठीक रहेंगे, और परिणामस्वरूप, मॉडल पक्षपाती होगा।

दूसरा मामला केवल सकारात्मक रेटिंग छोड़ने की क्षमता है। एक स्पष्ट उदाहरण सोशल नेटवर्क पर लाइक बटन है। यहां रेटिंग पहले से ही स्पष्ट रूप से रखी गई है, लेकिन पिछले उदाहरण की तरह, हमारे पास नकारात्मक उदाहरण नहीं हैं - हम जानते हैं कि उपयोगकर्ता को कौन से चैनल पसंद हैं, लेकिन हम नहीं जानते कि वे कौन से पसंद करते हैं।

दोनों उदाहरणों में, कार्य एक Unary Class Classification कार्य में बदल जाता है।

सबसे स्पष्ट समाधान एक सरल पथ का अनुसरण करना है और रेटिंग की अनुपस्थिति को नकारात्मक रेटिंग के रूप में मानना है। कुछ मामलों में यह अधिक न्यायसंगत है, कुछ में कम। उदाहरण के लिए, यदि हम जानते हैं कि उपयोगकर्ता ने सबसे अधिक संभावना उत्पाद को देखा था (उदाहरण के लिए, हमने उसे उत्पाद सूची दिखाई, और उसने उस उत्पाद पर स्विच किया जो उसके पीछे है), तो संक्रमण की कमी वास्तव में ब्याज की कमी का संकेत दे सकती है।

स्रोत

फैक्टराइजेशन एल्गोरिदम

यह बड़ा "स्ट्रोक" में उपयोगकर्ता के हितों का वर्णन करने के लिए बहुत अच्छा होगा। प्रारूप में "वह फिल्मों एक्स, वाई और जेड" से प्यार करता है, लेकिन प्रारूप में "वह आधुनिक रूसी कॉमेडी से प्यार करता है"। इस तथ्य के अलावा कि यह मॉडल की सामान्यता में वृद्धि करेगा, यह डेटा की एक बड़ी गतिशीलता की समस्या को भी हल करेगा - क्योंकि हितों को माल के वेक्टर द्वारा नहीं, बल्कि वरीयताओं के एक छोटे से वेक्टर द्वारा वर्णित किया जाएगा।

इस तरह के दृष्टिकोण को वर्णक्रमीय विघटन या उच्च-पास फ़िल्टरिंग भी कहा जाता है (क्योंकि हम शोर को हटाते हैं और एक उपयोगी संकेत छोड़ते हैं)। बीजगणित में मेट्रिसेस के कई अलग-अलग विघटन होते हैं, और सबसे अधिक इस्तेमाल में से एक को एसवीडी अपघटन (एकवचन मूल्य अपघटन) कहा जाता है।

एसवीडी विधि का उपयोग 80 के दशक के अंत में उन पृष्ठों का चयन करने के लिए किया गया था जो अर्थ में समान थे, लेकिन सामग्री में नहीं थे, और फिर सिफारिशों के कार्यों में उपयोग किया जाने लगा। विधि 3 मैट्रिक्स के उत्पाद में रेटिंग्स के प्रारंभिक मैट्रिक्स के अपघटन पर आधारित है:

आ र = य ू * ड ी * ए स

$आर = यू * डी * एस$ जहां मैट्रिस के आकार

(क े, ए म) = (क े, आ र) * (आ र, आ र) * (आ र, ए म)

$(के, एम) = (के, आर) * (आर, आर) * (आर, एम)$ , और आर है
अपघटन रैंक - अपघटन विस्तार की डिग्री को चिह्नित करने वाला एक पैरामीटर।

हमारी प्राथमिकता मैट्रिक्स में इस अपघटन को लागू करते हुए, हम कारकों के दो मैट्रिक्स (संक्षिप्त विवरण) प्राप्त करते हैं:

यू - उपयोगकर्ता प्राथमिकताओं का संक्षिप्त विवरण,
एस उत्पाद सुविधाओं का एक कॉम्पैक्ट विवरण है।

यह महत्वपूर्ण है कि इस दृष्टिकोण के साथ हम यह नहीं जानते हैं कि कौन से लक्षण कम विवरणों में कारकों के अनुरूप हैं, हमारे लिए वे कुछ संख्याओं के साथ एन्कोडेड हैं। इसलिए, SVD एक निर्बाध मॉडल है।

वरीयता मैट्रिक्स का एक अनुमान प्राप्त करने के लिए, यह कारकों के मैट्रिक्स को गुणा करने के लिए पर्याप्त है। ऐसा करने के बाद, हम सभी ग्राहक-उत्पाद जोड़े के लिए रेटिंग स्कोर प्राप्त करते हैं।

ऐसे एल्गोरिदम के सामान्य परिवार को एनएमएफ (गैर-नकारात्मक मैट्रिक्स कारक) कहा जाता है। एक नियम के रूप में, इस तरह के विस्तार की गणना बहुत समय लेने वाली है, इसलिए, व्यवहार में, वे अक्सर अपने अनुमानित पुनरावृत्त वेरिएंट का सहारा लेते हैं।

एएलएस (कम से कम वर्ग) 2 मैट्रिक्स के उत्पाद में एक वरीयता मैट्रिक्स को विघटित करने के लिए एक लोकप्रिय पुनरावृत्ति एल्गोरिथ्म है: उपयोगकर्ता कारक (यू) और उत्पाद कारक (आई)। यह रेटिंग के मानक त्रुटि को कम करने के सिद्धांत पर काम करता है। अनुकूलन पहले वैकल्पिक रूप से होता है, पहले उपयोगकर्ता कारकों द्वारा, फिर उत्पाद कारकों द्वारा। इसके अलावा, रिट्रेनिंग को दरकिनार करने के लिए, नियमितीकरण गुणांक मानक त्रुटि में जोड़े जाते हैं।

यदि हम उपयोगकर्ता या उत्पाद के बारे में जानकारी वाले नए आयाम के साथ वरीयता मैट्रिक्स को पूरक करते हैं, तो हम प्राथमिकता मैट्रिक्स को नहीं, बल्कि टेंसर का विस्तार करने में सक्षम होंगे। इस प्रकार, हम अधिक उपलब्ध जानकारी का उपयोग करेंगे और संभवतः अधिक सटीक मॉडल प्राप्त करेंगे।

अन्य दृष्टिकोण

एसोसिएशन के नियम

साहचर्य नियम आमतौर पर उत्पाद सहसंबंधों (मार्केट बास्केट एनालिसिस) के विश्लेषण में उपयोग किए जाते हैं और कुछ इस तरह दिखते हैं: "यदि ग्राहक की जांच में दूध है, तो 80% मामलों में रोटी होगी"। यही है, अगर हम देखते हैं कि ग्राहक ने पहले से ही टोकरी में दूध डाला है, तो रोटी के बारे में याद दिलाने का समय है।

यह समय में स्थानिक खरीद के विश्लेषण के समान नहीं है, लेकिन अगर हम पूरे इतिहास को एक बड़ी टोकरी के रूप में मानते हैं, तो हम इस सिद्धांत को पूरी तरह से यहां लागू कर सकते हैं। यह तब उचित हो सकता है जब, उदाहरण के लिए, हम महंगे एकमुश्त माल (क्रेडिट, फ्लाइट) बेचते हैं।

आरबीएम (प्रतिबंधित बोलज़मैन मशीनें)

बंधी हुई बोल्ट्जमैन मशीनें स्टोकेस्टिक रिकरंट न्यूरल नेटवर्क पर आधारित एक अपेक्षाकृत पुराना दृष्टिकोण है। यह अव्यक्त चर वाला एक मॉडल है और इसमें एसवीडी अपघटन के समान है। यह उपयोगकर्ता वरीयताओं के सबसे कॉम्पैक्ट विवरण के लिए भी दिखता है, जो अव्यक्त चर का उपयोग करके एन्कोड किया गया है। अनुशंसाओं की खोज करने के लिए विधि विकसित नहीं की गई थी, लेकिन शीर्ष नेटफ्लिक्स पुरस्कार समाधान में इसका सफलतापूर्वक उपयोग किया गया था और अभी भी कुछ कार्यों में उपयोग किया जाता है।

Avtoenkodery (autoencoders)

यह वर्णक्रमीय विघटन के एक ही सिद्धांत पर आधारित है, यही वजह है कि ऐसे नेटवर्क को ऑटो-एनकोडर्स भी कहा जाता है। नेटवर्क पहले उस उपयोगकर्ता डेटा को ढहता है जिसके बारे में वह एक कॉम्पैक्ट प्रतिनिधित्व में जानता है, केवल सार्थक जानकारी को छोड़ने की कोशिश कर रहा है, और फिर डेटा को उसके मूल आयाम तक पुनर्स्थापित करता है। परिणाम एक प्रकार का औसत, शोर-रहित टेम्पलेट है जिसके द्वारा आप किसी भी उत्पाद में रुचि का मूल्यांकन कर सकते हैं।

डीएसएमएस (गहरी अर्धचालक मॉडल)

नए दृष्टिकोणों में से एक। सभी समान सिद्धांत, लेकिन अव्यक्त चर की भूमिका में, यहां इनपुट डेटा (एम्बेडिंग) के आंतरिक टेंसर विवरण हैं। प्रारंभ में, मॉडल को दस्तावेज़ों (साथ ही सामग्री-आधारित अनुशंसाओं) से मेल खाते क्वेरी के लिए बनाया गया था, लेकिन यह उपयोगकर्ताओं और उत्पादों के मिलान के कार्य में आसानी से बदल जाता है।

गहरे नेटवर्क आर्किटेक्चर की विविधता अंतहीन है, यही वजह है कि डीप लर्निंग सिफारिशकर्ताओं के लिए प्रयोग का एक व्यापक क्षेत्र प्रदान करता है।

हाइब्रिड समाधान

व्यवहार में, केवल एक दृष्टिकोण का उपयोग शायद ही कभी किया जाता है। एक नियम के रूप में, अधिकतम प्रभाव प्राप्त करने के लिए कई एल्गोरिदम को एक में जोड़ा जाता है।

मॉडल के संयोजन के दो मुख्य लाभ सटीकता और ग्राहकों के विभिन्न समूहों के लिए अधिक लचीली ट्यूनिंग की संभावना है। नुकसान कम व्याख्यात्मकता और कार्यान्वयन और समर्थन की अधिक जटिलता हैं।

कई संयोजन रणनीतियाँ:

वेटिंग - कई अनुमानों के लिए भारित औसत पूर्वानुमान पढ़ें,
स्टैकिंग - व्यक्तिगत मॉडल की भविष्यवाणियां एक और (मेटा) क्लासिफायरियर के इनपुट हैं जो सही ढंग से वजन का अनुमान लगाती हैं,

स्विचिंग - विभिन्न उत्पादों / उपयोगकर्ताओं के लिए अलग-अलग एल्गोरिदम लागू करें,
मिश्रण - विभिन्न एल्गोरिदम पर सिफारिशों की गणना की जाती है, और फिर बस एक सूची में संयोजित किया जाता है।

उदाहरण के लिए, सामग्री-आधारित अनुशंसाकर्ता का उपयोग किया जाता है, और सुविधाओं में से एक के रूप में - सहयोगी फ़िल्टरिंग का परिणाम।

फ़ीचर भारित (रैखिक) स्टैकिंग:

P (u, i) = w_{1} P_{1} (u, i) + w_{2} P_{2} (u, i) + \dots + w_{n} P_{n} (u, i)

$P(u,i) = w_1 P_1(u,i) + w_2 P_2(u,i) + … + w_n P_n(u,i)$

भार

नमूना पर प्रशिक्षित हैं। एक नियम के रूप में, इसके लिए लॉजिस्टिक रिग्रेशन का उपयोग किया जाता है।सामान्य रूप से स्टैकिंग:

w_{1}, w_{2} \dots w_{n}

$w_1,w_2 … w_n$

P (u, i) = f_{1} (u, i) P_{1} (u, i) + f_{2} (u, i) P_{2} (u, i) + \dots + f_{n} (u, i) P_{n} (u, i)

$P(u,i) = f_1(u,i) P_1(u,i) + f_2(u,i) P_2(u,i) + … + f_n(u,i) P_n(u,i)$

Netflix

नेटफ्लिक्स पुरस्कार 2009 में आयोजित एक प्रतियोगिता थी जिसमें नेटफ्लिक्स फिल्म लाइब्रेरी उपयोगकर्ताओं को अपनी रेटिंग का अनुमान लगाना था। पुरस्कार राशि में अच्छा $ 1 मिलियन ने हलचल पैदा की और बड़ी संख्या में प्रतिभागियों को आकर्षित किया, जिसमें एआई में काफी प्रसिद्ध लोग शामिल थे।

यह स्पष्ट रेटिंग वाला एक कार्य था, स्कोर 1 से 5 के पैमाने पर निर्धारित किए गए थे, और आरएमएसई द्वारा पूर्वानुमान सटीकता का आकलन किया गया था। अधिकांश प्रथम स्थान क्लासिफायर के बड़े दासों द्वारा लिए गए थे।

विजेता पहनावा निम्नलिखित वर्गों के मॉडल का उपयोग करता है:

बुनियादी मॉडल - औसत अनुमानों के आधार पर एक प्रतिगमन मॉडल
सहयोगी फ़िल्टरिंग - सहयोगी फ़िल्टरिंग
आरबीएम - लिमिटेड बोल्ट्जमैन मशीनें
यादृच्छिक वन - भविष्य कहनेवाला मॉडल

पारंपरिक ढाल बूस्टिंग का उपयोग मेटा-एल्गोरिदम के रूप में किया गया था जो स्थानीय एल्गोरिदम का अनुमान लगाता है।

सारांश

अनुशंसाओं को जनरेट करने का कार्य बहुत सरल है - हम अपने द्वारा ज्ञात उपयोगकर्ता अनुमानों के साथ एक प्राथमिकता मैट्रिक्स संकलित करते हैं, अगर यह पता चला है, तो हम इन अनुमानों को ग्राहक और उत्पाद के बारे में जानकारी के साथ पूरक करते हैं, और अज्ञात मानों को भरने का प्रयास करते हैं।

कथन की सादगी के बावजूद, सैकड़ों लेख प्रकाशित किए जाते हैं जो इसे हल करने के लिए मौलिक रूप से नए तरीकों का वर्णन करते हैं। सबसे पहले, यह एकत्र किए गए डेटा की मात्रा में वृद्धि के कारण है जो मॉडल में उपयोग किए जा सकते हैं और अंतर्निहित रेटिंग की भूमिका में वृद्धि कर सकते हैं। दूसरे, गहरी शिक्षा के विकास और नए तंत्रिका नेटवर्क आर्किटेक्चर के आगमन के साथ। यह सब मॉडल की जटिलता को गुणा करता है।

लेकिन सामान्य तौर पर, यह सब विविधता दृष्टिकोण के एक बहुत छोटे सेट के लिए नीचे आती है, जिसे मैंने इस लेख में वर्णन करने की कोशिश की।

मैं आपको हमारी रिक्तियों के बारे में याद दिलाता हूं।

सिफारिश प्रणालियों के एनाटॉमी। भाग दो