पुस्तक "व्यापार और विपणन के लिए मशीन सीखना"

डेटा विज्ञान किसी भी विपणन गतिविधि का एक अभिन्न अंग बनता जा रहा है, और यह पुस्तक विपणन में डिजिटल परिवर्तन का एक जीवंत चित्र है। डेटा विश्लेषण और स्मार्ट एल्गोरिदम समय लेने वाली विपणन कार्यों को स्वचालित करते हैं। निर्णय लेने की प्रक्रिया न केवल अधिक सही होती जा रही है, बल्कि तेज भी हो रही है, जो लगातार तेजी से प्रतिस्पर्धी माहौल में बहुत महत्व रखती है।

“यह पुस्तक विपणन में डिजिटल परिवर्तन का एक जीवंत चित्र है। यह दिखाता है कि डेटा विज्ञान किसी भी विपणन गतिविधि का एक अभिन्न अंग बन रहा है। यह विस्तार से वर्णन करता है कि डेटा विश्लेषण और बुद्धिमान एल्गोरिदम पर आधारित दृष्टिकोण पारंपरिक रूप से श्रम-गहन विपणन कार्यों के गहन स्वचालन में कैसे योगदान करते हैं। निर्णय लेने की प्रक्रिया न केवल अधिक उन्नत हो रही है, बल्कि तेज भी हो रही है, जो हमारे लगातार प्रतिस्पर्धात्मक वातावरण में महत्वपूर्ण है। इस पुस्तक को डेटा प्रोसेसिंग विशेषज्ञों और विपणन विशेषज्ञों द्वारा पढ़ा जाना चाहिए, और यह बेहतर है अगर वे इसे एक साथ पढ़ते हैं। ” एंड्रे सेब्रेंट, स्ट्रेटेजिक मार्केटिंग के निदेशक, यैंडेक्स।

अंश। 5.8.3। छिपे हुए कारक मॉडल

अब तक चर्चा की गई संयुक्त फ़िल्टरिंग एल्गोरिदम में, अधिकांश गणना रेटिंग मैट्रिक्स के व्यक्तिगत तत्वों पर आधारित हैं। निकटता-आधारित विधियां, रेटिंग मैट्रिक्स में ज्ञात मूल्यों से सीधे लापता रेटिंग का मूल्यांकन करती हैं। मॉडल-आधारित विधियाँ, रेटिंग मैट्रिक्स के शीर्ष पर एक अमूर्त परत जोड़ती हैं, एक पूर्वानुमान मॉडल बनाती है जो उपयोगकर्ताओं और तत्वों के बीच संबंधों के कुछ पैटर्न को पकड़ती है, लेकिन मॉडल प्रशिक्षण अभी भी रेटिंग मैट्रिक्स के गुणों पर अत्यधिक निर्भर है। परिणामस्वरूप, ये सहयोगी फ़िल्टरिंग तकनीक आम तौर पर निम्नलिखित समस्याओं का सामना करती हैं:

रेटिंग मैट्रिक्स में लाखों उपयोगकर्ता, लाखों तत्व और अरबों ज्ञात रेटिंग शामिल हो सकती हैं, जो कम्प्यूटेशनल जटिलता और स्केलेबिलिटी की गंभीर समस्याएं पैदा करती हैं।

रेटिंग मैट्रिक्स आमतौर पर बहुत विरल है (व्यवहार में, लगभग 99% रेटिंग गायब हो सकती है)। यह अनुशंसा एल्गोरिदम की कम्प्यूटेशनल स्थिरता को प्रभावित करता है और उपयोगकर्ता या तत्व के समान पड़ोसी नहीं होने पर अविश्वसनीय अनुमानों की ओर जाता है। इस समस्या को अक्सर इस तथ्य से बढ़ा दिया जाता है कि ज्यादातर बुनियादी एल्गोरिदम या तो उपयोगकर्ता या तत्व उन्मुख होते हैं, जो रेटिंग मैट्रिक्स में उपलब्ध सभी प्रकार की समानताएं और संबंधों को रिकॉर्ड करने की उनकी क्षमता को सीमित करते हैं।

उपयोगकर्ताओं और तत्वों के बीच समानता के कारण रेटिंग मैट्रिक्स में डेटा आमतौर पर दृढ़ता से सहसंबद्ध होता है। इसका मतलब यह है कि रेटिंग मैट्रिक्स में उपलब्ध सिग्नल न केवल विरल हैं, बल्कि निरर्थक भी हैं, जो स्केलेबिलिटी समस्या के तेज होने में योगदान देता है।

उपरोक्त विचार संकेत देते हैं कि मूल रेटिंग मैट्रिक्स संकेतों का सबसे इष्टतम प्रतिनिधित्व नहीं हो सकता है, और अन्य वैकल्पिक प्रतिनिधित्व जो संयुक्त फ़िल्टरिंग के लिए अधिक उपयुक्त हैं, पर विचार किया जाना चाहिए। इस विचार का पता लगाने के लिए, हम प्रारंभिक बिंदु पर वापस जाते हैं और अनुशंसा सेवाओं की प्रकृति के बारे में थोड़ा सोचते हैं। वास्तव में, अनुशंसा सेवा को एक एल्गोरिथ्म के रूप में माना जा सकता है जो उपयोगकर्ता और तत्व के बीच समानता के कुछ माप के आधार पर रेटिंग की भविष्यवाणी करता है:


समानता के इस उपाय को निर्धारित करने का एक तरीका यह है कि छिपे हुए कारक दृष्टिकोण का उपयोग किया जाए और उपयोगकर्ताओं और तत्वों को कुछ k- डायमेंशनल स्पेस में इंगित करने के लिए मैप किया जाए ताकि प्रत्येक उपयोगकर्ता और प्रत्येक तत्व k- डायमेंशनल वेक्टर द्वारा दर्शाया जाए:


वैक्टर का निर्माण किया जाना चाहिए ताकि संबंधित आयाम p और q एक दूसरे के साथ तुलनीय हों। दूसरे शब्दों में, प्रत्येक आयाम को एक संकेत या अवधारणा के रूप में माना जा सकता है, अर्थात्, पूज उपयोगकर्ता यू और अवधारणा जे की निकटता का एक उपाय है, और qij, क्रमशः तत्व i और अवधारणा j का एक उपाय है। व्यवहार में, इन आयामों को अक्सर शैलियों, शैलियों और अन्य विशेषताओं के रूप में व्याख्या की जाती है जो उपयोगकर्ताओं और तत्वों पर एक साथ लागू होती हैं। उपयोगकर्ता और तत्व के बीच समानता और, तदनुसार, रेटिंग को संबंधित वैक्टर के उत्पाद के रूप में परिभाषित किया जा सकता है:


चूंकि प्रत्येक रेटिंग को दो वैक्टर के एक उत्पाद में विघटित किया जा सकता है जो एक अवधारणा स्थान से संबंधित होते हैं जो मूल रेटिंग मैट्रिक्स, पी और क्यू में सीधे नहीं देखे जाते हैं जिन्हें छिपे हुए कारक कहा जाता है। इस सार दृष्टिकोण की सफलता, निश्चित रूप से, पूरी तरह से इस बात पर निर्भर करती है कि छिपे हुए कारकों का निर्धारण और निर्माण कैसे किया जाता है। इस प्रश्न का उत्तर देने के लिए, हम ध्यान दें कि अभिव्यक्ति 5.92 को मैट्रिक्स रूप में फिर से लिखा जा सकता है:


जहाँ P, n × k मैट्रिक्स वैक्टर p से इकट्ठा किया गया है, और Q m × k मैट्रिक्स है जिसे vectors q से इकट्ठा किया गया है, जैसा कि अंजीर में दिखाया गया है। 5.13। एक संयुक्त फ़िल्टरिंग प्रणाली का मुख्य लक्ष्य आमतौर पर रेटिंग की भविष्यवाणी त्रुटियों को कम करना है, जो आपको छिपे हुए कारकों के मैट्रिक्स के सापेक्ष अनुकूलन समस्या को सीधे निर्धारित करने की अनुमति देता है:



यह मानते हुए कि छिपे हुए आयामों की संख्या निश्चित है और k k n और k the m, अनुकूलन समस्या 5.94 निम्न-रैंकिंग सन्निकटन समस्या को कम करती है, जिसे हमने अध्याय 2 में माना है। समाधान के लिए दृष्टिकोण प्रदर्शित करने के लिए, आइए हम एक पल के लिए मान लें कि रेटिंग मैट्रिक्स पूरा हो गया है। इस स्थिति में, ऑप्टिमाइज़ेशन समस्या में रेटिंग मैट्रिक्स के सिंगुलर वैल्यू डीकम्पोज़िशन (SVD) के संदर्भ में एक विश्लेषणात्मक समाधान है। विशेष रूप से, मानक एसवीडी एल्गोरिथ्म का उपयोग करके, मैट्रिक्स को तीन मैट्रिक्स के उत्पाद में विघटित किया जा सकता है:


जहां U, n × n मैट्रिक्स है, जिसे स्तंभों द्वारा orthonormalized किया गया है, di n × m विकर्ण मैट्रिक्स है, और V m × m मैट्रिक्स है, जो स्तंभों द्वारा अलंकृत है। समस्या का एक इष्टतम समाधान 5.94, इन कारकों के संदर्भ में प्राप्त किया जा सकता है, जो कि सबसे महत्वपूर्ण आयामों के लिए छोटा है:


नतीजतन, छिपी हुई कारक जो भविष्यवाणी सटीकता के संदर्भ में इष्टतम हैं, एकवचन अपघटन द्वारा प्राप्त की जा सकती है, जैसा कि नीचे दिखाया गया है:


यह एसवीडी-आधारित छिपा कारक मॉडल इस खंड की शुरुआत में वर्णित सह-फ़िल्टरिंग समस्याओं को हल करने में मदद करता है। सबसे पहले, यह बड़े n × m रेटिंग मैट्रिक्स को n × k और m × k कारक मैट्रिक्स से बदलता है, जो आमतौर पर बहुत छोटे होते हैं, क्योंकि अभ्यास में छिपे हुए आयामों की इष्टतम संख्या k अक्सर छोटी होती है। उदाहरण के लिए, एक ऐसा मामला है जहां 500,000 उपयोगकर्ताओं और 17,000 तत्वों के साथ रेटिंग मैट्रिक्स 40 माप [फंक, 2016] का उपयोग करके काफी अच्छी तरह से अनुमान लगाने में सक्षम था। इसके अलावा, एसवीडी रेटिंग मैट्रिक्स में सहसंबंध को समाप्त करता है: 5.97 द्वारा परिभाषित अव्यक्त कारक मैट्रिक्स स्तंभों में असामान्य हैं, अर्थात छिपे हुए आयाम सहसंबद्ध नहीं हैं। यदि, जो आमतौर पर व्यवहार में सच है, एसवीडी भी विरलता समस्या को हल करता है, क्योंकि मूल रेटिंग मैट्रिक्स में मौजूद संकेत कुशलतापूर्वक केंद्रित है (याद रखें कि हम उच्चतम संकेत ऊर्जा के साथ k आयामों का चयन करते हैं), और छिपे हुए कारकों का मैट्रिक्स विरल नहीं है। चित्र 5.14 इस संपत्ति को दिखाता है। उपयोगकर्ता-आधारित निकटता एल्गोरिथ्म (5.14, ए) किसी दिए गए तत्व के लिए विरल रेटिंग वैक्टर और एक दिए गए उपयोगकर्ता को रेटिंग स्कोर प्राप्त करने के लिए ढहता है। छिपे हुए कारक मॉडल (5.14, बी), इसके विपरीत, कम आयाम के दो वैक्टर के दृढ़ीकरण और उच्च ऊर्जा घनत्व के साथ रेटिंग का अनुमान लगाता है।


केवल वर्णित दृष्टिकोण छिपे हुए कारक समस्या के सुसंगत समाधान की तरह दिखता है, लेकिन वास्तव में रेटिंग मैट्रिक्स पूरा होने की धारणा के कारण इसमें एक गंभीर खामी है। यदि रेटिंग मैट्रिक्स विरल है, जो लगभग हमेशा ही होता है, तो मानक एसवीडी एल्गोरिथ्म को सीधे लागू नहीं किया जा सकता है, क्योंकि यह लापता (अपरिभाषित) तत्वों को संसाधित करने में सक्षम नहीं है। इस मामले में सबसे सरल समाधान कुछ डिफ़ॉल्ट मान के साथ लापता रेटिंग को भरना है, लेकिन इससे पूर्वानुमान में एक गंभीर पूर्वाग्रह हो सकता है। इसके अलावा, यह कम्प्यूटेशनल रूप से अक्षम है क्योंकि इस तरह के समाधान की कम्प्यूटेशनल जटिलता पूर्ण n × m मैट्रिक्स के लिए SVD जटिलता के बराबर है, जबकि ज्ञात रेटिंग की संख्या के लिए आनुपातिकता के साथ एक विधि का होना वांछनीय है। निम्न वर्गों में वर्णित वैकल्पिक अपघटन विधियों का उपयोग करके इन समस्याओं को हल किया जा सकता है।

5.8.3.1। असीमित अपघटन

मानक एसवीडी एल्गोरिथ्म निम्न-रैंकिंग सन्निकटन समस्या का एक विश्लेषणात्मक समाधान है। हालाँकि, इस समस्या को अनुकूलन समस्या के रूप में माना जा सकता है, और सार्वभौमिक अनुकूलन विधियों को भी इसके लिए लागू किया जा सकता है। सबसे सरल तरीकों में से एक है, छिपे हुए कारकों के मूल्यों को पुनरावृत्त करने के लिए ढाल मूल विधि का उपयोग करना। प्रारंभिक बिंदु अवशिष्ट पूर्वानुमान त्रुटि के रूप में लागत फ़ंक्शन J की परिभाषा है:


कृपया ध्यान दें कि इस बार हम छिपा कारकों के मैट्रिक्स पर किसी भी प्रतिबंध, जैसे कि ओर्थोगोनलिटी, को लागू नहीं करते हैं। छिपे हुए कारकों के संबंध में लागत समारोह की ढाल की गणना करते हुए, हम निम्नलिखित परिणाम प्राप्त करते हैं:


जहां E अवशिष्ट त्रुटि मैट्रिक्स है:


ग्रैडिएंट डीसेंट अल्गोरिद्म, ग्रैडिएंट की नकारात्मक दिशा में प्रत्येक चरण पर जाकर लागत फ़ंक्शन को कम करता है। इसलिए, आप छिपे हुए कारकों को पा सकते हैं जो निम्न पी के अनुसार मैटरिस पी और क्यू को परिवर्तित करने के लिए पुनरावृति द्वारा रेटिंग भविष्यवाणी की चुकता त्रुटि को कम करते हैं:


जहां α सीखने की गति है। ढाल वंश विधि का नुकसान अवशिष्ट त्रुटियों के पूरे मैट्रिक्स की गणना करने की आवश्यकता है और साथ ही साथ प्रत्येक पुनरावृत्ति में छिपे हुए कारकों के सभी मूल्यों को बदलना है। एक वैकल्पिक दृष्टिकोण, जो बड़े मैट्रिसेस के लिए बेहतर अनुकूल हो सकता है, स्टोचस्टिक ग्रेडिएंट डिसेंट [फंक, 2016] है। स्टोचस्टिक ग्रेडिएंट डीसेंट एल्गोरिथ्म इस तथ्य का उपयोग करता है कि कुल पूर्वानुमान त्रुटि जे रेटिंग मैट्रिक्स के व्यक्तिगत तत्वों के लिए त्रुटियों का योग है; इसलिए, सामान्य ढाल J को एक डेटा बिंदु पर एक ढाल द्वारा अनुमानित किया जा सकता है और छिपे हुए कारकों को तत्व-वार बदला जा सकता है। इस विचार का पूर्ण कार्यान्वयन एल्गोरिथम 5.1 में दिखाया गया है।


एल्गोरिथ्म का पहला चरण छिपे हुए कारकों के मैट्रिक्स का आरंभीकरण है। इन प्रारंभिक मूल्यों का चुनाव बहुत महत्वपूर्ण नहीं है, लेकिन इस मामले में, यादृच्छिक रूप से उत्पन्न छिपे हुए कारकों के बीच ज्ञात रेटिंग की ऊर्जा का एक समान वितरण चुना जाता है। फिर एल्गोरिथ्म क्रमिक रूप से अवधारणा के आयामों का अनुकूलन करता है। प्रत्येक माप के लिए, यह बार-बार प्रशिक्षण सेट में सभी रेटिंगों के आसपास जाता है, छिपे हुए कारकों के वर्तमान मूल्यों का उपयोग करके प्रत्येक रेटिंग की भविष्यवाणी करता है, त्रुटि का अनुमान लगाता है और अभिव्यक्तियों 5.101 के अनुसार कारकों के मूल्यों को सही करता है। अभिसरण की स्थिति पूरी होने पर माप अनुकूलन पूरा हो जाता है, जिसके बाद एल्गोरिथ्म अगले माप में आगे बढ़ता है।

एल्गोरिथम 5.1 मानक एसवीडी विधि की सीमाओं को दूर करने में मदद करता है। यह व्यक्तिगत डेटा बिंदुओं के माध्यम से लूपिंग के माध्यम से छिपे हुए कारकों का अनुकूलन करता है, और इस प्रकार विशाल मेट्रिसेस के साथ लापता रेटिंग और बीजीय संचालन के साथ समस्याओं से बचता है। पुनरावृत्त दृष्टिकोण भी स्टोकेस्टिक ग्रेडिएंट वंश को ग्रेडिएंट वंश की तुलना में व्यावहारिक अनुप्रयोगों के लिए अधिक सुविधाजनक बनाता है, जो अभिव्यक्तियों 5.101 का उपयोग करके पूरे मैट्रिसेस को संशोधित करता है।

उदाहरण 5.6

वास्तव में, छिपे हुए कारकों के आधार पर एक दृष्टिकोण शिक्षण अभ्यावेदन के तरीकों का एक पूरा समूह है जो उन पैटर्न की पहचान कर सकता है जो रेटिंग मैट्रिक्स में निहित हैं और अवधारणाओं के रूप में स्पष्ट रूप से उनका प्रतिनिधित्व करते हैं। कभी-कभी अवधारणाओं की पूरी तरह से सार्थक व्याख्या होती है, विशेष रूप से उच्च-ऊर्जा वाले, हालांकि इसका मतलब यह नहीं है कि सभी अवधारणाओं का हमेशा एक सार्थक अर्थ होता है। उदाहरण के लिए, मूवी रेटिंग्स के डेटाबेस में मैट्रिक्स अपघटन एल्गोरिथ्म को लागू करने से ऐसे कारक बन सकते हैं जो लगभग मनोवैज्ञानिक आयामों जैसे मेलोड्रामा, कॉमेडी, हॉरर आदि के अनुरूप हो सकते हैं। आइए इस घटना को एक छोटे संख्यात्मक उदाहरण के साथ चित्रित करते हैं जो टेबल से रेटिंग मैट्रिक्स का उपयोग करता है। 5.3:


सबसे पहले, मैट्रिक्स को केंद्र में रखने के लिए सभी तत्वों से वैश्विक औसत μ = 2.82 घटाएं, और उसके बाद एल्गोरिथ्म 5.1 निष्पादित करें। कश्मीर = 3 छिपे हुए मापों और सीखने की दर α = 0.01 निम्नलिखित दो मैट्रिक्स कारकों को प्राप्त करने के लिए:


इन मैट्रीस में प्रत्येक पंक्ति एक उपयोगकर्ता या एक फिल्म से मेल खाती है, और सभी 12 पंक्ति वैक्टर अंजीर में दिखाए गए हैं। 5.15। कृपया ध्यान दें कि पहले कॉलम (अवधारणाओं का पहला वेक्टर) में तत्वों में सबसे बड़े मूल्य हैं, और बाद के कॉलम में मूल्य धीरे-धीरे कम हो जाते हैं। यह इस तथ्य से समझाया गया है कि पहली अवधारणा वेक्टर जितना अधिक सिग्नल ऊर्जा प्राप्त करता है, एक माप के साथ कैप्चर करना संभव है, दूसरी अवधारणा वेक्टर अवशिष्ट ऊर्जा के केवल भाग को कैप्चर करता है, आदि, आगे ध्यान दें कि पहले अवधारणा को नाटकीय रूप से अर्थ के रूप में व्याख्या किया जा सकता है। - एक्शन फिल्म, जहां सकारात्मक दिशा एक्शन मूवी शैली से मेल खाती है, और नकारात्मक - नाटक शैली के लिए। इस उदाहरण में रेटिंग अत्यधिक सहसंबद्ध हैं, इसलिए यह स्पष्ट रूप से देखा जा सकता है कि पहले तीन उपयोगकर्ताओं और पहली तीन फिल्मों में पहली अवधारणा वेक्टर में बड़े नकारात्मक मूल्य हैं (नाटक फिल्में और ऐसी फिल्में पसंद करने वाले उपयोगकर्ता), जबकि अंतिम तीन उपयोगकर्ता और अंतिम तीन फिल्मों का एक ही कॉलम में सकारात्मक अर्थ होता है (एक्शन फिल्में और इस शैली को पसंद करने वाले उपयोगकर्ता)। इस विशेष मामले में दूसरा आयाम मुख्य रूप से उपयोगकर्ता या तत्व के पूर्वाग्रह से मेल खाता है, जिसे एक मनोवैज्ञानिक विशेषता (उपयोगकर्ता के निर्णय की महत्वपूर्णता? फिल्म लोकप्रियता?) के रूप में व्याख्या की जा सकती है। अन्य अवधारणाओं को शोर माना जा सकता है।


कारकों का परिणामी मैट्रिक्स स्तंभों में पूरी तरह से ऑर्थोगोनल नहीं है, लेकिन ऑर्थोगोनल हो जाता है, क्योंकि यह एसवीडी समाधान की इष्टतमता से होता है। यह पीटीपी और क्यूटीक्यू के उत्पादों को देखकर देखा जा सकता है, जो विकर्ण मैट्रिक्स के करीब हैं:


मेट्रिसेस 5.103 अनिवार्य रूप से एक पूर्वानुमान मॉडल है जिसका उपयोग ज्ञात और अनुपलब्ध दोनों रेटिंग का मूल्यांकन करने के लिए किया जा सकता है। दो कारकों को गुणा करके और वैश्विक औसत को वापस जोड़कर अनुमान प्राप्त किया जा सकता है:


परिणाम सटीक रूप से ज्ञात को पुन: उत्पन्न करते हैं और सहज ज्ञान युक्त अपेक्षाओं के अनुसार लापता रेटिंग की भविष्यवाणी करते हैं। माप की संख्या को बदलकर अनुमानों की सटीकता को बढ़ाया या घटाया जा सकता है, और माप की इष्टतम संख्या को क्रॉस-चेकिंग और कम्प्यूटेशनल जटिलता और सटीकता के बीच उचित समझौता चुनकर अभ्यास में निर्धारित किया जा सकता है।

»पुस्तक की अधिक जानकारी प्रकाशक की वेबसाइट पर पाई जा सकती है
» सामग्री
» अंश

फेरीवालों के लिए 25% की छूट - मशीन लर्निंग

पुस्तक के पेपर संस्करण के भुगतान पर, एक इलेक्ट्रॉनिक पुस्तक ई-मेल द्वारा भेजी जाती है।