वेक्टर उत्पाद दृश्य, या Word2Vec मॉडल का एक और उपयोग

हर दिन, डेढ़ मिलियन लोग विभिन्न प्रकार के उत्पादों के लिए ओजोन की खोज करते हैं, और उनमें से प्रत्येक के लिए सेवा को समान लोगों का चयन करना चाहिए (यदि वैक्यूम क्लीनर को अभी भी अधिक शक्तिशाली एक की आवश्यकता है) या संबंधित (यदि गायन डायनासोर के लिए बैटरी की आवश्यकता होती है)। जब कई प्रकार के उत्पाद होते हैं, तो Word2Vec मॉडल समस्या को हल करने में मदद करता है। हम समझते हैं कि यह कैसे काम करता है और मनमानी वस्तुओं के लिए वेक्टर प्रतिनिधित्व कैसे बना सकता है।

प्रेरणा

मॉडल बनाने और प्रशिक्षित करने के लिए, हम एम्बेडिंग तकनीक का उपयोग करते हैं, मशीन सीखने के लिए मानक, जब प्रत्येक ऑब्जेक्ट निश्चित लंबाई के वेक्टर में बदल जाता है और करीब वैक्टर बंद वस्तुओं के अनुरूप होता है। लगभग सभी ज्ञात मॉडल के लिए आवश्यक है कि इनपुट डेटा एक निश्चित लंबाई का हो, और वैक्टर का एक सेट उन्हें इस रूप में लाने का एक आसान तरीका है।

पहली एम्बेडिंग विधियों में से एक word2vec है। हमने अपने कार्य के लिए इस पद्धति को अनुकूलित किया है, हम उत्पादों को शब्दों के रूप में और उपयोगकर्ता सत्रों को वाक्य के रूप में उपयोग करते हैं। यदि सब कुछ आपके लिए स्पष्ट है, तो परिणामों के माध्यम से फ्लिप करने के लिए स्वतंत्र महसूस करें।

आगे मैं मॉडल की वास्तुकला के बारे में बात करूंगा और यह कैसे काम करेगा। चूंकि हम सामानों के साथ काम कर रहे हैं, हमें यह सीखने की जरूरत है कि उनमें से ऐसे विवरण कैसे बनाए जाएं, जो एक तरफ, पर्याप्त जानकारी रखते हैं, और दूसरी तरफ, मशीन लर्निंग एल्गोरिदम के लिए समझ में आते हैं।

वेबसाइट पर, प्रत्येक उत्पाद में एक कार्ड होता है। यह एक शीर्षक, पाठ विवरण, विनिर्देशों और तस्वीरों के होते हैं। इसके अलावा हमारे निपटान में उत्पाद के साथ उपयोगकर्ताओं की बातचीत पर डेटा है: विचार, टोकरी में जोड़ना या पसंदीदा लॉग में संग्रहीत किए जाते हैं।

किसी उत्पाद के सदिश विवरण के निर्माण के दो मौलिक तरीके हैं:

सामग्री का उपयोग करें - पाठ विवरण का विश्लेषण करने के लिए फ़ोटो, आवर्तक नेटवर्क या शब्दों के बैग से सुविधाओं को निकालने के लिए दृढ़ तंत्रिका नेटवर्क;
- उत्पाद के साथ उपयोगकर्ता की बातचीत पर डेटा का उपयोग: क्या उत्पादों और कितनी बार वे डेटा के साथ टोकरी में दिखते हैं / जोड़ते हैं।

हम दूसरी विधि पर ध्यान केंद्रित करेंगे।

Prod2Vec मॉडल के लिए डेटा

सबसे पहले, आइए जानें कि हम किस डेटा का उपयोग करते हैं। हमारे पास साइट पर उपयोगकर्ताओं के सभी क्लिक के निपटान में हैं, उन्हें उपयोगकर्ता सत्रों में विभाजित किया जा सकता है - निकटवर्ती क्लिकों के बीच 30 मिनट से अधिक के अंतराल के साथ क्लिकों के अनुक्रम। मॉडल को प्रशिक्षित करने के लिए, हम लगभग 100 मिलियन उपयोगकर्ता सत्रों के डेटा का उपयोग करते हैं, जिनमें से प्रत्येक में हम केवल टोकरी को उत्पादों को देखने और जोड़ने में रुचि रखते हैं।

वास्तविक उपयोगकर्ता सत्र का एक उदाहरण:

सत्र का प्रत्येक उत्पाद इसके संदर्भ से मेल खाता है - सभी उत्पाद जो उपयोगकर्ता ने इस सत्र में टोकरी में जोड़े हैं, साथ ही साथ उन उत्पादों को भी देखा जाता है जिन्हें इस से देखा जाता है। Prod2vec मॉडल इस धारणा पर आधारित है कि समान उत्पादों में अक्सर समान संदर्भ होते हैं।

उदाहरण के लिए:

इस प्रकार, यदि धारणा सच है, तो, उदाहरण के लिए, एक ही फोन मॉडल के मामलों में समान संदर्भ (एक ही फोन) होंगे। हम उत्पाद वैक्टर का निर्माण करके इस परिकल्पना का परीक्षण करेंगे।

मॉडल Prod2Vec

जब हमने किसी उत्पाद की अवधारणा और उसके संदर्भ को पेश किया, तो हम मॉडल का वर्णन करते हैं। यह एक तंत्रिका नेटवर्क है जिसमें दो पूरी तरह से जुड़े हुए परतें हैं। पहली परत के इनपुट की संख्या उन उत्पादों की संख्या के बराबर है, जिनके लिए हम वैक्टर बनाना चाहते हैं। प्रवेश द्वार पर प्रत्येक उत्पाद को एक इकाई के साथ शून्य के वेक्टर द्वारा एन्कोड किया जाएगा - शब्दकोश में इस उत्पाद का स्थान।

पहली परत के आउटपुट में न्यूरॉन्स की संख्या वैक्टर के आयाम के बराबर है जो हम प्राप्त करना चाहते हैं, उदाहरण के लिए 64. अंतिम परत के आउटपुट पर, फिर से, माल की संख्या के बराबर न्यूरॉन्स की एक संख्या है।

हम उत्पाद को जानते हुए, संदर्भ का अनुमान लगाने के लिए मॉडल को प्रशिक्षित करेंगे। इस वास्तुकला को स्किप-ग्राम कहा जाता है (इसका विकल्प CBOW है, जहां हम उत्पाद को उसके संदर्भ के अनुसार भविष्यवाणी करते हैं)। प्रशिक्षण के दौरान, सामानों को प्रवेश द्वार तक पहुंचाया जाता है, सामानों को इसके संदर्भ से आउटपुट होने की उम्मीद होती है (इसी स्थान पर एक इकाई के साथ शून्य का एक वेक्टर)।

संक्षेप में, यह एक बहु-स्तरीय वर्गीकरण है, और मॉडल को प्रशिक्षित करने के लिए क्रॉस एन्ट्रापी नुकसान का उपयोग किया जा सकता है। संदर्भ से एक शब्द-शब्द जोड़ी के लिए, यह इस प्रकार लिखा जाता है:

$$

$$L = -p_c + \ log \ sum_ {i = 1} ^ V exp (p_i)$$

जहाँ $$$p_c$- संदर्भ से उत्पाद के लिए नेटवर्क भविष्यवाणी, $$$V$- माल की कुल संख्या $$$p_i$- उत्पाद के लिए नेटवर्क भविष्यवाणी $$$मैं$।

मॉडल को प्रशिक्षित करने के बाद, हम दूसरी परत को छोड़ सकते हैं - इसे वैक्टर प्राप्त करने की आवश्यकता नहीं होगी। पहली परत के वजन का मैट्रिक्स (माल की संख्या x 64 का आकार) माल वैक्टर का एक शब्दकोश है। प्रत्येक उत्पाद 64 की लंबाई वाली मैट्रिक्स की एक पंक्ति से मेल खाता है - यह उत्पाद के अनुरूप वेक्टर है, जिसका उपयोग अन्य एल्गोरिदम में किया जा सकता है।

लेकिन यह प्रक्रिया बड़ी संख्या में उत्पादों के लिए काम नहीं करती है। और हम उन्हें याद करते हैं, डेढ़ मिलियन।

क्यों Prod2Vec काम नहीं करता है

- नुकसान फ़ंक्शन में घातांक लेने के कई ऑपरेशन शामिल हैं - यह एक लंबी और अस्थिर कम्प्यूटेशनल है।
- परिणामस्वरूप, सभी नेटवर्क भारों के लिए ग्रेडिएंट पर विचार किया जाता है - और लाखों में हो सकता है।

इन समस्याओं को हल करने के लिए, नकारात्मक नमूनाकरण विधि उपयुक्त है, जिसके उपयोग से हम नेटवर्क को न केवल उत्पाद के संदर्भ की भविष्यवाणी करने के लिए सिखाते हैं, बल्कि उन उत्पादों की भविष्यवाणी नहीं करना भी सिखाते हैं, जो वास्तव में संदर्भ में नहीं हैं। ऐसा करने के लिए, हमें नकारात्मक उदाहरण उत्पन्न करने की आवश्यकता है - प्रत्येक उत्पाद के लिए, उन लोगों का चयन करें जिन्हें इसके लिए भविष्यवाणी करने की आवश्यकता नहीं है। और यहां बड़ी मात्रा में सामान की उपलब्धता से हमें मदद मिलती है। जब किसी उत्पाद के लिए एक यादृच्छिक जोड़ी चुनते हैं, तो हमारे पास बहुत कम संभावना है कि यह संदर्भ से एक उत्पाद बन जाएगा।

नतीजतन, संदर्भ में प्रत्येक उत्पाद के लिए, हम यादृच्छिक रूप से 5-10 उत्पाद उत्पन्न करते हैं जो संदर्भ में शामिल नहीं हैं। इसके अलावा, सामानों को एक समान वितरण द्वारा नमूना नहीं किया जाता है, लेकिन उनकी घटना की आवृत्ति के अनुपात में।

हानि फ़ंक्शन अब बाइनरी वर्गीकरण में उपयोग किए जाने के समान है। एक शब्द-शब्द जोड़ी के लिए, संदर्भ से, यह इस तरह दिखता है:

$$

$$L = - \ log \ sigma (u_ {w_O} ^ T v_ {w_I}) - \ sum_ {w_n} \ log \ sigma (-u_ {w_n} ^ T v_ / w_I})$$

इन संकेतन में $$$u_ {w_O}$संदर्भ से उत्पाद के अनुरूप दूसरी परत के वजन मैट्रिक्स के एक स्तंभ को दर्शाता है, $$$u_ {w_n}$- बेतरतीब ढंग से चयनित उत्पाद के लिए समान, $$$v_ {w_I}$- मुख्य उत्पाद के अनुरूप पहली परत के वजन मैट्रिक्स की पंक्ति (यह बिल्कुल वेक्टर है जिसे हम इसके लिए बना रहे हैं)। समारोह $$$\ _ सिग्मा (x) = \ frac {1} {1 + ऍक्स्प (-x)}$।

पिछले संस्करण से अंतर यह है कि हमें प्रत्येक पुनरावृत्ति पर सभी नेटवर्क भार को अपडेट करने की आवश्यकता नहीं है, हमें केवल उन उत्पादों को अद्यतन करने की आवश्यकता है जो उत्पादों की एक छोटी संख्या के अनुरूप हैं (पहला उत्पाद वह है जिसके लिए हम भविष्यवाणी करते हैं, बाकी या तो उनके संदर्भ में एक उत्पाद है या यादृच्छिक रूप से चयनित है) )। उसी समय, हमें प्रत्येक पुनरावृत्ति पर बड़ी संख्या में घातीय कैप्चर से छुटकारा मिला।

एक अन्य तकनीक, जो बदले में परिणामी मॉडल की गुणवत्ता में सुधार करती है, सबसम्पलिंग है। इस मामले में, हम जानबूझकर दुर्लभ वस्तुओं के लिए सबसे अच्छा परिणाम प्राप्त करने के लिए प्रशिक्षण के लिए कम अक्सर पाए जाने वाले सामान लेते हैं।

परिणाम

संबंधित उत्पाद

इसलिए, हमने सीखा कि सामान के लिए वैक्टर कैसे प्राप्त करें, अब हमें अपने मॉडल की पर्याप्तता और प्रयोज्यता की जांच करने की आवश्यकता है।

निम्नलिखित चित्र निकटता के कोसाइन माप में उत्पाद और उसके निकटतम पड़ोसियों को दिखाता है।

परिणाम अच्छा लग रहा है, लेकिन आपको संख्यात्मक रूप से जांचने की आवश्यकता है कि हमारा मॉडल कितना अच्छा है। ऐसा करने के लिए, हमने इसे उत्पाद सिफारिशों के कार्य पर लागू किया। प्रत्येक उत्पाद के लिए, हमने एक निर्मित वेक्टर अंतरिक्ष में आने की सिफारिश की है। हमने संयुक्त विचारों और टोकरी में आइटम जोड़ने के आंकड़ों के आधार पर, एक बहुत सरल के साथ prod2vec मॉडल की तुलना की। सत्र में प्रत्येक उत्पाद के लिए, 7 सिफारिशों की एक सूची ली गई थी। सत्र में सभी अनुशंसित उत्पादों के संयोजन की तुलना उस व्यक्ति से की गई जो वास्तव में टोकरी में जोड़ा गया था। Prod2vec का उपयोग करते हुए, 40% से अधिक सत्रों में हमने कम से कम एक उत्पाद की सिफारिश की, जिसे फिर टोकरी में जोड़ा गया। तुलना के लिए, एक सरल एल्गोरिथ्म 34% की गुणवत्ता दिखाता है।

परिणामी वेक्टर विवरण हमें न केवल निकटतम लोगों की खोज करने की अनुमति देता है (जो कि एक सरल मॉडल द्वारा किया जा सकता है, हालांकि खराब गुणवत्ता के साथ)। हम इस बात पर विचार कर सकते हैं कि हमारे मॉडल का उपयोग करके क्या दिलचस्प दुष्प्रभाव दिखाए जा सकते हैं।

वेक्टर अंकगणित

यह बताने के लिए कि वैक्टर सामानों का वास्तविक अर्थ ले जाते हैं, हम उनके लिए वेक्टर अंकगणित का उपयोग करने का प्रयास कर सकते हैं। जैसा कि शब्द 2vec पर पाठ्यपुस्तक उदाहरण में (राजा - पुरुष + महिला = रानी), हम उदाहरण के लिए खुद से पूछ सकते हैं कि प्रिंटर से धूल बैग के रूप में प्रिंटर से लगभग उसी दूरी पर कौन सा उत्पाद है। सामान्य ज्ञान यह निर्धारित करता है कि यह किसी प्रकार का उपभोग्य होना चाहिए, अर्थात् एक कारतूस। हमारा मॉडल ऐसे पैटर्न को पकड़ने में सक्षम है:

उत्पाद अंतरिक्ष दृश्य

परिणामों को बेहतर ढंग से समझने के लिए, हम विमान पर माल की सदिश जगह की कल्पना कर सकते हैं, आयाम को दो तक कम कर सकते हैं (इस उदाहरण में, हमने t-SNE का उपयोग किया है)।

यह स्पष्ट रूप से देखा जाता है कि संबंधित उत्पाद क्लस्टर बनाते हैं। उदाहरण के लिए, बेडरूम, पुरुष और महिला कपड़े, जूते के लिए वस्त्रों के साथ क्लस्टर स्पष्ट रूप से दिखाई देते हैं। एक बार फिर, हम ध्यान दें कि यह मॉडल केवल सामानों के साथ उपयोगकर्ता की बातचीत के इतिहास के आधार पर बनाया गया है; हमने प्रशिक्षण के दौरान छवियों या पाठ विवरणों की समानता का उपयोग नहीं किया।

अंतरिक्ष के चित्रण से आप यह भी देख सकते हैं कि कैसे, मॉडल का उपयोग करके, आप सामान के लिए सामान का चयन कर सकते हैं। ऐसा करने के लिए, आपको निकटतम क्लस्टर से सामान लेने की जरूरत है, उदाहरण के लिए, टी-शर्ट के लिए खेल के सामान की सिफारिश, और गर्म स्वेटर के लिए कैप।

योजनाओं

अब हम उत्पाद की सिफारिशों की गणना करने के लिए उत्पादन में prod2vec मॉडल पेश कर रहे हैं। इसके अलावा, प्राप्त वैक्टर को अन्य मशीन लर्निंग एल्गोरिदम के लिए संकेत के रूप में इस्तेमाल किया जा सकता है जो हमारी टीम में लगी हुई है (उत्पादों की मांग का पूर्वानुमान, खोज और कैटलॉग में रैंकिंग, व्यक्तिगत सिफारिशें)।

भविष्य में, हम वास्तविक समय में साइट पर प्राप्त एम्बेडिंग को लागू करने की योजना बनाते हैं। सभी देखे गए सामानों के लिए, अगले वाले सत्र में होंगे, जो व्यक्तिगत वितरण में तुरंत प्रतिबिंबित होंगे। हम अपने मॉडल में वेक्टर विवरण के अनुसार छवि विश्लेषण और समानता विश्लेषण को एकीकृत करने की भी योजना बनाते हैं, जिससे परिणामस्वरूप वैक्टर की गुणवत्ता में काफी सुधार होगा।

यदि आप जानते हैं कि यह कैसे करना सबसे अच्छा है (या रीमेक) - यात्रा करने के लिए आओ (और बेहतर काम भी)।

संदर्भ:

1. मिकोलोव, टॉमस, एट अल। "शब्दों और वाक्यांशों के वितरण और उनकी संरचना का प्रतिनिधित्व।" तंत्रिका सूचना प्रसंस्करण प्रणालियों में प्रगति। 2013।
2. ग्रबोविक, मिहाजलो, एट अल। "आपके इनबॉक्स में ई-कॉमर्स: पैमाने पर उत्पाद की सिफारिशें।" नॉलेज डिस्कवरी और डाटा माइनिंग पर 21 वें एसीएम एसआईजीकेडी इंटरनेशनल सम्मेलन की कार्यवाही। एसीएम, 2015।
3. ग्रबोविक, मिहाज्लो और हैबिन चेंग। "Airbnb में खोज रैंकिंग के लिए एंबेडिंग का उपयोग करके वास्तविक समय का निजीकरण।" ज्ञान डिस्कवरी और डेटा खनन पर 24 वें एसीएम एसआईजीकेडी अंतर्राष्ट्रीय सम्मेलन की कार्यवाही। एसीएम, 2018।