MyTarget में डायनामिक रीमार्केटिंग (dynrem) एक लक्षित विज्ञापन तकनीक है जो वेबसाइटों पर उपयोगकर्ता के कार्यों और विज्ञापनदाताओं के मोबाइल अनुप्रयोगों के बारे में जानकारी का उपयोग करती है। उदाहरण के लिए, एक ऑनलाइन स्टोर में, एक उपयोगकर्ता ने सामानों के पन्नों को देखा या उन्हें टोकरी में जोड़ा, और मायटार्ग इन घटनाओं का उपयोग उन वस्तुओं और सेवाओं के लिए विज्ञापन प्रदर्शित करने के लिए करता है, जिनके लिए किसी व्यक्ति ने पहले ही रुचि दिखाई है। आज मैं गैर-व्यक्तिगत, अर्थात्, आइटम 2 आइटम-सिफारिशों के निर्माण के बारे में अधिक विस्तार से बात करूंगा, जो हमें विज्ञापन उत्पादन में विविधता लाने और पूरक करने की अनुमति देते हैं।

Dynrem myTarget के ग्राहक मुख्य रूप से ऑनलाइन स्टोर हैं, जिसमें उत्पादों की एक या अधिक सूची हो सकती है। सिफारिशों का निर्माण करते समय, जोड़ी "स्टोर - माल की सूची" को एक अलग इकाई माना जाना चाहिए। लेकिन सादगी के लिए, हम बस "स्टोर" का उपयोग करेंगे। यदि हम इनपुट कार्य के आयाम के बारे में बात करते हैं, तो सिफारिशों को लगभग एक हजार दुकानों के लिए बनाया जाना चाहिए, और माल की संख्या कई हजार से लाखों तक भिन्न हो सकती है।

राजवंश के लिए सिफारिश प्रणाली निम्नलिखित आवश्यकताओं को पूरा करती है:

1. बैनर में ऐसे उत्पाद हैं जो अपने CTR को अधिकतम करते हैं।
2. सिफारिशें एक निश्चित समय के लिए ऑफ़लाइन बनाई गई हैं।
3. सिस्टम आर्किटेक्चर को ठंडी वातावरण में लचीला, मापनीय, स्थिर होना चाहिए और काम करना चाहिए।

ध्यान दें कि एक निश्चित समय और वर्णित प्रारंभिक स्थितियों के लिए सिफारिशें बनाने की आवश्यकता से (हम आशावादी रूप से मान लेंगे कि दुकानों की संख्या बढ़ रही है), एक आवश्यकता स्वाभाविक रूप से मशीन संसाधनों के किफायती उपयोग के लिए पैदा होती है।

धारा 2 में सिफारिश प्रणाली के निर्माण के लिए सैद्धांतिक नींव शामिल है, अनुभाग 3 और 4 मुद्दे के व्यावहारिक पक्ष पर चर्चा करते हैं, और खंड 5 समग्र परिणाम को संक्षेप में प्रस्तुत करता है।

मूल अवधारणाएँ

एक स्टोर के लिए एक सिफारिश प्रणाली के निर्माण के कार्य पर विचार करें और बुनियादी गणितीय दृष्टिकोणों को सूचीबद्ध करें।

एकवचन मान अपघटन (SVD)

इमारत की सिफारिश करने वाले सिस्टम के लिए एक लोकप्रिय दृष्टिकोण एकवचन अपघटन (SVD) दृष्टिकोण है। रेटिंग मैट्रिक्स $$$R = (r_ {ui})$ दो मैट्रिसेस के उत्पाद के रूप में प्रतिनिधित्व करते हैं $$$पी$ और $$$क्यू$ ताकि $$$R \ लगभग P Q ^ T$ इसके बाद यूजर रेटिंग को रेटिंग दें $$$यू$ माल के लिए $$$मैं$ के रूप में प्रतिनिधित्व किया $$$\ _ {r} _ {ui} = <p_u, q_i>$ [१], जहां अदिश उत्पाद के तत्व आयाम वैक्टर हैं $$$k$ (मॉडल का मुख्य पैरामीटर)। यह सूत्र अन्य एसवीडी मॉडल के आधार के रूप में कार्य करता है। खोजने का कार्य $$$पी$ और $$$क्यू$ यह कार्यक्षमता के अनुकूलन के लिए नीचे आता है:

(2.1)

$$

$$J (P, Q) = \ sum _ {(u, i)} \ mathcal {L} (r_ {ui}, \ hat {r} _ {ui}) + \ Lambda (P, Q) \ rightarrow की min_ {पी, क्यू},$$

जहाँ $$$एल$ - त्रुटि समारोह (उदाहरण के लिए, नेटफ्लिक्स प्रतियोगिता में आरएमएसई), $$$Λ$ - नियमितीकरण, और योग उन जोड़ियों पर है जिनके लिए रेटिंग ज्ञात है। हम स्पष्ट रूप में अभिव्यक्ति (2.1) को फिर से लिखते हैं:

(2.2)

$$

$$J (P, Q) = \ sum _ {(u, i)} (r_ {ui} - <p_u, q_i>) ^ 2 + \ lambda_1 || p_u || ^ 2 + \ _ lambda_2 = q_i || ^ 2 \ rightarrow \ min_ {P, Q},$$

यहां $$$λ1$ । $$$λ2$ - उपयोगकर्ता अभ्यावेदन के लिए L2-नियमितीकरण गुणांक $$$p_ {u}$ और माल $$$q_ {i}$ क्रमशः। नेटफ्लिक्स प्रतियोगिता का मूल मॉडल था:

(2.3)

$$

$$\ _ {r} _ {ui} = \ mu + b_u + b_i + <p_u, q_i>,$$

(2.4)

$$

$$J (P, Q) = \ sum _ {(u, i)} (r_ {ui} - \ mu - b_u - b_i - <p_u, q_i>) ^ 2 + \ lambda_1 - p_u ^ ^ 2 + \ _ || lambda_2 || q_i || ^ 2 + \ lambda_3 b_u ^ 2 + \ lambda_4 b_i ^ 2 \ rightarrow \ min_ {P, Q},$$

जहाँ $$$µ$ । $$$b_ {u}$ और $$$b_ {i}$ - क्रमशः रेटिंग, उपयोगकर्ता और उत्पाद के लिए पूर्वाग्रह। मॉडल (2.3) - (2.4) इसमें अंतर्निहित उपयोगकर्ता वरीयता जोड़कर सुधार किया जा सकता है। नेटफ्लिक्स प्रतियोगिता उदाहरण में, स्पष्ट प्रतिक्रिया उपयोगकर्ता द्वारा फिल्म "हमारे अनुरोध पर", और "उत्पाद के साथ उपयोगकर्ता बातचीत" के बारे में अन्य जानकारी है (फिल्म को देखने, इसके विवरण, समीक्षाओं की समीक्षा; इस पर, अंतर्निहित प्रतिक्रिया नहीं देती है)। फिल्म की रेटिंग के बारे में प्रत्यक्ष जानकारी, लेकिन एक ही समय में ब्याज को इंगित करता है)। एसवीडी ++ मॉडल में कार्यान्वयन प्रतिक्रिया लेखांकन लागू किया गया है:

(2.5)

$$

$$\ hat {r} _ {ui} = \ mu + b_u + b_i + <p_u + \ frac {1} {\ sqrt {\ _ sigma_u}} \ sum_ {j \ _ s (u)} y_j, \, \ _ , q_i>,$$

जहाँ $$$एस (यू)$ - वस्तुओं का एक सेट, जिसके साथ उपयोगकर्ता ने अंतःक्रिया की, $$$)_ {u} = | S (u) |, y_ {j}$ - आयाम प्रतिनिधित्व $$$k$ किसी वस्तु से $$$एस (यू)$ ।

फैक्टराइजेशन मशीनें (FM)

जैसा कि विभिन्न एसवीडी मॉडलों के साथ उदाहरणों में देखा जा सकता है, एक मॉडल मूल्यांकन सूत्र में शामिल शर्तों के सेट में दूसरे से भिन्न होता है। इसके अलावा, हर बार मॉडल का विस्तार एक नए कार्य का प्रतिनिधित्व करता है। हम इस तरह के बदलाव चाहते हैं (उदाहरण के लिए, मॉडल कार्यान्वयन कोड को बदले बिना आसानी से लागू किए जाने के लिए एक नए प्रकार की अंतर्निहित प्रतिक्रिया को ध्यान में रखते हुए)। मॉडल (2.1) - (2.5) निम्नलिखित पैरामीटर का उपयोग करके एक सुविधाजनक सार्वभौमिक रूप में प्रतिनिधित्व किया जा सकता है। हम सुविधाओं के एक सेट के रूप में उपयोगकर्ता और उत्पाद का प्रतिनिधित्व करते हैं:

(2.6)

$$

$$\ overline {x} ^ U = (x_1 ^ U, x_2 ^ U, \ dots, x_l ^ U) \ in \ mathbb {R} ^ l,$$

(2.7)

$$

$$\ overline {x} ^ I = (x_1 ^ I, x_2 ^ I, \ dots, x_m ^ I) \ in \ mathbb {R} ^ m $$$

अंजीर। 1: CF के मामले में फीचर मैट्रिक्स का एक उदाहरण।

उदाहरण के लिए, सहयोगी फ़िल्टरिंग (सीएफ) के मामले में, जब केवल उपयोगकर्ताओं और उत्पादों की बातचीत पर डेटा का उपयोग किया जाता है, तो फीचर वैक्टर एक-हॉट-कोड (छवि 1) की तरह दिखता है। वेक्टर का परिचय दें $$$\ overline {x} = (\ overline {x} ^ U, \ overline {x} ^ I)$ , फिर लक्ष्य चर के साथ प्रतिगमन समस्याओं के लिए सिफारिश कार्य को कम कर दिया जाता है $$$r_ {ui}$ :

1. रैखिक मॉडल:
   (2.8)
   

   $$

   $$h_ {lin} (\ overline {x}) = w_0 + \ _ sum_ {j = 1} ^ {l + m} w_jx_j$$
2. poly2:
   (2.9)
   

   $$

   $$h_ {poly2} (\ overline {x}) = w_0 + \ sum_ {j = 1} ^ {l + m} w_jx_j + \ sum_ {i = 1} ^ {l + m} sum_ {j = i + 1 } ^ {l + m} w_ {ij} x_i x_j$$
3. एफएम:
   (2.10)
   

   $$

   $$h_ {FM} (\ overline {x}) = w_0 + \ _ sum_ {j = 1} ^ {l + m} w_jx_j + \ _ sum_ {i = 1} ^ {l + m} \ योग + {j = i + 1 } ^ {l + m} x_i x_j <\ overline {v} _i, \ overline {v} _j =$$

जहाँ $$$w_ {j}$ - मॉडल पैरामीटर, $$$v_ {i}$ आयाम वैक्टर हैं $$$k$ संकेत का प्रतिनिधित्व करना $$$मैं$ अव्यक्त स्थान में $$$ल$ और $$$एम$ - क्रमशः उपयोगकर्ता और उत्पाद के संकेतों की संख्या। एक-हॉट-कोड के अलावा, सामग्री-आधारित विशेषताएं (सामग्री-आधारित, सीबी) संकेत (छवि 2) के रूप में सेवा कर सकती हैं, उदाहरण के लिए, उत्पादों और उपयोगकर्ता प्रोफाइल के वेक्टरकृत विवरण।


अंजीर। 2: विस्तारित सुविधा मैट्रिक्स का एक उदाहरण।

[2] में पेश किया गया FM मॉडल (2.1) - (2.5), (2.8), (2.10) के लिए एक सामान्यीकरण है। एफएम का सार यह है कि यह एक स्केलर उत्पाद का उपयोग करके सुविधाओं की जोड़ीदार बातचीत को ध्यान में रखता है $$$<\ overline {v} _i, \ overline {v} _j>$ , पैरामीटर का उपयोग नहीं कर रहा है $$$w_ {ij}$ । Poly2 पर एफएम का लाभ मापदंडों की संख्या में महत्वपूर्ण कमी है: वैक्टर के लिए $$$v_ {i}$ हमें आवश्यकता होगी $$$(l + m) · k$ मापदंडों, और के लिए $$$w_ {ij}$ की आवश्यकता होगी $$$लम म$ मापदंडों। पर $$$ल$ और $$$एम$ बड़े आदेशों में, पहला दृष्टिकोण काफी कम मापदंडों का उपयोग करता है।

कृपया ध्यान दें: यदि प्रशिक्षण सेट में कोई विशिष्ट जोड़ी नहीं है $$$(i, j)$ , तो इसी शब्द के साथ $$$w_ {ij}$ Poly2 में यह मॉडल के प्रशिक्षण को प्रभावित नहीं करता है, और रेटिंग स्कोर केवल रैखिक भाग पर बनता है। हालांकि, दृष्टिकोण (2.10) हमें अन्य विशेषताओं के माध्यम से संबंध स्थापित करने की अनुमति देता है। दूसरे शब्दों में, एक इंटरैक्शन पर डेटा उन विशेषताओं के मापदंडों का मूल्यांकन करने में मदद करता है जो इस उदाहरण में शामिल नहीं हैं।

एफएम के आधार पर, एक तथाकथित हाइब्रिड मॉडल लागू किया जाता है जिसमें सीबी विशेषताओं को सीएफ विशेषताओं में जोड़ा जाता है। यह आपको एक ठंडी शुरुआत की समस्या को हल करने की अनुमति देता है, और उपयोगकर्ता की प्राथमिकताओं को भी ध्यान में रखता है और आपको व्यक्तिगत सिफारिशें करने की अनुमति देता है।

LightFM

एफएम के लोकप्रिय कार्यान्वयन में, उपयोगकर्ता और उत्पाद की विशेषताओं के बीच अलगाव पर जोर दिया गया है। मेट्रिसेस मॉडल पैरामीटर के रूप में कार्य करते हैं $$$ई ^ यू$ और $$$E ^ I$ कस्टम और उत्पाद सुविधाओं का प्रस्तुतिकरण:

(2.11)

$$

$$E ^ U = \ start {pmatrix} \ overline {e} _1 ^ U \\ \ vdots \\ \ overline {e} _l ^ U \ end {pmatrix}, \ _, E ^ I = start {pmatrix } \ overline {e} _1 ^ I \\ \ vdots \\ \ overline {e} _m ^ I \ end {pmatrix}, \ overline {e} _i ^ U \ in \ mathbb {R} - k, \ overline { e} _i ^ I \ in \ mathbb {R} ^ k$$

साथ ही साथ ऑफसेट भी $$$\ overline {b} ^ U, \ overline {b} ^ I \ in \ mathbb {R} ^ k$ । उपयोगकर्ता और उत्पाद दृश्य का उपयोग करना:

(2.12)

$$

$$\ overline {p} ^ U = \ overline {x} ^ U \ cdot E ^ U = \ sum_ {j = 1} ^ l x_j ^ U \ cdot \ overline {e} _j ^ U,$$

(2.13)

$$

$$\ overline {q} ^ I = \ overline {x} ^ I \ cdot E ^ I = \ sum_ {j = 1} ^ m x_j ^ I \ cdot \ overline {e} _j ^ I,$$

जोड़ी रेटिंग प्राप्त करें $$$(u, i)$ :

(2.14)

$$

$$\ hat {r} _ {ui} = <\ overline {p} ^ U, \ overline {q} ^ I> + <\ overline {x} ^ U, \ overline {b} ^ U> + <\ overline {x} ^ I, \ overline {b} ^ I>।$$

हानि समारोह

हमारे मामले में, किसी विशिष्ट उपयोगकर्ता के लिए उत्पादों को रैंक करना आवश्यक है ताकि अधिक प्रासंगिक उत्पाद की कम प्रासंगिक की तुलना में उच्च रेटिंग हो। LightFM के कई नुकसान कार्य हैं:

1. लॉजिस्टिक एक कार्यान्वयन है जिसके लिए एक नकारात्मक की आवश्यकता होती है जो स्पष्ट रूप से अधिकांश कार्यों में प्रस्तुत नहीं किया जाता है।
2. बीपीआर [3] किसी विशेष उपयोगकर्ता के लिए सकारात्मक और नकारात्मक उदाहरणों के बीच रेटिंग में अंतर को अधिकतम करना है। बूटस्ट्रैप नमूनाकरण का उपयोग करके नकारात्मक प्राप्त किया जाता है। एल्गोरिथ्म में उपयोग किया जाने वाला गुणवत्ता कार्यात्मक आरओसी-एयूसी के समान है।
3. WARP [4] नकारात्मक उदाहरणों के नमूने के बीपीआर से अलग है और नुकसान फ़ंक्शन, जो रैंकिंग भी है, लेकिन एक ही समय में उपयोगकर्ता के लिए शीर्ष सिफारिशों का अनुकूलन करता है।

व्यावहारिक कार्यान्वयन

एक निश्चित समय के लिए सिफारिशें बनाने के लिए, स्पार्क पर एक समानांतर कार्यान्वयन का उपयोग किया जाता है। प्रत्येक दुकान के लिए एक स्वतंत्र कार्य शुरू किया जाता है, जिसके निष्पादन को लुइगी द्वारा नियंत्रित किया जाता है।

डेटा प्रीप्रोसेसिंग

डेटा प्रीप्रोसेसिंग स्वचालित रूप से स्केलेबल स्पार्क एसक्यूएल टूल्स द्वारा किया जाता है। अंतिम मॉडल में चयनित विशेषताएं मानक रूपांतरणों के साथ सामान और कैटलॉग का पाठ्य विवरण हैं।

स्पार्क के साथ बातचीत करते समय हमें क्या मदद मिली:

1. स्टोरों द्वारा तैयार डेटा (उपयोगकर्ता और उत्पाद इंटरैक्शन के मैट्रिक्स, उनके लिए संकेत) का विभाजन। यह आपको एचडीएफएस से डेटा पढ़ने पर प्रशिक्षण चरण के दौरान समय बचाने की अनुमति देता है। अन्यथा, प्रत्येक कार्य को स्पार्क मेमोरी में डेटा को पढ़ना पड़ता है और स्टोर आईडी द्वारा फ़िल्टर करना पड़ता है।
2. स्पार्क को / से डेटा की बचत / प्राप्त करना भागों में किया जाता है। यह इस तथ्य के कारण है कि इनमें से किसी भी कार्रवाई के दौरान डेटा को जेवीएम मेमोरी में लोड किया जाता है। सिर्फ जेवीएम के लिए मेमोरी क्यों नहीं बढ़ाई? सबसे पहले, फिर मॉडल को प्रशिक्षित करने के लिए उपलब्ध मेमोरी कम हो जाती है, और दूसरी बात, जेवीएम में कुछ भी स्टोर करने की कोई आवश्यकता नहीं है, यह इस मामले में एक अस्थायी भंडारण के रूप में कार्य करता है।

मॉडल प्रशिक्षण

प्रत्येक स्टोर के लिए मॉडल को अपने स्वयं के स्पार्क कंटेनर में प्रशिक्षित किया जाता है, ताकि आप एक साथ स्टोर के लिए कार्यों की एक मनमानी संख्या चला सकें, जो केवल क्लस्टर संसाधनों द्वारा सीमित हैं।

लाइटएफएम में शुरुआती स्टॉप मैकेनिज्म का अभाव है, इसलिए, हम लक्ष्य मीट्रिक में कोई वृद्धि नहीं होने पर प्रशिक्षण के अतिरिक्त पुनरावृत्तियों पर अतिरिक्त संसाधन खर्च करते हैं। हमने एयूसी को एक मीट्रिक के रूप में चुना, जिसका संबंध सीटीआर के साथ प्रयोगात्मक रूप से पुष्टि करता है।

निरूपित:

$$$एस$ - उपयोगकर्ताओं और उत्पादों के बीच सभी ज्ञात इंटरैक्शन, अर्थात जोड़े $$$(u, i)$ ।
$$$मैं$ - बहुत सारा माल $$$मैं$ ।
$$$यू$ - सभी उपयोगकर्ताओं का एक बहुत $$$यू$ ।
एक विशिष्ट उपयोगकर्ता के लिए $$$यू$ परिचय भी $$$I_ {u} = {i _ I: (u, i) $ S}$ - बहुत सारे उत्पाद जिनके साथ उपयोगकर्ता ने बातचीत की। AUC की गणना निम्नानुसार की जा सकती है:

(3.1)

$$

$$AUC (u) = \ frac {1} {| \ mathcal {I} _u || \ mathcal {I} \ setminus \ mathcal {I} _u |} \ sum_ {i \ _ in \ mathcal {I \ _u} \ _ sum_ {j \ _ in \ mathcal {I} \ setminus \ mathcal {I} _u} \ delta (\ hat {r} _ {ui}> \ hat {r} _ {uj}),$$

(3.2)

$$

$$AUC = \ frac {1} {| \ mathcal {U} |} sum_ {u \ in \ mathcal {U}} AUC (u)।$$

सूत्र (3.1) में हमें सभी संभावित जोड़ों के लिए रेटिंग की गणना करने की आवश्यकता है $$$(u, i)$ ( $$$यू$ निश्चित), साथ ही साथ वस्तुओं के लिए रेटिंग की तुलना करें $$$\ mathcal {I} _u$ से रेटिंग के साथ $$$\ mathcal {I} \ setminus \ mathcal {I} _u$ । यह देखते हुए कि उपयोगकर्ता वर्गीकरण के डरावने हिस्से के साथ बातचीत करता है, गणना की जटिलता है $$$O (! \ Mathcal {U} || \ mathcal {I} |)$ । उसी समय, एफएम प्रशिक्षण के एक युग में हमारी लागत होती है $$$O (| \ mathcal {U} |)$ ।

इसलिए, हमने एयूसी की गणना को संशोधित किया। सबसे पहले, आपको एक प्रशिक्षण में नमूना तोड़ना चाहिए $$$\ mathcal {S} ^ {train} \ subset \ mathcal {S}$ और सत्यापन $$$\ mathcal {S} ^ {val} \ subset \ mathcal {S}$ , और $$$\ mathcal {S} ^ {val} = \ mathcal {S} \ setminus \ mathcal {S} ^ (ट्रेन)$ । अगला, हम सत्यापन के लिए कई उपयोगकर्ताओं को बनाने के लिए नमूने का उपयोग करते हैं $$$\ mathcal {U} ^ {val} \ subset \ {u \ in \ mathcal {U}: (u, i) \ in \ mathcal {S} ^ {val} \}$ । उपयोगकर्ता के लिए $$$यू$ से $$$\ mathcal {U} ^ {val}$ सकारात्मक वर्ग के तत्वों पर विचार किया जाएगा $$$\ $ इसी तरह करने के लिए $$$\ mathcal {I} _u$ । एक नकारात्मक वर्ग के तत्वों के रूप में, हम एक सदस्यता लेते हैं $$$\ mathcal {I} _u ^ {-} \ subset \ mathcal {I}$ ताकि कोई तत्व से $$$\ mathcal {I} _u$ । सबमिशन आकार के आकार के अनुपात में लिया जा सकता है। $$$\ mathcal {I} _u ^ {+}$ वह है $$$| \ mathcal {I} _u ^ {-} | = c \ cdot | \ mathcal {I} _u ^ {+} |$ । तब AUC की गणना के लिए सूत्र (3.1), (3.2) बदल जाएंगे:

(3.3)

$$

$$AUC (u) = \ frac {1} {| \ mathcal {I} _u ^ {+} | \ mathcal {I} _u ^ {-} |} sum_ {i \ _ in \ mathcal {I} _u ^ {+}} \ sum_ {j \ in \ mathcal {I} _u ^ {-}} \ _ डेल्टा hat {r} _ {ui}> \ hat {r} _ {uj}),$$

(3.4)

$$

$$AUC = \ frac {1} {| \ mathcal {U} ^ {val} | \ sum_ {u \ in \ mathcal {U} ^ {val}} AUC (u) $$$

नतीजतन, हम एयूसी की गणना के लिए एक निरंतर समय प्राप्त करते हैं, क्योंकि हम केवल उपयोगकर्ताओं और सेटों का एक निश्चित हिस्सा लेते हैं $$$\ mathcal {I} _u ^ {+}$ और $$$\ mathcal {I} _u ^ {-}$ एक छोटा आकार है। स्टोर के लिए सीखने की प्रक्रिया AUC (3.4) में सुधार होने के बाद बंद हो जाती है।

समान वस्तुओं की खोज करें

Item2item कार्य के भाग के रूप में, आपको प्रत्येक आइटम के लिए चयन करना होगा $$$एन$ (या संभव के रूप में उत्पादों के रूप में) उन है कि बैनर की क्लिक करने की क्षमता को अधिकतम। हमारी धारणा: बैनर के लिए उम्मीदवारों को ऊपर से माना जाना चाहिए- $$$k$ अंतरिक्ष एम्बेडिंग में निकटतम। हमने "निकटतम पड़ोसियों" की गणना के लिए निम्नलिखित विधियों का परीक्षण किया: स्काला + स्पार्क, एएनएनवाईवाई, स्कैन, एचएनएसडब्ल्यू।


500 हजार वस्तुओं के साथ एक स्टोर के लिए स्काला + स्पार्क के लिए, एक ईमानदार कोसिन मीट्रिक की गणना करने में 15 मिनट और क्लस्टर संसाधनों की एक महत्वपूर्ण राशि लगी, जिसके संबंध में हमने निकटतम पड़ोसियों को खोजने के लिए अनुमानित तरीकों का परीक्षण किया। SCANNs विधि पर शोध करते समय, निम्न पैरामीटर विविध होते हैं: bucketLimit , shouldSampleBuckets , NumHashes और setSignatureLength एएनएनओवाई और एचएनएसडब्ल्यू एल्गोरिदम ने एक ईमानदार कोसिन के बराबर परिणाम दिखाया, लेकिन बहुत तेजी से काम किया।

	200k उत्पादों		500k माल		२.२ मी उत्पाद
एल्गोरिथ्म	झुंझुला देना	HNSW	झुंझुला देना	HNSW	झुंझुला देना	HNSW
समय का निर्माण सूचकांक (सेकंड)	59.45	8.64	258.02	25.44	1190.81	90.45
कुल समय (सेकंड)	141.23	14.01	527.76	43.38	2081.57	150.92

इस तथ्य के कारण कि एचएनएसडब्ल्यू ने सभी एल्गोरिदम की तुलना में तेजी से काम किया, हमने इस पर रोक लगाने का फैसला किया।
हम स्पार्क कंटेनर में निकटतम पड़ोसियों की तलाश करते हैं और हाइव में उचित विभाजन के साथ परिणाम लिखते हैं।

निष्कर्ष

स्मरण करें: हम मॉडल, AUC को शुरुआती पड़ाव के लिए प्रशिक्षित करने के लिए WARP का उपयोग करते हैं, और लाइव ट्रैफ़िक पर A / B परीक्षण का उपयोग करके अंतिम गुणवत्ता मूल्यांकन किया जाता है।

हम मानते हैं कि इस जगह में - प्रयोग को व्यवस्थित करने और बैनर की इष्टतम संरचना का चयन करने में - डेटा समाप्त होता है और विज्ञान शुरू होता है। यहां हम यह निर्धारित करना सीखते हैं कि क्या यह उन उत्पादों के लिए सिफारिशें प्रदर्शित करने के लिए समझ में आता है जिनके लिए रिटारगेटिंग ने काम किया; वास्तव में दिखाने के लिए कितनी सिफारिशें; कितने उत्पाद देखे गए, आदि। हम इस बारे में निम्नलिखित लेखों में बात करेंगे।

एल्गोरिथ्म में और सुधार - सार्वभौमिक एम्बेडिंग की खोज जो सभी दुकानों के उत्पादों को एक स्थान पर रखने की अनुमति देगा - लेख की शुरुआत में वर्णित प्रतिमान के ढांचे के भीतर किया जाता है।

आपका ध्यान के लिए धन्यवाद!

साहित्य

[१] रिकसी एफ।, रोकाच एल।, शापिरा बी। प्रेडेंडर सिस्टम हैंडबुक में परिचय
// अनुशंसित सिस्टम हैंडबुक। - स्प्रिंगर, बोस्टन, एमए, 2011 ।-- एस। 147160।

[२] डेटा खनन पर Rendle S. Factorization Machines // 2010 IEEE अंतर्राष्ट्रीय सम्मेलन। - IEEE, 2010 .-- एस। 995-1000।

[३] रेंडल एस। एट अल। BPR: अंतर्निहित प्रतिक्रिया से बेयसियन व्यक्तिगत रैंकिंग
// कृत्रिम बुद्धिमत्ता में अनिश्चितता पर पच्चीसवें सम्मेलन की कार्यवाही।
- एयूएआई प्रेस, 2009 ।-- एस 452-461।

[४] वेस्टन जे।, बेंगियो एस।, उस्युनियर एन। वासाबी: आर्टिफिशियल इंटेलिजेंस पर बड़ी शब्दावली छवि एनोटेशन // ट्वेंटी-सेकंड इंटरनेशनल संयुक्त सम्मेलन के लिए स्केलिंग। - 2011।