Vowpal Wabbit के साथ बिग डेटा उत्पाद दिशानिर्देशों को निजीकृत करना

नमस्ते! मेरा नाम निकिता उचेतेलेव है। मैं लामोदा अनुसंधान एवं विकास का प्रतिनिधित्व करता हूं। हम 20+ लोग हैं, और हम साइट पर और अनुप्रयोगों में विभिन्न सिफारिशों पर काम कर रहे हैं, हम एक खोज विकसित कर रहे हैं, हम कैटलॉग में सामानों की छंटाई का निर्धारण करते हैं, हम विभिन्न कार्यात्मकताओं के एबी परीक्षण की संभावना प्रदान करते हैं, और हम मांग की लोच और पूर्वानुमान रसद के अनुकूलन के लिए एक प्रणाली जैसे कई आंतरिक विकासों का भी समर्थन करते हैं।

आने वाले वर्षों के लिए पूरी कंपनी के विकास की मुख्य दिशाओं में से एक हमारे उत्पादों और सेवाओं का निजीकरण है। इस तरह की पहलों का परीक्षण और कार्यान्वयन हर जगह किया जाता है - व्यक्तिगत उत्पाद चयनों के संकलन से लेकर एक विशिष्ट बिक्री प्रतिनिधि चुनने तक जो हमारा माल आप तक पहुँचाएगा। आरएंडडी उत्पादों के निजीकरण की प्रक्रिया के हिस्से के रूप में, मैं एक टीम लीडर के रूप में कार्य करता हूं और इस लेख में मैं उस प्लेटफॉर्म के बारे में बात करना चाहता हूं जिसे मैं और मेरी टीम पिछले साल के लिए डिजाइन और विकसित कर रहे हैं, साथ ही साथ पहले व्यक्तिगत आरएंडडी उत्पादों के बारे में जो वर्तमान में एबी परीक्षण से गुजर रहे हैं।

उत्पाद की सिफारिशों की विचारधारा

सभी के लिए परिचित किसी भी ऑनलाइन स्टोर की विशेषता उत्पाद पृष्ठ है। यह आमतौर पर एक विस्तृत विवरण, कई बड़ी तस्वीरें, ग्राहक समीक्षा, "कार्ट में जोड़ें" बटन और अन्य परिचित नेविगेशन तत्वों को देता है। ऐसे पृष्ठों के निचले भाग में "संबंधित उत्पाद", "इस उत्पाद के साथ खरीदना", या कुछ और कहा जाता है। प्रत्येक शेल्फ का अपना उद्देश्य होता है।

उदाहरण के लिए, इसी तरह के उत्पादों के साथ एक शेल्फ को उपयोगकर्ता को पसंद के वर्तमान संदर्भ में उत्पादों की एक अतिरिक्त विविधता प्रदान करने के लिए डिज़ाइन किया गया है। यह उपयोगी हो सकता है अगर स्टॉक में कोई उपयोगकर्ता आकार नहीं है, या यदि वह चयन चरण में है और एक ही उत्पाद चाहता है, लेकिन "मोती बटन के साथ"। उसी समय, शेल्फ खरीदार को उत्पाद पृष्ठ से दूर ले जाता है, जिसमें वह अब वापस नहीं लौट सकता है, और तदनुसार इसे खरीद नहीं सकता है।

वेबसाइट पर और लमोडा अनुप्रयोगों में एक दूसरा शेल्फ है, जिसे हम क्रॉस-अनुशंसा शेल्फ कहते हैं । यह समान सामानों के साथ तुरंत शेल्फ के नीचे स्थित है, और हम इसे उस असमान माल पर रखने की कोशिश करते हैं जो वर्तमान SKU (स्टॉक कीपिंग यूनिट या, और अधिक, लेख) के साथ शॉपिंग कार्ट में सबसे अधिक बार पाए जाते हैं। इसलिए, उदाहरण के लिए, स्वेटर के लिए पतलून और जूते की सिफारिश की जाती है, स्वेटर के लिए स्कार्फ और टोपी। सस्ती वस्तुओं का एक समूह है जो सबसे अधिक बार खरीदा जाता है। एक नियम के रूप में, ये मोज़े और अंडरवियर हैं, इसलिए उन्हें अक्सर इस शेल्फ पर देखा जा सकता है।

यह बिक्री तकनीक अपशगुन के समान है। हम कुछ बड़े पूरक सामान बेचने की कोशिश कर रहे हैं, बशर्ते कि उपयोगकर्ता को वर्तमान उत्पाद पसंद हो। इसी समय, यह उन कुछ स्थानों में से एक है, जहाँ ग्राहक हमारी सीमा से परिचित हो सकते हैं। उदाहरण के लिए, किसी ब्रांड या उपश्रेणी को देखने के लिए, जिसकी उपस्थिति वे पहले नहीं जानते थे। हम इसे प्रेरणा और खोज कहते हैं - जब हम ग्राहकों को नई खरीदारी करने के लिए प्रेरित करते हैं और हमें बताते हैं कि हमारी सीमा कितनी व्यापक है, हम कीमतें और छूट दिखाते हैं।

ऐतिहासिक रूप से, इन अलमारियों को भरने की गणना कुछ समानता मेट्रिक या सशर्त रूपांतरण द्वारा छंटनी के साथ ऑफलाइन (मार्जिन के साथ, कुछ उत्पादों को अगली गणना से पहले स्टॉक से बाहर चलाने के मामले में) की जाती है। इस प्रकार, सभी उपयोगकर्ता दिन के दौरान लगभग एक ही चीज देखते हैं। हमने सटीक रूप से इन अलमारियों से निजीकरण के साथ प्रयोग शुरू करने का फैसला किया, क्योंकि उत्पाद पृष्ठों पर हमारे पास गुणवत्ता प्रयोगों का संचालन करने के लिए पर्याप्त ट्रैफ़िक है। एक तकनीकी दृष्टिकोण से, यह हमारे बुनियादी ढांचे में कार्यान्वयन के लिए सबसे सुविधाजनक स्थानों में से एक निकला (आरेख पर लाल रंग में चिह्नित)।

यह विचार यह है : हम कुछ मॉडल को प्रशिक्षित करते हैं जो "उपयोगकर्ता + उत्पाद" जोड़ सकते हैं रूपांतरण संभावना या बस एक क्लिक, और फिर उन्हें इस संभावना के अवरोही क्रम में बाएं से दाएं शेल्फ पर प्रदर्शित करते हैं। चूंकि हिंडोला की पहली स्क्रीन पर केवल 4 से 6 SKU प्रदर्शित होते हैं, स्क्रीन रिज़ॉल्यूशन पर निर्भर करता है, और कुल मिलाकर हम उन्हें गणना कर सकते हैं, कह सकते हैं, सैकड़ों तक, निजीकरण की एक बहुत स्वीकार्य "गहराई" प्राप्त की जाती है।

हम समस्या को अंत से हल करते हैं

चलो तकनीकी भाग पर चलते हैं। एपीआई की प्रतिक्रिया समय पर हमारी सीमाएं हैं। उदाहरण के लिए, अनुप्रयोगों में, भविष्य की सेवा को 100 एमएस के लिए जिम्मेदार होने के लिए समय की आवश्यकता होगी। इस समय के दौरान, आपको उपयोगकर्ता और उत्पाद डेटा के लिए अलग-अलग डेटाबेस में जाने की जरूरत है, शिखर पर 100 क्यूपीएस तक लोड के तहत एक सौ उदाहरणों की व्यवस्था करें। यह हमें उप-मिलीसेकंड मशीन सीखने के ढांचे का उपयोग करने की आवश्यकता की ओर जाता है । सबसे प्रसिद्ध में से एक Vowpal Wabbit है।

इस ढांचे के लिए आवेदन का एक विशिष्ट क्षेत्र adtech है, अर्थात्, RTB नीलामी के लिए बोली का अनुकूलन करते समय एक विज्ञापन के CTR की भविष्यवाणी करता है। गणितीय दृष्टिकोण से, हम इसी तरह की समस्या पैदा कर सकते हैं। मान लीजिए कि हम उत्पाद प्रदर्शितों पर एक मॉडल को प्रशिक्षित करके एक क्लिक की संभावना का अनुमान लगाना चाहते हैं। 10k QPS तक के मॉडल पर लोड विज्ञापन संकेतकों के लिए तुलनीय है और सामान्य तौर पर, प्रोटोटाइप चरण और एमवीपी पर केवल स्वयं को रैखिक एल्गोरिदम तक सीमित करने की आवश्यकता को सही ठहराता है।

आइए अब इस बारे में सोचें कि उपयोगकर्ता डेटा में कौन सा सिग्नल हो सकता है और हमें उपयोगकर्ताओं के बीच अच्छी तरह से अंतर करना चाहिए। चूंकि हम उत्पाद की सिफारिशों और उत्पाद पृष्ठ के बारे में बात कर रहे हैं, जो उपयोगकर्ता का दौरा करता है, तो सबसे अधिक संभावना है कि वह चयन स्तर पर है। उसके सिर में "सही जूते" की एक निश्चित छवि है, जिसके साथ वह सभी सामानों की तुलना करता है जो उसकी आंख को पकड़ते हैं। उसे पहले वांछित श्रेणी के सामानों की सूची में जाने दें और उस चीज़ पर क्लिक करके खोज शुरू करें जो कमोबेश उसकी प्रस्तुति से मिलती जुलती है। इस प्रकार, उपयोगकर्ता देखे गए उत्पादों के कुछ "डिजिटल ट्रेस" को सुरक्षित रखता है। इस निशान पर इकाई के आधार पर, हम निजीकरण करेंगे।

सदिश वस्तुओं का प्रतिनिधित्व

सभी उत्पाद कुछ विशेषताओं के सारणीबद्ध मूल्यों के साथ आपस में भिन्न होते हैं: रंग, सामग्री, कपड़े, प्रिंट का प्रकार, आस्तीन की लंबाई, एक हुड की उपस्थिति, एड़ी की ऊंचाई, आदि। तदनुसार, इन विशेषताओं के मूल्यों में से प्रत्येक के फ्रैक्चर के साथ किसी भी डिजिटल ट्रेस को एनकोड करना संभव है। मान लीजिए कि हमारे पास तीन रंगों और तीन ब्रांडों में उत्पाद हैं जिन्हें आप टोकरी में देख सकते हैं और डाल सकते हैं। फिर, एक उपयोगकर्ता के कार्यों का इतिहास लेते हुए, वह निम्नलिखित फॉर्म के एक वेक्टर से मेल खा सकता है:

इस मामले में, उपयोगकर्ता ने 10 उत्पादों को देखा: 5 सोना, 2 काले और 3 लाल। और उसने टोकरी में 2 लाल और 2 काले जोड़े, उसने सोने को नहीं जोड़ा। इसी तरह ब्रांड ए, बी और सी के साथ-साथ किसी भी विशेषता मूल्यों के साथ। इसके अलावा, इस तरह के एक वेक्टर को एक विशेष उत्पाद के लिए विशेषता मूल्यों के एक-गर्म एन्कोडेड वेक्टर के साथ समेटा जा सकता है।

इस प्रकार, हम एक विशिष्ट घटना को वेक्टर कर सकते हैं। एक उपयोगकर्ता, जो वर्तमान सत्र के ढांचे के भीतर, रंगों के दिए गए वितरण के साथ कई उत्पादों को देख चुका है, उदाहरण के लिए लाल रंग के कुछ नए उत्पाद देखने की तैयारी कर रहा है। इंप्रेशन और क्लिक के बारे में ऐतिहासिक डेटा का उपयोग करते हुए, आप एक मॉडल का निर्माण कर सकते हैं जो एक लाल उत्पाद पर एक क्लिक की संभावना की भविष्यवाणी करेगा, बशर्ते कि उसके पास पहले से देखे गए उत्पादों के लिए एक मौजूदा रंग वितरण हो।

यदि आप उस स्थान को देखते हैं जिसमें हमने ऐतिहासिक समूहों को प्रदर्शित करना सीखा है, तो आप देख सकते हैं कि एक हिस्सा एक द्विआधारी उप-क्षेत्र के कब्जे में है और दूसरा वास्तविक है, और वे एक-दूसरे से जुड़े नहीं हैं। इस मामले में हमारा रैखिक मॉडल इस अंतरिक्ष में बिंदुओं के निर्देशांक का एक रैखिक संयोजन (भारित योग) है। यदि वह इस तरह के उदाहरणों से सीखती है, तो वह आसानी से प्राथमिकताओं को सीख लेगी। उदाहरण के लिए, माल के लाल रंग के अनुरूप समन्वय के सामने वजन लाल वस्तुओं के सीटीआर के सीधे आनुपातिक के लिए एक मूल्य होगा। इस प्रकार, विशिष्ट उपयोगकर्ता निर्देशांक कैटलॉग से किसी भी उत्पाद के लिए विभिन्न उपयोगकर्ताओं के क्लिक की आवृत्ति विशेषताओं द्वारा भारित किया जाएगा। लेकिन यह काफी नहीं है जो हम चाहेंगे।

बहुपद विशेषताएं बचाव में आती हैं - सभी वास्तविक लोगों के साथ सभी द्विआधारी मात्रा के गुणन का परिणाम। Vowpal Wabbit ढांचे में नामस्थानों से बिजली की सुविधाएँ पैदा करने के लिए एक शक्तिशाली उपकरण है । आइए विभिन्न उदाहरणों में उपयोगकर्ता और कमोडिटी सुविधाओं का प्रसार करते हुए, हमारे उदाहरण के लिए vw प्रारूप में एक स्ट्रिंग बनाने की कोशिश करें।

|user_color :0.5 :0.2 :0.3 |product_color  

अब, यदि प्रशिक्षण के दौरान हम -q पु स्विच को जोड़ते हैं, तो ऐसी गैर-द्विघात विशेषताएं दिखाई देंगी:

 user_color^ * product_color^ = 0.5 user_color^ * product_color^ = 0.2 user_color^ * product_color^ = 0.3 

इस प्रकार, मॉडल न केवल एक संकेत के लिए देख रहा है कि कैसे उपयोगकर्ता लाल उत्पादों के उच्च अनुपात के साथ क्लिक करते हैं, बल्कि वे लाल उत्पादों पर कैसे क्लिक करते हैं। प्रशिक्षित मॉडल में ऐसी सुविधा का वजन सकारात्मक और काफी बड़ा होना चाहिए।

इंजीनियरिंग के लिए यह दृष्टिकोण नाटकीय रूप से उस स्थान के आयाम को बढ़ाता है जिसमें प्रशिक्षण होता है। ऐसी स्थिति में जहां हमारे पास केवल 4 रंग हैं, इस स्थान का आयाम 8 है (उत्पाद के लिए 4 रंग और उपयोगकर्ता के लिए 4)। 16 द्विघात विशेषताओं को जोड़ने के साथ, यह 24 तक बढ़ जाता है। उत्पादन में, रंगों के अलावा, हम सामान के 13 अधिक गुणों का उपयोग करते हैं, जिसमें शामिल हैं, उदाहरण के लिए, ब्रांड। इसलिए, अंतरिक्ष के कुल आयाम जिसमें हमारे मॉडल काम करते हैं, 3 मिलियन तक हो सकते हैं। उसी समय, हम 1: 100 के स्तर पर अंतरिक्ष के आयाम के लिए प्रशिक्षण उदाहरणों की संख्या के अनुपात को बनाए रखना चाहते हैं। ऐसा करने के लिए, हमें लगभग 300 मिलियन टिप्पणियों का निर्माण करने की आवश्यकता है।

वैयक्तिकरण प्लेटफ़ॉर्म आर्किटेक्चर

हम Hadoop (अपाचे काफ्का से एक हाइव टेबल पर स्पार्क स्ट्रीमिंग) में अपने उपयोगकर्ताओं के क्लिकस्ट्रीम को स्टोर करते हैं। हम आम तौर पर प्रति दिन लगभग 30 गीगाबाइट संकुचित डेटा प्राप्त करते हैं - यह सौ से अधिक विभिन्न प्रकार की क्रियाएं हैं जो उपयोगकर्ता साइट पर और अनुप्रयोगों में, विभिन्न स्थानों में माल प्रदर्शित करने सहित प्रदर्शन कर सकते हैं।

सिफारिशों की अलमारियों के लिए भी जानकारी है कि कौन से उत्पाद दिखाए गए थे और कहां पर क्लिक किया गया था। पूर्व में ऐसे प्रत्येक क्लिक के लिए हमारा कार्य दिए गए क्लिक से पहले के समय में देखे गए उत्पादों की विशेषताओं के मानों के अनुपात के संदर्भ में उपयोगकर्ता की स्थिति की गणना करना है। तब वैक्टर "उपयोगकर्ता" + "उत्पाद जिसे क्लिक किया गया था" की जोड़ी का संयोजन एक सकारात्मक प्रशिक्षण का उदाहरण देगा, और इसी तरह के जोड़े को शेल्फ में इसके बगल में दिखाए गए उत्पादों के साथ लेकिन बिना क्लिक के नकारात्मक उदाहरण होंगे। यह महत्वपूर्ण है कि उत्पादों को पास में दिखाया गया है। फिर हम यह सुनिश्चित कर सकते हैं कि उपयोगकर्ता ने उन्हें देखा, लेकिन क्लिक नहीं किया। एक बोनस के रूप में, ऐसे यांत्रिकी के साथ हम समस्या में कक्षाओं के अनुपात को नियंत्रित कर सकते हैं।

हमारा समाधान इस डेटा का दैनिक एकत्रीकरण स्पार्क और HBase में वृद्धिशील लोडिंग का उपयोग करके किया जाता है। ऐसे कुल की संरचना पर विचार करें।

तो, इस कार्य में मुख्य वस्तु उपयोगकर्ता है। सत्र इसके साथ जुड़े हुए हैं, जिसमें क्रियाओं का एक क्रम शामिल है, जिनमें से प्रत्येक में कार्रवाई के प्रकार के आधार पर कुछ विशेषताएं हैं। उदाहरण के लिए, यदि यह उत्पाद पृष्ठ देख रहा है, तो उत्पाद का आलेख संख्या और देखने का समय हमारे द्वारा आवश्यक विशेषताओं से संबंधित है। भविष्य के लिए एक रिजर्व के रूप में, हम तुरंत स्टॉक और दो कीमतों में माल की उपलब्धता को लॉग करने के लिए लिखते हैं: आधार एक और स्टॉक स्टॉक और व्यक्तिगत कूपन में लेना। हमें अलग से इंप्रेशन की आवश्यकता नहीं है, इसलिए एकत्रीकरण के समय मक्खी पर उन्हें क्लिक के लिए जिम्मेदार ठहराया जाता है और एक नए प्रकार की घटना उत्पन्न होती है, जिसमें उत्पाद के लेख संख्या के साथ फ़ील्ड के अलावा जहां क्लिक किया गया था, प्रदर्शन के समय इसके आसपास कई लेखों की एक सरणी भी है।

HBase एक वर्जनड कॉलम डेटाबेस है जिसमें बल्क प्रोसेसिंग के लिए स्पार्क से कनेक्ट करने के लिए और कुंजी द्वारा डेटा एक्सेस करने की क्षमता के लिए एक देशी इंटरफ़ेस है। इसकी एक और विशेषता यह है कि HBase में सर्किट की अवधारणा का अभाव है। यह केवल बाइट्स या ऑफसेट को स्टोर कर सकता है, विशेष HFiles के अंदर जो HDFS ब्लॉक संरचना के अनुकूल हैं।

कुछ लोगों को भंडार का चयन करना विवादास्पद लग सकता है, लेकिन मुझे इसी तरह की परियोजनाओं में HBase के साथ काम करने का अच्छा अनुभव था। इसके अलावा, लमोडा में यह डेटाबेस पहले से ही सक्रिय रूप से उपयोग किया जाता है, इसलिए एमवीपी के लिए पहले से तैनात सिस्टम का उपयोग करने के लिए हमें कुछ भी खर्च नहीं करना पड़ता है। हम फिलहाल वर्जनिंग कार्यक्षमता का उपयोग नहीं करते हैं, लेकिन भविष्य में लैम्बडा आर्किटेक्चर के डेटा और अन्य रियलटाइम मामलों के संगठन में मल्टीथ्रेडेड मॉडल प्रशिक्षण की संभावना के लिए महत्वपूर्ण पहुंच उपयोगी लग रही थी।

चूंकि HBase में कोई स्कीमा नहीं है, हमें अपने डेटा कंटेनर की आवश्यकता है। आप लैम्ब्डा x: json.dumps (x) .encode () का उपयोग कर सकते हैं, लेकिन मुझे कुछ तेज चाहिए था। एक पूरी तरह से मानक समाधान प्रोटोबोफ़ कंटेनर का उपयोग करना है। चूंकि पूरे प्रोजेक्ट का विकास अजगर में किया जाता है, इसलिए मेरे लिए Google से आधिकारिक एक के बजाय AppNexus से कस्टम पायरोफ लाइब्रेरी का उपयोग करना अधिक सामान्य है। बेंचमार्क द्वारा, प्रोटोबफ्स की मूल कार्यक्षमता का प्रदर्शन मूल से कई गुना अधिक है। हमारे प्रोटोबफ की अनुमानित योजना इस प्रकार है:

 enum Location { ru = 1; by = 2; ua = 3; kz = 4; special = 5; } enum Platform { desktop = 1; mobile = 2; a_phone = 3; a_tablet = 4; iphone = 5; ipad = 6; } message Action { enum ActionType { pageview = 1; quickview = 2; rec_click = 3; catalog_click = 4; fav_add = 5; cart_add = 6; order_submit = 7; } required uint64 ts = 1; required ActionType action_type = 2; optional string sku = 3; required bool is_office = 4; repeated string skus = 5; optional uint32 delta = 6; optional string sku_source = 7; optional bool stock = 8; optional uint32 base_price = 9; optional uint32 price = 10; optional string type = 11; } message Session { required string session_id = 1; repeated Action actions = 2; required uint64 session_start = 3; required uint64 session_end = 4; optional uint32 actions_count = 5; } message LID { required string uid = 1; repeated Session sessions = 2; required Location location = 3; required Platform platform = 4; optional uint32 sessions_count = 5; } 

संक्षेप में, एक "उपयोगकर्ता" ऑब्जेक्ट (एलआईडी, लैमोडा आईडी) है। इसके अंदर "सत्र" ऑब्जेक्ट्स की एक सरणी है, जिनमें से प्रत्येक "एक्शन" ऑब्जेक्ट्स की एक सरणी है। हमने क्रियाओं को प्रकार से विभाजित किया और उन्हें अलग-अलग कॉलम परिवार में संग्रहीत किया, जो हमें थोड़ी सी रीडिंग का अनुकूलन करने की अनुमति देता है जब हमें केवल कुछ प्रकार की घटनाओं की आवश्यकता होती है (उत्पाद के विचार, विभिन्न प्रकार की सिफारिशों पर क्लिक के लिए जिम्मेदार आदि)।

परीक्षण

तीन सप्ताह के लिए हमने निम्नलिखित डिज़ाइन में डेस्कटॉप साइट lamoda.ru पर AB परीक्षण किया:

• नियंत्रण: एपीआई सिफारिशें निजीकरण सेवा को संदर्भित करती हैं, परिणाम की प्रतीक्षा करती हैं, लेकिन मूल क्रम में सामान देती हैं, सभी के लिए समान।
• परीक्षण: उत्पाद क्लिक संभावना पूर्वानुमान के अवरोही क्रम में बाएं से दाएं प्रदर्शित होते हैं।

दो विकल्पों में विभाजन उपयोगकर्ता के एलआईडी पर आधारित है - अनिवार्य रूप से उसकी कुकी द्वारा। हमारा प्रायोगिक प्लेटफ़ॉर्म यह सुनिश्चित करता है कि दो संस्करणों में एकत्रित अवलोकन स्वतंत्र और समान रूप से वितरित किए जाते हैं, और मीट्रिक परिवर्तनों का मूल्यांकन 5% (पी-वैल्यू 0.05) के महत्व स्तर के साथ किया जाता है। परिणामस्वरूप, हमें पूरे शेल्फ का 10% CTR और राजस्व में एक महत्वपूर्ण सकारात्मक बदलाव प्राप्त हुआ। पिछले सप्ताह, हमने साइट के सभी उपयोगकर्ताओं के लिए इस कार्यक्षमता को रोल आउट किया।

अपने आप पर निजीकरण की जांच करने के लिए, बस कई अलग-अलग उत्पादों को देखें और फिर दो अलग-अलग ब्राउज़रों में "वे इस उत्पाद को खरीदें" या "गुप्त" मोड का उपयोग करने के लिए अलमारियों में से एक पर सिफारिशों की छंटाई की तुलना करें। बेशक, यदि आपने पहले हमारी साइट का दौरा नहीं किया है, तो प्लेटफॉर्म में आपके बारे में बहुत कम डेटा है। सर्दियों की जैकेट चुनने की कोशिश करें और थोड़ी देर बाद फिर से सामान के क्रम की तुलना करें।

सेवा से मंच तक

इसलिए हमें एक पूरा प्लेटफ़ॉर्म मिला - सॉफ्टवेयर टूल का एक सेट जो डेटा को एकत्र करता है और इसे संग्रहीत करता है, साथ ही अतीत में समय पर एक मनमाना बिंदु पर व्यापारिक वस्तुओं को वेक्टर करने के लिए एक रूपरेखा है, जो आपको विभिन्न कार्यों की संभावना का आकलन करने के लिए स्कोरिंग मॉडल बनाने की अनुमति देता है। मॉडल हस्तक्षेप एक वेब सेवा के माध्यम से प्रदान किया जाता है जो विभिन्न डेटा स्रोतों से प्रासंगिक वैक्टर एकत्र कर सकता है और उन्हें मॉडल के माध्यम से चला सकता है। यह एक एलआईडी (उपयोगकर्ता पहचानकर्ता), SKU की एक सूची को स्वीकार करता है, जिसे खोलने की आवश्यकता होती है, और विभिन्न अतिरिक्त जानकारी, पूर्वानुमानों से समृद्ध क्लिक संभावना पूर्वानुमानों के लिए उत्पादों की समान सूची को लौटाते हैं। नीचे हमारे मंच की वैचारिक वास्तुकला का एक चित्र है:

ML कोर तत्व आभासी मशीनों का एक समूह है, जिस पर Hadoop क्लाइंट और Airflow कार्यकर्ता स्थापित होते हैं। हम कॉन्फ़िगरेशन सेट करते हैं, मॉडल को प्रशिक्षित करने के लिए किन मापदंडों के साथ, जहां ऐतिहासिक डेटा प्राप्त करना है और इसी तरह। नतीजतन, मॉडल को आर्टिफैक्ट में प्रशिक्षित और प्रकाशित किया जाता है, और सीखने की प्रक्रिया और हमारे लिए ब्याज की गुणवत्ता के मीट्रिक के बारे में जानकारी मेटा भंडार में संग्रहीत की जाती है।

पहले से ही अब मेलिंग सूचियों में, मुख्य पृष्ठों पर और इसी तरह के उत्पादों के लिए सिफारिशों के साथ शेल्फ पर, आंतरिक और बाहरी विज्ञापन को लक्षित करने के लिए एक जैसे दिखने वाले सेगमेंट की सिफारिश और परीक्षण के लिए परीक्षण या तैयारी कर रहे हैं।

यह एक परिचयात्मक लेख था। आगे के प्रकाशनों में, मैं वास्तुकला के तकनीकी पहलुओं पर ध्यान केंद्रित कर सकता हूं और इसके विकास के बारे में बात कर सकता हूं, या, इसके विपरीत, उत्पाद घटक को अधिक व्यापक रूप से विस्तारित कर सकता हूं और बता सकता हूं कि हम कैसे उपयोग करते हैं और उत्पाद कार्यों में एमएल का मूल्यांकन करते हैं। इस बारे में अपनी इच्छाओं को टिप्पणी में लिखें।