डोडो में मशीन लर्निंग। अगर आप डेवलपर हैं तो एक नई दिशा कैसे शुरू करें

कट के तहत कहानी है कि कैसे मशीन सीखने का क्षेत्र डोडो में दिखाई दिया। Spoiler: मैंने इसे लॉन्च किया। कट्टर तकनीकी विवरण यहां नहीं होंगे, उनके लिए एक अलग लेख समर्पित करना सुनिश्चित करें। आज सहकर्मियों की प्रेरणा और समर्थन के बारे में अधिक है।

ट्रेनिंग

मैं तीन बार मशीन सीखने के विषय पर आया, जब तक कि कुछ सार्थक इससे बाहर नहीं आया।

रूसी स्कूल

पहली बार जब मैं एचएसई में मशीन लर्निंग में आया - मुझे डोडो में नौकरी मिलने पर बिग डेटा सिस्टम्स की दिशा में एक दूसरा टॉवर मिला। एक स्पर्शरेखा पर इस विशाल प्रचार विषय के माध्यम से जाने के बाद, मुझे समझ में नहीं आया कि मैंने अपने जीवन के तीन साल बिल्कुल क्यों बिताए। और इससे भी अधिक मैंने यह नहीं सोचा कि यह कंपनी में कैसे उपयोगी हो सकता है। मैं तब भाग्य की इस चुनौती के लिए तैयार नहीं था।

चेक यात्रा

दूसरी बार जब मैं प्राग में इस विषय पर आया, तो Microsoft बंद मशीन से हैकथॉन सीख रहा था। अन्य कंपनियों के लोगों के साथ मिलकर, हमने छुट्टियों और पीक दिनों के दौरान डोडो में मांग का पूर्वानुमान लगाने के काम पर काम किया। मैं एक तैयार मॉडल के साथ वापस आया जो मांग की भविष्यवाणी करता है। इस हैकथॉन के बाद यह विचार आया कि मैं कंपनी में अर्जित ज्ञान को लागू करने में सक्षम होऊंगा। वहाँ यह था

ठीक है, क्या आपके पास जुपिटर में एक मॉडल है, तो क्या? इसका उपयोग कैसे करें? व्यवसाय के लिए इसे समझाने के सभी प्रयासों का सामना एक कठोर वास्तविकता के साथ किया गया था: और इसलिए यह स्पष्ट है कि छुट्टियों और चरम दिनों में कई आदेश होंगे। वयस्क पिज़्ज़ेरिया पिछले साल के आंकड़ों के आधार पर बिक्री की भविष्यवाणी कर सकते हैं, और नए लोगों को इसके बिना समस्याएं थीं। हमने मशीन लर्निंग को विकसित करने के प्रयासों को स्थगित कर दिया है। लेकिन यह विचार कि हम डेटा के साथ अधिक कर सकते हैं, बहुत मजबूती से मेरे सिर में फंस गया है और वहां से बाहर नहीं निकलना चाहता। अब मैं चुनौती के लिए तैयार था, लेकिन कंपनी नहीं थी।

अमेरिकी सपना

तीसरी मुलाकात तकदीर बन गई। हमारी टीम को एक कठिन लेकिन दिलचस्प काम मिला: यूएसए के लिए एक अनुकूलित पिज्जा मॉड्यूल विकसित करने के लिए। यह तब है जब आप किसी भी सामग्री के साथ पिज्जा ऑर्डर कर सकते हैं, अपनी खुद की रेसिपी बना सकते हैं। प्रोजेक्ट में काम करने के लिए आवश्यक सभी चीजें: डेटाबेस आर्किटेक्चर में साइट पर क्लाइंट कोड में बदलाव से। हमने कार्य को पकड़ लिया और एक उत्पाद विकसित किया जिसे मैं एक वास्तविक जीत मानता हूं। मुख्य मूल्यांकन संयुक्त राज्य अमेरिका में हमारे सीईओ, अलीना से सुस्त हो गया।



हमने मॉड्यूल किया, लेकिन मैंने स्केलिंग में एक समस्या देखी। क्या होगा यदि कार्यक्षमता एक या दो पिज़्ज़ेरिया राज्यों में नहीं दिखाई देती है, लेकिन एक बड़े नेटवर्क में? ऐसे उत्पाद का प्रबंधन कैसे करें, स्टॉक की योजना कैसे बनाएं? मैंने फैसला किया कि यह मामला डोडो में मशीन सीखने के विकास की आवश्यकता को साबित कर सकता है। मुझे लगा कि इस बार मैं और कंपनी दोनों एक नई दिशा शुरू करने के लिए तैयार हैं।

कारों के साथ एक पर एक

पृष्ठभूमि में, मैंने अमेरिकी अनुकूलित पिज्जा की बिक्री का विश्लेषण करना शुरू कर दिया। क्लस्टरिंग एल्गोरिदम का उपयोग करते हुए, यह दिखाना संभव था कि उपयोगकर्ताओं द्वारा बनाई गई सभी व्यंजन सामग्री के छह मूल सेटों पर आधारित हैं और साथ ही कुछ यादृच्छिक भी हैं। यहां तक ​​कि इस एल्गोरिथ्म पर आधारित एक साधारण रिपोर्ट अर्ध-मैनुअल पूर्वानुमान बिक्री और योजना सूची की अनुमति देगा। नौकरशाही की कमी और चलते-फिरते पुनर्निर्माण की क्षमता के कारण हमें इस दिशा में जुड़ने के लिए हरी रोशनी दी गई।

तकनीकी निर्देशक और मैंने एक से अधिक बार समझा और चर्चा की कि मुझे वर्तमान टीम को छोड़ने और एक नई दिशा विकसित करने की आवश्यकता होगी, यह दिखाने के लिए कि इसकी आवश्यकता है। मुझे तेज गति से एक नए क्षेत्र में उतरने की जरूरत थी। मैं समझ गया कि अगर यह काम नहीं करता है, तो दो तरीके हैं। पहला डोडो टीम में एक और विकास है। दूसरा एचएच पर अपने फिर से शुरू करने और एक नई नौकरी की तलाश करना है। मैं एक या दूसरे को नहीं चाहता था। मैं लगभग तीन महीने तक इस राज्य में रहा, जब तक कि मैं अतिरिक्त बिक्री मॉड्यूल पर नहीं आ गया।

पहला प्रोजेक्ट

एक और स्पॉइलर: यह पता चला कि एमएल चलाने के लिए आपको कुछ जटिल में चलाने की आवश्यकता नहीं है। जाहिर है, है ना? लेकिन यात्रा की शुरुआत में इसे समझना बहुत मुश्किल है।

मॉड्यूल, जो आदेश में एक अतिरिक्त उत्पाद जोड़ने का सुझाव देता है, किसी के द्वारा सीधे नियंत्रित नहीं किया जाता है। इसका मतलब है कि मैं उसके साथ जो चाहे कर सकता हूं। केक पर चेरी - अधिक व्यक्तिगत ऑफ़र की मदद से बिक्री बढ़ाने का अवसर। पहले, मॉड्यूल ने बस काम किया: यदि पिज्जा को ऑर्डर में जोड़ा गया था, तो पेय की श्रेणी को अतिरिक्त बिक्री में प्रदर्शित किया गया था, अगर पिज्जा और पेय, तो डेसर्ट और इतने पर।

बड़ी संख्या में लोगों की उदासीनता ने फिर से दिखाया है कि मैं एक ऐसी कंपनी में काम करता हूं जहां बिल्कुल हर किसी के द्वारा सहायता प्रदान की जा सकती है। मैंने विपणन सहयोगी के साथ डेटा और अतिरिक्त ऑफ़र पर काम करने में घंटों बिताए। हम सभी उपयोगकर्ताओं को उनकी स्वाद वरीयताओं और वफादारी के अनुसार क्लस्टर करने में कामयाब रहे, प्रत्येक समूह के लिए क्लस्टर में शीर्ष उत्पादों के आधार पर स्थिर प्रस्ताव बनाने के लिए।

आंकड़े और प्रमाण

मैंने अतिरिक्त उत्पादों के लॉगिंग को खराब कर दिया और 2 मिलियन उपयोगकर्ताओं के नमूने पर नए ऑफ़र लॉन्च किए।

उपयोगकर्ताओं का एक नमूना बिक्री का केवल एक छोटा सा हिस्सा है। अनधिकृत और नए ग्राहकों की ओर बढ़ना आवश्यक था। मैंने सहयोगी लेखों और उपयोगकर्ताओं के लिए विभिन्न प्रस्ताव एल्गोरिदम पर पर्याप्त लेख और साहित्य की खोज की है। टोकरी में उत्पादों के आधार पर सिफारिशों का विचार जीता। मद-आधारित सिफारिशों और अभिसरण के एक कोसाइन माप ने एक नए, यद्यपि सरल, लेकिन पहले से ही काम कर रहे मॉडल का आधार बनाया।

दिसंबर में, हमने आइटम-आधारित अनुशंसाएँ मॉड्यूल लॉन्च किया। आंकड़ों से पता चला है कि खरीदार वास्तव में पूरी तरह से अलग-अलग उत्पादों में दिलचस्पी ले सकते हैं, न कि केवल पेय। शायद यह इसके बाद था कि डोडो का मानना ​​था कि डेटा और मशीन लर्निंग के विकास से उन्हें भविष्य में ओवरलोड बाजारों में प्रतिस्पर्धा करने की अनुमति मिलेगी।

कुछ आँकड़े।


साइट पर 10 सर्वश्रेष्ठ विक्रय उत्पाद


10 बेस्ट सेलिंग मोबाइल ऐप उत्पाद


साप्ताहिक बिक्री में वृद्धि

तकनीकी ट्रेलर

नीचे कुछ तकनीकी विवरण दिए गए हैं कि क्यों मॉडल समानता के एक कोसाइन माप पर आधारित है। यह लेख का पूर्वावलोकन है, जो कुछ महीनों में जारी किया जाएगा। यदि आप गणित पसंद नहीं करते हैं, तो पिछले अनुभाग पर जाने के लिए स्वतंत्र महसूस करें।

नीचे दी गई प्रारंभिक तालिका प्रत्येक उपयोगकर्ता के खरीदे गए सामानों के साथ आदेशों की संख्या दर्शाती है। हम एक उपयोगकर्ता की खरीद की समानता दूसरे के साथ निर्धारित कर सकते हैं - इसके लिए हमें उपयोगकर्ता वैक्टर के बीच की दूरी की गणना करने की आवश्यकता है।


ग्राहक बिक्री तालिका

दूरी चयनित मीट्रिक पर निर्भर करेगी। यूक्लिडियन स्थान की गणना में वेक्टर का वजन और परिमाण शामिल हैं:

जहां ए और बी टेबल से दो अलग-अलग क्लाइंट वैक्टर हैं। आइए देखें कि यह दूरी एक अमूर्त उदाहरण पर कैसे दिखाई देगी।

मान लीजिए कि हम तीन ग्राहकों के इतिहास को देखते हैं - ए, बी और सी। चलो उनकी खरीद का एक मैट्रिक्स बनाते हैं।


ग्राहकों के बीच यूक्लिडियन दूरी की गणना करने के बाद, हमें निम्नलिखित मूल्य मिलते हैं:

डी (ए, बी) = 16.22;
डी (बी, सी) = 13.38;
डी (ए, सी) = 13.64।

ये मान इंगित करते हैं कि ग्राहक b और c एक दूसरे के सबसे निकट हैं। लेकिन अगर आप स्रोत के आंकड़ों पर नजर डालें तो तस्वीर इसके विपरीत है। ग्राहक a और b अधिक पेपेरोनी और कभी-कभी अन्य उत्पादों को ऑर्डर करना पसंद करते हैं, जबकि ग्राहक c सर्वोच्च पिज्जा पसंद करते हैं। हम यह निष्कर्ष निकाल सकते हैं कि वेक्टर के परिमाण का ग्राहकों के बीच दूरियों की गणना करने के लिए नकारात्मक प्रभाव पड़ता है। समानता का कोसाइन माप वेक्टर के परिमाण के महत्व को त्यागते हुए, वैक्टर के बीच के कोण को ध्यान में रखता है:



इस सूत्र का उपयोग करके दूरी की गणना, हम प्राप्त करते हैं:
डी (ए, बी) = 0.9183;
डी (बी, सी) = 0.5848;
डी (ए, सी) = 0.7947;

हम देखते हैं कि क्लाइंट और बी एक दूसरे के करीब हैं। वे रखे गए आदेशों की संख्या में अंतर को ध्यान में रखे बिना सामानों के एक सेट को पसंद करते हैं। यह तर्क हमारे विशेषज्ञ की राय से सहमत है और सुझाव देता है कि ग्राहकों की प्राथमिकताएं ए और बी एक दूसरे के सबसे करीब हैं।

यह एक ट्रेलर है, दो महीनों में विवरण।

अपनी खोज करो

अब हम एक टीम बनाने के चरण में हैं जिसमें डेटा भंडारण के आयोजन, मशीन सीखने के मॉडल विकसित करने और उन्हें उत्पादन में लगाने के विशेषज्ञ होंगे। लेकिन सबसे महत्वपूर्ण बात, अब हम बेहतर तरीके से समझते हैं कि हमें यह सब क्यों चाहिए। हम वास्तव में शांत चीजों को करने के लिए स्वतंत्र हैं, एक इंटेलिजेंट लॉजिस्टिक्स सिस्टम और इन्वेंट्री प्लानिंग से लेकर शानदार डिजिटल तकनीकों का उपयोग करके पिज़्ज़ेरिया को स्वचालित करने के लिए शानदार विचारों की योजना बना रहे हैं।

अपने आप पर और अपनी ताकत पर विश्वास करो, भले ही परिणाम क्षितिज पर दिखाई न दे। मैं किसी और के विचार के साथ लेख को समाप्त करना चाहता हूं - म्यूनिख विश्वविद्यालय के छात्रों को अपनी रिपोर्ट के मैक्स वेबर का एक उद्धरण: "आप दुख और उम्मीद के साथ कुछ भी नहीं कर सकते हैं, और आपको अलग तरह से कार्य करने की आवश्यकता है - आपको अपने काम की ओर मुड़ने और" दिन की मांग "को पूरा करने की आवश्यकता है - एक मानव की तरह इतना पेशेवर। और यह आवश्यकता सरल और स्पष्ट होगी यदि हर कोई अपने स्वयं के दानव को पाता है और अपने जीवन के धागे को बुनते हुए इस दानव का पालन करता है। ” आपका पता लगाएं