इस पोस्ट में, हम Utkonos ऑनलाइन हाइपरमार्केट के लिए एक पायलट एमएल अध्ययन के बारे में बात करेंगे, जहां हमने खराब होने वाले सामानों के पुनर्खरीद की भविष्यवाणी की थी। उसी समय, हमने न केवल स्टॉक बैलेंस, बल्कि सप्ताहांत और छुट्टियों के साथ प्रोडक्शन कैलेंडर और यहां तक ​​कि मौसम (गर्मी, बर्फ, बारिश और ओले) भी कुछ नहीं किया, लेकिन टैफ्ट थ्री वेयर्स के लिए कुछ भी नहीं है, लेकिन ग्राहकों को नहीं। अब हम जानते हैं, उदाहरण के लिए, कि "रहस्यमय रूसी आत्मा" विशेष रूप से शनिवार को मांस के लिए भूखी होती है, और भूरे रंग के ऊपर सफेद अंडे की सराहना करती है। लेकिन पहले बातें पहले।

पायलट से ज्यादा रिटेल पायलट

रिटेल में, मशीन लर्निंग दोहरी स्थिति में है। एक ओर, खुदरा विक्रेताओं ने बहुत प्रभावशाली समय में डेटा की प्रभावशाली मात्रा जमा की है: व्यक्तिगत खरीद रसीदें, लॉयल्टी कार्ड्स का डेटा ... दूसरी ओर, खुदरा विक्रेताओं के पास इतने लंबे समय से मौजूद हैं कि डेटा साइंस फैशन के आगमन से बहुत पहले ही मांग पूर्वानुमान की समस्या का समाधान किया जाने लगा था और आज यह अपने निपटान में है। आवश्यक बीआई उपकरण।
यह पता चला है कि खुदरा डेटा वैज्ञानिक प्रयोगों और मशीन सीखने की शुरूआत के लिए सबसे आशाजनक क्षेत्रों में से एक है, लेकिन व्यापार इस सब को संदेह से देख रहा है: क्या यह वास्तव में मेरे लिए अच्छा है? आखिरकार, पहले से ही कई वर्षों के अनुभव से साबित काम कर रहे समाधान हैं।
और फिर यह एक पायलट अध्ययन पर सहमत होने का समय है!
पायलट स्वयं एक पूर्ण एमएल परियोजना के साथ तुलना में, समझने योग्य सीमाएं और बारीकियां हैं।

• ग्राहकों को अपने डेटा पर मशीन सीखने की क्षमताओं को दिखाने के लिए एक पायलट अध्ययन पर पर्याप्त समय बिताया जाता है, लेकिन इतना नहीं कि पैसा खोना है।
• इसके अलावा, एक नियम के रूप में, डेटाविंटिस्ट्स के पास अब दूसरा शॉट नहीं होगा: यदि व्यवसाय के पहले परिणाम दिलचस्प नहीं लगते हैं, तो यह पुराने पूर्वानुमान के तरीकों पर संदेहपूर्ण और वफादार रहेगा। इसलिए आपको सटीक निशाना लगाने की जरूरत है।
• पायलट प्रोजेक्ट के दौरान, ग्राहक और डेटासेंटर के बीच कोई भरोसेमंद संबंध नहीं हो सकता है। और इकाइयां और विशेषज्ञ जो व्याख्या के लिए महत्वपूर्ण डेटा के मालिक हैं, पायलट के दौरान सबसे अधिक संभावना है, साथ ही व्यावसायिक रूप से महत्वपूर्ण अंतर्दृष्टि भी।

बेशक, इन सुविधाओं को प्रत्येक पायलट परियोजना में प्रकट नहीं किया जाता है, लेकिन वे इसके जोखिमों का एक महत्वपूर्ण हिस्सा हैं।

कार्य के बारे में थोड़ा

मशीन लर्निंग से परिचित होने से बहुत पहले, उत्कोनोस ने पहले से ही अपने स्वयं के विश्लेषणात्मक प्रणाली का उपयोग किया था, जिसने बहुत अधिक सटीकता के साथ एक सप्ताह के लिए माल के पुनर्भुगतान की भविष्यवाणी की थी। हालांकि, रिटेलर नियोजन की प्रभावशीलता बढ़ाने की संभावना में रुचि रखता है। यह मुख्य रूप से संबंधित खराब होने वाले उत्पाद हैं, जिनमें से कई बहुत महंगे भी हैं। पारंपरिक कांटा: यदि आप बहुत कुछ खरीदते हैं - नुकसान होगा, अगर आप पर्याप्त नहीं खरीदते हैं - खरीदार अपने प्यारे बछड़े के लिए एक प्रतियोगी के पास जाएगा टेंडरलॉइन एक पूर्णिमा और थोड़ी बूंदाबांदी बारिश के साथ काटा। कल के बाद के दिन के लिए पर्याप्त रूप से सटीक पूर्वानुमान के लिए, मशीन सीखने पर आधारित समाधान बेहतर अनुकूल हैं, जो शास्त्रीय बीआई उपकरण की तुलना में अधिक कारकों को ध्यान में रखते हैं। यूकोनोस ने मशीन लर्निंग की परिकल्पना के परीक्षण के उद्देश्य से एक प्रयोग के लिए हमारे साथी के रूप में कार्य करने के लिए सहमति व्यक्त की जो ई-कॉमर्स के लिए प्रयोज्यता है।

इस समस्या को हल करने के लिए मशीन सीखने की संभावनाओं को दिखाने के लिए, व्यापार के साथ समझौते में, कई व्यापार नामों का चयन किया गया था:

• "ठंडा मांस" श्रेणी से दो उत्पाद - नाशपाती उत्पादों के रूप में, जिस पर डेटा तुरंत अद्यतन करने के लिए सबसे महत्वपूर्ण है;
• और "चिकन एग" श्रेणी के दो उत्पाद - एक विशिष्ट मौसमी मांग वाले उत्पाद के रूप में, जिसकी भविष्यवाणी "गुरुवार को हर कोई एक्स खरीदता है, और शुक्रवार को नहीं करता - एक्स एक कारक द्वारा गुणा"। हालांकि मुर्गी के अंडे फोरक्लोजर की भविष्यवाणी करना मुश्किल नहीं है और सिर्फ उनके लिए साप्ताहिक नियोजन क्षितिज काफी स्वीकार्य है, यह इन उत्पादों पर था कि यह दिखाने के लिए आवश्यक था कि मशीन लर्निंग वास्तव में जटिल संबंधों को देखता है और एक गैर-तुच्छ पूर्वानुमान बनाता है।

हमने ऐतिहासिक डेटा में पूर्णता पर भरोसा करते हुए, अपने स्वाद के लिए विशिष्ट उत्पादों को चुना है। कुछ वस्तुओं को काफी हाल ही में लाइन में पेश किया गया था, कुछ - इसके विपरीत, एक बार बेचे गए थे, लेकिन फिलहाल उन्हें पहले ही वर्गीकरण से बाहर ले जाया गया था, इसलिए उन पर डेटा का मूल्य केवल ऐतिहासिक था।

उत्कोनोस द्वारा उपलब्ध कराए गए आंकड़ों में पिछले 2 वर्षों के लिए चार कमोडिटी नामों की बिक्री और संबंधित अवधि में स्टॉक में इन सामानों की उपलब्धता के बारे में जानकारी थी। सामान्य डेटा सेट से, हम तुरंत पिछले छह महीनों में "कट ऑफ" करते हैं, नवंबर की शुरुआत से अप्रैल के अंत तक - यह हमारा परीक्षण सेट होगा। इसमें अपेक्षाकृत शांत शरद ऋतु के महीने और सर्दियों की छुट्टियों और वसंत की छुट्टियों की एक श्रृंखला शामिल थी।

एक छोटा लेकिन रोमांचक रोमांच हमें इंतजार कर रहा था।

गोदामों से डेटा: रहस्यमय और आवश्यक

ऐतिहासिक आंकड़ों के साथ काम करते समय, हमारे सामने पहला सवाल यह था कि वास्तविक बिक्री को "अधिकतम उपलब्ध बिक्री" से अलग कैसे किया जाए (यानी, ऐसे मामले जब गोदाम में समाप्त होने वाले सामान को 100% भुनाया गया था, लेकिन यदि उपलब्ध हो, तो बिक्री की मात्रा बढ़ सकती है। अधिक हो)? सभी के बाद खरीदारों की ऐसी अधूरी इच्छाएं किसी भी तरह से डेटा में प्रदर्शित नहीं होती हैं।
स्टॉक में माल की उपलब्धता। वैसे, रिटेल में पिछली परियोजनाओं के अनुभव से, हमें उम्मीद थी कि ये माप की इकाइयों में व्यक्त किए गए शेष होंगे। हालांकि, इस मामले में, हम सापेक्ष संकेतक "पहुंच" से निपट रहे थे, जिसे दिन के दौरान प्रतिशत में मापा गया था। गोदाम में माल की उपलब्धता के लिए, यह संकेतक बहुत सापेक्ष है: इस तथ्य के बारे में कि किसी भी समय माल नहीं था, इसका मतलब यह नहीं था कि वे इसे खरीदना चाहते थे।
अलग-अलग विकल्पों के साथ प्रयोग करने के बाद (अलग-अलग गणना किए गए गुणांक के आधार पर "वास्तविक मांग का पुनर्निर्माण" और बिक्री डेटासेट को अलग-अलग पहुंच थ्रेशोल्ड के साथ फ़िल्टर करना), हमने अंततः इष्टतम सीमा का चयन किया जो डेटा सेट को बहुत संकीर्ण नहीं बनाता था। आदर्श - दिन भर में सामानों की उपलब्धता - सबसे अधिक बिकने वाले सामानों के लिए भी डेटा को काफी कम कर दिया।

आइटम 1: ठंडा मांस (असामान्य मुर्गी)

हमने ठंडा मांस के साथ काम करना शुरू कर दिया, क्योंकि हमें मॉडल की भविष्यवाणी की क्षमता पर संदेह नहीं था, जैसे ही यह प्रारूप के रूप में तैयार था। (Spoiler: लेकिन व्यर्थ में - अंडे की बिक्री के साथ डेटासेट में एक दिलचस्प आश्चर्य हमारे लिए इंतजार कर रहा था, लेकिन बाद में और अधिक)।

"बॉक्स से बाहर" समय बचाने के लिए हमें एक तैयार पुस्तकालय मिला जो समय श्रृंखला के साथ अच्छी तरह से काम करता है - फेसबुक से पैगंबर ।

प्रशिक्षण डेटा पर मॉडल के परिणाम तुरंत फायदे और नुकसान दोनों दिखाते हैं। मॉडल अच्छी तरह से मांग की मौसमी चुनता है, लेकिन खराब रूप से चुनता है। साथ ही पैगंबर द्वारा तय की गई छुट्टियां डिफ़ॉल्ट रूप से। सापेक्ष विचलन 31.36% है, हम इसे आधार परिणाम के रूप में उपयोग करना जारी रखेंगे।

अंतर्निहित मौसमी विज़ुअलाइज़ेशन टूल, जो पैगंबर देखता है, आपको तुरंत एक छोटी सी जानकारी प्राप्त करने की अनुमति देता है कि दो वर्षों में किसी एक उत्पाद की खरीद कैसे हुई, वर्ष के दौरान और सप्ताह के दौरान उनके पास क्या विशेषताएं हैं:

हमारे ठंडा मांस की खरीद की कुल संख्या में स्पष्ट रूप से ऊपर की ओर रुझान है, खरीद की संख्या सोमवार से शनिवार तक बढ़ जाती है और रविवार को गिरती है, गर्मियों में खरीद "ध्यानपूर्वक" होती है। यह बुरा है कि गर्मी हमारे परीक्षण अवधि में नहीं आती है; दूसरी ओर, याद रखें कि छुट्टियों और छुट्टियों की अवधि बिक्री के स्तर के लिए महत्वपूर्ण है, क्योंकि गर्मी की छुट्टियां रूस में केवल लोगों से दूर हैं।
तार्किक प्रश्न है: क्या अगले छह महीनों के पूर्वानुमान के लिए इस मॉडल का तुरंत उपयोग करना संभव है?

सहज रूप से, ऐसा नहीं लगता है। प्रयोग से पता चला कि यह है। सप्ताह के दौरान मौसमी का सामान्य पैटर्न सही है। लेकिन यह तुरंत स्पष्ट हो गया कि सामान्य मौसमी पैटर्न से एक लाख विचलन हैं, दोनों ऊपर और नीचे, और प्रशिक्षण डेटा पर परिणामों की तुलना में 45.71% का औसत विचलन बहुत अधिक है। यह स्पष्ट है कि यह अच्छा नहीं है।

आरंभ करने के लिए, प्रतिदिन मॉडल को प्रशिक्षित करने का प्रयास करें, कल्पना करें कि स्टोर पूरा होने के बाद हर दिन "आज" के लिए बिक्री के साथ पूरक है। हम पहले से ही जानते हैं कि बिक्री में सामान्य रूप से ऊपर की ओर प्रवृत्ति है - यह संभव है कि हमारे परीक्षण के आंकड़ों पर कारोबार प्रशिक्षण सेट पर अधिक सक्रिय विपणन गतिविधि के कारण अधिक तीव्रता के साथ बढ़ रहा है।
सापेक्ष सफलता: मॉडल के दैनिक पुन: प्रशिक्षण के साथ, सापेक्ष विचलन 33.79% है। हमने रूस के लिए पारंपरिक रूप से स्थगित सप्ताहांत, धार्मिक उपवास और छुट्टियों के बारे में जानकारी के साथ मॉडल मापदंडों को पूरक किया (जैसे कि नया साल, ईस्टर और अन्य कई)। अचानक मौसम परिवर्तन भी जोड़े गए: ऐसे दिन जब तापमान 10+ डिग्री तक ऊपर या नीचे आया या इस महीने के अन्य दिनों की तुलना में सामान्य रूप से अधिक या कम था। अब, औसतन छह महीनों के लिए, हमारा पूर्वानुमान 28.48% की वास्तविक बिक्री से विचलित हो गया, और सामान्य तौर पर, मॉडल ने उपभोक्ता गतिविधि में वृद्धि को ध्यान में रखना शुरू कर दिया। हमने औसत विचलन में पांच प्रतिशत की वृद्धि की! इस तथ्य के बावजूद कि पैगंबर, सिद्धांत रूप में, खराब काम करता है और उनसे डेटा को साफ करने की सिफारिश की जाती है, यह एक ध्यान देने योग्य आगे का आंदोलन था।

प्रारंभिक परिणाम दिखाने से पहले, यह सवाल उठता है: क्या हम पूर्वानुमान को थोड़ा और बेहतर कर सकते हैं? यदि आप प्रति दिन उत्पाद की बिक्री के सहसंबंध और इसकी औसत कीमत को देखते हैं, तो यह स्पष्ट है कि ये संबंधित विशेषताएं हैं, और मॉडल का निर्माण करते समय कीमत पर ध्यान नहीं दिया जाता है। लेकिन डेटा सेट को देखते हुए, हम केवल एक निश्चित "औसत मूल्य प्रति यूनिट" ले सकते हैं: आदेशों में यह अक्सर एक ही दिन के दौरान भिन्न होता है, अर्थात्। खरीदार की व्यक्तिगत छूट के साथ दर्ज किया गया था, और डेटा स्टोर में "स्टोरफ्रंट" की कीमतें शामिल नहीं थीं।

प्रति दिन औसत मूल्य प्रति यूनिट के बीच सहसंबंध गुणांक और इस प्रकार के ठंडा मांस की बिक्री की मात्रा at - 0.61 पी <0.01 पर थी। यह स्पष्ट है कि "औसत इकाई मूल्य" एक आदर्श संकेतक नहीं है: यदि दिन के दौरान बहुत बड़ी खरीद से साथी कहते हैं, लगातार बड़ी छूट के साथ, खतरनाक शोर डेटा में रेंगना होगा। लेकिन हम उन दिनों को उजागर करना चाहते थे जब विपणन प्रभाव थे: सामानों के समूह पर सामान्य छूट, सभी के लिए छूट जो एक मुफ्त वितरण प्रचारक कोड पेश करते हैं, आदि।

फिर भी, 5 दिन में औसत कीमत के साथ 5 प्रतिशत मात्रात्मक को प्रचार के दिनों के रूप में आवंटित किया गया था, मॉडल के काम की सटीकता में कोई वृद्धि नहीं हुई। अत्यधिक बिक्री के दिनों में सटीकता बढ़ी, और छह महीने के लिए औसत सापेक्ष विचलन समान रहा।

लेकिन मूल्य के साथ एक स्पष्ट सांख्यिकीय संबंध के विचार को भविष्य के लिए संरक्षित किया गया है।

हम प्रारंभिक परिणाम से काफी संतुष्ट थे, पायलट प्रोजेक्ट के लिए समय से पहले आवंटित किए गए अन्य सामानों को स्थानांतरित करने का समय आ गया था।

आइटम 2: चिकन अंडा

हमें तुरंत चेतावनी दी गई थी कि बाहरी घटनाओं के प्रभाव के संदर्भ में अंडे सबसे अधिक सांकेतिक उत्पाद श्रेणियों में से एक हैं। सबसे पहले, ईस्टर पर खरीद की मात्रा बढ़ती है: अंडे को चित्रित किया जाता है और अंडे के साथ पकाया जाता है। लेकिन अधिक, ज़ाहिर है, चित्रित किया गया है। सफेद और भूरे अंडे की बिक्री की तुलना करके यह समझना आसान है।

सामान्य तौर पर, हमारे मॉडल को उम्मीद है कि ईस्टर में मांग में कुछ वृद्धि होगी, लेकिन इसका पूर्वानुमान वास्तविक संकेतक से लगभग 2 गुना कम है (और ईस्टर सप्ताह के दौरान ~ 100% का यह विचलन छह महीने के लिए औसत विचलन को अविश्वसनीय रूप से बड़ा बनाता है)। क्यों? आखिरकार, ईस्टर सप्ताह सालाना होता है - पिछले 2 वर्षों के आंकड़ों में एक पैटर्न होना चाहिए!

अनुसंधान विश्लेषण से पता चला है कि कोई पैटर्न नहीं है। 2018 में (ये हमारे परीक्षण डेटा हैं), खरीद का शिखर ईस्टर से पहले 7 अप्रैल तक सभी सप्ताह में आता है। ईस्टर पर ही (8 अप्रैल, 2018), अंडे की खरीदारी हमेशा गिरती है, जिसे मॉडल सही ढंग से देखता है। लेकिन 2017 में ईस्टर 16 अप्रैल को पड़ता है, और ऐतिहासिक डेटा में खरीद का शिखर 8 अप्रैल है, और इस साल शिखर एक दिन है। 2016 में, ईस्टर 1 मई को पड़ता है। खरीद का चरम 29 अप्रैल है, एक दिन पहले और एक दिन बाद उगता है। 2015 में, ईस्टर 12 अप्रैल को पड़ता है, खरीद का चरम एक दिन फिर से 9 अप्रैल है।

हमारा पहला संस्करण सप्ताह के दिनों का प्रभाव था (और कल्पना ने उन माता-पिता को चित्रित किया, जिन्हें कल तक एक दर्जन अंडे देने की आवश्यकता थी, क्योंकि यह एक विषयगत सबक है, और बच्चे ने आज यह कहा)। काश, ऐसा नहीं होता। संभवतः, ईस्टर के दौरान कुछ कारक हैं जो हमने अभी तक नहीं पाए हैं (और ध्यान नहीं दिया है) - दोनों बाहरी और कंपनी के विपणन से संबंधित हैं।

हम बेहतर कर सकते हैं!

यह कहानी सीमित समय के लिए खुदरा डेटा के साथ काम करने के बारे में है, न कि गुप्त मशीन सीखने की तकनीक के बारे में। लेकिन डेटा के साथ काम करने में परिणाम में सुधार करने का एक अवसर है।

"चिकन एग" श्रेणी के उत्पादों के साथ काम करने के बाद, यह स्पष्ट हो गया कि मॉडल को उन कारकों को जोड़कर सुधारा जा सकता है जिनका हमने पायलट प्रोजेक्ट में उपयोग नहीं किया था। इसलिए, एक यादृच्छिक जंगल और डेटा के साथ एक छोटा सा प्रयोग करने का निर्णय लिया गया जिसे हम खुले स्रोतों से एकत्र कर सकते हैं। इसके अलावा, हम यह देख पाएंगे कि मॉडल कैसे व्यवहार करता है, जहां बिक्री के दिनों में संकेतों का एक विविध सेट होगा, न कि केवल एक या किसी अन्य आधार पर आवंटित "विशेष दिनों" का एक सेट।

निम्नलिखित जानकारी "बाहरी दुनिया" के बारे में निर्धारित आंकड़ों में एकत्र की गई थी:

• हर साल के लिए एक पूर्ण उत्पादन कैलेंडर;
• धार्मिक पद और छुट्टियां, धर्मनिरपेक्ष छुट्टियां;
• मौसम की स्थिति और क्षेत्र में एक महीने के लिए औसत मूल्यों से उनकी विचलन, साथ ही पिछले महीने, दिन और सप्ताह के दौरान उतार-चढ़ाव;
• सेंट्रल बैंक के लिए डॉलर और यूरो विनिमय दर और सामान्य आर्थिक स्थिति के संकेतक के रूप में उनके उतार-चढ़ाव।

अलग-अलग विपणन अभियान और माल की प्रति यूनिट कीमत का पता लगाने के लिए अलग-अलग संकेत जोड़े गए थे।

विस्तारित डेटा सेट पर, हमने फिर से एक मॉडल का निर्माण किया, जो रोज़ नए डेटा पर प्रशिक्षित होता है, अब रैंडम फ़ॉरस्ट्रेगर का उपयोग कर रहा है। सापेक्ष विचलन में थोड़ा सुधार हुआ: 27.29% तक। ग्राफ से पता चलता है कि नया मॉडल बेहतर विपणन अभियानों के प्रभाव की भविष्यवाणी करता है, लेकिन इससे भी बदतर - साप्ताहिक मौसम।

प्रयुक्त randomForestRegressor के दृष्टिकोण से शीर्ष 5 सबसे महत्वपूर्ण संकेतों को देखते हुए, आप यह सुनिश्चित कर सकते हैं कि माल के मूल्य से संबंधित दो संकेत पहले से ही हैं - वर्तमान मूल्य और पिछले महीने की तुलना में इसके परिवर्तन। जाहिर है, यह तथ्य कि एफबी पैगंबर में मूल्य सीमा को अच्छी तरह से निर्धारित नहीं किया जा सकता था, इसकी सटीकता प्रभावित हुई।

यह जाँचने पर कि क्या हम थोड़ा और सोच सकते हैं और परिणाम में सुधार कर सकते हैं, पायलट अध्ययन पूरा हो गया। मुख्य लक्ष्य हासिल किए गए थे: हमने दिखाया कि मशीन लर्निंग रिटेलर डेटा पर लागू है और "क्विक स्टार्ट" मोड में भी अच्छे परिणाम दिखाता है।

एलेक्जेंड्रा त्सरेवा, विशेषज्ञ, बुद्धिमान विश्लेषण, जेट इन्फोसिस्टम्स