👨‍👨‍👦 👨‍👩‍👧‍👦 🏳️ मशीन सीखने का उपयोग करके मांग की भविष्यवाणी और खरीद को स्वचालित करने के लिए कैसे: ओज़ोन मामला 🐮 👵🏽 💪🏻

ओजोन ऑनलाइन स्टोर में लगभग सब कुछ है: रेफ्रिजरेटर, शिशु भोजन, 100,000 के लिए लैपटॉप, आदि। इसका मतलब यह है कि यह सब कंपनी के गोदामों में भी है - और जितना लंबा माल है, कंपनी उतनी ही महंगी है। यह जानने के लिए कि लोग कितना और क्या ऑर्डर करना चाहते हैं, और ओज़ोन को खरीदना होगा, हमने मशीन लर्निंग का इस्तेमाल किया।

बिक्री का पूर्वानुमान: चुनौतियाँ

समस्या कथन में जाने से पहले, हम एक उदाहरण से शुरू करते हैं। यह थोड़ी देर के लिए एक वास्तविक ओज़ोन बिक्री अनुसूची है। सवाल: वह आगे कहां जाएगी?

समस्या के इस तरह के निर्माण के लिए एक पास-तकनीकी शिक्षा वाले व्यक्ति के पास सवाल होंगे: कुल्हाड़ियों कहाँ हैं? और किस प्रकार का उत्पाद? और किन इकाइयों में? आपने किस संस्थान से स्नातक किया है? - और कई अन्य नैतिक कारणों के लिए इस लेख में शामिल नहीं हैं।

वास्तव में, कोई भी इस तरह के बयान में सवाल का सही जवाब नहीं दे सकता है, और यदि कोई कर सकता है, तो सबसे अधिक संभावना है कि वह गलत होगा।

इस चार्ट में कुछ और जानकारी जोड़ें: ओजोन वेबसाइट (नीला) और प्रतियोगी की वेबसाइट (नारंगी) पर कुल्हाड़ियों और मूल्य परिवर्तन।

हमारी कीमत कुछ बिंदु पर गिर गई, लेकिन प्रतियोगिता एक ही रही - और ओज़ोन की बिक्री बढ़ गई। हम मूल्य निर्धारण योजनाओं को जानते हैं: हमारी कीमत एक ही स्तर पर रहेगी, लेकिन ओजोन का अनुसरण करने वाले प्रतियोगी ने कीमत को लगभग कम कर दिया।

यह डेटा एक सार्थक धारणा बनाने के लिए पर्याप्त है - उदाहरण के लिए, यह बिक्री पिछले स्तर पर वापस आ जाएगी। और अगर आप चार्ट को देखते हैं, तो यह पता चलता है कि यह ऐसा होगा।

समस्या यह है कि वास्तव में, इस उत्पाद की मांग कीमत से इतना प्रभावित नहीं है, और हमारे स्टोर में इस उत्पाद के अधिकांश प्रतियोगियों की अनुपस्थिति से, अन्य चीजों के अलावा बिक्री वृद्धि हुई थी। अभी भी कई कारक हैं जो हमने ध्यान में नहीं रखे थे: क्या टीवी पर माल विज्ञापित किए गए थे? या शायद यह मिठाई है, और जल्द ही 8 मार्च?

एक बात स्पष्ट है: "घुटने पर" एक पूर्वानुमान बनाने के लिए काम नहीं करेगा। हमने किसी भी एमएल एल्गोरिथ्म के निर्माण के ~~लिए~~ एक ~~रेक और बैसाखी~~ के मानक पथ का पालन किया। और यह इस तरह से था।

मैट्रिक चयन

एक मीट्रिक का चयन करना वह जगह है जहां से शुरू करें यदि आपके अलावा कम से कम एक अन्य व्यक्ति आपके पूर्वानुमान का उपयोग करेगा।

एक उदाहरण पर विचार करें: हमारे पास तीन पूर्वानुमान विकल्प हैं। कौन सा बेहतर है?

गोदाम में विशेषज्ञों के दृष्टिकोण से, हमें एक नीले पूर्वानुमान की आवश्यकता है - हम थोड़ा कम खरीद लेंगे, और हमें अक्टूबर के मध्य में चोटी को याद करने देंगे, लेकिन गोदाम में कुछ भी नहीं रहेगा। जिन विशेषज्ञों का केपीआई बिक्री के लिए बंधा हुआ है, उनके पास विपरीत राय है: यहां तक कि फ़िरोज़ा पूर्वानुमान भी काफी सही नहीं है, न कि सभी छलांग मांग में प्रतिबिंबित हुई हैं - इसे संशोधित करें। लेकिन एक व्यक्ति के दृष्टिकोण से, बाहर से, कुछ बेहतर आमतौर पर क्रम में होता है - ताकि सभी को अच्छा लगे या इसके विपरीत।

इसलिए, पूर्वानुमान लगाने से पहले, यह निर्धारित करना आवश्यक है कि इसका उपयोग कौन करेगा और क्यों करेगा। यही है, एक मीट्रिक चुनें और समझें कि ऐसी मीट्रिक पर निर्मित पूर्वानुमान से क्या उम्मीद की जाए। और बस उसी का इंतजार करें।

हमने MAE को चुना - औसत निरपेक्ष त्रुटि। यह मीट्रिक हमारे अत्यधिक असंतुलित प्रशिक्षण नमूने के लिए उपयुक्त है। चूंकि वर्गीकरण बहुत व्यापक (1.5 मिलियन आइटम) है, इसलिए किसी विशेष क्षेत्र में व्यक्तिगत रूप से प्रत्येक उत्पाद कम मात्रा में बेचा जाता है। और अगर कुल मिलाकर हम सैकड़ों हरे कपड़े बेचते हैं, तो बिल्लियों के साथ एक विशेष हरे रंग की पोशाक 2-3 प्रति दिन बेची जाती है। परिणामस्वरूप, नमूना छोटे मूल्यों की ओर बढ़ जाता है। दूसरी ओर, ओप्पो, स्पिनर, ओल्गा बुज़ोवा की एक नई किताब (एक मजाक), आदि हैं। - और वे किसी भी शहर में भारी मात्रा में बेचे जाते हैं। MAE आपको सशर्त iPhones पर भारी जुर्माना नहीं लेने देता है और आम तौर पर सामानों के थोक पर अच्छी तरह से काम करता है।

पहला कदम

हमने बेवकूफ पूर्वानुमान का निर्माण शुरू किया जो कि हो सकता है: अगले सप्ताह में 0 से 1000 तक की एक यादृच्छिक संख्या बेची जाएगी और मीट्रिक MAE = 496 प्राप्त करेंगे। संभवतः, यह बदतर हो सकता है, लेकिन यह पहले से ही बहुत खराब है। इसलिए हमें एक दिशानिर्देश मिला: अगर हमें ऐसा मीट्रिक मूल्य मिलता है, तो जाहिर है कि हम कुछ गलत कर रहे हैं।

फिर हमने ऐसे लोगों की भूमिका निभानी शुरू कर दी, जो मशीन लर्निंग के बिना पूर्वानुमान बनाना जानते हैं, और अगले सप्ताह के लिए पिछले सभी सप्ताह की औसत बिक्री के बराबर माल की बिक्री की भविष्यवाणी करने की कोशिश की, और मीट्रिक MAE = 1.45 मिला - जो बहुत बेहतर है।

लगातार तर्क देते हुए, हमने फैसला किया कि पिछले सप्ताह की बिक्री अगले सप्ताह के लिए बिक्री के पूर्वानुमान के लिए अधिक प्रासंगिक नहीं होगी। ऐसे पूर्वानुमान के लिए, एमएई 1.26 था। भविष्य के विचार के अगले दौर में, हमने दोनों कारकों को ध्यान में रखने और अगले सप्ताह के लिए बिक्री की भविष्यवाणी करने का निर्णय लिया क्योंकि पिछले सप्ताह की तुलना में औसत बिक्री का 50% और बिक्री का 50% - हमें MAE = 1.23 मिला।

लेकिन यह हमें बहुत सरल लग रहा था, और हमने चीजों को जटिल बनाने का फैसला किया। हमने एक छोटा प्रशिक्षण नमूना एकत्र किया जिसमें संकेत पिछले और औसत बिक्री थे, और लक्ष्य अगले सप्ताह से अधिक थे, और हमने इसे एक सरल रेखीय प्रतिगमन पर प्रशिक्षित किया। हमें औसत और अंतिम सप्ताह के लिए 0.46 और 0.55 का वजन मिला और 1.2 के बराबर परीक्षण नमूने पर एमएई।
निष्कर्ष: हमारे डेटा में भविष्य कहनेवाला क्षमता है।

फ़ीचर इंजीनियरिंग

यह तय करने के बाद कि दो आधारों पर पूर्वानुमान बनाना हमारा स्तर नहीं है, हम नई जटिल विशेषताओं को उत्पन्न करने के लिए बैठ गए। यह पिछले बिक्री के बारे में जानकारी है - 1, 2, 3, 4 सप्ताह पहले, एक सप्ताह पहले ठीक एक साल पहले, आदि। और पिछले हफ्तों में विचार, टोकरी में परिवर्धन, विचारों के रूपांतरण और टोकरी में परिवर्धन क्रम में - और यह सब विभिन्न अवधियों के लिए।

हमें इस बारे में ज्ञान का एक मॉडल देने की जरूरत है कि उत्पाद को पूरी तरह से कैसे बेचा जाता है, इसकी बिक्री की गतिशीलता हाल में कैसे बदल गई है, इसमें रुचि कैसे विकसित हो रही है, इसकी बिक्री कीमत और अन्य कारकों पर कैसे निर्भर करती है, जो हमारी राय में उपयोगी हो सकती है।

जब हमारे विचार समाप्त हो गए, तो हम बिक्री विभाग के विशेषज्ञों के पास गए। उदाहरण के लिए, हमने सीखा कि अगला वर्ष सुअर का वर्ष है, इसलिए, कम से कम दूरस्थ रूप से सुअरों के समान माल बहुत लोकप्रिय होगा। या, उदाहरण के लिए, कि "गैर-ठंड" हमारे लोग अग्रिम रूप से नहीं खरीदते हैं, लेकिन वास्तव में पहली ठंढ के दिन - तो कृपया, मौसम के पूर्वानुमान को ध्यान में रखें। सामान्य तौर पर, हर कोई संतुष्ट था। हम - क्योंकि हमें नए विचारों का एक समूह मिला है जो हमने कभी खुद के बारे में नहीं सोचा होगा, और व्यवसायी - कि जल्द ही बिक्री पूर्वानुमान की तुलना में कुछ अधिक दिलचस्प करना संभव होगा।

लेकिन यह अभी भी बहुत सरल है - और हमने संयुक्त लक्षण जोड़े हैं:

विचारों को बिक्री से रूपांतरण - यह कैसा था, यह कैसे बदल गया;
पिछले सप्ताह की तुलना में 4 सप्ताह से अधिक की बिक्री का अनुपात (यदि यह आंकड़ा 4 से बहुत अलग है, तो फिलहाल इस उत्पाद की मांग "अशांति" के अधीन है);
पूरी श्रेणी में बिक्री के लिए उत्पाद की बिक्री का अनुपात - यदि यह आंकड़ा एक के करीब है, तो उत्पाद एक "एकाधिकार" है।

इस स्तर पर, आपको यथासंभव संभव होना चाहिए - प्रशिक्षण चरण में गैर-सूचनात्मक संकेतों को दूर फेंकना चाहिए।

नतीजतन, हमें 170 संकेत मिले। आगे देखते हुए, सबसे बड़ी विशेषता महत्व था

पिछले सप्ताह के लिए बिक्री (दो, तीन और चार के लिए)।
पिछले सप्ताह उत्पाद की उपलब्धता उस समय का प्रतिशत है जब उत्पाद साइट पर मौजूद था।
पिछले 7 दिनों के लिए माल की बिक्री की अनुसूची का कोणीय गुणांक।
भविष्य के लोगों के लिए पिछले मूल्यों का अनुपात - भारी छूट के साथ, अधिक सक्रिय रूप से सामान खरीदना शुरू करें।
हमारी साइट के भीतर प्रत्यक्ष प्रतियोगियों की संख्या। यदि, उदाहरण के लिए, यह कलम अपनी श्रेणी में एकमात्र है, तो बिक्री काफी स्थिर होगी।
उत्पाद आयाम - यह पता चला कि लंबाई और चौड़ाई बिक्री की भविष्यवाणी को काफी प्रभावित करती है। किसी कारण से, लंबी और संकीर्ण वस्तुओं के लिए - छतरियां या मछली पकड़ने की छड़, उदाहरण के लिए - अनुसूची बहुत अधिक अस्थिर है। हम अभी तक यह नहीं जानते कि यह कैसे समझा जाए।
वर्ष की दिन संख्या - यह दर्शाता है कि नया साल आ रहा है, 8 मार्च, बिक्री में मौसमी वृद्धि की शुरुआत, आदि।

नमूना संग्रह

प्रशिक्षण का नमूना दर्द है। हमने इसे लगभग 4 हफ्तों के लिए एकत्र किया, जिनमें से दो बस अलग-अलग डेटा कस्टोडियन के पास गए और उनसे पूछा कि उनके पास क्या है। हर बार आपको लंबी अवधि के लिए डेटा की आवश्यकता होती है। यहां तक कि लंबे समय के लिए एक आदर्श डेटा संग्रह प्रणाली में, "हम इस तरह से इस बात को सोचते थे, लेकिन तब हम अलग-अलग सोचने लगे और डेटा को एक ही कॉलम में लिखना शुरू कर दिया।" या एक या दो साल पहले सर्वर दुर्घटनाग्रस्त हो गया, लेकिन किसी ने भी ठीक-ठीक तब नहीं लिखा जब - और शून्य का अब यह मतलब नहीं है कि बिक्री नहीं हुई।

नतीजतन, हमारे पास जानकारी थी कि लोगों ने साइट पर क्या किया, क्या किया और किस मात्रा में, उन्हें पसंदीदा और एक टोकरी में जोड़ा गया, और खरीदा। हमने 170 विशेषताओं में से प्रत्येक के लगभग 15 मिलियन नमूनों का नमूना एकत्र किया, लक्ष्य अगले सप्ताह के लिए बिक्री की संख्या थी।

हमने स्पार्क पर कोड की 2 हजार लाइनें लिखीं। इसने धीरे-धीरे काम किया, लेकिन भारी मात्रा में डेटा को चबाने की अनुमति दी। ऐसा लगता है कि एक रेखा के ढलान की गणना सरल है। और ऐसा करने के लिए 10kk बार जब बिक्री कई आधारों से खींची जाती है - कार्य दिल के बेहोश होने के लिए नहीं है।

एक और सप्ताह के लिए, हम डेटा की सफाई में लगे हुए थे ताकि मॉडल उत्सर्जन और स्थानीय नमूने सुविधाओं से विचलित न हो, लेकिन ओजोन की बिक्री में निहित केवल सच्ची निर्भरता को हटा दिया। यहाँ 3 सिग्मा और विसंगतियों की खोज के लिए अधिक चालाक तरीके जाएंगे। स्टॉक में माल की कमी की अवधि के दौरान बिक्री को बहाल करना सबसे कठिन मामला है। सबसे सरल समाधान उन हफ्तों को बाहर फेंकना है जब उत्पाद "लक्षित" सप्ताह के दौरान बाहर था।

नतीजतन, 15 मिलियन नमूनों में से, 10 मिलियन बने रहे। यह महत्वपूर्ण है कि यहां से दूर न जाएं और नमूना की पूर्णता को न खोएं (वास्तव में, गोदाम में माल की कमी कंपनी के लिए इसके महत्व का एक अप्रत्यक्ष लक्षण है; नमूने से ऐसे सामान को हटाना यादृच्छिक नमूनों को फेंकने के समान नहीं है; )।

एमएल का समय

एक साफ नमूने पर और मॉडल को प्रशिक्षित करना शुरू किया। स्वाभाविक रूप से, हमने रैखिक प्रतिगमन के साथ शुरुआत की और MAE = 1.15 प्राप्त किया। ऐसा लगता है कि यह एक बहुत छोटी वृद्धि है, लेकिन जब आपके पास 10 मिलियन का नमूना होता है जिसमें औसत मूल्य 5-10 होते हैं, तो भी मीट्रिक मूल्य में एक छोटा सा बदलाव पूर्वानुमान की दृश्य गुणवत्ता में एक असंगत वृद्धि देता है। और चूंकि आपको अंततः व्यापार ग्राहकों के लिए समाधान पेश करना होगा, इसलिए उनके आनंद का स्तर बढ़ाना एक महत्वपूर्ण कारक है।

इसके बाद sklearn.ensemble.RandomForestRegressor था, जो हाइपरपैरमीटर के एक छोटे से चयन के बाद MAE = 1.10 दिखा। आगे हमने XGBoost की कोशिश की (जहाँ इसके बिना) - सब कुछ ठीक होगा और MAE = 1.03 - केवल एक बहुत लंबा समय। दुर्भाग्य से, हमारे पास XGBoost के प्रशिक्षण के लिए GPU तक पहुंच नहीं थी, और प्रोसेसर पर एक मॉडल को बहुत लंबे समय तक प्रशिक्षित किया गया था। हमने कुछ तेज़ी से खोजने की कोशिश की, और लाइट जीबीएम पर बस गए - यह दो बार तेजी से प्रशिक्षित हुआ और एमएई को थोड़ा कम दिखाया - 1.01।

हमने सभी उत्पादों को 13 श्रेणियों में विभाजित किया है, जैसा कि साइट पर कैटलॉग में है: टेबल, लैपटॉप, बोतलें, और प्रत्येक श्रेणी के लिए हमने अलग-अलग पूर्वानुमान गहराई के साथ मॉडल का प्रशिक्षण दिया - 5 से 16 दिनों तक।

प्रशिक्षण में लगभग पांच दिन लगे, और इसके लिए हमने विशाल कंप्यूटिंग क्लस्टर बनाए। हमने इस तरह की पाइपलाइन विकसित की: लंबे समय तक यादृच्छिक खोज कार्य, हाइपरपरमेटर्स के शीर्ष 10 सेट देता है, और फिर वैज्ञानिक उनके साथ मैन्युअल रूप से काम करता है - अतिरिक्त गुणवत्ता वाले मेट्रिक्स का निर्माण करता है (हमने लक्ष्य की विभिन्न श्रेणियों के लिए एमएई की गणना की), सीखने की बछड़ों का निर्माण करता है (उदाहरण के लिए, हमने प्रशिक्षण का हिस्सा निकाल दिया। नमूने और फिर से प्रशिक्षित, यह देखने के लिए कि क्या नया डेटा परीक्षण नमूने पर नुकसान कम करता है) और अन्य रेखांकन।

हाइपरपरमेटर्स के सेट के लिए एक विस्तृत विश्लेषण का एक उदाहरण:

विस्तृत गुणवत्ता मीट्रिक

ट्रेन सेट:	टेस्ट सेट:
लक्ष्य के लिए = 0, MAE = 0.142222484602	0 MAE = 0.141900737761 के लिए
लक्ष्य के लिए> 0, एमएपीई = 45.168530676	के लिए> 0 एमएपीई = 45.5771812826
0 से अधिक त्रुटियां - 67.931341691%	0 से अधिक त्रुटियां - 51.6405939896%
1 से अधिक त्रुटियां - 19.0346986379%	1 से अधिक त्रुटियां - 12.1977096603%
2 से अधिक त्रुटियां - 8.94313926245%	2 से अधिक त्रुटियां - 5.16977226441%
3 से अधिक त्रुटियां - 5.42406856507%	3 से अधिक त्रुटियां - 3.12760834969%
4 से अधिक त्रुटियां - 3.67938161595%	4 से अधिक त्रुटियां - 2.10263125679%
5 से अधिक त्रुटियां - 2.67322988948%	5 से अधिक त्रुटियां - 1.56473158807%
6 से अधिक त्रुटियां - 2.0618556701%	6 से अधिक त्रुटियां - 1.19599209102%
7 से अधिक त्रुटियां - 1.65887701209%	7 से अधिक त्रुटियां - 0.949300173983%
8 से अधिक त्रुटियां - 1.36821095777%	8 से अधिक त्रुटियां - 0.78310772461%
9 से अधिक त्रुटियां - 1.15368611519%	9 से अधिक त्रुटियां - 0.659205318158%
10 से अधिक त्रुटियां - 0.99199395014%	10 से अधिक त्रुटियां - 0.554593106723%
11 से अधिक त्रुटियां - 0.863969667827%	11 से अधिक त्रुटियां - 0.490045146476%
12 से अधिक त्रुटियां - 0.764347266082%	12 से अधिक त्रुटियां - 0.428835873827%
13 से अधिक त्रुटियां - 0.68086818247%	13 से अधिक त्रुटियां - 0.386545830907%
14 से अधिक त्रुटियां - 0.613446089087%	14 से अधिक त्रुटियां - 0.343884822697%
15 से अधिक त्रुटियां - 0.556297016335%	15 से अधिक त्रुटियां - 0.316433391328%
लक्ष्य के लिए = 0, MAE = 0.142222484602	लक्ष्य के लिए = 0, MAE = 0.141900737761
लक्ष्य के लिए = 1, MAE = 0.63978556493	लक्ष्य के लिए = 1, MAE = 0.660823509405
लक्ष्य के लिए = 2, एमएई = 1.01528075312	लक्ष्य के लिए = 2, MAE = 1.01098070566
लक्ष्य के लिए = 3, एमएई = 1.43762342295	लक्ष्य के लिए = 3, MAE = 1.44836233499
लक्ष्य के लिए = 4, एमएई = 1.82790678437	लक्ष्य के लिए = 4, एमएई = 1.86539223382
लक्ष्य के लिए = 5, MAE = 2.15369976552	लक्ष्य के लिए = 5, MAE = 2.16017884573
लक्ष्य के लिए = 6, MAE = 2.51629758129	लक्ष्य के लिए = 6, एमएई = 2.51987403661
लक्ष्य के लिए = 7, एमएई = 2.80225497415	लक्ष्य के लिए = 7, MAE = 2.97580015564
लक्ष्य के लिए = 8, एमएई = 3.09405048248	लक्ष्य के लिए = 8, MAE = 3.21914648525
लक्ष्य के लिए = 9, MAE = 3.39256765159	लक्ष्य के लिए = 9, MAE = 3.54572928241
लक्ष्य के लिए = 10, एमएई = 3.6640339953	लक्ष्य के लिए = 10, MAE = 3.84409605282
लक्ष्य के लिए = 11, MAE = 4.02797747118	लक्ष्य के लिए = 11, MAE = 4.21828735273
लक्ष्य के लिए = 12, MAE = 4.17163467899	लक्ष्य के लिए = 12, MAE = 3.92536509115
लक्ष्य के लिए = 14, एमएई = 4.78590364522	लक्ष्य के लिए = 14, एमएई = 5.11290428675
लक्ष्य के लिए = 15, MAE = 4.89409916994	लक्ष्य के लिए = 15, MAE = 5.20892023117

ट्रेन का नुकसान = 0.535842111392
टेस्ट हार = 0.895529959873

प्रशिक्षण सेट के लिए ग्राफ भविष्यवाणी (लक्ष्य)

परीक्षण नमूने के लिए ग्राफ भविष्यवाणी (लक्ष्य)

समय-समय पर भविष्यवाणी त्रुटि

परीक्षण नमूने पर आरोही त्रुटि सॉर्ट करें

यदि कोई भी मेल नहीं खाता है, तो फिर से यादृच्छिक खोज करें। इस तरह हमने औद्योगिक गति से 5 या 5 दिनों के लिए मॉडल को प्रशिक्षित किया। हम ड्यूटी पर थे, रात में कोई, सुबह कोई जाग गया, शीर्ष 10 मापदंडों को देखा, फिर से शुरू किया या मॉडल को बचाया और आगे बिस्तर पर चला गया। इस मोड में, हमने एक सप्ताह के लिए काम किया और 130 मॉडलों को प्रशिक्षित किया - 13 प्रकार के सामान और पूर्वानुमान की 10 गहराई, प्रत्येक में 170 विशेषताएं थीं। 5 गुना समय श्रृंखला cv के लिए औसत MAE हमें 1 के बराबर मिला।

ऐसा लग सकता है कि यह बहुत अच्छा नहीं है - और ऐसा तब तक है, जब तक कि आपके पास इकाइयों के चयन में बड़ा हिस्सा नहीं है। परिणामों से पता चलता है कि विश्लेषण के रूप में, इकाइयों को सबसे खराब भविष्यवाणी की जाती है - तथ्य यह है कि एक उत्पाद को सप्ताह में एक बार खरीदा गया था, इसके बारे में कुछ भी नहीं कहता है कि क्या इसके लिए मांग है। एक बार कुछ भी बेचा जा सकता है - एक व्यक्ति है जो एक दंत चिकित्सक के रूप में एक चीनी मिट्टी के बरतन मूर्ति खरीदेगा, और यह भविष्य की बिक्री के बारे में या पिछले लोगों के बारे में कुछ नहीं कहता है। सामान्य तौर पर, हम इस बारे में बहुत परेशान नहीं हुए।

टिप्स और ट्रिक्स

क्या गलत हुआ और इससे कैसे बचा जा सकता है?

पहली समस्या मापदंडों का चयन है। हमने हाइपरपरमेटर्स को छांटने के लिए स्केलेर से एक प्रसिद्ध उपकरण - रैंडमाइंडसर्च सीवीवी का उपयोग करना शुरू कर दिया। यह वह जगह है जहाँ पहले आश्चर्य ने हमारा इंतजार किया।

इस तरह

from sklearn.model_selection import ParameterSampler
from sklearn.model_selection import RandomizedSearchCV

estimator = lightgbm.LGBMRegressor(application='regression_l1', is_training_metric = True, objective = 'regression_l1', num_threads=72)
param_grid = {'boosting_type': boosting_type, 'num_leaves': num_leaves, 'max_depth': max_depth, 'learning_rate':learning_rate, 'n_estimators': n_estimators, 'subsample_for_bin': subsample_for_bin, 'min_child_samples': min_child_samples, 'colsample_bytree': colsample_bytree, 'reg_alpha': reg_alpha, 'max_bin': max_bin}

rscv = RandomizedSearchCV(estimator, param_grid, refit=False, n_iter=100, scoring='neg_mean_absolute_error', n_jobs=1, cv=10, verbose=3, pre_dispatch='1*n_jobs', error_score=-1, return_train_score='warn')

rscv .fit(X_train.values, y_train['target'].values)
print('Best parameters found by grid search are:', rscv.best_params_)

गणना बस स्टॉल (जो महत्वपूर्ण है, यह गिरती नहीं है, लेकिन काम करना जारी रखती है, लेकिन कभी छोटी संख्या में कोर पर और कुछ बिंदु पर यह बस बंद हो जाता है)।

मुझे रैंडमाइंडसर्च सीवीसी के कारण प्रक्रिया को समानांतर करना पड़ा

estimator = lightgbm.LGBMRegressor(application='regression_l1', is_training_metric = True, objective = 'regression_l1', num_threads=1)

rscv = RandomizedSearchCV(estimator, param_grid, refit=False, n_iter=100, scoring='neg_mean_absolute_error', n_jobs=72, cv=10, verbose=3, pre_dispatch='1*n_jobs', error_score=-1, return_train_score='warn')

rscv .fit(X_train.values, y_train['target'].values)
print('Best parameters found by grid search are:', rscv.best_params_)

लेकिन randomizedSearchCV प्रत्येक "नौकरी" के लिए लगभग संपूर्ण डेटासेट लेता है। तदनुसार, रैम की मात्रा का विस्तार करना आवश्यक है, संभवतः कोर की संख्या का त्याग।

फिर हमें कौन बताएगा कि हाइपरटॉप जैसी अद्भुत चीजों के बारे में! जब से हमने सीखा है, हम इसका उपयोग करते हैं।

परियोजना के अंत के पास हमारे दिमाग में एक और चाल थी, उन मॉडलों को चुनना था जिनके पास colsample_bytree पैरामीटर था (यह लाइट जीबीएम पैरामीटर है, जो कहता है कि 0.2% के क्षेत्र में प्रत्येक लर्नर को कितनी प्रतिशत सुविधाएँ दी जानी चाहिए), क्योंकि जब कार यह उत्पादन में काम करता है, कोई तालिका नहीं हो सकती है, और व्यक्तिगत विशेषताओं को सही ढंग से नहीं गिना जा सकता है। इस तरह के नियमितीकरण आपको यह सुनिश्चित करने की अनुमति देते हैं कि ये बेहिसाब विशेषताएं मॉडल के भीतर कम से कम सभी लर्नर को प्रभावित नहीं करती हैं।
जाहिर है, हम इस निष्कर्ष पर पहुंचे हैं कि हमें और अधिक अनुमान लगाने और नियमितीकरण को और सख्त करने की जरूरत है। यह लाइट जीबीएम के साथ काम करने का नियम नहीं है, लेकिन इस तरह की योजना हमारे लिए काम करती है।

खैर, ज़ाहिर है, स्पार्क। उदाहरण के लिए, एक बग है जिसे स्पार्क खुद जानता है: यदि आप टेबल से कुछ कॉलम लेते हैं और एक नया बनाते हैं, और फिर उसी टेबल से दूसरों को लेते हैं और एक नया बनाते हैं, और फिर प्राप्त टेबल प्राप्त करते हैं, सब कुछ टूट जाएगा, हालांकि यह नहीं होना चाहिए। आप सभी आलसी गणनाओं से छुटकारा पाकर ही बचा जा सकता है। हमने एक विशेष फ़ंक्शन भी लिखा है - bumb_df, यह डेटा फ़्रेम को RDD में वापस डेटा फ़्रेम में बदल देता है। यही है, यह सभी आलसी गणनाओं को हल करता है। यह अपने आप को सबसे अधिक स्पार्क समस्याओं से बचा सकता है।

bumb_df

def bump_df(df):
# to avoid problem: AnalysisException: resolved attribute(s)
df_rdd = df.rdd
if df_rdd.isEmpty():
df = df_rdd.toDF(schema=df.schema)
return df
else:
return df_rdd.toDF(schema=df.schema)

पूर्वानुमान तैयार है: हम कितना ऑर्डर करेंगे?

पूर्वानुमान बिक्री एक विशुद्ध रूप से गणितीय कार्य है, और यदि शून्य-मतलब त्रुटि का सामान्य वितरण एक गणितज्ञ के लिए एक जीत है, तो उन व्यापारियों के लिए जो हर रूबल की गिनती करते हैं, यह अस्वीकार्य है।

यदि गोदाम में एक अतिरिक्त iPhone या एक फैशनेबल ड्रेस कोई समस्या नहीं है, बल्कि एक बीमा स्टॉक है, तो गोदाम में एक ही iPhone की अनुपस्थिति कम से कम मार्जिन का नुकसान है, और अधिकतम छवि के रूप में, और इसकी अनुमति नहीं दी जा सकती है।

जरूरत से ज्यादा खरीदने के लिए एल्गोरिथ्म को सिखाने के लिए, हमें प्रत्येक उत्पाद की पुन: अंडर-अंडर-खरीद की लागत की गणना करना और पैसे में संभावित नुकसान को कम करने के लिए एक साधारण मॉडल को प्रशिक्षित करना था।

मॉडल इनपुट पर बिक्री का पूर्वानुमान प्राप्त करता है, यादृच्छिक रूप से जोड़ता है, सामान्य रूप से इसे वितरित शोर (हम आपूर्तिकर्ताओं की खामियों का अनुकरण करते हैं), और प्रत्येक विशेष उत्पाद के लिए धन में होने वाले नुकसान को कम करने के लिए पूर्वानुमान में बिल्कुल इतना जोड़ना सीखता है।

इस प्रकार, एक ऑर्डर एक पूर्वानुमान + सुरक्षा स्टॉक है, जो पूर्वानुमान त्रुटि और बाहरी दुनिया की अपूर्णता के कवरेज की गारंटी देता है।

जैसे ठेस में

ओजोन का अपना एक बड़ा कंप्यूटिंग क्लस्टर है, जिस पर हर रात 15 से अधिक नौकरियों के लिए एक पाइपलाइन (हम एयरफ्लो का उपयोग करते हैं) लॉन्च की जाती है। यह इस तरह दिखता है:

हर रात, एल्गोरिथ्म लॉन्च किया जाता है, स्थानीय एचडीएफएस में विभिन्न स्रोतों से लगभग 20 जीबी डेटा खींचता है, प्रत्येक उत्पाद के लिए एक सप्लायर का चयन करता है, प्रत्येक उत्पाद के लिए सुविधाओं को इकट्ठा करता है, बिक्री का पूर्वानुमान लगाता है और वितरण अनुसूची के आधार पर आदेश उत्पन्न करता है। 6-7 बजे तक, हम टेबल लोगों को देते हैं जो आपूर्तिकर्ताओं के साथ काम करने के लिए जिम्मेदार हैं जो तैयार किए गए टेबल के साथ काम करते हैं जो आपूर्तिकर्ताओं को एक बटन के एक क्लिक के साथ दूर उड़ते हैं।

एक भी पूर्वानुमान नहीं

प्रशिक्षित मॉडल किसी भी सुविधा पर पूर्वानुमान की निर्भरता के बारे में जानता है और, परिणामस्वरूप, यदि आप एन -1 संकेतों को फ्रीज करते हैं और एक को बदलना शुरू करते हैं, तो आप देख सकते हैं कि यह पूर्वानुमान को कैसे प्रभावित करता है। बेशक, इस बारे में सबसे दिलचस्प बात यह है कि बिक्री कीमत पर कैसे निर्भर करती है।

यह ध्यान रखना महत्वपूर्ण है कि मांग न केवल कीमत पर निर्भर करती है। उदाहरण के लिए, यदि आप गर्मियों में स्लाइस पर छोटे डिस्काउंट करते हैं, तो यह अभी भी उन्हें बेचने में मदद नहीं करता है। हम अधिक छूट दे रहे हैं, और लोग दिखाई देते हैं जो "गर्मियों में स्लेज तैयार कर रहे हैं।" लेकिन छूट के एक निश्चित स्तर तक, हम अभी भी मस्तिष्क के उस हिस्से तक नहीं पहुंच सकते हैं जो योजना के लिए जिम्मेदार है। सर्दियों में, यह किसी भी उत्पाद के लिए काम करता है - आप छूट देते हैं और यह तेजी से बिकता है।

योजनाओं

अब हम कर्व की प्रकृति के आधार पर गुच्छों के बीच सामान वितरित करने के लिए समय श्रृंखला के क्लस्टरिंग का सक्रिय रूप से अध्ययन कर रहे हैं जो उनकी बिक्री का वर्णन करता है। उदाहरण के लिए, मौसमी, पारंपरिक रूप से गर्मियों में लोकप्रिय या, इसके विपरीत, सर्दियों में। जब हम लंबे बिक्री के इतिहास के साथ उत्पादों को अलग करना सीखते हैं, तो हम आइटम-आधारित सुविधाओं को उजागर करने की योजना बनाते हैं जो आपको बताएंगे कि एक नए, बस-दिखने वाले उत्पाद के लिए बिक्री पैटर्न क्या होगा - अभी के लिए, यह हमारा मुख्य कार्य है।

तंत्रिका नेटवर्क, और समय श्रृंखला के पैरामीट्रिक मॉडल, और पहनावा में यह सब, निश्चित रूप से आगे होगा।

विशेष रूप से, नए पूर्वानुमान प्रणाली के लिए धन्यवाद, ओज़ोन स्टॉक से सामानों को चक्रीय प्रसव तक स्विच करता है, जब हम एक आपूर्ति से दूसरे में खरीदते हैं और स्टॉक में शेष राशि को स्टोर नहीं करते हैं।

अब हमें यह तय करना है कि नए उत्पादों और संपूर्ण श्रेणियों की बिक्री की भविष्यवाणी करने के लिए एल्गोरिदम को कैसे सिखाना है। अगले साल, कंपनी श्रेणियों में x10 की बिक्री बढ़ाने और पूर्ति के क्षेत्रों में x2.5 बढ़ाने की योजना बना रही है। और हमें मॉडलों को यह बताने की जरूरत है कि यह पुराना डेटा प्रासंगिक है, लेकिन एक अलग, पिछले स्टोर के लिए। और जब हम सोच रहे हैं कि यह कैसे करना है।

दूसरी बात यह है कि प्रकृति की तर्कहीन बात जिसे हमें सीखना है, वह है फैशन। कोई कैसे भविष्यवाणी कर सकता है कि एक स्पिनर उस तरह बेच देगा? दान ब्राउन की नई किताब की बिक्री की भविष्यवाणी कैसे करें अगर उसकी एक किताब बेची गई है और दूसरी नहीं है? जबकि हम इस पर काम कर रहे हैं।

यदि आप जानते हैं कि बेहतर कैसे करना है, या आपके पास टिप्पणियों में लड़ाई में मशीन सीखने का उपयोग करने के बारे में कहानियां हैं, तो हम इस पर चर्चा करेंगे।

मशीन सीखने का उपयोग करके मांग की भविष्यवाणी और खरीद को स्वचालित करने के लिए कैसे: ओज़ोन मामला