जैसा कि मैं इसे समझता हूं, मैं आवेदन में चेक द्वारा बहुत सारी मिठाई, या माल का वर्गीकरण करता हूं

कार्य

इस लेख में, हम इस बारे में बात करना चाहते हैं कि हमने चेक और खरीदारी सहायक के लिए रिकॉर्डिंग खर्चों के लिए आवेदन में प्राप्तियों से उत्पाद के नाम को वर्गीकृत करने के लिए एक समाधान कैसे बनाया। हम उपयोगकर्ताओं को खरीद के आंकड़ों को देखने का अवसर देना चाहते थे, स्कैन की गई रसीदों के आधार पर स्वचालित रूप से एकत्र करके, उपयोगकर्ता द्वारा खरीदे गए सभी सामानों को श्रेणी के आधार पर वितरित करने के लिए। क्योंकि उपयोगकर्ता को स्वतंत्र रूप से समूह उत्पादों के लिए मजबूर करना पहले से ही पिछली शताब्दी है। इस समस्या को हल करने के लिए कई दृष्टिकोण हैं: आप शब्दों या शास्त्रीय वर्गीकरण एल्गोरिदम के वेक्टर प्रतिनिधित्व के विभिन्न तरीकों के साथ क्लस्टरिंग एल्गोरिदम को लागू करने का प्रयास कर सकते हैं। हमने कुछ भी नया आविष्कार नहीं किया है, और इस लेख में हम समस्या के संभावित समाधान के बारे में एक छोटा सा गाइड साझा करना चाहते हैं, ऐसा नहीं करने के उदाहरण, अन्य तरीकों से काम क्यों नहीं हुआ और इस प्रक्रिया में आपको किन समस्याओं का सामना करना पड़ सकता है, इसका विश्लेषण किया गया है।

क्लस्टरिंग

समस्याओं में से एक यह था कि सामानों के नाम जो हमें चेक से मिलते हैं, हमेशा एक व्यक्ति के लिए भी समझने में आसान नहीं होते हैं। यह संभावना नहीं है कि आपको पता चल जाएगा कि "UTRUSTA krnsht" नाम का उत्पाद किस तरह के रूसी स्टोर में खरीदा गया था? स्वीडिश डिज़ाइन के सच्चे पारखी निश्चित रूप से हमें तुरंत जवाब देंगे: ब्रैकेट ऑफ़ यूट्रेव के लिए, लेकिन ऐसे विशेषज्ञों को मुख्यालय में रखना काफी महंगा है। इसके अलावा, हमारे पास तैयार, लेबल वाला नमूना नहीं था जो हमारे डेटा के लिए उपयुक्त हो, जिस पर हम मॉडल को प्रशिक्षित कर सकें। इसलिए, पहले हम इस बारे में बात करेंगे कि प्रशिक्षण के लिए डेटा की अनुपस्थिति में, हमने क्लस्टरिंग एल्गोरिदम लागू किया और हमें यह पसंद क्यों नहीं आया।

इस तरह के एल्गोरिदम वस्तुओं के बीच की दूरी को मापने पर आधारित होते हैं, जिसके लिए उनके वेक्टर प्रतिनिधित्व या शब्दों की समानता को मापने के लिए मीट्रिक के उपयोग की आवश्यकता होती है (उदाहरण के लिए, लेवेन्सहाइट दूरी)। इस कदम पर, कठिनाई नामों के सार्थक वेक्टर प्रतिनिधित्व में निहित है। उन नामों से गुणों को निकालने के लिए समस्याग्रस्त है जो उत्पाद और अन्य उत्पादों के साथ उसके संबंध का पूरी तरह से और व्यापक रूप से वर्णन करेंगे।

सबसे आसान विकल्प Tf-Idf का उपयोग करना है, लेकिन इस मामले में वेक्टर अंतरिक्ष का आयाम काफी बड़ा है, और अंतरिक्ष स्वयं विरल है। इसके अलावा, यह दृष्टिकोण नामों से कोई अतिरिक्त जानकारी नहीं निकालता है। इस प्रकार, एक क्लस्टर में विभिन्न श्रेणियों के कई उत्पाद हो सकते हैं, जो एक सामान्य शब्द से एकजुट होते हैं, जैसे, उदाहरण के लिए, "आलू" या "सलाद":


हम यह भी नियंत्रित नहीं कर सकते हैं कि कौन से समूह को इकट्ठा किया जाएगा। केवल एक चीज जिसे इंगित किया जा सकता है वह है क्लस्टर्स की संख्या (यदि अंतरिक्ष में गैर-घनत्व चोटियों पर आधारित एल्गोरिदम का उपयोग किया जाता है)। लेकिन यदि आप बहुत कम मात्रा निर्दिष्ट करते हैं, तो एक विशाल क्लस्टर बनता है, जिसमें वे सभी नाम होंगे जो अन्य समूहों में फिट नहीं हो सकते। यदि आप एक पर्याप्त बड़े को निर्दिष्ट करते हैं, तो एल्गोरिथ्म के काम करने के बाद, हमें सैकड़ों समूहों को देखना होगा और उन्हें हाथ से शब्दार्थ श्रेणियों में संयोजित करना होगा।

नीचे दी गई तालिकाएँ वेक्टर प्रतिनिधित्व के लिए केमियंस और Tf-Idf एल्गोरिदम का उपयोग करते हुए समूहों के बारे में जानकारी प्रदान करती हैं। इन तालिकाओं से हम देखते हैं कि समूहों के केंद्रों के बीच की दूरी वस्तुओं और क्लस्टर के केंद्रों के बीच की औसत दूरी से कम होती है। इस तरह के डेटा को इस तथ्य से समझाया जा सकता है कि वैक्टर के स्थान में कोई स्पष्ट घनत्व चोटियां नहीं हैं और समूहों के केंद्र सर्कल के आसपास स्थित हैं, जहां अधिकांश ऑब्जेक्ट इस सर्कल के बाहर स्थित हैं। इसके अलावा, एक क्लस्टर बनता है, जिसमें अधिकांश वैक्टर होते हैं। इस क्लस्टर में सबसे अधिक संभावना उन नामों की जा रही है जिनमें ऐसे शब्द हैं जो विभिन्न श्रेणियों के सभी उत्पादों के बीच दूसरों की तुलना में अधिक बार पाए जाते हैं।

तालिका 1. समूहों के बीच की दूरी।

समूह	सी 1	सी 2	सी 3	सी 4	सी 5	सी 6	सी 7	सी 8	C9
सी 1	0.0	0.502	0.354	0.475	0481	0.527	0.498	0.501	0.524
सी 2	0.502	0.0	0614	0.685	0.696	0728	0706	0.709	0.725
सी 3	0.354	0614	0.0	0.590	0597	0.635	0.610	0613	0.632
सी 4	0.475	0.685	0.590	0.0	0673	0.709	0.683	0.687	0.699
सी 5	0481	0.696	0597	0673	0.0	0.715	0.692	0.694	0.711
सी 6	0.527	0.727	0.635	0.709	0.715	0.0	0.726	0728	0741
सी 7	0.498	0706	0.610	0.683	0.692	0.725	0.0	0.707	0.714
सी 8	0.501	0.709	0.612	0.687	0.694	0728	0.707	0.0	0.725
C9	0.524	0.725	0.632	0.699	0.711	0741	0.714	0.725	0.0

तालिका 2. समूहों के बारे में संक्षिप्त जानकारी

समूह	वस्तुओं की संख्या	औसत दूरी	न्यूनतम दूरी	अधिकतम दूरी
सी 1	62530	0.999	0.041	1.001
सी 2	2159	0.864	0.527	0.964
सी 3	1099	0.934	0.756	0.993
सी 4	1292	0.879	0.733	0.980
सी 5	746	0.875	0.731	0.965
सी 6	2451	0847	0719	0.994
सी 7	1133	0.866	0.724	0.986
सी 8	876	0.863	0.704	0.999
C9	1879	0.849	0.526	0.981

लेकिन कुछ स्थानों पर क्लस्टर काफी सभ्य हो जाते हैं, उदाहरण के लिए, नीचे की छवि में - वहां, लगभग सभी उत्पाद बिल्ली का भोजन है।



Doc2Vec एल्गोरिदम में से एक है जो आपको वेक्टर रूप में ग्रंथों का प्रतिनिधित्व करने की अनुमति देता है। इस दृष्टिकोण का उपयोग करते हुए, प्रत्येक नाम को Tf-Idf के उपयोग से छोटे आयाम के वेक्टर द्वारा वर्णित किया जाएगा। परिणामी वेक्टर अंतरिक्ष में, समान पाठ एक दूसरे के करीब होंगे, और अलग-अलग दूर।

यह दृष्टिकोण Tf-Idf विधि द्वारा प्राप्त बड़े आयाम और डिस्चार्ज किए गए स्थान की समस्या को हल कर सकता है। इस एल्गोरिथ्म के लिए, हमने टोकन के सबसे सरल विकल्प का उपयोग किया: हमने नाम को अलग-अलग शब्दों में तोड़ दिया और उनके प्रारंभिक रूपों को लिया। उन्हें इस तरह से डेटा पर प्रशिक्षित किया गया था:

max_epochs = 100 vec_size = 20 alpha = 0.025 model = doc2vec.Doc2Vec(vector_size=vec_size, alpha=alpha, min_alpha=0.00025, min_count=1, dm =1) model.build_vocab(train_corpus) for epoch in range(max_epochs): print('iteration {0}'.format(epoch)) model.train(train_corpus, total_examples=model.corpus_count, epochs=model.iter) # decrease the learning rate model.alpha -= 0.0002 # fix the learning rate, no decay model.min_alpha = model.epochs 

लेकिन इस दृष्टिकोण के साथ, हमें वैक्टर मिले जो नाम के बारे में जानकारी नहीं देते हैं - उसी सफलता के साथ आप यादृच्छिक मूल्यों का उपयोग कर सकते हैं। एल्गोरिथ्म के संचालन का एक उदाहरण यहां दिया गया है: छवि एल्गोरिथ्म की राय में "एन nn 0.45k रूप एन बोरोडिनो ब्रेड" के समान उत्पादों को दिखाती है।


शायद समस्या नामों की लंबाई और संदर्भ में है: "__ क्लब" केला 200 मिली "नाम का पास या तो दही, रस या क्रीम की एक बड़ी कैन हो सकता है। आप नामकरण के लिए एक अलग दृष्टिकोण का उपयोग करके एक बेहतर परिणाम प्राप्त कर सकते हैं। हमारे पास इस पद्धति का उपयोग करने का कोई अनुभव नहीं था, और जब तक पहले प्रयास विफल नहीं हुए थे, तब तक हमें पहले से ही उत्पाद नामों के साथ कुछ चिह्नित सेट मिल गए थे, इसलिए हमने अस्थायी रूप से इस पद्धति को छोड़ने और वर्गीकरण एल्गोरिदम पर स्विच करने का फैसला किया।

वर्गीकरण

डेटा प्रीप्रोसेसिंग

चेक से सामानों के नाम हमेशा स्पष्ट तरीके से नहीं आते हैं: लैटिन और सिरिलिक शब्दों में मिश्रित होते हैं। उदाहरण के लिए, पत्र "ए" को "ए" लैटिन द्वारा प्रतिस्थापित किया जा सकता है, और इससे अद्वितीय नामों की संख्या बढ़ जाती है - उदाहरण के लिए, "दूध" और "दूध" शब्दों को अलग माना जाएगा। नामों में कई अन्य टाइपोस और संक्षिप्ताक्षर भी हैं।

हमने अपने डेटाबेस की जांच की और नामों में विशिष्ट त्रुटियां पाईं। इस स्तर पर, हमने नियमित अभिव्यक्तियों के साथ तिरस्कार किया, जिसकी मदद से हमने नामों को साफ किया और उन्हें कुछ सामान्य रूप में लाया। इस दृष्टिकोण का उपयोग करते हुए, परिणाम लगभग 7% बढ़ा है। मुड़ मापदंडों के साथ ह्यूबर हानि फ़ंक्शन के आधार पर एक सरल SGD क्लासिफायरियर विकल्प के साथ, हमें एफ 1 के लिए 81% (सभी उत्पाद श्रेणियों के लिए औसत सटीकता) की सटीकता मिली।

 sgd_model = SGDClassifier() parameters_sgd = { 'max_iter':[100], 'loss':['modified_huber'], 'class_weight':['balanced'], 'penalty':['l2'], 'alpha':[0.0001] } sgd_cv = GridSearchCV(sgd_model, parameters_sgd,n_jobs=-1) sgd_cv.fit(tf_idf_data, prod_cat) sgd_cv.best_score_, sgd_cv.best_params_ 

इसके अलावा, यह मत भूलो कि कुछ श्रेणियों के लोग दूसरों की तुलना में अधिक बार खरीदते हैं: उदाहरण के लिए, "चाय और मिठाई" और "सब्जियां और फल" "सेवा" और "सौंदर्य प्रसाधन" की तुलना में बहुत अधिक लोकप्रिय हैं। डेटा के इस तरह के वितरण के साथ, एल्गोरिदम का उपयोग करना बेहतर होता है जो आपको प्रत्येक वर्ग के लिए भार (डिग्री का महत्व) निर्धारित करने की अनुमति देता है। वर्ग का वजन वर्ग में उत्पादों की कुल संख्या के उत्पादों के अनुपात के बराबर मूल्य के साथ विपरीत रूप से निर्धारित किया जा सकता है। लेकिन आपको इसके बारे में सोचने की ज़रूरत नहीं है, क्योंकि इन एल्गोरिदम के कार्यान्वयन में, श्रेणियों के वजन को स्वचालित रूप से निर्धारित करना संभव है।

प्रशिक्षण के लिए नया डेटा प्राप्त करना

हमारे आवेदन को प्रतियोगिता में उपयोग किए जाने वाले की तुलना में थोड़ा अलग श्रेणियों की आवश्यकता थी, और हमारे डेटाबेस से उत्पादों के नाम प्रतियोगिता में प्रस्तुत किए गए लोगों से काफी अलग थे। इसलिए, हमें अपनी प्राप्तियों से माल को चिह्नित करने की आवश्यकता है। हमने अपने दम पर ऐसा करने की कोशिश की, लेकिन हमने महसूस किया कि अगर हम अपनी पूरी टीम को जोड़ते हैं, तो भी बहुत लंबा समय लगेगा। इसलिए, हमने यैंडेक्स के "टॉलोका" का उपयोग करने का फैसला किया।

वहाँ हमने असाइनमेंट के इस रूप का उपयोग किया:

• प्रत्येक सेल में हमने एक उत्पाद प्रस्तुत किया, जिसकी श्रेणी को परिभाषित किया जाना चाहिए
• हमारे पिछले मॉडल में से एक द्वारा परिभाषित इसकी काल्पनिक श्रेणी
• प्रतिक्रिया फ़ील्ड (यदि प्रस्तावित श्रेणी गलत थी)

हमने ऐसे उदाहरणों के साथ विस्तृत निर्देश तैयार किए हैं जो प्रत्येक श्रेणी की विशेषताओं को समझाते हैं, और गुणवत्ता नियंत्रण विधियों का भी उपयोग करते हैं: मानक उत्तरों के साथ एक सेट जो सामान्य कार्यों के साथ दिखाया गया था (हमने कई सौ उत्पादों को चिह्नित करते हुए मानक उत्तरों को स्वयं लागू किया था)। इन कार्यों के उत्तरों के परिणामों के अनुसार, जिन उपयोगकर्ताओं ने डेटा को गलत तरीके से चिह्नित किया था, उन्हें समाप्त कर दिया गया था। हालाँकि, पूरे प्रोजेक्ट के लिए, हमने 600+ उपयोगकर्ताओं में से केवल तीन को प्रतिबंधित किया।


नए डेटा के साथ, हमें एक मॉडल मिला है जो हमारे डेटा को बेहतर अनुकूल करता है, और सटीकता थोड़ी अधिक (~ 11%) बढ़ी है और पहले से ही 92% है।

अंतिम मॉडल

हमने कागले के साथ कई डेटासेटों के डेटा के संयोजन के साथ वर्गीकरण प्रक्रिया शुरू की - 74%, जिसके बाद हमने प्रीप्रोसेसिंग में सुधार किया - 81%, एक नया डेटा सेट एकत्र किया - 92% और अंत में वर्गीकरण प्रक्रिया में सुधार हुआ: शुरू में, लॉजिस्टिक प्रतिगमन का उपयोग करके माल से संबंधित प्रारंभिक संभावनाएं प्राप्त होती हैं। SGD ने उत्पाद नामों के आधार पर श्रेणियों को अधिक सटीकता दी, लेकिन अभी भी नुकसान कार्यों पर बड़े मूल्य थे, जिसने अंतिम क्लासिफायर के परिणामों को बुरी तरह प्रभावित किया। इसके अलावा, हम प्राप्त डेटा को उत्पाद के अन्य डेटा (उत्पाद की कीमत, जिस स्टोर में खरीदा गया था, स्टोर पर मौजूद आंकड़े, चेक और अन्य मेटा-जानकारी) के साथ जोड़ते हैं, और XGBoost को इस सभी डेटा वॉल्यूम पर प्रशिक्षित किया जाता है, जिसने 98% की सटीकता दी (वृद्धि) एक और 6%)। जैसा कि यह निकला, सबसे बड़ा योगदान प्रशिक्षण नमूने की गुणवत्ता द्वारा किया गया था।

सर्वर पर चल रहा है

परिनियोजन में तेजी लाने के लिए, हमने फ्लास्क पर डॉकर के लिए एक सरल सर्वर तैयार किया। एक विधि थी जो सर्वर से सामान प्राप्त करती थी जिसे वर्गीकृत करने की आवश्यकता होती थी और पहले से ही श्रेणियों के साथ सामान लौटा दिया जाता था। इस प्रकार, हम आसानी से मौजूदा प्रणाली में एकीकृत हो गए, जिसका केंद्र टॉमकैट था, और हमें वास्तुकला में बदलाव नहीं करना था - हमने इसमें केवल एक और ब्लॉक जोड़ा।

रिलीज की तारीख

कुछ हफ़्ते पहले हमने Google Play पर एक वर्गीकरण रिलीज़ किया था (यह थोड़ी देर बाद ऐप स्टोर पर दिखाई देगा)। यह इस तरह निकला:


भविष्य के रिलीज में, हम श्रेणियों को सही करने की क्षमता को जोड़ने की योजना बनाते हैं, जो हमें श्रेणीकरण त्रुटियों को जल्दी से इकट्ठा करने और वर्गीकरण मॉडल को वापस लेने की अनुमति देगा (जबकि हम इसे स्वयं करते हैं)।

काग्ले में उल्लेखित प्रतियोगिताओं:

www.kaggle.com/c/receipt-categorisation
www.kaggle.com/c/market-basket-analysis
www.kaggle.com/c/prod-price-prediction