🔍 👌🏻 👂🏽 इसी तरह की घटनाओं और दावों के लिए खोजें। मेट्रिक्स और ऑप्टिमाइज़ेशन 👨🏻‍🚀 🍶 💚

पिछले लेख में, मैंने इसी तरह के अनुप्रयोगों के लिए हमारे खोज इंजन के बारे में बात की थी। इसके लॉन्च के बाद, हमें पहली समीक्षा प्राप्त होनी शुरू हुई। विश्लेषकों ने कुछ सिफारिशों को पसंद किया और कुछ की सिफारिश नहीं की।

आगे बढ़ने और बेहतर मॉडल खोजने के लिए, पहले मौजूदा मॉडल के प्रदर्शन का मूल्यांकन करना आवश्यक था। मापदंड का चयन करना भी आवश्यक था जिसके द्वारा दोनों मॉडलों की एक दूसरे के साथ तुलना की जा सकती है।

कटौती के तहत, मैं इस बारे में बात करूंगा:

सिफारिशों पर प्रतिक्रिया एकत्र करना
सिफारिशों की गुणवत्ता का आकलन करने के लिए मीट्रिक का विकास
एक मॉडल अनुकूलन चक्र का निर्माण
अंतर्दृष्टि और एक नया मॉडल प्राप्त किया

प्रतिक्रिया संग्रह

विश्लेषकों से स्पष्ट प्रतिक्रिया एकत्र करना आदर्श होगा: प्रस्तावित घटनाओं में से प्रत्येक की सिफारिश कितनी प्रासंगिक है। यह हमें वर्तमान स्थिति को समझने और मात्रात्मक संकेतकों के आधार पर प्रणाली में सुधार जारी रखने की अनुमति देगा।

यह एक बहुत ही सरल प्रारूप में समीक्षा एकत्र करने का निर्णय लिया गया था:

उस घटना की संख्या जिसका हम विश्लेषण कर रहे हैं
अनुशंसित घटना संख्या
सिफारिश की समीक्षा: अच्छा / बुरा

"वोट" (एक छोटा प्रोजेक्ट जिसने मापदंडों के साथ जीईटी अनुरोधों को स्वीकार किया और एक फाइल में जानकारी डाल दी) को सीधे सिफारिशों ब्लॉक में रखा गया था ताकि विश्लेषक केवल एक लिंक पर क्लिक करके अपनी प्रतिक्रिया छोड़ सकें: "अच्छा" या "बुरा"।

इसके अतिरिक्त, अनुशंसा की पूर्वव्यापी समीक्षा के लिए, एक बहुत ही सरल समाधान किया गया था:

ऐतिहासिक डेटा के एक बड़े हिस्से के लिए, एक मॉडल लॉन्च किया गया था;
एकत्रित सिफारिशों को कई स्टैंडअलोन HTML फ़ाइलों के रूप में प्रस्तुत किया गया था, जिसमें उसी "वोटिंग" का उपयोग किया गया था;
50-100 घटनाओं के परिणामों को देखने के लिए विश्लेषकों को तैयार फाइलें सौंपी गईं।

इसलिए घटना-अनुशंसा के लगभग 4000+ जोड़े पर डेटा एकत्र करना संभव था।

प्रारंभिक समीक्षा विश्लेषण

शुरुआती मेट्रिक्स "सो-सो" थे - सहयोगियों के अनुसार, "अच्छी" सिफारिशों का हिस्सा केवल 25% था।

पहले मॉडल की मुख्य समस्याएं:

"नई" समस्याओं पर घटनाओं को सिस्टम से अप्रासंगिक सिफारिशें मिलीं; यह पता चला कि अपील की सामग्री में संयोग की अनुपस्थिति में, सिस्टम ने संपर्क करने वाले कर्मचारी के विभाग के करीब की घटनाओं का चयन किया।
एक प्रणाली पर एक घटना के लिए सिफारिशें अन्य प्रणालियों से घटनाओं को मारा। अपील में इस्तेमाल किए गए शब्द समान थे, लेकिन अन्य प्रणालियों की समस्याओं का वर्णन किया और अलग-अलग थे।

सिफारिशों की गुणवत्ता में सुधार के संभावित तरीके चुने गए:

अंतिम वेक्टर में शामिल उपचार विशेषताओं की संरचना और वजन का समायोजन
TfidfVectorizer सेटिंग्स का चयन TfidfVectorizer
सिफारिशों की "कटऑफ" दूरी का चयन

गुणवत्ता मानदंड और मूल्यांकन विधियों का विकास

मॉडल के बेहतर संस्करण की खोज करने के लिए, मॉडल परिणामों की गुणवत्ता का आकलन करने के सिद्धांत को निर्धारित करना आवश्यक है। यह आपको दो मॉडलों की तुलनात्मक रूप से तुलना करने और सर्वश्रेष्ठ चुनने की अनुमति देगा।

एकत्रित समीक्षाओं से क्या प्राप्त किया जा सकता है

हमारे पास फॉर्म के कई मीटर ट्यूपल हैं: "हादसा", "अनुशंसित हादसा", "सिफारिश का आकलन"।

"अनुशंसा रेटिंग" ( v ) - द्विआधारी सेट है: "अच्छा" | खराब (1 / -1);
"घटना" और "अनुशंसित घटना" केवल घटना संख्याएं हैं। उन पर आप डेटाबेस में घटना पा सकते हैं।

इस तरह के डेटा होने पर, आप गणना कर सकते हैं:

n_inc_total - उन घटनाओं की कुल संख्या जिनके लिए सिफारिशें हैं
n_inc_good - उन घटनाओं की संख्या जिनके लिए "अच्छी" सिफारिशें हैं
avg_inc_good - घटनाओं के लिए "अच्छी" सिफारिशों की औसत संख्या
n_rec_total - सिफारिशों की कुल संख्या
n_rec_good - "अच्छी" सिफारिशों की कुल संख्या
pct_inc_good - उन घटनाओं का हिस्सा जिनके लिए "अच्छी" सिफारिशें हैं
pct_inc_good = n_inc_good / n_inc_total
pct_rec_good - "अच्छा" सिफारिशों का कुल हिस्सा
pct_rec_good = n_rec_good / n_rec_total

उपयोगकर्ताओं से अनुमानों के आधार पर गणना किए गए इन संकेतकों को मूल मॉडल का "मूल संकेतक" माना जा सकता है। इसके साथ हम मॉडल के नए संस्करणों के समान संकेतकों की तुलना करेंगे।

मी से सभी अद्वितीय "घटनाएं" लें, और उन्हें नए मॉडल के माध्यम से चलाएं।

नतीजतन, हमें कई एम * टुपल्स मिलते हैं: "हादसा", "अनुशंसित हादसा", "दूरी"।
यहाँ, "दूरी" नियरेस्टीनबर्ग में परिभाषित मीट्रिक है। हमारे मॉडल में, यह कोज्या दूरी है। मान "0" वैक्टर के पूर्ण संयोग से मेल खाता है।

"कटऑफ दूरी" का चयन

एम के अनुमानों के प्रारंभिक सेट से v के सही अनुमान के बारे में जानकारी के साथ सिफारिशों के सेट * m के पूरक, हम इस मॉडल के लिए दूरी d और v के सही अनुमान के बीच पत्राचार प्राप्त करते हैं।

सेट ( डी , वी ) होने के बाद, इष्टतम कटऑफ स्तर टी चुनना संभव है, जो डी <= टी के लिए सिफारिश "अच्छा" होगा, और डी> टी - "खराब" के लिए। T का चयन सबसे सरल बाइनरी क्लासिफायरियर v = -1 if d>t else 1 अनुकूलन करके किया जा सकता है v = -1 if d>t else 1 को हाइपरपरमेटर t के संबंध में, और उदाहरण के लिए, AUC ROC एक मीट्रिक के रूप में।

 #     class BinarizerClassifier(Binarizer): def transform(self, x): return np.array([-1 if _x > self.threshold else 1 for _x in np.array(x, dtype=float)]).reshape(-1, 1) def predict_proba(self, x): z = self.transform(x) return np.array([[0 if _x > 0 else 1, 1 if _x > 0 else 0] for _x in z.ravel()]) def predict(self, x): return self.transform(x) # #   : # -  , # -    m* # -   (d,v)  z_data_for_t # #   t b = BinarizerClassifier() z_x = z_data_for_t[['distance']] z_y = z_data_for_t['TYPE'] cv = GridSearchCV(b, param_grid={'threshold': np.arange(0.1, 0.7, 0.01)}, scoring='roc_auc', cv=5, iid=False, n_jobs=-1) cv.fit(z_x, z_y) score = cv.best_score_ t = cv.best_params_['threshold'] best_b = cv.best_estimator_

प्राप्त टी मूल्य सिफारिशों को फ़िल्टर करने के लिए इस्तेमाल किया जा सकता है।

बेशक, यह दृष्टिकोण अभी भी "खराब" सिफारिशों को छोड़ सकता है और "अच्छे" लोगों को काट सकता है। इसलिए, इस स्तर पर हम हमेशा "टॉप 5" सिफारिशें दिखाते हैं, लेकिन हम विशेष रूप से उन लोगों को चिह्नित करते हैं जिन्हें "अच्छा" माना जाता है, जो कि पाया गया है ।
वैकल्पिक: यदि कम से कम एक "अच्छी" अनुशंसा पाई जाती है, तो केवल "अच्छा" दिखाएं। अन्यथा, सभी उपलब्ध दिखाएं (यह भी - "टॉप एन")।

मॉडल की तुलना के लिए धारणा

प्रशिक्षण मॉडल के लिए, एक ही घटना के मामले का उपयोग किया जाता है।
मान लीजिए कि यदि पहले एक "अच्छी" सिफारिश पाई गई थी, तो नए मॉडल को उसी घटना के लिए "अच्छा" सिफारिश भी मिलनी चाहिए। विशेष रूप से, नया मॉडल पुराने के समान "अच्छी" सिफारिशें पा सकता है। हालांकि, नए मॉडल के साथ, हम उम्मीद करते हैं कि "खराब" सिफारिशों की संख्या कम हो जाएगी।

फिर, नए मॉडल की सिफारिशों m * के लिए समान संकेतकों पर विचार करते हुए, उनकी तुलना m के लिए संबंधित संकेतकों के साथ की जा सकती है। तुलना के आधार पर, आप सबसे अच्छा मॉडल चुन सकते हैं।

सेट * के लिए "अच्छी" सिफारिशों को ध्यान में रखने के दो तरीके हैं:

पाया टी के आधार पर: विचार करें कि d * t के साथ m * से सभी सिफारिशें "अच्छी" हैं और मैट्रिक्स की गणना के लिए उन्हें ध्यान में रखें।
सेट m से संबंधित सही अनुमानों के आधार पर: सिफारिशों m * से, केवल उन्हीं का चयन करें जिनके लिए m में सही अनुमान है, और बाकी को छोड़ दें।

पहले मामले में, नए मॉडल के "पूर्ण" संकेतक ( n_inc_good , n_rec_good ) बेस मॉडल के लिए अधिक से अधिक होना चाहिए। दूसरे मामले में, संकेतक को बेस मॉडल के संकेतकों से संपर्क करना चाहिए।
दूसरी विधि की समस्या: यदि नया मॉडल मूल एक से बेहतर है, और यह पहले से अज्ञात कुछ पाता है, तो इस तरह की सिफारिश की गणना में ध्यान नहीं दिया जाएगा।

मॉडल तुलना विकल्पों का चयन करें

नया मॉडल चुनते समय, मैं चाहता हूं कि संकेतक मौजूदा मॉडल की तुलना में सुधार करें:

प्रति घटना "औसत" सिफारिशों की औसत संख्या ( avg_inc_good )
घटनाओं की संख्या जिसके लिए "अच्छी" सिफारिशें ( n_inc_good ) हैं।

मूल मॉडल के साथ तुलना के लिए, हम नए मॉडल और मूल के इन मापदंडों के संबंधों का उपयोग करेंगे। इस प्रकार, यदि नए मॉडल और पुराने के पैरामीटर का अनुपात 1 से अधिक है, तो नया मॉडल बेहतर है।

 benchmark_agv_inc_good = avg_inc_good* / avg_inc_good benchmark_n_inc_good = n_inc_good* / n_inc_good

चयन को सरल बनाने के लिए, एकल पैरामीटर का उपयोग करना बेहतर है। हम व्यक्तिगत सापेक्ष संकेतकों के हार्मोनिक मतलब लेते हैं और इसे नए मॉडल के लिए एकमात्र समग्र गुणवत्ता मानदंड के रूप में उपयोग करते हैं।

 composite = 2 / ( 1/benchmark_agv_inc_good + 1/benchmark_n_inc_good)

नया मॉडल और उसका अनुकूलन

नए मॉडल के लिए, अंतिम वेक्टर में घटना का प्रतिनिधित्व करते हुए, "घटना क्षेत्र" (हमारी टीम द्वारा सेवित कई प्रणालियों में से एक) के लिए जिम्मेदार घटकों को जोड़ें।
घटना को बनाने वाले कर्मचारी की इकाई और स्थान के बारे में जानकारी भी एक अलग वेक्टर घटक में रखी गई है। अंतिम वेक्टर में सभी घटकों का वजन होता है।

 p = Pipeline( steps=[ ('grp', ColumnTransformer( transformers=[ ('text', Pipeline(steps=[ ('pp', CommentsTextTransformer(n_jobs=-1)), ("tfidf", TfidfVectorizer(stop_words=get_stop_words(), ngram_range=(1, 3), max_features=10000, min_df=0)) ]), ['short_description', 'comments'] ), ('area', OneHotEncoder(handle_unknown='ignore'), ['area'] ), ('dept', OneHotEncoder(handle_unknown='ignore'), ['u_impacted_department'] ), ('loc', OneHotEncoder(handle_unknown='ignore'), ['u_impacted_location'] ) ], transformer_weights={'text': 1, 'area': 0.5, 'dept': 0.1, 'loc': 0.1}, n_jobs=-1 )), ('norm', Normalizer()), ("nn", NearestNeighborsTransformer(n_neighbors=10, metric='cosine')) ], memory=None)

मॉडल हाइपरपैरमीटर से मॉडल लक्ष्य को प्रभावित करने की उम्मीद की जाती है। चयनित मॉडल वास्तुकला में, हम हाइपरपरमेटर्स के रूप में विचार करेंगे:

TF-IDF वेक्टराइजेशन पैरामीटर्स - n-gr (ngram_range), डिक्शनरी साइज (max_features), मिनिमम टर्म ड्राइविंग (min_df)
अंतिम वेक्टर में घटक योगदान - Transform_weights।

पाठ वैश्वीकरण हाइपरपरमेटर्स के प्रारंभिक मान पिछले मॉडल से लिए गए हैं। प्रारंभिक घटक वजन विशेषज्ञ निर्णय के आधार पर चुना जाता है।

पैरामीटर चयन चक्र

तुलना कैसे करें, मिसफायर स्तर का चयन करें और आपस में मॉडल की तुलना पहले ही निर्धारित कर चुके हैं। अब हम हाइपरपरमेटर्स के चयन के माध्यम से अनुकूलन के लिए आगे बढ़ सकते हैं।

अनुकूलन चक्र

 param_grid = { 'grp__text__tfidf__ngram_range': [(1, 1), (1, 2), (1, 3), (2, 2)], 'grp__text__tfidf__max_features': [5000, 10000, 20000], 'grp__text__tfidf__min_df': [0, 0.0001, 0.0005, 0.001], 'grp__transformer_weights': [{'text': 1, 'area': 0.5, 'dept': 0.1, 'loc': 0.1}, {'text': 1, 'area': 0.75, 'dept': 0.1, 'loc': 0.1}, {'text': 1, 'area': 0.5, 'dept': 0.3, 'loc': 0.3}, {'text': 1, 'area': 0.75, 'dept': 0.3, 'loc': 0.3}, {'text': 1, 'area': 1, 'dept': 0.1, 'loc': 0.1}, {'text': 1, 'area': 1, 'dept': 0.3, 'loc': 0.3}, {'text': 1, 'area': 1, 'dept': 0.5, 'loc': 0.5}], } for param in ParameterGrid(param_grid=param_grid): p.set_params(**param) p.fit(x) ...

अनुकूलन परिणाम

तालिका उन प्रयोगों के परिणामों को दिखाती है जिनमें दिलचस्प परिणाम प्राप्त हुए थे - शीर्ष 5 सबसे अच्छे और नियंत्रित संकेतकों के लिए सबसे खराब मान।

तालिका में संकेतक वाली कोशिकाओं को निम्नानुसार चिह्नित किया गया है:

गहरे हरे रंग सभी प्रयोगों के बीच सबसे अच्छा संकेतक है
पीला हरा - सूचक मान शीर्ष -5 में है
गहरे लाल - सभी प्रयोगों के बीच सबसे खराब संकेतक
पीला लाल - सूचक सबसे खराब -5 में है

मापदंडों के साथ एक मॉडल के लिए सबसे अच्छा समग्र संकेतक प्राप्त किया गया था:

 ngram_range = (1,2) min_df = 0.0001 max_features = 20000 transformer_weights = {'text': 1, 'area': 1, 'dept': 0.1, 'loc': 0.1}

इन मापदंडों के साथ एक मॉडल में मूल मॉडल 24% की तुलना में समग्र संकेतक में सुधार दिखाया गया

कुछ अवलोकन और निष्कर्ष

अनुकूलन परिणामों के अनुसार:

ngram_range = (1,3) ( ngram_range = (1,3) ) का उपयोग करना उचित नहीं लगता है। वे डिक्शनरी को फुलाते हैं और बिग्रेड की तुलना में सटीकता बढ़ाते हैं।
एक दिलचस्प व्यवहार जब केवल शब्दकोश ( ngram_range = (2,2) ) का उपयोग करते हुए एक शब्दकोश का निर्माण होता है: सिफारिशों की "सटीकता" बढ़ती है, और मिलने वाली सिफारिशों की संख्या घट जाती है। जैसे क्लासिफायर में सटीक / रिकॉल बैलेंस। इसी तरह का व्यवहार कटऑफ के स्तर टी के चयन में देखा जाता है - बड़ेग्रामों के लिए कटऑफ का एक संकीर्ण "शंकु" और "अच्छा" और "खराब" अनुशंसाओं का बेहतर पृथक्करण विशेषता है।
Nonzero पैरामीटर min_df, बीग्रामों के साथ, सिफारिशों की सटीकता को बढ़ाता है। वे ऐसे शब्दों पर आधारित होने लगते हैं जो कम से कम कई बार होते हैं। जैसे-जैसे पैरामीटर बढ़ता है, डिक्शनरी तेजी से सिकुड़ने लगती है। छोटे नमूनों के लिए, जैसा कि हमारे मामले में, दस्तावेजों के अंश (आंशिक मान min_df) शब्द की तुलना में दस्तावेजों की संख्या (पूर्णांक मान min_df) के साथ संचालित करना अधिक संभव होगा।
अच्छे परिणाम तब प्राप्त होते हैं, जब "क्षेत्र" के लिए जिम्मेदार विशेषता को अंतिम वेक्टर में पाठ घटक के बराबर या उसके करीब वजन के साथ शामिल किया जाता है। अन्य क्षेत्रों के दस्तावेजों में समान शब्द खोजने के कारण कम मान "खराब" सिफारिशों के अनुपात में वृद्धि करते हैं। लेकिन ग्राहक के स्थान के संकेत हमारे मामले में सिफारिशों के परिणामों को अच्छी तरह से प्रभावित नहीं करते हैं।

कुछ नए विचार सामने आए हैं:

एक "समय" घटक जोड़ें ताकि हाल की घटनाएं समान घटनाओं पर पूर्वता ले सकें।
देखें कि कैसे max_df पैरामीटर की शुरूआत प्रभावित करेगी - हालाँकि परिभाषा के अनुसार tf-idf के लिए भी सामान्य शब्दों में महत्वपूर्ण वजन नहीं होना चाहिए।
अंत में वेक्टर सामग्री के अन्य तरीकों की कोशिश करें, उदाहरण के लिए, शब्द-से-वेक्टर के आधार पर, या नेटवर्क का उपयोग करके tf-idf विचारों के दृढ़ विश्वास पर आधारित है।

इसी तरह की घटनाओं और दावों के लिए खोजें। मेट्रिक्स और ऑप्टिमाइज़ेशन