🐕 👨🏼‍🎤 🚴🏽 परीक्षण नमूने के समान मॉडल प्रशिक्षण (नहीं) के लिए डेटा कितना है? 🤗 🥛 💃🏽

एक परिदृश्य पर विचार करें जहां आपका मशीन लर्निंग मॉडल बेकार हो सकता है।

एक कहावत है: "सेब की तुलना संतरे से न करें । " लेकिन क्या होगा यदि आपको सेब के एक सेट को दूसरे के साथ संतरे की तुलना करने की आवश्यकता है, लेकिन दो सेटों में फलों का वितरण अलग है? क्या आप डेटा के साथ काम कर सकते हैं? और आप इसे कैसे करेंगे?

वास्तविक मामलों में, यह स्थिति आम है। मशीन लर्निंग मॉडल विकसित करते समय, हमें एक ऐसी स्थिति का सामना करना पड़ता है जहां हमारा मॉडल एक प्रशिक्षण सेट के साथ अच्छा काम करता है, लेकिन मॉडल की गुणवत्ता परीक्षण डेटा पर तेजी से गिरती है।

और यह रिट्रीटिंग के बारे में नहीं है। मान लीजिए कि हमने एक मॉडल बनाया है, जो क्रॉस-वैलिडेशन पर एक उत्कृष्ट परिणाम देता है, लेकिन परीक्षण पर खराब परिणाम दिखाता है। इसलिए परीक्षण के नमूने में ऐसी जानकारी है जिसे हम ध्यान में नहीं रखते हैं।

ऐसी स्थिति की कल्पना करें जिसमें हम एक स्टोर में ग्राहक व्यवहार की भविष्यवाणी करते हैं। यदि प्रशिक्षण और परीक्षण के नमूने नीचे की छवि की तरह दिखते हैं, तो यह एक स्पष्ट समस्या है:

इस उदाहरण में, मॉडल को परीक्षण पर एक समान विशेषता के औसत मूल्य से कम "ग्राहक आयु" विशेषता के औसत मूल्य के साथ डेटा पर प्रशिक्षित किया जाता है। सीखने की प्रक्रिया में, मॉडल ने "उम्र" विशेषता के बड़े मूल्यों को कभी नहीं देखा है। यदि मॉडल के लिए उम्र एक महत्वपूर्ण विशेषता है, तो किसी को परीक्षण नमूने पर अच्छे परिणाम की उम्मीद नहीं करनी चाहिए।

इस पाठ में, हम "भोले" दृष्टिकोणों के बारे में बात करेंगे जो हमें इस तरह की घटनाओं की पहचान करने और उन्हें खत्म करने की कोशिश करते हैं।

सहसंयोजक पारी

आइए हम इस अवधारणा की अधिक सटीक परिभाषा दें। कोवरियनस विशेषताओं के मूल्यों को संदर्भित करता है, और सहसंयोजक पारी एक ऐसी स्थिति को संदर्भित करता है जहां प्रशिक्षण और परीक्षण नमूनों में विशेषताओं के मूल्यों का वितरण अलग-अलग विशेषताओं (पैरामीटर) है।

बड़ी संख्या में चर के साथ वास्तविक दुनिया की समस्याओं में, सहसंयोजक पारी का पता लगाना मुश्किल है। लेख पहचान करने के लिए विधि, साथ ही डेटा में सहसंयोजक पारी के लिए लेखांकन पर चर्चा करता है।

मुख्य विचार

यदि डेटा में कोई बदलाव होता है, तो दो नमूनों को मिलाते समय, हम एक क्लासिफायरियर का निर्माण कर सकते हैं जो यह निर्धारित कर सकता है कि ऑब्जेक्ट एक प्रशिक्षण या परीक्षण नमूने का है।

आइए समझते हैं कि ऐसा क्यों है। आइए हम ग्राहकों के साथ उदाहरण पर लौटते हैं, जहां उम्र प्रशिक्षण और परीक्षण के नमूनों का "स्थानांतरित" संकेत था। यदि हम एक क्लासिफायरियर (उदाहरण के लिए, एक यादृच्छिक जंगल पर आधारित) लेते हैं और मिश्रित नमूने को प्रशिक्षण और परीक्षण में विभाजित करने का प्रयास करते हैं, तो इस तरह के वर्गीकरण के लिए उम्र एक बहुत महत्वपूर्ण संकेत होगा।

कार्यान्वयन

आइए, वर्णित विचार को वास्तविक डेटासेट में लागू करने का प्रयास करें। कागल प्रतियोगिता से डेटासेट का उपयोग करें।

चरण 1: डेटा तैयारी

सबसे पहले, हम मानक चरणों की एक श्रृंखला का पालन करेंगे: साफ, रिक्त स्थान भरें, श्रेणीबद्ध संकेतों के लिए लेबल एन्कोडिंग का प्रदर्शन करें। प्रश्नकर्ता के डेटासेट के लिए कोई भी चरण आवश्यक नहीं था, इसलिए इसके विवरण को छोड़ दें।

import pandas as pd #  train  test train = pd.read_csv('train.csv',low_memory=True) test = pd.read_csv('test.csv',low_memory=True)

चरण 2: एक डेटा स्रोत संकेतक जोड़ना

डेटासेट के दोनों भागों में एक नया संकेतक संकेतक जोड़ना आवश्यक है - प्रशिक्षण और परीक्षण। परीक्षण के लिए क्रमशः "1" के साथ प्रशिक्षण नमूने के लिए, "0"।

 #    ,   test,   train test['is_train'] = 0 train['is_train'] = 1

चरण 3: सीखने और परीक्षण के नमूनों का मेल

अब आपको दो डेटासेट को संयोजित करने की आवश्यकता है। चूंकि प्रशिक्षण डेटासेट में लक्ष्य मान 'लक्ष्य' का एक कॉलम होता है, जो परीक्षण डेटासेट में नहीं है, इसलिए इस कॉलम को हटा दिया जाना चाहिए।

 #  train, test df_combine = pd.concat([train, test], axis=0, ignore_index=True) #  target df_combine = df_combine.drop('target', axis =1) y = df_combine['is_train'].values #  x = df_combine.drop('is_train', axis=1).values #  tst, trn = test.values, train.values

चरण 4: क्लासिफायरियर का निर्माण और परीक्षण

वर्गीकरण उद्देश्यों के लिए, हम रैंडम फ़ॉरेस्ट क्लासिफ़ायर का उपयोग करेंगे, जिसे हम संयुक्त डेटासेट में डेटा स्रोत के लेबल की भविष्यवाणी करने के लिए कॉन्फ़िगर करेंगे। आप किसी भी अन्य वर्गीकरण का उपयोग कर सकते हैं।

 from sklearn.ensemble import RandomForestClassifier import numpy as np rfc = RandomForestClassifier(n_jobs=-1, max_depth=5, min_samples_leaf = 5) predictions = np.zeros(y.shape) #

हम 4 सिलवटों के स्तरीकृत रैंडमाइज्ड विभाजन का उपयोग करते हैं। इस तरह से हम प्रत्येक जोड़ में 'is_train' लेबल के अनुपात को मूल संयुक्त नमूने की तरह रखेंगे। प्रत्येक विभाजन के लिए हम विभाजन के बहुमत पर क्लासिफायरियर को प्रशिक्षित करते हैं और छोटे आस्थगित भाग के लिए वर्ग लेबल की भविष्यवाणी करते हैं।

 from sklearn.model_selection import StratifiedKFold, cross_val_score skf = StratifiedKFold(n_splits=4, shuffle=True, random_state=100) for fold, (train_idx, test_idx) in enumerate(skf.split(x, y)): X_train, X_test = x[train_idx], x[test_idx] y_train, y_test = y[train_idx], y[test_idx] rfc.fit(X_train, y_train) probs = rfc.predict_proba(X_test)[:, 1] #   predictions[test_idx] = probs

चरण 5: परिणामों की व्याख्या करें

हम अपने वर्गीकरण के लिए आरओसी एयूसी मीट्रिक के मूल्य की गणना करते हैं। इस मूल्य के आधार पर, हम यह निष्कर्ष निकालते हैं कि हमारा क्लासिफायर डेटा में एक सहसंयोजक बदलाव को कितनी अच्छी तरह प्रकट करता है।

यदि क्लासिफायर c वस्तुओं को प्रशिक्षण और परीक्षण डेटासेट में अच्छी तरह से अलग करता है, तो ROC AUC मीट्रिक का मान 0.5 से अधिक होना चाहिए, आदर्श रूप से 1 के करीब। यह चित्र डेटा में एक मजबूत सहसंयोजक पारी को इंगित करता है।

ROC AUC का मान ज्ञात करें:

 from sklearn.metrics import roc_auc_score print('ROC-AUC:', roc_auc_score(y_true=y, y_score=predictions)) # ROC-AUC: 0.49974692698385287

परिणामी मूल्य 0.5 के करीब है। और इसका मतलब है कि हमारी गुणवत्ता क्लासिफायरियर एक यादृच्छिक टैग पूर्वसूचक के समान है। डेटा में एक सहसंयोजक पारी का कोई सबूत नहीं है।

चूंकि सिसिली को कागले से लिया गया है, इसलिए परिणाम बहुत अनुमानित है। अन्य मशीन सीखने की प्रतियोगिताओं की तरह, यह सुनिश्चित करने के लिए डेटा को सावधानीपूर्वक सत्यापित किया जाता है कि कहीं कोई बदलाव न हो।

लेकिन यह दृष्टिकोण समाधान की शुरुआत से ठीक पहले एक सहसंयोजक पारी की उपस्थिति की जांच करने के लिए डेटा विज्ञान की अन्य समस्याओं में लागू किया जा सकता है।

आगे के कदम

इसलिए, या तो हम एक सहसंयोजक बदलाव का निरीक्षण करते हैं या नहीं। परीक्षण में मॉडल की गुणवत्ता में सुधार करने के लिए क्या करें?

पक्षपाती सुविधाओं को हटा दें
घनत्व गुणांक अनुमानों के आधार पर वस्तु महत्व भार का उपयोग करें

पक्षपाती सुविधाओं को हटाना:

नोट: डेटा में सहसंयोजक बदलाव होने पर यह विधि लागू होती है।

रैंडम फ़ॉरेस्ट क्लासिफायर से विशेषताओं का महत्व निकालें, जिसे हमने पहले बनाया और प्रशिक्षित किया था।
सबसे महत्वपूर्ण संकेत ठीक वे हैं जो पक्षपाती हैं और डेटा में बदलाव का कारण बनते हैं।
सबसे महत्वपूर्ण से शुरू करते हुए, एक आधार पर हटाएं, लक्ष्य मॉडल बनाएं और इसकी गुणवत्ता देखें। उन सभी संकेतों को इकट्ठा करें जिनके लिए मॉडल की गुणवत्ता में कमी नहीं होती है।
डेटा से एकत्रित विशेषताओं को त्यागें और अंतिम मॉडल का निर्माण करें।

यह एल्गोरिदम आपको आरेख में लाल टोकरी से संकेत निकालने की अनुमति देता है।

घनत्व गुणांक अनुमानों के आधार पर वस्तु महत्व भार का उपयोग करना

नोट: यह विधि इस बात पर ध्यान दिए बिना है कि डेटा में सहसंयोजक बदलाव है या नहीं।

आइए हम पिछले अनुभाग में प्राप्त भविष्यवाणियों को देखें। प्रत्येक ऑब्जेक्ट के लिए, भविष्यवाणी में यह संभावना होती है कि यह ऑब्जेक्ट हमारे क्लासिफायरियर के प्रशिक्षण सेट का है।

 predictions[:10] #array([0.39743827 ...

उदाहरण के लिए, पहली वस्तु के लिए, हमारे रैंडम फ़ॉरेस्ट क्लासिफ़ायर का मानना है कि यह 0.397 की संभावना वाले प्रशिक्षण सेट के अंतर्गत आता है। इस मान को बुलाओ

प ी (ट ् र े न)

$पी (ट्रेन)$ । या हम कह सकते हैं कि परीक्षण डेटा से संबंधित होने की संभावना 0.603 है। इसी तरह, हम संभाव्यता कहते हैं

प ी (प र ी क ् ष ण)

$पी (परीक्षण)$ ।

अब एक छोटी सी चाल: प्रशिक्षण डाटासेट के प्रत्येक वस्तु के लिए, हम गुणांक की गणना करते हैं

w = f r a c P (प र ी क ् ष ण) P (ट ् र े न)

$w = \ frac {P (परीक्षण)} {P (ट्रेन)}$ ।

फ़ैक्टर

w

$w$ हमें बताता है कि डेटा सेट करने के लिए प्रशिक्षण सेट से कोई ऑब्जेक्ट कितना करीब है। मुख्य विचार:

हम उपयोग कर सकते हैं

$w$ किसी भी मॉडल में वजन की तरह उन अवलोकनों का वजन बढ़ाने के लिए जो परीक्षण के नमूने के समान दिखते हैं। सहज रूप से, यह समझ में आता है, क्योंकि हमारा मॉडल टेस्ट सूट की तरह अधिक डेटा-उन्मुख होगा।

इन वज़न की गणना कोड का उपयोग करके की जा सकती है:

 import seaborn as sns import matplotlib.pyplot as plt plt.figure(figsize=(20,10)) predictions_train = predictions[:len(trn)] weights = (1./predictions_train) - 1. weights /= np.mean(weights) #  plt.xlabel('  w') plt.ylabel(' ') sns.distplot(weights, kde=False)

प्राप्त गुणांक को मॉडल में स्थानांतरित किया जा सकता है, उदाहरण के लिए, निम्नानुसार:

 rfc = RandomForestClassifier(n_jobs=-1,max_depth=5) m.fit(X_train, y_train, sample_weight=weights)

परिणामी हिस्टोग्राम के बारे में कुछ शब्द:

बड़े वजन मान परीक्षण नमूने के समान अधिक टिप्पणियों के अनुरूप हैं।
प्रशिक्षण सेट से लगभग 70% वस्तुओं का वजन 1 के करीब है, और, इसलिए, एक उप-समूह में स्थित हैं जो प्रशिक्षण सेट और परीक्षण सेट के समान है। यह एयूसी मूल्य से मेल खाता है जिसे हमने पहले गणना की थी।

निष्कर्ष

हम आशा करते हैं कि यह पोस्ट आपको डेटा में "सहसंयोजक पारी" की पहचान करने और इसे संयोजित करने में मदद करेगी।

संदर्भ

[१] शिमोदैरा, एच। (२०००)। लॉग-लाइबिलिटी फ़ंक्शन को वेट करके कोवरिएट शिफ्ट के तहत भविष्य कहनेवाला अनुमान में सुधार। सांख्यिकी और नियोजन के जर्नल, 90, 227-244।
[२] बिकेल, एस। एट अल। (2009)। कोविरेट शिफ्ट के तहत भेदभावपूर्ण शिक्षा। मशीन लर्निंग रिसर्च जर्नल, 10, 2137-2155
[३] github.com/erlendd/covariate-shift-adaption
[४] उपयोग किए गए डेटासेट का लिंक

PS लेख से कोड वाला लैपटॉप यहां देखा जा सकता है ।

परीक्षण नमूने के समान मॉडल प्रशिक्षण (नहीं) के लिए डेटा कितना है?