एनरॉन कॉर्पोरेशन 2000 के दशक में अमेरिकी व्यापार में सबसे प्रसिद्ध आंकड़ों में से एक है। यह उनकी गतिविधि के क्षेत्र (बिजली और इसकी आपूर्ति के लिए अनुबंध) द्वारा नहीं, बल्कि इसमें धोखाधड़ी के कारण प्रतिध्वनि द्वारा सुगम किया गया था। 15 वर्षों के लिए, कॉर्पोरेट आय तेजी से बढ़ी है, और इसमें काम करने से अच्छे वेतन का वादा किया गया है। लेकिन यह सब सिर्फ बेड़े के रूप में समाप्त हो गया: 2000-2001 की अवधि में। घोषित आय के साथ धोखाधड़ी के कारण शेयर की कीमत $ 90 / यूनिट से गिरकर लगभग शून्य हो गई। तब से, "एनरॉन" शब्द एक घरेलू शब्द बन गया है और एक समान पैटर्न में काम करने वाली कंपनियों के लिए एक लेबल के रूप में कार्य करता है।

मुकदमे के दौरान 18 लोगों (इस मामले में सबसे बड़े प्रतिवादी: एंड्रयू फास्टोव, जेफ स्किलिंग और केनेथ ले) को दोषी ठहराया गया था।

इसी समय, कंपनी के कर्मचारियों के बीच इलेक्ट्रॉनिक पत्राचार का एक संग्रह, जिसे एनरॉन ईमेल डेटासेट के रूप में जाना जाता है, और इस कंपनी के कर्मचारियों की आय के बारे में अंदरूनी जानकारी प्रकाशित की गई थी।

लेख इस डेटा के स्रोतों की जांच करेगा और यह निर्धारित करने के लिए एक मॉडल का निर्माण करेगा कि क्या किसी व्यक्ति को धोखाधड़ी का संदेह है। दिलचस्प लगता है? फिर, हैब्रकट में आपका स्वागत है।

डेटासेट का विवरण

एनरॉन डेटासेट (डेटासेट) खुले डेटा का एक समग्र समूह होता है, जिसमें संबंधित नाम के साथ एक यादगार निगम में काम करने वाले लोगों के रिकॉर्ड होते हैं।
यह 3 भागों को अलग कर सकता है:

• payment_features - एक समूह जो वित्तीय आंदोलनों की विशेषता है;
• stock_features - एक समूह जो स्टॉक से जुड़े संकेतों को दर्शाता है;
• email_features - एक समूह जो एक विशेष रूप से किसी विशेष व्यक्ति के ईमेल के बारे में जानकारी को दर्शाता है।

बेशक, एक लक्ष्य चर भी है जो इंगित करता है कि क्या व्यक्ति को धोखाधड़ी ( 'पोई' का संकेत ) पर संदेह है ।

हमारा डेटा डाउनलोड करें और उनके साथ काम करना शुरू करें:

import pickle with open("final_project/enron_dataset.pkl", "rb") as data_file: data_dict = pickle.load(data_file) 

उसके बाद, हम डेटा के साथ अधिक सुविधाजनक कार्य के लिए डेटा पंडित डेटाफ़ंड में पंडित सेट करें।

 import pandas as pd import warnings warnings.filterwarnings('ignore') source_df = pd.DataFrame.from_dict(data_dict, orient = 'index') source_df.drop('TOTAL',inplace=True) 

हम पहले संकेतित प्रकारों के अनुसार संकेतों को समूहित करते हैं। यह बाद में डेटा के साथ काम को सुविधाजनक बनाना चाहिए:

 payments_features = ['salary', 'bonus', 'long_term_incentive', 'deferred_income', 'deferral_payments', 'loan_advances', 'other', 'expenses', 'director_fees', 'total_payments'] stock_features = ['exercised_stock_options', 'restricted_stock', 'restricted_stock_deferred','total_stock_value'] email_features = ['to_messages', 'from_poi_to_this_person', 'from_messages', 'from_this_person_to_poi', 'shared_receipt_with_poi'] target_field = 'poi' 

वित्तीय डेटा

इस डेटासेट में एक NaN ज्ञात है, और यह डेटा में सामान्य अंतर को व्यक्त करता है। दूसरे शब्दों में, डेटा फ्रेम में किसी विशेष लाइन से जुड़े किसी विशेष विशेषता पर डेटासेट के लेखक को कोई जानकारी नहीं मिल सकती है। परिणामस्वरूप, हम मान सकते हैं कि NaN 0 है, क्योंकि किसी विशेष गुण के बारे में कोई जानकारी नहीं है।

 payments = source_df[payments_features] payments = payments.replace('NaN', 0) 

डेटा सत्यापन

डेटासेट में अंतर्निहित मूल पीडीएफ के साथ तुलना करने पर, यह पता चला कि डेटा थोड़ा विकृत है, क्योंकि भुगतान डेटा फ़्रेम में सभी लाइनों के लिए नहीं , कुल_ भुगतान फ़ील्ड इस व्यक्ति के सभी वित्तीय लेनदेन का योग है। आप इसे इस प्रकार सत्यापित कर सकते हैं:

 errors = payments[payments[payments_features[:-1]].sum(axis='columns') != payments['total_payments']] errors.head() 

हम देखते हैं कि BELFER ROBERT और BHATNAGAR SANJAY के पास गलत भुगतान राशि है।

आप इस त्रुटि को डेटा लाइनों में बाईं या दाईं ओर ले जाकर और फिर से सभी भुगतानों का योग गिनकर ठीक कर सकते हैं:

 import numpy as np shifted_values = payments.loc['BELFER ROBERT', payments_features[1:]].values expected_payments = shifted_values.sum() shifted_values = np.append(shifted_values, expected_payments) payments.loc['BELFER ROBERT', payments_features] = shifted_values shifted_values = payments.loc['BHATNAGAR SANJAY', payments_features[:-1]].values payments.loc['BHATNAGAR SANJAY', payments_features] = np.insert(shifted_values, 0, 0) 

स्टॉक डेटा

 stocks = source_df[stock_features] stocks = stocks.replace('NaN', 0) 

इस मामले में एक सत्यापन जाँच भी करें:

 errors = stocks[stocks[stock_features[:-1]].sum(axis='columns') != stocks['total_stock_value']] errors.head() 

हम इसी तरह शेयरों में त्रुटि को ठीक करेंगे:

 shifted_values = stocks.loc['BELFER ROBERT', stock_features[1:]].values expected_payments = shifted_values.sum() shifted_values = np.append(shifted_values, expected_payments) stocks.loc['BELFER ROBERT', stock_features] = shifted_values shifted_values = stocks.loc['BHATNAGAR SANJAY', stock_features[:-1]].values stocks.loc['BHATNAGAR SANJAY', stock_features] = np.insert(shifted_values, 0, shifted_values[-1]) 

ईमेल पत्राचार

अगर इन वित्त या स्टॉक के लिए NaN 0 के बराबर था, और यह इन समूहों में से प्रत्येक के लिए अंतिम परिणाम में फिट होता है, तो ईमेल के मामले में NaN कुछ डिफ़ॉल्ट मान के साथ बदलने के लिए अधिक उचित है। ऐसा करने के लिए, आप Imputer का उपयोग कर सकते हैं:

 from sklearn.impute import SimpleImputer imp = SimpleImputer() 

उसी समय, हम प्रत्येक श्रेणी के लिए डिफ़ॉल्ट मान पर विचार करेंगे (चाहे हम धोखाधड़ी के किसी व्यक्ति पर संदेह करें):

 target = source_df[target_field] email_data = source_df[email_features] email_data = pd.concat([email_data, target], axis=1) email_data_poi = email_data[email_data[target_field]][email_features] email_data_nonpoi = email_data[email_data[target_field] == False][email_features] email_data_poi[email_features] = imp.fit_transform(email_data_poi) email_data_nonpoi[email_features] = imp.fit_transform(email_data_nonpoi) email_data = email_data_poi.append(email_data_nonpoi) 

सुधार के बाद अंतिम डेटासेट:

 df = payments.join(stocks) df = df.join(email_data) df = df.astype(float) 

उत्सर्जन

इस चरण के अंतिम चरण में, हम सभी आउटलेर्स को हटा देंगे, जो प्रशिक्षण को विकृत कर सकते हैं। इसी समय, सवाल हमेशा उठता है: हम नमूना से कितना डेटा निकाल सकते हैं और अभी भी एक प्रशिक्षित मॉडल के रूप में नहीं खो सकते हैं? मैंने यूडीसिटी पर एमएल (मशीन लर्निंग) पाठ्यक्रम में व्याख्याताओं में से एक की सलाह का पालन किया - "10 निकालें और फिर से उत्सर्जन की जांच करें।"

 first_quartile = df.quantile(q=0.25) third_quartile = df.quantile(q=0.75) IQR = third_quartile - first_quartile outliers = df[(df > (third_quartile + 1.5 * IQR)) | (df < (first_quartile - 1.5 * IQR))].count(axis=1) outliers.sort_values(axis=0, ascending=False, inplace=True) outliers = outliers.head(10) outliers 

उसी समय, हम उन रिकॉर्ड्स को नहीं हटाएंगे जो आउटलेर हैं और धोखाधड़ी का संदेह है। कारण यह है कि इस तरह के डेटा के साथ केवल 18 पंक्तियाँ हैं, और हम उन्हें बलिदान नहीं कर सकते, क्योंकि इससे प्रशिक्षण के उदाहरणों की कमी हो सकती है। परिणामस्वरूप, हम केवल उन लोगों को हटा देते हैं जिन्हें धोखाधड़ी का संदेह नहीं है, लेकिन एक ही समय में बड़ी संख्या में संकेत हैं जिनके द्वारा उत्सर्जन देखा गया है:

 target_for_outliers = target.loc[outliers.index] outliers = pd.concat([outliers, target_for_outliers], axis=1) non_poi_outliers = outliers[np.logical_not(outliers.poi)] df.drop(non_poi_outliers.index, inplace=True) 

अंतिम मन में लाना

हम अपना डेटा सामान्य करते हैं:

 from sklearn.preprocessing import scale df[df.columns] = scale(df) 

लक्ष्य चर को संगत दृश्य पर लक्षित करें:

 target.drop(non_poi_outliers.index, inplace=True) target = target.map({True: 1, False: 0}) target.value_counts() 

नतीजतन, 18 संदिग्ध और 121 जो संदेह के दायरे में नहीं आए।

फ़ीचर चयन

किसी भी मॉडल को सीखने से पहले शायद सबसे महत्वपूर्ण बिंदुओं में से एक सबसे महत्वपूर्ण विशेषताओं का चयन है।

मल्टीकोलिनरिटी टेस्ट

 import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline sns.set(style="whitegrid") corr = df.corr() * 100 # Select upper triangle of correlation matrix mask = np.zeros_like(corr, dtype=np.bool) mask[np.triu_indices_from(mask)] = True # Set up the matplotlib figure f, ax = plt.subplots(figsize=(15, 11)) # Generate a custom diverging colormap cmap = sns.diverging_palette(220, 10) # Draw the heatmap with the mask and correct aspect ratio sns.heatmap(corr, mask=mask, cmap=cmap, center=0, linewidths=1, cbar_kws={"shrink": .7}, annot=True, fmt=".2f") 

जैसा कि आप छवि से देख सकते हैं, हमारा 'लोन_एडवांस' और 'टोटल_पेमेंट्स' के साथ-साथ 'टोटल_स्टॉक_वल्यू' और 'प्रतिबंधित_स्टॉक' के बीच एक स्पष्ट संबंध है। जैसा कि पहले उल्लेख किया गया है, 'Total_payments' और 'total_stock_value' केवल एक विशेष समूह के सभी संकेतकों को जोड़ने का परिणाम है। इसलिए, उन्हें हटाया जा सकता है:

 df.drop(columns=['total_payments', 'total_stock_value'], inplace=True) 

नई विशेषताओं का निर्माण

यह भी धारणा है कि संदिग्धों ने उन कर्मचारियों की तुलना में अधिक बार अपने साथियों को लिखा था जो इसमें शामिल नहीं थे। और परिणामस्वरूप, ऐसे संदेशों का अनुपात आम कर्मचारियों के लिए संदेशों के अनुपात से अधिक होना चाहिए। इस कथन के आधार पर, आप नए संकेत बना सकते हैं जो संदिग्धों से संबंधित आवक / जावक के प्रतिशत को दर्शाते हैं:

 df['ratio_of_poi_mail'] = df['from_poi_to_this_person']/df['to_messages'] df['ratio_of_mail_to_poi'] = df['from_this_person_to_poi']/df['from_messages'] 

अनावश्यक संकेतों की जांच करना

एमएल से जुड़े लोगों के टूलकिट में, सबसे महत्वपूर्ण विशेषताओं (SelectKBest, SelectPercentile, VarianceThreshold, आदि) के चयन के लिए कई उत्कृष्ट उपकरण हैं। इस मामले में, RFECV का उपयोग किया जाएगा, क्योंकि इसमें क्रॉस-सत्यापन शामिल है, जो आपको सबसे महत्वपूर्ण विशेषताओं की गणना करने और नमूने के सभी सबसेट पर उन्हें जांचने की अनुमति देता है:

 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(df, target, test_size=0.2, random_state=42) 

 from sklearn.feature_selection import RFECV from sklearn.ensemble import RandomForestClassifier forest = RandomForestClassifier(random_state=42) rfecv = RFECV(estimator=forest, cv=5, scoring='accuracy') rfecv = rfecv.fit(X_train, y_train) plt.figure() plt.xlabel("Number of features selected") plt.ylabel("Cross validation score of number of selected features") plt.plot(range(1, len(rfecv.grid_scores_) + 1), rfecv.grid_scores_, '--o') indices = rfecv.get_support() columns = X_train.columns[indices] print('The most important columns are {}'.format(','.join(columns))) 

जैसा कि आप देख सकते हैं, RandomForestClassifier ने गणना की कि 18 विशेषताओं में से केवल 7 ही मायने रखती है। बाकी का उपयोग करने से मॉडल की सटीकता कम हो जाती है।

 The most important columns are bonus, deferred_income, other, exercised_stock_options, shared_receipt_with_poi, ratio_of_poi_mail, ratio_of_mail_to_poi 

इन 7 विशेषताओं का उपयोग भविष्य में मॉडल को सरल बनाने और पुनः धारण करने के जोखिम को कम करने के लिए किया जाएगा:

• बोनस
• deferred_income
• अन्य
• exercised_stock_options
• shared_receipt_with_poi
• ratio_of_poi_mail
• ratio_of_mail_to_poi

भविष्य के मॉडल के प्रशिक्षण के लिए प्रशिक्षण और परीक्षण के नमूनों की संरचना बदलें:

 X_train = X_train[columns] X_test = X_test[columns] 

यह एनरॉन डेटासेट के उपयोग को एमएल में एक वर्गीकरण कार्य के उदाहरण के रूप में वर्णित करने वाले पहले भाग का अंत है। उडनेस पर इंट्रोडक्शन टू मशीन लर्निंग कोर्स की सामग्रियों के आधार पर। एक अजगर नोटबुक भी है जो क्रियाओं के पूरे अनुक्रम को दर्शाती है।

दूसरा भाग यहाँ है