अपने फ्लैट शिकार के लिए मशीन लर्निंग। भाग २

क्या आपने अपने फ्लैट की कीमत के लिए निकटतम मेट्रो के प्रभाव के बारे में सोचा है?
आपके अपार्टमेंट के आसपास कई किंडरगार्टन के बारे में क्या? क्या आप भू-स्थानिक डेटा की दुनिया में छाने के लिए तैयार हैं?

आखिर क्या है?

पिछले भाग में , हमारे पास कुछ डेटा था और येकातेरिनबर्ग के एक रियल एस्टेट मार्केट पर एक अच्छा पर्याप्त ऑफ़र खोजने की कोशिश की।

हम उस बिंदु पर आ गए थे जब हमारे पास 73% के पास क्रॉस-वैलिडेशन पर सटीकता थी। हालाँकि, हर सिक्के के 2 पहलू होते हैं। और 73% सटीकता यह 27% त्रुटि है। हम इसे कम कैसे बना सकते हैं? अगला कदम क्या है?

स्थानिक डेटा मदद करने के लिए आ रहा है

पर्यावरण से अधिक डेटा प्राप्त करने के बारे में क्या? हम भू-संदर्भ और कुछ स्थानिक डेटा का उपयोग कर सकते हैं।

शायद ही लोग अपना पूरा जीवन घर पर बिताते हैं। कभी-कभी वे दुकानों पर जाते हैं, बच्चों को डेकेयर से लेते हैं। उनके बच्चे बड़े होकर स्कूल, विश्वविद्यालय आदि में जाते हैं।

या ... कभी-कभी उन्हें चिकित्सा सहायता की आवश्यकता होती है और वे अस्पताल की तलाश में रहते हैं। और एक बहुत महत्वपूर्ण बात सार्वजनिक परिवहन है, मेट्रो कम से कम। दूसरे शब्दों में, वहाँ कई चीजें हैं, जो मूल्य निर्धारण पर प्रभाव डालती हैं।

मैं आपको उनकी एक सूची दिखाता हूं:

• सार्वजनिक परिवहन ठप
• दुकानें
• किंडरगार्टन
• अस्पताल / चिकित्सा संस्थान
• शैक्षिक संस्थान
• मेट्रो

नए डेटा के लिए विज़ुअलाइज़ेशन

से वह जानकारी प्राप्त करने के बाद विभिन्न स्रोतों , मैंने एक दृश्य बनाया।

नक्शे पर कुछ बिंदु हैं येक ऐर्टिनबर्ग का सबसे प्रतिष्ठित (और महंगा) जिला।

• आर एड पॉइंट - फ्लैट
• ओ भाग गया - रुक जाता है
• Y ellow - दुकानें
• जी रेन - किंडरगार्टन
• बी ल्यू - शिक्षा
• मैं ndigo - चिकित्सा
• वी ॉयलेट - मेट्रो

हाँ, एक इंद्रधनुष यहाँ है।

अवलोकन

अब हमारे पास एक डेटासेट है जो जियोडेटा से घिरा है और इसमें कुछ नई जानकारी है

df.head(10) 

 df.describe() 

एक अच्छा पुराना मॉडल

पहले की तरह ही प्रयास करें

 y = df.cost X = df.drop(columns=['cost']) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2,random_state=42) 

फिर हम अपने मॉडल को फिर से प्रशिक्षित करते हैं, अपनी उंगलियों को पार करते हैं और फिर से फ्लैट की कीमत का अनुमान लगाने की कोशिश करते हैं।

 from sklearn.linear_model import LinearRegression regressor = LinearRegression() model = regressor.fit(X_train, y_train) do_cross_validation(X_test, y_test, model) 

हम्म ... यह 73% सटीकता के साथ पिछले परिणाम की तुलना में बेहतर दिखता है।
व्याख्या की कोशिश के बारे में क्या? हमारे पिछले मॉडल में फ्लैट कीमत को समझाने की काफी अच्छी क्षमता थी।

 estimate_model(regressor) 

ओह ... हमारा नया मॉडल पुरानी विशेषताओं के साथ अच्छा काम करता है, लेकिन नए लोगों के साथ व्यवहार अजीब लगता है।

उदाहरण के लिए, शैक्षिक या चिकित्सा संस्थानों की बड़ी संख्या फ्लैट की कीमत में कमी की ओर ले जाती है। तदनुसार, पास के फ्लैट की संख्या एक समान स्थिति है और इसे फ्लैट की कीमत में अतिरिक्त योगदान देना चाहिए।
नया मॉडल अधिक सटीक है, लेकिन यह वास्तविक जीवन के साथ फिट नहीं है।

कुछ टूट गया है

आइए विचार करें कि क्या हुआ।

सबसे पहले - मैं आपको याद दिलाना चाहता हूं कि हमारे रैखिक प्रतिगमन की प्रमुख विशेषता है ... erm ... रैखिकता। हां, कैप्टन ओबरी यहां हैं।

यदि आपका डेटा एक विचार के साथ संगत है "बड़ा / पट्टे X बड़ा है / पट्टे Y है" - रैखिक प्रतिगमन एक अच्छा उपकरण होगा। लेकिन जियोडाटा हमारी अपेक्षा से अधिक जटिल है।

उदाहरण के लिए:

• जब आपके फ्लैट के पास एक बस स्टॉप होता है तो यह अच्छा होता है, लेकिन अगर उनकी राशि लगभग 5 है, तो यह एक शोर वाली सड़क की ओर जाता है और लोग पास के फ्लैट को खरीदने से बचना चाहेंगे।
• यदि कोई विश्वविद्यालय है, तो उसकी कीमत पर अच्छा प्रभाव होना चाहिए,
  एक ही समय में आपके घर के पास छात्रों की भीड़ बहुत प्रसन्न नहीं होती है यदि आप बहुत ही मिलनसार व्यक्ति नहीं हैं।
• आपके घर के पास मेट्रो अच्छी है, लेकिन अगर आप एक घंटे पैदल चलकर रहते हैं
  निकटतम मेट्रो से - इसका कोई मतलब नहीं होना चाहिए।

जैसा कि आप देखते हैं - यह कई कारकों और दृष्टिकोणों पर निर्भर करता है। और हमारे जियोडेटा की प्रकृति रैखिक नहीं है, हम उनके प्रभाव को अतिरिक्त नहीं कर सकते हैं।
इसी समय, विचित्र गुणांक वाले मॉडल पिछले एक की तुलना में बेहतर क्यों काम करते हैं?

 plot.figure(figsize=(10,10)) corr = df.corr()*100.0 sns.heatmap(corr[['cost']], cmap= sns.diverging_palette(220, 10), center=0, linewidths=1, cbar_kws={"shrink": .7}, annot=True, fmt=".2f") 

यह दिलचस्प लग रहा है। हमने पिछले भाग में इसी तरह की तस्वीर देखी है।
निकटतम मेट्रो और कीमत के बीच की दूरी के बीच एक नकारात्मक सहसंबंध है। और इस कारक का कुछ पुराने लोगों की तुलना में सटीकता पर प्रभाव पड़ता है।

इस बीच , हमारा मॉडल गड़बड़ है और एकत्रित डेटा और लक्ष्य चर के बीच निर्भरता नहीं देखता है। रैखिक प्रतिगमन की सादगी की अपनी सीमाएं हैं।

राजा मर चुका है, लंबे समय तक राजा रहो!

और अगर एक रैखिक प्रतिगमन हमारे मामले के लिए उपयुक्त नहीं है, तो क्या बेहतर हो सकता है? यदि केवल हमारा मॉडल "होशियार" हो सकता है ...

सौभाग्य से, हमारे पास एक दृष्टिकोण है जो इसके कारण बेहतर होना चाहिए ... लचीला और एक अंतर्निहित तंत्र है "यदि ऐसा है तो ऐसा करें"।

निर्णय वृक्ष दृश्य पर दिखाई देता है।

 from sklearn.tree import DecisionTreeRegressor A decision tree can have a different depth, usually, it works well when depth is 3 and bigger. And the parameter of max depth has the biggest influence on the result. Let's do some code for checking depth from 3 to 32 data = [] for x in range(3,32): regressor = DecisionTreeRegressor(max_depth=x,random_state=42) model = regressor.fit(X_train, y_train) accuracy = do_cross_validation(X, y, model) data.append({'max_depth':x,'accuracy':accuracy}) data = pd.DataFrame(data) ax = sns.lineplot(x="max_depth", y="accuracy", data=data) max_result = data.loc[data['accuracy'].idxmax()] ax.set_title(f'Max accuracy-{max_result.accuracy}\nDepth {max_result.max_depth} ') 

खैर ... एक स्थिति के लिए जब एम एक पेड़ का Ax_depth 8 के बराबर है जिसकी सटीकता 77 से ऊपर है।
और यह एक अच्छी उपलब्धि होगी अगर हमने उस दृष्टिकोण की सीमाओं के बारे में नहीं सोचा। यह कैसे काम करेगा, इस पर एक नजर डालते हैं M ax_depht = 2

 from IPython.core.display import Image, SVG from sklearn.tree import export_graphviz from graphviz import Source 2_level_regressor = DecisionTreeRegressor(max_depth=2, random_state=42) model = 2_level_regressor.fit(X_train, y_train) graph = Source(export_graphviz(model, out_file=None , feature_names=X.columns , filled = True)) SVG(graph.pipe(format='svg')) 

इस तस्वीर पर, हम देख सकते हैं कि भविष्यवाणी के केवल 4 संस्करण हैं। जब आप DecisionTreeRegressor का उपयोग करते हैं, तो यह रैखिक प्रतिगमन की तुलना में अलग तरह से काम करता है। बस अलग तरह से। यह कारकों (गुणांक) के योगदान का उपयोग नहीं करता है, इसके बजाय DecisionTreeRegressor "संभावना" का उपयोग करता है। और एक फ्लैट की कीमत भी वैसी ही होगी, जैसा कि पूर्वानुमानित फ्लैट के समान है।
हम उस पेड़ के साथ अपनी कीमत का अनुमान लगाकर दिखा सकते हैं।

 y = two_level_regressor.predict(X_test) errors = pd.DataFrame(data=y,columns=['errors']) f, ax = plot.subplots(figsize=(12, 12)) sns.countplot(x="errors", data=errors) 

और आपकी हर भविष्यवाणी इनमें से किसी एक मूल्य के साथ मेल खाएगी। और जब हम max_depth = 8 का उपयोग कर रहे हैं, तो हम 2000 से अधिक फ्लैटों के लिए 256 से अधिक विभिन्न विकल्पों की अपेक्षा नहीं कर सकते हैं। शायद यह वर्गीकरण के मुद्दों के लिए अच्छा है, लेकिन यह हमारे मामले के लिए पर्याप्त लचीला नहीं है।

भीड़ की बुद्धि

यदि आप विश्व कप के फाइनल पर स्कोर की भविष्यवाणी करने की कोशिश करते हैं - एक बड़ी संभावना है कि आपसे गलती होगी। उसी समय, यदि आप चैम्पियनशिप पर सभी न्यायाधीशों से राय मांगते हैं - तो आपके पास अनुमान लगाने के लिए बेहतर अवसर होंगे। यदि आप स्वतंत्र विशेषज्ञों, प्रशिक्षकों, न्यायाधीशों से पूछते हैं और फिर जवाब के साथ कुछ जादू करते हैं - तो आपकी संभावना काफी बढ़ जाएगी। राष्ट्रपति के चुनाव जैसा लगता है।

कई "आदिम" पेड़ों का पहनावा उनमें से प्रत्येक से अधिक दे सकता है। और रांडो mForestRegressor है एक उपकरण जो हम उपयोग करेंगे

सबसे पहले, आइए बुनियादी परमानंदों पर विचार करें - मॉडल में max_depth , max_features और पेड़ों की संख्या ।

पेड़ों की संख्या

"कितने पेड़ एक यादृच्छिक वन में?" सबसे अच्छा विकल्प 128 पेड़ होंगे । पेड़ों की संख्या में और वृद्धि से सटीकता में महत्वपूर्ण सुधार नहीं होता है, लेकिन प्रशिक्षण के लिए समय बढ़ता है।

सुविधाओं की अधिकतम संख्या

अभी हमारे मॉडल में 12 विशेषताएं हैं। उनमें से आधे पुराने हैं जो कि फ्लैट की सुविधाओं से संबंधित हैं, अन्य भू-संदर्भ से संबंधित हैं। इसलिए मैंने उनमें से प्रत्येक के लिए एक मौका देने का फैसला किया। इसे एक पेड़ के लिए 6 विशेषताएं होने दें।

एक पेड़ की अधिकतम गहराई

उस पैरामीटर के लिए, हम एक सीखने की अवस्था का विश्लेषण कर सकते हैं।

 from sklearn.ensemble import RandomForestRegressor data = [] for x in range(1,32): regressor = RandomForestRegressor(random_state=42, max_depth=x, n_estimators=128,max_features=6)model = regressor.fit(X_train, y_train)accuracy = do_cross_validation(X, y, model) data.append({'max_depth':x,'accuracy':accuracy}) data = pd.DataFrame(data) f, ax = plot.subplots(figsize=(10, 10)) sns.lineplot(x="max_depth", y="accuracy", data=data) max_result = data.loc[data['accuracy'].idxmax()] ax.set_title(f'Max accuracy-{max_result.accuracy}\nDepth {max_result.max_depth} ')  from sklearn.ensemble import RandomForestRegressor data = [] for x in range(1,32): regressor = RandomForestRegressor(random_state=42, max_depth=x, n_estimators=128,max_features=6)model = regressor.fit(X_train, y_train)accuracy = do_cross_validation(X, y, model) data.append({'max_depth':x,'accuracy':accuracy}) data = pd.DataFrame(data) f, ax = plot.subplots(figsize=(10, 10)) sns.lineplot(x="max_depth", y="accuracy", data=data) max_result = data.loc[data['accuracy'].idxmax()] ax.set_title(f'Max accuracy-{max_result.accuracy}\nDepth {max_result.max_depth} ')  from sklearn.ensemble import RandomForestRegressor data = [] for x in range(1,32): regressor = RandomForestRegressor(random_state=42, max_depth=x, n_estimators=128,max_features=6)model = regressor.fit(X_train, y_train)accuracy = do_cross_validation(X, y, model) data.append({'max_depth':x,'accuracy':accuracy}) data = pd.DataFrame(data) f, ax = plot.subplots(figsize=(10, 10)) sns.lineplot(x="max_depth", y="accuracy", data=data) max_result = data.loc[data['accuracy'].idxmax()] ax.set_title(f'Max accuracy-{max_result.accuracy}\nDepth {max_result.max_depth} ') 

वाह ... 86% से अधिक सटीकता पर एक डिजाइन पेड़ पर max_depth = 16 के खिलाफ 77%। यह आश्चर्यजनक लग रहा है, है ना?

निष्कर्ष

खैर ... अब हमारे पास पिछले वाले की तुलना में बेहतर परिणाम है, 86% फिनिश लाइन के पास है। जाँच के लिए अंतिम चरण - फीचर महत्व को देखते हैं। क्या जियोडेटा ने हमारे मॉडल को कोई लाभ दिया है?

 feat_importances = model.feature_importances_ feat_importances = pd.Series(feat_importances, index=X.columns) feat_importances.nlargest(5).plot(kind='barh') 

कुछ पुरानी विशेषताएं अभी भी परिणाम पर प्रभावित हुई हैं। साथ ही निकटतम मेट्रो और किंडरगार्टन की दूरी भी प्रभावित हुई है। और यह तर्कसंगत लगता है।

बिना किसी संदेह के, जियोडेटा ने हमें अपने मॉडल को बेहतर बनाने में मदद की।

पढ़ने के लिए धन्यवाद!

पुनश्च

हमारी यात्रा अभी समाप्त नहीं हुई है। 86% सटीकता वास्तविक डेटा के लिए एक जबरदस्त परिणाम है। इस बीच, 14% और 10% औसत त्रुटि के बीच एक छोटी खाई है, जिसकी हम उम्मीद करते हैं। हमारी कहानी के अगले अध्याय में, हम इस बाधा को दूर करने या कम से कम इस त्रुटि को कम करने का प्रयास करेंगे।

आईपीथॉन-नोटबुक है