बोस्टन ग्लोब पर डुगान अरनेट द्वारा फोटो

क्या आप अभी भी एक नए फ्लैट की तलाश कर रहे हैं? आखिरी प्रयास करने के लिए तैयार हैं? यदि हां - तो मुझे फॉलो करें और मैं आपको दिखाता हूं कि फिनिश लाइन तक कैसे पहुंचा जाए।

संक्षिप्त परिचय और संदर्भ

यह चक्र का तीसरा हिस्सा है जो यह समझाने के लिए निर्देशित है कि आप अचल संपत्ति बाजार पर इष्टतम फ्लैट कैसे पा सकते हैं। कुछ शब्दों में मुख्य विचार - येकातेरिनबर्ग में अपार्टमेंट्स के बीच सबसे अच्छा प्रस्ताव पाते हैं, जहां मैं पहले रहता था। लेकिन मुझे लगता है कि एक ही विचार को दूसरे शहर के संदर्भ में माना जा सकता है।

यदि आपने पिछले भागों को नहीं पढ़ा है, तो उन्हें Part1 और Part2 पढ़ना अच्छा रहेगा।

इसके अलावा, आप वहाँ पर Ipython- नोटबुक्स पा सकते हैं।
यह हिस्सा पिछले वाले की तुलना में बहुत छोटा था, लेकिन शैतान विवरण में है।

परिणाम

सभी कार्यों के परिणामस्वरूप, हमें एक एमएल मॉडल (रैंडम फ़ॉरेस्ट) मिला, जो काफी अच्छी तरह से काम करता है। इतना अच्छा नहीं है जैसा हमें उम्मीद थी (स्कोर 87% से ऊपर है), लेकिन वास्तविक आंकड़ों के लिए, यह काफी अच्छा है। और ... मुझे ईमानदार होने दें, परिणाम के बारे में विचारों ने मुझ पर एक अजीब प्रभाव डाला। मैं अधिक स्कोर चाहता था, परिणाम के बीच की खाई जो अपेक्षित थी और वास्तविक भविष्यवाणी 3% से छोटी थी। लालच के साथ मिश्रित आशावाद मेरे सिर पर चला गया है

मुझे और चाहिए सोना शुद्धता

यह व्यापक रूप से जाना जाता है, अगर आप कुछ सुधार करना चाहते हैं तो संभवतः विपरीत दृष्टिकोण होंगे। आमतौर पर, यह बीच की पसंद की तरह दिखता है:

• विकास बनाम क्रांति
• मात्रा बनाम गुणवत्ता
• व्यापक बनाम गहन

और बीच में घोड़ों को बदलने की इच्छाशक्ति की कमी के कारण, मैंने कुछ नई सुविधाओं को जोड़ने के साथ आरएफ (रैंडम फ़ॉरेस्ट) का उपयोग करने का निर्णय लिया।

यह एक विचार की तरह लग रहा था, "स्कोर को बेहतर बनाने के लिए हमें" और अधिक सुविधाओं की आवश्यकता है "। कम से कम मैंने यही सोचा था।

प्रति एस्परा विज्ञापन एस्ट्रा (सितारों के लिए कठिनाई के माध्यम से)

आइए संबंधित सुविधाओं के बारे में सोचने की कोशिश करें, जो एक फ्लैट की कीमत को प्रभावित कर सकती हैं। फ्लैट की विशेषताएं जैसे बालकनी या घर की उम्र और निकटतम मेट्रो / बस स्टेशन से दूरी जैसी भू-संबंधी विशेषताएं हैं। RF के साथ समान दृष्टिकोण के लिए आगे क्या हो सकता है?

विचार # 1। केंद्र की दूरी

हम देशांतर और अक्षांश (समतल निर्देशांक) का पुन: उपयोग कर सकते हैं। इस जानकारी के आधार पर हम शहर के केंद्र की दूरी को गिन सकते हैं। जिलों के लिए एक ही विचार का उपयोग किया गया था, हम केंद्र से दूर स्थित फ्लैट, यह सस्ता होना चाहिए। और लगता है क्या ... यह काम करता है! इतनी बड़ी वृद्धि (स्कोर का + 1% ) नहीं है, लेकिन यह कुछ भी नहीं से बेहतर है।

केवल एक समस्या है, एक ही विचार उन जिलों के लिए कोई मतलब नहीं है जो बहुत दूर हैं। यदि आप एक शहर के बाहर रहते थे, तो आप जान सकते थे कि कीमत के लिए अन्य नियम हैं।

यह व्याख्या के लिए आसान नहीं होगा यदि हम उस दृष्टिकोण को एक्सट्रपलेशन करते हैं।

विचार # 2। मेट्रो के पास

कीमत पर मेट्रो का महत्वपूर्ण प्रभाव है। खासतौर पर तब जब यह पैदल चलने के क्षेत्र में रखा गया हो। लेकिन "एक पैदल दूरी" का अर्थ स्पष्ट नहीं है। प्रत्येक व्यक्ति अलग-अलग तरीकों से उस पैरामीटर की व्याख्या कर सकता है। मैं मैन्युअल रूप से सीमा निर्धारित कर सकता हूं, लेकिन स्कोर में वृद्धि 0.2% से अधिक नहीं होगी

उसी समय, यह पिछले विचार से फ्लैट के साथ काम नहीं करता है। आसपास कोई मेट्रो नहीं है।

आइडिया # 3। बाजार की तर्कसंगतता और संतुलन

बाजार का संतुलन मांग और प्रस्ताव का एक संयोजन है। एडम स्मिथ ने इसके बारे में बात की। बेशक, बाजार बहुत अधिक हो सकता है। लेकिन सामान्य तौर पर, यह विचार अच्छी तरह से काम करता है। कम से कम उन घरों के लिए जो निर्माण की प्रक्रिया में हैं।

दूसरे शब्दों में - जितने अधिक प्रतिस्पर्धी होते हैं, उतनी ही कम संभावना होती है कि लोग आपके फ्लैट (समान होने की अन्य चीजें) खरीदें। और यह एक विरोध पैदा करता है - "अगर मेरे आसपास अन्य फ्लैटों को रखा जाता है तो मुझे अधिक खरीदार प्राप्त करने के लिए कीमत कम करने की आवश्यकता है"।

और यह एक काफी तार्किक निष्कर्ष की तरह लगता है, है ना?

इसलिए मैंने उनमें से प्रत्येक के पास, एक ही घर में और 200 मीटर के दायरे में सिमिलर फ्लैट्स को गिना। बेचने की तारीख के लिए उपाय किए गए थे। आप कौन सा परिणाम लेने की उम्मीद करेंगे? क्रॉस-मान्यता पर केवल 0.1% । दुख की बात है लेकिन सच है।

पुनर्विचार

क्विटिंग इज़ ... कभी-कभी दो कदम आगे ले जाने के लिए एक कदम पीछे लेने के लिए।

- एक अज्ञात बुद्धिमान व्यक्ति

ठीक है, एक सिर पर हमला काम नहीं करता है। आइए इस स्थिति पर दूसरे कोण से विचार करें।

मान लीजिए कि आप एक ऐसे व्यक्ति हैं, जो शोर-शराबे वाले शहर से दूर एक समीप की नदी खरीदना चाहते हैं। आपके पास विज्ञापन के तीन संस्करण हैं जो एक दूसरे के समान हैं और समान (कम या ज्यादा) कीमत। औपचारिक मैट्रिक्स जो फ्लैट का वर्णन करते हैं, आपको पर्यावरण के बारे में कुछ भी नहीं देता है, वे केवल एक स्क्रीन पर मैट्रिक्स हैं। लेकिन कुछ महत्वपूर्ण है।

एक फ्लैट का विवरण एक भयानक अवसर है।

एक फ्लैट विवरण वह सब कुछ प्रदान कर सकता है जिसकी आपको आवश्यकता है। यह आपको फ्लैट के बारे में, पड़ोसियों के बारे में और उस विशिष्ट रहने की जगह से संबंधित अद्भुत अवसरों के बारे में बता सकता है। और कभी-कभी एक विवरण बोरिंग संख्याओं की तुलना में अधिक समझ में आता है।
लेकिन असल जिंदगी में हमारी उम्मीद से थोड़ा अलग है। मुझे दिखाओ कि क्या काम करेगा / नहीं करेगा और क्यों करेगा।

क्या काम नहीं करेगा और क्यों?

उम्मीदें - "वाह! मैं पाठ को वर्गीकृत करने और 'अच्छा' और 'खराब' फ्लैट खोजने की कोशिश कर सकता हूं। मैं उसी पद्धति का उपयोग करूंगा जो आमतौर पर भावना विश्लेषण के लिए उपयोग किया जाता है।"

हकीकत - "नहीं, तुम ऐसा नहीं करोगे। लोग अपने फ्लैट के खिलाफ कुछ भी बुरा नहीं लिखते हैं। एक असली या गलत व्यक्ति पर नज़र रखी जा सकती है।"

उम्मीदें - "ठीक है। फिर मैं पैटर्न खोजने और एक फ्लैट के लिए लक्षित दर्शकों को खोजने की कोशिश कर सकता हूं। उदाहरण के लिए, यह बुजुर्ग लोग या छात्र हो सकते हैं"।

वास्तविकता - "नहीं, आप ऐसा नहीं करेंगे। कभी-कभी एक विज्ञापन में विभिन्न आयु और सामाजिक समूहों के बारे में उल्लेख होता है, यह सिर्फ मार्केटिंग है"

शायद क्या काम करेगा और क्यों

कुछ कीवर्ड - ऐसे शब्द हैं जो फ्लैट से संबंधित विशिष्ट चीजों या क्षणों को इंगित करते हैं। उदाहरण के लिए, जब यह एक स्टूडियो है, तो कीमत कम होगी। सामान्य तौर पर, क्रियाएं बेकार हैं, लेकिन संज्ञा और क्रिया विशेषण अधिक संदर्भ दे सकते हैं।

सूचना का वैकल्पिक स्रोत - खाली या NaN-मानों को अधिक सही भरने के लिए विवरण का उपयोग करना। कभी-कभी विवरण में विज्ञापन की औपचारिक विशेषताओं की तुलना में अधिक जानकारी होती है।

मुझे यह संदेह है कि "बालकनी" जैसे आवश्यक क्षेत्रों को भरने के लिए मानव आलस्य पर आधारित नहीं है। विवरण में सब कुछ डाल एक अधिक बेहतर विचार की तरह लगता है

जानकारी प्राप्त करना

मैं tokenisation / lemmatization / stemming की विशिष्ट प्रक्रिया का वर्णन छोड़ देता हूं। इसके अलावा, मेरा मानना ​​है कि लेखक मुझसे बेहतर इसका वर्णन करने में सक्षम हैं।

हालाँकि मुझे लगता है कि वहाँ उपकरण का उल्लेख किया जाना चाहिए सुविधाओं को निकालने के लिए इस्तेमाल किया। संक्षेप में, ऐसा लगता है।

अलग करना-> भाषण के भाग से मेल खाना

विज्ञापन पाठ के पूर्व-प्रसंस्करण के बाद मुझे इन जैसे रूसी शब्दों का एक सेट मिला।

मूल पाठ को https://pastebin.com/Pxh8zVe3 रखा गया है

मैंने Word2Vec के दृष्टिकोण का उपयोग करने की कोशिश की, लेकिन फ्लैट्स और विज्ञापनों के लिए कोई विशेष शब्दकोश नहीं था, इसलिए सामान्य प्रेम अजीब लग रहा था

शब्दों के बीच की दूरी उम्मीदों के अनुकूल नहीं है

इसलिए मैंने इसे यथासंभव सरल रखा और डेटासेट के लिए कई नए कॉलम बनाने का फैसला किया

थोड़ी कम बातचीत, थोड़ी ज्यादा एक्शन

हमारे हाथ गंदे होने और कुछ व्यावहारिक काम करने के लिए समय। नई सुविधाओं का पता लगाएं। मूल्य पर प्रभाव से कई महत्वपूर्ण कारक अलग हो गए।

सकारात्मक प्रभाव

• फर्नीचर - कभी-कभी लोग एक बिस्तर, एक वॉशर और इतने पर छोड़ सकते हैं।
• लक्जरी - जकूज़ी, या एक विशेष इंटीरियर जैसी शानदार चीजों के साथ फ्लैट
• वीडियो-नियंत्रण - यह लोगों को सुरक्षित महसूस कराता है, अक्सर इसे लाभ के रूप में मानता है

नकारात्मक प्रभाव

• डॉर्म - हाँ, कभी-कभी यह डॉर्म में एक फ्लैट होता है। इतना लोकप्रिय नहीं है, लेकिन औसत फ्लैट की तुलना में काफी सस्ता है
• भीड़ - जब लोग अपने फ्लैट को बेचने के लिए दौड़ते हैं तो आमतौर पर वे कीमत कम करने के लिए तैयार होते हैं।
• स्टूडियो - जैसा कि मैंने पहले कहा था - वे अपने फ्लैट-एनालॉग्स की तुलना में सस्ता हैं।

चलो उन्हें कुछ सार्वभौमिक में इकट्ठा करते हैं

df3 = pd.read_csv('flats3.csv') positive_impact = ['', 'luxury',''] negative_impact = ['studio', 'rush','dorm'] geo_features = ['metro','num_of_stops_1km','num_of_shops_1km','num_of_kindergarden_1km', 'num_of_medical_1km','center_distance'] flat_features=['total_area', 'repair','balcony_y', 'walls_y','district_y', 'age_y'] competitors_features = ['distance_200m', 'same_house'] cols = ['cost'] cols+=flat_features cols+=geo_features cols+=competitors_features cols+=positive_impact cols+=negative_impact df3 = df3[cols] 

सामान्य प्रभाव

यह नकारात्मक और सकारात्मक विशेषताओं का एक संयोजन है। प्रारंभ में, प्रत्येक फ्लैट के लिए, यह 0. के बराबर होता है। उदाहरण के लिए, वीडियो-नियंत्रण वाले स्टूडियो में अभी भी सामान्य प्रभाव बराबर होगा 0 ( 1 [सकारात्मक] -1 [नकारात्मक] = 0 )

 df3['impact'] = 0 for i, row in df3.iterrows(): impact = 0 for positive in positive_impact: if row[positive]: impact+=1 for negative in negative_impact: if row[negative]: impact-=1 df3.at[i, 'impact'] = impact 

ठीक है, हमारे पास भविष्यवाणी के लिए 10% औसत त्रुटि के साथ एक डेटा, नई सुविधाएँ और पुराने लक्ष्य हैं। कुछ विशिष्ट ऑपरेशन करें जैसा हमने पहले किया था

 y = df3.cost X = df3.drop(columns=['cost']) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 

पुराना दृष्टिकोण (सुविधाओं का व्यापक विकास)

हम पुराने विचारों के आधार पर एक नया मॉडल बनाएंगे

 data = [] max_features = int(X.shape[1]/2) for x in range(1,20): regressor = RandomForestRegressor(verbose=0, n_estimators=128, max_features=max_features, max_depth=x, random_state=42) model = regressor.fit(X_train, y_train) score = do_cross_validation(X, y, model) data.append({'max_depth':x,'score':score}) data = pd.DataFrame(data) f, ax = plot.subplots(figsize=(10, 10)) sns.lineplot(x="max_depth", y="score", data=data) max_result = data.loc[data['score'].idxmax()] ax.set_title(f'Max score - {max_result.score}\nDepth {max_result.max_depth} ') 

और परिणाम थोड़ा ... अप्रत्याशित था।

92% भारी परिणाम है। मेरा मतलब है, यह कहते हुए कि मैं हैरान था एक ख़ामोश होगा।

लेकिन इसने इतना अच्छा काम क्यों किया? आइए एक नजर डालते हैं नए फीचर्स पर।

 regressor = RandomForestRegressor(random_state=42, max_depth=max_result.max_depth, n_estimators=128, max_features=max_features) rf3 = regressor.fit(X_train, y_train) feat_importances = pd.Series(rf3.feature_importances_, index=X.columns) feat_importances.nlargest(X.shape[1]).plot(kind='barh') 

हमारे मॉडल के लिए सभी सुविधाएँ महत्व

महत्व विशेषताओं के योगदान के बारे में जानकारी नहीं देता है (यह एक अलग कहानी है), यह केवल यह दिखा रहा है कि सक्रिय मॉडल एक या किसी अन्य सुविधा का उपयोग कैसे करता है। लेकिन वर्तमान स्थिति के लिए, यह जानकारीपूर्ण दिखता है। नई विशेषताओं में से कुछ पिछले वाले की तुलना में अधिक महत्वपूर्ण हैं, अन्य लगभग बेकार हैं।

नया दृष्टिकोण (डेटा के साथ गहन कार्य)

खैर ... फिनिश लाइन पार हो गई है, परिणाम प्राप्त हुआ है। क्या यह बेहतर हो सकता है?
संक्षिप्त उत्तर - "हाँ, यह हो सकता है"

• सबसे पहले, हम एक पेड़ की गहराई को कम कर सकते हैं। यह प्रशिक्षण और भविष्यवाणी के लिए भी एक छोटे से समय का नेतृत्व करेगा।
• दूसरा, हम भविष्यवाणी के स्कोर को थोड़ा बढ़ा सकते हैं।

दोनों क्षणों के लिए हम XGBoost का उपयोग करेंगे । कभी-कभी लोग अन्य बूस्टर जैसे लाइट जीबीएम या कैटबॉस्ट का उपयोग करना पसंद करते हैं, लेकिन मेरी विनम्र राय - पहला काफी अच्छा है जब आपके पास बहुत अधिक डेटा होता है, दूसरा एक बेहतर होता है यदि आप श्रेणीबद्ध चर के साथ काम करते हैं। और एक बोनस के रूप में - XGBoost बस तेज लगता है

 from xgboost import XGBRegressor,plot_importance data = [] for x in range(3,10): regressor = XGBRegressor(verbose=0, reg_lambda=10, n_estimators=1000, objective='reg:squarederror', max_depth=x, random_state=42) model = regressor.fit(X_train, y_train) score = do_cross_validation(X, y, model) data.append({'max_depth':x,'score':score}) data = pd.DataFrame(data) f, ax = plot.subplots(figsize=(10, 10)) sns.lineplot(x="max_depth", y="score", data=data) max_result = data.loc[data['score'].idxmax()] ax.set_title(f'Max score-{max_result.score}\nDepth {max_result.max_depth} ') 

परिणाम पिछले एक की तुलना में बेहतर है।

बेशक, यह रैंडम फ़ॉरेस्ट और XGBoost के बीच बड़ा अंतर नहीं है। और उनमें से प्रत्येक को भविष्यवाणी के साथ हमारी समस्या को हल करने के लिए एक अच्छे उपकरण के रूप में इस्तेमाल किया जा सकता है। यह आप पर निर्भर है।

निष्कर्ष

क्या परिणाम प्राप्त हुआ है? निश्चित रूप से हाँ।

समाधान वहाँ उपलब्ध है और मुफ्त में किसी का भी उपयोग किया जा सकता है। यदि आप इस दृष्टिकोण का उपयोग करके अपार्टमेंट के मूल्यांकन में रुचि रखते हैं, तो कृपया संकोच न करें और मुझसे संपर्क करें।

प्रोटोटाइप के रूप में इसे वहां रखा गया

पढ़ने के लिए धन्यवाद! ।