अचल संपत्ति की बिक्री का पूर्वानुमान। यैंडेक्स में व्याख्यान

मशीन लर्निंग प्रोजेक्ट्स में सफलता आमतौर पर न केवल विभिन्न पुस्तकालयों का उपयोग करने की क्षमता से जुड़ी होती है, बल्कि उस क्षेत्र की समझ के साथ भी होती है जहां से डेटा आता है। इस थीसिस का एक उत्कृष्ट चित्रण PIK डिजिटल डे प्रतियोगिता में एलेक्सी केयूचेंको, सर्गेई बेलोव, अलेक्जेंडर ड्रोबोटोव और एलेक्सी स्मिरनोव की टीम द्वारा प्रस्तावित समाधान था। उन्होंने दूसरा स्थान हासिल किया, और कुछ हफ़्ते के बाद उन्होंने अपनी भागीदारी और अगले यैंडेक्स एमएल प्रशिक्षण में निर्मित मॉडल के बारे में बात की।


एलेक्सी कयाचेंको:
- शुभ दोपहर! हम PIK डिजिटल डे प्रतियोगिता के बारे में बात करेंगे जिसमें हमने भाग लिया था। टीम के बारे में थोड़ा सा। हम में से चार थे। सभी पूरी तरह से अलग पृष्ठभूमि के साथ, विभिन्न क्षेत्रों से। वास्तव में, हम फाइनल में मिले थे। फाइनल से ठीक एक दिन पहले टीम गठित हुई। मैं प्रतियोगिता के पाठ्यक्रम, काम के संगठन के बारे में बात करूंगा। तब शेरोज़ा बाहर आएगा, वह डेटा के बारे में बताएगा, और साशा सबमिशन के बारे में बताएगा, काम का अंतिम कोर्स और हम लीडरबोर्ड के साथ कैसे चले गए।



प्रतियोगिता के बारे में संक्षेप में। कार्य बहुत लागू किया गया था। PIC ने अपार्टमेंट बिक्री पर डेटा प्रदान करके इस प्रतियोगिता का आयोजन किया। एक प्रशिक्षण डेटा सेट के रूप में मास्को और मॉस्को क्षेत्र में ढाई साल के लिए एक कहानी थी। प्रतियोगिता में दो चरण शामिल थे। यह एक ऑनलाइन चरण था, जहां प्रत्येक प्रतिभागी ने व्यक्तिगत रूप से अपना मॉडल बनाने की कोशिश की, और ऑफ़लाइन चरण, इतना लंबा नहीं, सुबह से शाम तक केवल एक दिन था। इसने ऑनलाइन मंच के नेताओं को मारा।



ऑनलाइन प्रतियोगिता के परिणामों के अनुसार, हमारे स्थान शीर्ष 10 में भी नहीं थे, और शीर्ष 20 में भी नहीं थे। हम 50+ स्थानों पर थे। बहुत अंत में, अर्थात्, ऑफलाइन चरण में, 43 टीमें थीं। एक व्यक्ति से मिलकर बहुत सी टीमें बनीं, हालांकि इसे एकजुट करना संभव था। लगभग एक तिहाई टीमों में एक से अधिक व्यक्ति थे। फाइनल में दो प्रतियोगिताएं हुईं। पहली प्रतियोगिता प्रतिबंधों के बिना एक मॉडल है। किसी भी एल्गोरिदम का उपयोग करना संभव था: गहरी सीखने, मशीन सीखने। समानांतर में, सबसे अच्छा रैखिक प्रतिगमन समाधान के लिए एक प्रतियोगिता आयोजित की गई थी। आयोजक ने माना कि रैखिक प्रतिगमन भी काफी लागू किया गया था, क्योंकि प्रतियोगिता खुद ही एक पूरे के रूप में लागू की गई थी। यही है, कार्य को खड़ा किया गया था - अपार्टमेंट की बिक्री की मात्रा की भविष्यवाणी करना आवश्यक था, जिसमें पिछले 2.5 वर्षों के विशेषताओं के साथ ऐतिहासिक डेटा था।

हमारी टीम ने प्रतिबंध के बिना सर्वश्रेष्ठ मॉडल के लिए प्रतियोगिता में दूसरा स्थान लिया और सर्वश्रेष्ठ प्रतिगमन के लिए प्रतियोगिता में पहला स्थान हासिल किया। दोहरा पुरस्कार।



मैं संगठन के सामान्य पाठ्यक्रम के बारे में कह सकता हूं कि फाइनल बहुत तनावपूर्ण, काफी तनावपूर्ण था। उदाहरण के लिए, हमारे जीत के फैसले को स्टॉप गेम से सिर्फ दो मिनट पहले अपलोड किया गया था। पिछले फैसले ने हमें, मेरी राय में, चौथे या पांचवें स्थान पर रखा। यही है, हमने बिना आराम किए, अंत तक काम किया। PIC ने सब कुछ बहुत अच्छी तरह से व्यवस्थित किया। इस तरह के टेबल थे, एक बरामदा भी था ताकि आप सड़क पर बैठ सकें, ताजी हवा में सांस ले सकें। भोजन, कॉफी, सब कुछ प्रदान किया गया था। चित्र दिखाता है कि हर कोई अपने समूहों में बैठा था, काम कर रहा था।

सर्गेई डेटा के बारे में अधिक बताएगा।

सर्गेई बेलोव:
- धन्यवाद। PIC ने हमें कई डेटा फाइलें प्रदान की हैं। दो मुख्य ट्रेन train.csv और test.csv हैं, जिसमें PIC द्वारा उत्पन्न लगभग 50 सुविधाएँ थीं। ट्रेन में लगभग 10 हजार लाइनें शामिल थीं, परीक्षण - 2 हजार की।



स्ट्रिंग ने क्या प्रदान किया? इसमें बिक्री डेटा था। यही है, मूल्य के रूप में (इस मामले में, लक्ष्य), हमारे पास एक विशेष इमारत पर औसतन अपार्टमेंट के लिए वर्ग मीटर की बिक्री थी। लगभग 10 हजार ऐसी लाइनें थीं। सेट में सुविधाएँ जो PIK ने स्वयं उत्पन्न की हैं उन्हें स्लाइड पर अनुमानित महत्व के साथ दिखाया गया है।

मुझे यहां विकास कंपनियों में अनुभव द्वारा मदद मिली थी। क्रेमलिन के लिए अपार्टमेंट की दूरी या परिवहन रिंग जैसी सुविधाएं, पार्किंग स्थान की संख्या - वे बिक्री को बहुत प्रभावित नहीं करते हैं। प्रभाव को वस्तु की श्रेणी, निष्क्रियता और, सबसे महत्वपूर्ण बात, वर्तमान में कार्यान्वयन में अपार्टमेंट की संख्या से प्रभावित किया गया है। PIC ने यह सुविधा उत्पन्न नहीं की है, लेकिन उन्होंने हमें तीन अतिरिक्त फाइलें प्रदान की हैं: flat.csv, status.csv और price.csv। और हमने फ्लैट.एससीवी पर एक नज़र डालने का फैसला किया, क्योंकि अपार्टमेंट की संख्या, उनकी स्थिति पर सिर्फ डेटा थे।



और अगर कोई आश्चर्य करता है कि हमारे निर्णय की सफलता के रूप में क्या किया गया है, तो यह एक निश्चित टीम काम है। इस प्रतियोगिता की शुरुआत से, हमने बहुत सामंजस्यपूर्ण ढंग से काम किया। हमने लगभग 20 मिनट में तुरंत चर्चा की कि हम क्या करेंगे। हम इस नतीजे पर पहुंचे कि पहली बात यह है कि आपको डेटा के साथ काम करने की आवश्यकता है क्योंकि कोई भी डेटा वैज्ञानिक समझता है कि डेटा में बहुत अधिक डेटा है और अक्सर जीत किसी विशेषता के कारण होती है जो टीम ने उत्पन्न की थी। डेटा के साथ काम करने के बाद, हमने मुख्य रूप से विभिन्न मॉडलों का उपयोग किया। हमने यह देखने का निर्णय लिया कि इन मॉडलों में से प्रत्येक में हमारी विशेषताएं क्या परिणाम देती हैं, और फिर हमने असीमित मॉडल और रैखिक प्रतिगमन मॉडल पर ध्यान केंद्रित किया।



हमने डेटा के साथ काम करना शुरू किया। सबसे पहले, हमने देखा कि ट्रेन सेट परीक्षण एक-दूसरे से कैसे संबंधित हैं, अर्थात्, इस डेटा के क्षेत्रों को प्रतिच्छेद करते हैं। हां, वे प्रतिच्छेद करते हैं: अपार्टमेंट की संख्या में, और छात्रावास में, और एक निश्चित औसत संख्या में भंडारों में।

रैखिक प्रतिगमन के लिए आगे, हमने कुछ परिवर्तन किए। यह एक घातांक के मानक लघुगणक की तरह है। उदाहरण के लिए, मध्य तल के मामले में, यह रैखिककरण के लिए उलटा गॉसियन परिवर्तन था। हमने यह भी देखा कि कभी-कभी समूहों में डेटा को अलग करना बेहतर होता है। यदि हम लेते हैं, उदाहरण के लिए, अपार्टमेंट से मेट्रो या उसके कमरे की दूरी, तो थोड़ा अलग बाजार हैं, और इस तरह के प्रत्येक समूह के लिए अलग-अलग मॉडल बनाना बेहतर है।

हमने flat.csv फ़ाइल से तीन सुविधाएँ उत्पन्न की हैं। उनमें से एक यहाँ प्रस्तुत है। यह देखा जा सकता है कि इस निर्वाह के अलावा, इसका काफी अच्छा रैखिक संबंध है। यह विशेषता क्या थी? यह उन अपार्टमेंटों की संख्या के अनुरूप है जो वर्तमान में कार्यान्वयन के अधीन हैं। और यह सुविधा कम मूल्यों पर बहुत अच्छी तरह से काम करती है। यही है, बिक्री में जितनी राशि है, उससे अधिक कोई अपार्टमेंट बेचा नहीं जा सकता है। लेकिन इन फाइलों में, वास्तव में, एक निश्चित मानव कारक को नीचे रखा गया था, क्योंकि वे अक्सर मनुष्यों द्वारा संकलित किए जाते हैं। हमने सीधे उन बिंदुओं को देखा, जिन्हें इस क्षेत्र से बाहर खटखटाया गया है, क्योंकि वे थोड़े गलत तरीके से बंद थे।

उदाहरण से सीखो-सीखो। GBR और रैंडम फ़ॉरेस्ट के बिना मॉडल के एक मॉडल ने RMSE 239 दिया, और इन तीन विशेषताओं के साथ - 184

साशा उन मॉडलों के बारे में बात करेगी जो हमने इस्तेमाल की थीं।

अलेक्जेंडर ड्रोबोटोव:
- हमारे दृष्टिकोण के बारे में कुछ शब्द। जैसा कि दोस्तों ने कहा, हम सभी अलग हैं, विभिन्न क्षेत्रों से आते हैं, अलग शिक्षा। और हमारे पास अलग-अलग दृष्टिकोण थे। अंतिम चरण में, लेसा ने Yandex से XGBoost का इस्तेमाल किया (सबसे अधिक संभावना है, मेरा मतलब है कैटबॉस्ट - एड।), सरोजोहा - स्किटिट-लर्न लाइब्रेरी, आई - लाइट जीबीएम और रैखिक प्रतिगमन।



XGBoost मॉडल, रैखिक प्रतिगमन और पैगंबर तीन विकल्प हैं जिन्होंने हमें सर्वश्रेष्ठ स्कोर दिखाया। रैखिक प्रतिगमन के लिए, हमारे पास दो मॉडलों का सम्मिश्रण था, और सामान्य प्रतियोगिता के लिए, XGBoost, और हमने थोड़ा रैखिक प्रतिगमन जोड़ा।





यहां निर्णय और टीम के काम भेजने की प्रक्रिया है। बाईं ओर ग्राफ में, एक्स अक्ष सार्वजनिक आरएमएसई है, मीट्रिक मूल्य है, और वाई अक्ष निजी स्कोर, आरएमएसई है। हमने इन पदों के बारे में शुरुआत की। यहां प्रतिभागियों में से प्रत्येक के व्यक्तिगत मॉडल हैं। फिर, विचारों के आदान-प्रदान और नई सुविधाओं का निर्माण करने के बाद, हमने अपना सर्वश्रेष्ठ स्कोर हासिल करना शुरू कर दिया। व्यक्तिगत मॉडल के लिए हमारे मूल्य लगभग समान थे। सबसे अच्छा व्यक्तिगत मॉडल XGBoost और पैगंबर है। पैगंबर ने संचित बिक्री के लिए एक पूर्वानुमान बनाया। स्टार्ट स्क्वायर के रूप में ऐसा संकेत था। यही है, हमें पता था कि हमारे पास कुल कितने अपार्टमेंट हैं, हमने समझा कि ऐतिहासिक मूल्य और कुल मूल्य के लिए वृद्धिशील-मूल्य क्या है। पैगंबर ने भविष्य के लिए एक पूर्वानुमान बनाया, निम्नलिखित अवधियों में मूल्य जारी किए और उन्हें XGBoost में जमा किया।

हमारे सर्वश्रेष्ठ व्यक्तिगत स्कोर का सम्मिश्रण यहीं कहीं है, ये दो नारंगी डॉट्स। लेकिन यह स्कोर हमारे लिए शीर्ष पर पहुंचने के लिए पर्याप्त नहीं था।



सर्वोत्तम सबमिशन के सामान्य सहसंबंध मैट्रिक्स का अध्ययन करने के बाद, हमने निम्नलिखित को देखा: पेड़ - और यह तार्किक है - एकता के करीब एक सहसंबंध दिखाया गया है, और सबसे अच्छे पेड़ ने एक्सजीबोस्ट दिया। यह रेखीय प्रतिगमन के साथ इतना उच्च सहसंबंध नहीं दिखाता है। हमने इन दो विकल्पों को 8 से 2 के अनुपात में मिश्रण करने का निर्णय लिया। इसी तरह हमें सबसे अच्छा अंतिम समाधान मिला।



यह परिणामों के साथ एक लीडरबोर्ड है। हमारी टीम ने असीमित मॉडल में दूसरा और रैखिक मॉडल में पहला स्थान लिया। स्कोर के लिए - यहाँ सभी मूल्य बहुत करीब हैं। अंतर बहुत बड़ा नहीं है। एक रेखीय प्रतिगमन पहले से ही क्षेत्र 5 में एक कदम उठा रहा है। हमारे पास सब कुछ है, धन्यवाद!