Yandex.Real Estate पर विज्ञापनों का समर्पण

अंतिम सेमेस्टर, कंप्यूटर साइंस सेंटर सेर्गेई गोर्बाट्युक और पीटर करोल के छात्रों ने प्रोजेक्ट मैनेजर व्लादिमीर गोरोवॉय के मार्गदर्शन में Yandex.Real Estate के विज्ञापनों पर काम किया। लोगों ने हमें बताया कि परियोजना कैसे काम करती है और उन्होंने क्या परिणाम हासिल किए।

डिजाइन कार्य

Yandex.Real Estate अपार्टमेंट, कमरों, घरों, भूखंडों की बिक्री और किराये के लिए विज्ञापनों की एक सेवा है। विज्ञापन व्यक्तियों, रियल एस्टेट डेवलपर्स या एजेंसियों द्वारा रखे जाते हैं, इसलिए एक ही संपत्ति को अक्सर कई प्रस्तावों द्वारा दर्शाया जाता है। सबसे अधिक बार, कई एजेंसियां ​​एक बार में एक अपार्टमेंट बेचने की कोशिश करती हैं, और कभी-कभी मालिक भी।

सबसे अधिक कष्टप्रद उपयोगकर्ताओं पर देखे गए विज्ञापनों के डुप्लिकेट्स, कम से कम वे भ्रामक हैं। यह यांडेक्स टीम को अपार्टमेंट द्वारा एनालिटिक्स इकट्ठा करने और गणना करने से रोकता है कि यह बिक्री या किराए के लिए कितना है। इसलिए, मैं सीखना चाहता हूं कि एक ऑफ़र में डुप्लिकेट कैसे खोज और गोंद करें।

विज्ञापन स्ट्रीम को मैन्युअल रूप से मॉडरेट नहीं किया जा सकता क्योंकि यह बहुत बड़ा है। तो, हमें एक एल्गोरिथ्म की आवश्यकता है जो उच्च सटीकता के साथ यथासंभव अधिक डुप्लिकेट खोजने में सक्षम है। सटीकता महत्वपूर्ण है क्योंकि त्रुटि की कीमत अधिक है: विभिन्न विज्ञापनों को जोड़ने से उपयोगकर्ता शिकायत करेंगे।

ऐसी उच्च आवश्यकताओं और एक जटिल डेटा संरचना वाले कार्यों को पारंपरिक रूप से मशीन लर्निंग एल्गोरिदम का उपयोग करके हल किया जाता है, इसलिए वास्तव में कार्य "अत्याधुनिक क्लासिफायरियर के प्रशिक्षण में से एक" के रूप में तैयार किया गया था।

समस्याओं

• विषय क्षेत्र हमारे लिए नया है, इसकी अपनी कठिनाइयाँ और विशेषताएं हैं।
• कोई टैग डेटा नहीं है।
• कोई स्पष्ट मशीन लर्निंग कार्य नहीं है - यहां कारक और लक्ष्य चर क्या होंगे?

अंतिम पैराग्राफ के साथ, सब कुछ अपेक्षाकृत सरल है: कारक विभिन्न विज्ञापनों से वस्तुओं की एक जोड़ी के बारे में जानकारी होगी, और लक्ष्य चर यह है कि क्या एक वस्तु वास्तविकता में है या दो अलग हैं। लेकिन अचल संपत्ति बाजार की विशेषताओं का पता लगाना और डेटा को चिह्नित करना परियोजना समय का सबसे अधिक समय लगा।

डेटा मार्कअप

हमें मास्को में अपार्टमेंट की बिक्री पर प्रस्ताव के साथ डेटाबेस का हिस्सा मिला। उनका वर्णन करने वाला मुख्य डेटा हैं:

• सामान्य संरचित डेटा - फुटेज, मूल्य, फर्श, कमरों की संख्या, बाथरूम, छत की ऊंचाई, विक्रेता और अन्य के बारे में मेटा-जानकारी।
• वस्तु का पाठ विवरण।
• वस्तु की तस्वीरें।

यैंडेक्स से पहले, हमारे पास एक डुप्लिकेट क्लासिफायरियर था जो नियंत्रण डेटा के बिना 1 बिंदु से कारकों पर प्रशिक्षित था। यह एक प्रस्ताव क्लस्टरिंग एल्गोरिथ्म है जिसे डुप्लिकेट ऑफ़र कहा जाता है जो एक क्लस्टर में आते हैं। इसकी काफी उच्च सटीकता थी, लेकिन अपेक्षाकृत कम पूर्णता थी। इसका मतलब यह है कि उसने जो डुप्लिकेट खोजा था उसका अनुपात कम था, हालांकि वह शायद ही कभी गलत था।

हमने प्रमुख संकेतकों के बीच अंतर और संबंधों के आधार पर एक दूसरे के साथ ऑफ़र की तुलना करने के विचार का उपयोग किया: उदाहरण के लिए, मूल्य या फर्श, विज्ञापनों की असमानता का अनुभवजन्य मीट्रिक प्राप्त करने के लिए। और वे एक ऐसे फ़ंक्शन के साथ आए, जिसने दो संख्याओं को एक ही संख्या के साथ सहसंबंधित किया - प्राथमिक डेटा में दोनों विज्ञापनों में कितना अंतर है, इसका एक माप। इस सूचक ने हमें डेटा को चिह्नित करते हुए एक संतुलित नमूना बनाने में मदद की और कम से कम मोटे तौर पर उदाहरणों के वितरण को विनियमित किया: हम बीच में कहीं अधिक समान या बहुत अलग या जटिल उदाहरण चाहते हैं।

मार्कअप हमारी अपेक्षा से बहुत अधिक जटिल हो गया। और यहाँ क्यों है:

• समान वस्तुओं की पहचान और सूचनात्मक विवरण नहीं। विशेष रूप से नए फंड से: निर्माण कंपनियां उन्हें बैचों में ले जाती हैं, और केवल दुर्लभ मामलों में उन्हें बहुत अधिक संख्या में प्रतिष्ठित किया जा सकता है।
• जानबूझकर डेटा भ्रष्टाचार। रियल एस्टेट विशेषज्ञों ने हमें समझाया कि कभी-कभी लोग अपार्टमेंट की वास्तविक मंजिल या उपस्थिति को छिपाना चाहते हैं।
• वस्तुओं की जानकारीपूर्ण बाहरी या समान तस्वीरें नहीं।
• एक ही वस्तु की अलग-अलग तस्वीरें। नीचे सरल उदाहरणों में से एक है, हालांकि, कुछ तस्वीरों को जासूस की तरह लंबे समय तक सहकर्मी रखना पड़ता है, यह तय करने के एकमात्र उद्देश्य के लिए कि क्या वह एक अपार्टमेंट है या दो अलग-अलग हैं, के लिए कटौतीत्मक पद्धति की सभी शक्ति का उपयोग करना।

पर्यवेक्षित आधार रेखा

हमने डेटा को चिह्नित किया और पहले पैराग्राफ से कारकों पर केवल रैंडम फ़ॉरेस्ट को प्रशिक्षित करने की कोशिश की - मूल्य, फुटेज आदि के श्रेणीबद्ध और निरंतर संकेतक। इन कारकों के अंतर और संबंध, साथ ही प्लेसमेंट और अद्यतन करने के समय के आधार पर अतिरिक्त रूप से निर्मित कारक, विक्रेता के बारे में जानकारी, आदि, भविष्यवक्ताओं के रूप में उपयोग किए गए थे। परीक्षण डेटा पर, यह क्लासिफायर 5-8% द्वारा रूढ़िवादी क्लस्टरिंग एल्गोरिथ्म से अधिक सटीक था, और इसकी पूर्णता पिछले परिणाम से 30-35% अधिक थी।

इस परिणाम से उत्साहित होकर, हमने दो अन्य कारकों की ओर रुख किया - पाठ विवरण और चित्र। हम बाद के साथ काम करने में लगभग असफल रहे: हमने उन्हें काफी देर से उतार दिया। उन्होंने सामान्य बाहरी तस्वीरों को फ़िल्टर करने के लिए हैश का उपयोग करने की कोशिश की, वॉटरप्रूफ और दोषपूर्ण नेटवर्क (ResNet-18) की उच्च परतों के अतिरिक्त कारकों के रूप में निपटने के लिए अवधारणात्मक हैश, हालांकि, हमारे आश्चर्य के लिए, उन्हें सटीकता में मजबूत वृद्धि नहीं मिली।

हमारी राय में, इस विषय क्षेत्र में छवि विश्लेषण के लिए और भी अच्छी तरह से संपर्क करना आवश्यक है, छवि प्रीप्रोसेसिंग पर अधिक ध्यान दें, अन्य आर्किटेक्चर और विशेष नुकसान कार्यों की कोशिश करें। Lemmatized और वेक्टर किए गए पाठ डेटा के लिए, Tf-Idf वेक्टरकरण एल्गोरिथ्म लागू किया गया था और वेक्टर किए गए प्रतिनिधित्व को प्राथमिक विशेषताओं के रूप में उपयोग किया गया था। इन वैक्टरों पर विभिन्न मैट्रिक्स ने भविष्यवाणियों की गुणवत्ता में अधिक प्रभावशाली वृद्धि दी। एक कारक के रूप में सबसे अच्छा परिणाम लॉजिस्टिक प्रतिगमन द्वारा इन वैक्टरों पर अलग से प्रशिक्षित होने की संभावना थी।

अंतिम मॉडल

अंतिम मॉडल, जिसने दूसरों के सभी संकेतों और आउटपुट को एकत्र किया, कैटबॉस्ट था। यह एक यैंडेक्स उत्पाद है जो एक विशेष नुकसान फ़ंक्शन के साथ प्रशिक्षित है - एक संशोधित एफ-माप। कैटबॉस्ट तकनीक ने खुद को वर्गीकरण कार्य में सर्वश्रेष्ठ के रूप में स्थापित किया है और इसे आसानी से बुनियादी ढांचे में एकीकृत किया गया है। परीक्षण नमूने पर एल्गोरिथ्म की गुणवत्ता 98% सटीकता और 93% पूर्णता है।

हम इसे एक अच्छा परिणाम मानते हैं, और क्या यह व्यवसाय के दृष्टिकोण से समान है - विपणन विभाग के विशेषज्ञ तय करेंगे :)