SNA हैकथॉन 2019: आर्किटेक्चर को सरल बनाएं - सुविधाओं को सरल बनाएं

इस लेख में, मैं अपने समाधान के बारे में बात करूंगा SNA Hackathon 2019 टास्क के टेक्स्ट पार्ट के बारे में। प्रस्तावित विचारों में से कुछ हैकथॉन के पूर्णकालिक भाग के प्रतिभागियों के लिए उपयोगी होंगे, जो 30 मार्च से 1 अप्रैल तक Mail.ru Group के मास्को कार्यालय में आयोजित किया जाएगा। इसके अलावा, यह कहानी मशीन सीखने की व्यावहारिक समस्याओं को हल करने वाले पाठकों के लिए रुचि हो सकती है। चूँकि मैं पुरस्कारों का दावा नहीं कर सकता (मैं Odnoklassniki में काम करता हूं), मैंने सबसे सरल की पेशकश करने की कोशिश की, लेकिन एक ही समय में प्रभावी और दिलचस्प समाधान।

मशीन लर्निंग के नए मॉडल के बारे में पढ़ना, मैं समझना चाहता हूं कि लेखक किसी कार्य पर काम करते समय कैसे तर्क देता है। इसलिए, इस लेख में मैं अपने समाधान के सभी घटकों को विस्तार से समझाने की कोशिश करूंगा। पहले भाग में मैं समस्या कथन और सीमाओं के बारे में बात करूँगा। दूसरे में - मॉडल के विकास के बारे में। तीसरा भाग मॉडल के परिणामों और विश्लेषण के लिए समर्पित है। अंत में, टिप्पणियों में मैं किसी भी प्रश्न का उत्तर देने की कोशिश करूंगा जो उत्पन्न हुए हैं। अधीर पाठक तुरंत अंतिम वास्तुकला को देख सकते हैं।

कार्य

हैकाथॉन आयोजकों ने सुझाव दिया कि हम एक स्मार्ट टेप बनाने की समस्या को हल करते हैं। प्रत्येक उपयोगकर्ता के लिए, पोस्टों के सेट को क्रमबद्ध करना आवश्यक है ताकि उपयोगकर्ता "क्लास" सेट करने वाले पोस्ट की अधिकतम संख्या सूची में सबसे ऊपर हो। रैंकिंग एल्गोरिथ्म को कॉन्फ़िगर करने के लिए, प्रपत्र (उपयोगकर्ता, पोस्ट, प्रतिक्रिया) के ऐतिहासिक डेटा का उपयोग करना चाहिए था। तालिका पाठ भाग से डेटा और इस आलेख में उपयोग किए जाने वाले नोटेशन का संक्षिप्त विवरण देती है।

स्रोत	पद	टाइप	विवरण
उपयोगकर्ता	user_id	स्पष्ट	उपयोगकर्ता आईडी
पद	post_id	स्पष्ट	आईडी के बाद
पद	टेक्स्ट	श्रेणीबद्ध सूची	सामान्यीकृत शब्दों की सूची
पद	सुविधाओं	स्पष्ट	पोस्ट की विशेषताओं का समूह (लेखक, भाषा, आदि)
प्रतिक्रिया	प्रतिक्रिया	बाइनरी सूची	उपयोगकर्ता द्वारा पोस्ट (दृश्य, वर्ग, टिप्पणी, आदि) के साथ किए जाने वाले विभिन्न कार्य

मॉडल का निर्माण शुरू करने से पहले, मैंने भविष्य के समाधान पर कई प्रतिबंध लगाए। सादगी और व्यावहारिकता, मेरी रुचियों की आवश्यकताओं को पूरा करने और संभावित विकल्पों की संख्या को कम करने के लिए यह आवश्यक था। यहाँ इन सीमाओं में सबसे महत्वपूर्ण हैं।

"वर्ग" की संभावना की भविष्यवाणी । मैंने तुरंत निर्णय लिया कि मैं इस समस्या को एक वर्गीकरण समस्या के रूप में हल करूँगा। कोई रैंकिंग में उपयोग किए गए तरीकों को लागू कर सकता है, उदाहरण के लिए, पदों के जोड़े में आदेश का अनुमान लगाने के लिए। लेकिन मैं एक सरल सूत्रीकरण पर बस गया, जिसमें "वर्ग" प्राप्त करने की अनुमानित संभावना के अनुसार पदों को क्रमबद्ध किया जाता है। यह ध्यान देने योग्य है कि रैंकिंग तैयार करने के लिए नीचे वर्णित दृष्टिकोण का विस्तार किया जा सकता है।

अखंड मॉडल । इस तथ्य के बावजूद कि मॉडल पहनावा प्रतियोगिताओं को जीतने के लिए है, युद्ध प्रणाली पर एक पहनावा बनाए रखना एक एकल मॉडल की तुलना में अधिक कठिन है। इसके अलावा, मैं कम से कम कुछ गैर-ब्लैक बॉक्स व्याख्या क्षमताओं को रखना चाहता था।

विभेदी कम्प्यूटेशनल ग्राफ । सबसे पहले, इस वर्ग (तंत्रिका नेटवर्क) के मॉडल कई कार्यों में अत्याधुनिक निर्धारित करते हैं, जिनमें पाठ डेटा के विश्लेषण से संबंधित हैं। दूसरे, आधुनिक रूपरेखा, मेरे मामले में अपाचे एमएक्सनेट , आपको बहुत विविध आर्किटेक्चर लागू करने की अनुमति देती है। इसलिए, आप कोड की कुछ पंक्तियों को बदलकर विभिन्न मॉडलों के साथ प्रयोग कर सकते हैं।

संकेतों के साथ न्यूनतम काम । मैं चाहता था कि मॉडल को नए डेटा के साथ आसानी से विस्तारित किया जा सके। पूर्णकालिक भाग में इसकी आवश्यकता हो सकती है, जहां संकेत तैयार करने के लिए बहुत कम समय होगा। इसलिए, मैं पहचानने की विशेषताओं के लिए सबसे सरल दृष्टिकोण पर बस गया:

• बाइनरी डेटा को 1 या 0 के मान के साथ एक टैग द्वारा दर्शाया गया है;
• संख्यात्मक डेटा या तो बना रहता है या श्रेणियों में विवेकाधीन है;
• श्रेणीबद्ध डेटा को एम्बेडिंग द्वारा प्रस्तुत किया जाता है।

सामान्य रणनीति पर निर्णय लेने के बाद, मैंने विभिन्न मॉडलों की कोशिश शुरू की।

मॉडल का विकास

प्रारंभिक बिंदु मैट्रिक्स फैक्टराइजेशन दृष्टिकोण था, जिसे अक्सर अनुशंसा कार्यों में उपयोग किया जाता है:

$$

$$p_ {i, j} = \ sigma (u_ {i} \ cdot v_ {j})$$

$$

$$हानि (y_ {i, j}, p_ {i, j}) \ rightarrow min_ {u, v}$$

कम्प्यूटेशनल रेखांकन की भाषा में, इसका अर्थ है कि उपयोगकर्ता की पोस्ट जे पर सिग्मॉइड उपयोगकर्ता पहचानकर्ता और पोस्ट आइडेंटिफ़ायर को स्केमर उत्पाद से पोस्ट i पर एक "वर्ग" डाल देगा कि संभावना का अनुमान। एक आरेख द्वारा व्यक्त किया जा सकता है:



ऐसा मॉडल बहुत दिलचस्प नहीं है: यह सभी विशेषताओं का उपयोग नहीं करता है, कम आवृत्ति वाले पहचानकर्ताओं के लिए बहुत उपयोगी नहीं है, और ठंड शुरू होने की समस्या से ग्रस्त है। लेकिन, एक कम्प्यूटेशनल ग्राफ के रूप में कार्य को तैयार करने के बाद, हमने "अपने हाथों को एकजुट किया" और अब चरणों में समस्याओं को हल कर सकते हैं। सबसे पहले, कम-आवृत्ति वाले मानों के लिए, हम केवल आउट-ऑफ-वोकैब्लरी एम्बेडिंग बनाएंगे। अगला, उसी आयाम के एम्बेडिंग की आवश्यकता से छुटकारा पाएं। ऐसा करने के लिए, हम स्केलर उत्पाद को एक उथले पर्सेप्ट्रॉन के साथ बदलते हैं, जो इनपुट के रूप में अवशिष्ट विशेषताएं प्राप्त करता है। परिणाम आरेख में प्रस्तुत किया गया है:



एक बार जब हम एक निश्चित आयाम से छुटकारा पा लेते हैं, तो कुछ भी हमें नई विशेषताओं को जोड़ने से शुरू करने से रोकता है। सभी प्रकार की विशेषताओं (भाषा, लेखक, पाठ, ...) के साथ पोस्ट का प्रतिनिधित्व करते हुए, हम पदों की ठंड शुरू होने की समस्या को हल करेंगे। उदाहरण के लिए, मॉडल सीखेगा, कि user_id = 42 के साथ एक उपयोगकर्ता रूसी में "कालीन" शब्द वाले पदों पर "कक्षाएं" लगाता है। भविष्य में, हम इस उपयोगकर्ता को कालीनों के बारे में सभी रूसी-भाषा के पदों की सिफारिश करने में सक्षम होंगे, भले ही वे प्रशिक्षण डेटा में प्रकट न हों। पाठ एम्बेडिंग के लिए, अभी के लिए, हम इसमें शामिल किए गए शब्दों के एम्बेडिंग को औसत करेंगे। नतीजतन, मॉडल इस तरह दिखता है:



अंत में, मैं उपयोगकर्ताओं की ठंडी शुरुआत से निपटना चाहूंगा। पोस्ट के उपयोगकर्ता विचारों पर ऐतिहासिक डेटा से सुविधाओं का निर्माण करना संभव होगा। यह दृष्टिकोण चुनी हुई रणनीति को संतुष्ट नहीं करता है: हमने विशेषताओं के मैनुअल निर्माण को कम करने का निर्णय लिया। इसलिए, मैंने उस पोस्ट के पहले देखे गए पदों के अनुक्रम से उपयोगकर्ता की प्रस्तुति को स्वतंत्र रूप से सीखने का अवसर प्रदान किया, जिसके लिए "वर्ग" की संभावना का मूल्यांकन किया जा रहा है। मूल्यांकन किए जा रहे पद के विपरीत, सभी प्रतिक्रिया अनुक्रम में प्रत्येक पद के लिए जानी जाती है। इसका मतलब यह है कि मॉडल में इस बारे में जानकारी होगी कि क्या उपयोगकर्ता ने "पोस्ट" पिछली पोस्टों पर सेट किया है या इसके विपरीत, उन्हें फ़ीड से हटा दिया है।



यह तय करना बाकी है कि एक निश्चित चौड़ाई के प्रतिनिधित्व में विभिन्न लंबाई के पदों के अनुक्रमों को कैसे संयोजित किया जाए। इस तरह के संयोजन के रूप में, मैंने प्रत्येक पोस्ट के प्रतिनिधित्व के भारित योग का उपयोग किया। चार्ट पर, पोस्ट वजन j को α_j द्वारा दर्शाया गया है। ट्रांसफार्मर या NMT में उपयोग किए गए के समान क्वेरी-कुंजी-मूल्य ध्यान तंत्र का उपयोग करके वजन की गणना की गई थी। इस प्रकार, उपयोगकर्ता की सीखी गई प्रस्तुति उस पद के लिए भी कॉन्फ़िगर की गई है जिसके लिए मूल्यांकन किया जा रहा है। यहाँ α_j की गणना के लिए जिम्मेदार ग्राफ का एक टुकड़ा है:



जब मैंने रहस्योद्घाटन का एक मंत्र महसूस किया, तो मैं ध्यान दृष्टिकोण की प्रभावशीलता के बारे में आश्वस्त हो गया, यह ग्रंथों की प्रस्तुति में ध्यान का उपयोग करने का निर्णय लिया गया। समय और लोहे की बचत के लिए, मैंने उसी ट्रांसफार्मर में आत्म-ध्यान का उपयोग न करने का निर्णय लिया, लेकिन पाठ में शब्द भार का प्रशिक्षण सीधे इस तरह किया:



इस पर, मॉडल की वास्तुकला का विकास पूरा हुआ। नतीजतन, मैं शास्त्रीय मैट्रिक्स फैक्टरिज़ेशन से एक जटिल अनुक्रम मॉडल में चला गया।

परिणाम और विश्लेषण

मैंने 16 जीबी मेमोरी और एक GeForce 930MX ग्राफिक्स कार्ड के साथ लैपटॉप पर डेटा के एक सातवें हिस्से पर अपना समाधान विकसित और डिबग किया। पूर्ण डेटा प्रयोग 256 जीबी मेमोरी और टेस्ला टी 4 कार्ड के साथ एक समर्पित सर्वर पर चलाए गए थे। अनुकूलन के लिए, MXNet से डिफ़ॉल्ट मापदंडों वाले एडम एल्गोरिथ्म का उपयोग किया गया था। तालिका एक स्ट्राइप्ड-डाउन मॉडल के लिए परिणाम दिखाती है - पदों के अनुक्रम की लंबाई दस तक सीमित थी। प्रतियोगिता जमा में, मैंने लंबाई पचास के अनुक्रम का उपयोग किया।

आदर्श	लॉग नुकसान	पिछली पंक्ति से सुधार	प्रशिक्षण का समय
हाशिया	0.4374 37 0.0009
perceptron	0.4330 ± 0.0010	0.0043 000 0.0002	Min मि
संकेतों के साथ परसेप्ट्रॉन	0.4119 11 0.0008	0.0212 2 0.0003	४४ मि
पदों के अनुक्रम के साथ परसेप्ट्रॉन	0.3873 87 0.0008	0.0247 24 0.0003	4 घंटे 16 मिनट
ग्रंथों में पदों और ध्यान के अनुक्रम के साथ परसेप्ट्रॉन	0.3874 87 0.0008	0.0001 01 0.0001	4 घंटे 43 मिनट

अंतिम पंक्ति मेरे लिए सबसे अप्रत्याशित थी: ग्रंथों की प्रस्तुति में ध्यान का उपयोग करने से परिणाम में कोई सुधार नहीं दिखता है। मुझे पाठों में शब्दों के भार को सीखने के लिए ध्यान-नेटवर्क की अपेक्षा थी, जो आइडीएफ जैसा है। शायद ऐसा नहीं हुआ, क्योंकि आयोजकों ने स्टॉप शब्दों को अग्रिम में हटा दिया और उसी महत्व के बारे में शब्द तैयार सूचियों में बने रहे। इसलिए, "स्मार्ट" वजन साधारण औसत की तुलना में एक ठोस लाभ नहीं दिया। एक और संभावित कारण यह है कि शब्दों के लिए ध्यान-नेटवर्क काफी छोटा था: इसमें केवल एक संकीर्ण छिपी हुई परत थी। शायद उसे उपयोगी कुछ सीखने के लिए प्रतिनिधित्व क्षमता की कमी थी।

क्वेरी-की-वैल्यू ध्यान तंत्र आपको मॉडल के अंदर देखने और यह पता लगाने की अनुमति देता है कि निर्णय लेते समय यह "क्या ध्यान देता है"। इसे समझने के लिए, मैंने कुछ उदाहरण चुने :

,       http://ollston.ru/2018/02/10/uznajte-kakogo-cveta-vasha - [0.02] PADDING - [0.02] PADDING - [0.02] PADDING - [0.02] PADDING - [0.16]        2016        2016 GZ8btjgY_Q0 https: - [0.16]  . Nike http://ollston.ru/2018/02/04/istorii-yspeha-nike/   -  : - [0.09]    - 5      - 5   O3qAop0A5Qs https://ww - [0.09] ...      ,          - [0.22] Microsoft Windows —   http://ollston.ru/2018/02/06/microsoft-windows-istoriia-yspeha/  - [0.20]  ,   6  . ,   ? http://ollston.ru/2018/02/08/buddisty-g 

पहली पंक्ति उस पोस्ट के पाठ को दिखाती है, जिसका मूल्यांकन करने की आवश्यकता है, फिर पहले देखी गई पोस्ट और संबंधित ध्यान स्कोर। राहत के साथ, हम देखते हैं कि मॉडल ने पैडिंग को अनदेखा करना सीख लिया है। मॉडल ने पोस्ट को आत्माओं के प्रकार और विंडोज के बारे में सबसे महत्वपूर्ण माना। यह ध्यान में रखना चाहिए कि ध्यान या तो सकारात्मक हो सकता है (उपयोगकर्ता किसी पोस्ट के बारे में उसी तरह से जवाब देगा जैसे आत्मा के प्रकारों के बारे में एक पोस्ट) या नकारात्मक (हम एक आभा के बारे में एक पोस्ट का मूल्यांकन करते हैं - इसलिए, प्रतिक्रिया उस पोस्ट के बारे में प्रतिक्रिया के समान नहीं होगी। प्रौद्योगिकी)। निम्नलिखित उदाहरण ध्यान है "अपनी सभी महिमा में":

           - [0.20]      2018    (),  ,    .     - [0.08]       ...  !!!        - [0.04]  )))  - [0.18]      !    ,   .  10   - [0.18]   2-    ,  5 , , 2 , . .   - [0.07]     !   -   ()       - [0.03]     "".   .       - [0.13]   ,    - [0.05] ,    ... - [0.05]     ... 

यहां, मॉडल ने गर्मियों की छुट्टियों के विषय को स्पष्ट रूप से देखा। यहां तक ​​कि बच्चे और बिल्ली के बच्चे भी रास्ते से जाते थे। निम्न उदाहरण दिखाता है कि ध्यान की व्याख्या हमेशा संभव नहीं है। कभी-कभी कुछ भी स्पष्ट नहीं होता है:

         ! - [0.02] PADDING - [0.02] PADDING - [0.02] PADDING - [0.02] PADDING - [0.02] PADDING - [0.15] , !   !!! - [0.16]  ! http://gifok.ru/dobryj-vecher/ - [0.20] http://gifq.ru/aforizmy/ - [0.25]     .  . - [0.15] ,      . : 800   250-300   

ऐसी कई सूचियों को देखने के बाद, मैंने निष्कर्ष निकाला कि मॉडल वह सीखने में सक्षम था जो मुझे उम्मीद थी। मैंने जो अगला काम किया, वह शब्दों के एम्बेडिंग पर था। हमारी समस्या में, हम यह उम्मीद नहीं कर सकते कि भाषा मॉडल सीखते समय एम्बेडिंग उतना ही सुंदर हो जाएगा: हम एक बल्कि शोर चर की भविष्यवाणी करने की कोशिश कर रहे हैं, इसके अलावा, हमारे पास एक छोटी संदर्भ विंडो नहीं है - सभी शब्दों के एम्बेडिंग केवल पाठ में उनके आदेश को ध्यान में रखे बिना औसत हैं। एम्बेडिंग स्थान में टोकन और उनके निकटतम पड़ोसियों के उदाहरण:

  -  : , , , ,  -  : , , , ,  -  : , , , ,  -  : , , , ,  -  : , , , ,  

इस सूची में से कुछ की व्याख्या करना आसान है (कार्यक्रम - bl), कुछ puzzling (iPhone - youki) है, लेकिन सामान्य तौर पर, परिणाम फिर से मेरी अपेक्षाओं को पूरा करता है।

निष्कर्ष

मुझे अलग-अलग रेखांकन ( कई सहमत ) के आधार पर मॉडल बनाने का दृष्टिकोण पसंद है। यह आपको सुविधाओं के थकाऊ मैनुअल चयन से दूर जाने और समस्या के सही निर्माण और दिलचस्प आर्किटेक्चर के डिजाइन पर ध्यान केंद्रित करने की अनुमति देता है। और यद्यपि मेरे मॉडल ने SNA हैकथॉन 2019 के पाठ कार्य में केवल दूसरा स्थान लिया, मैं इस परिणाम से काफी प्रसन्न हूं, इसकी सरलता और लगभग असीमित विस्तार विकल्प दिए गए हैं। मुझे यकीन है कि भविष्य में समान विचारों के आधार पर युद्ध प्रणालियों में अधिक से अधिक दिलचस्प और लागू मॉडल होंगे।