"DeViSE: A डीप विज़ुअल-सिमेंटिक एंबेडिंग मॉडल" लेख की लघु समीक्षा

प्रश्न में लेख।

परिचय

आधुनिक मान्यता प्रणाली अपेक्षाकृत कम संख्या में शब्दार्थिक रूप से असंबंधित वर्गों में वर्गीकृत करने के लिए सीमित हैं। पाठ संबंधी जानकारी का आकर्षण, यहां तक ​​कि चित्रों से असंबंधित, मॉडल को समृद्ध करने और कुछ हद तक निम्नलिखित समस्याओं को हल करने की अनुमति देता है:

1. यदि मान्यता मॉडल कोई त्रुटि करता है, तो अक्सर यह त्रुटि शब्दार्थ से सही वर्ग के करीब नहीं होती है;
2. एक ऐसी वस्तु की भविष्यवाणी करने का कोई तरीका नहीं है जो एक नए वर्ग से संबंधित है जिसे प्रशिक्षण डाटासेट में प्रतिनिधित्व नहीं किया गया था।

प्रस्तावित दृष्टिकोण एक समृद्ध अर्थ स्थान में छवियों को प्रदर्शित करने का सुझाव देता है जिसमें अधिक समान वर्गों के लेबल कम समान कक्षाओं के लेबल के अलावा एक दूसरे के करीब होते हैं। नतीजतन, मॉडल भविष्यवाणियों के वास्तविक वर्ग से कम शब्दार्थ देता है। इसके अलावा, मॉडल, दोनों दृश्य और अर्थ निकटता को ध्यान में रखते हुए, एक वर्ग से संबंधित छवियों को सही ढंग से वर्गीकृत कर सकता है जो प्रशिक्षण सेट सेट में प्रतिनिधित्व नहीं किया गया था।

एल्गोरिथ्म। आर्किटेक्चर

1. हम भाषा मॉडल को पहले से प्रशिक्षित करते हैं, जो अच्छे शब्दार्थ अर्थ एम्बेडिंग देता है। अंतरिक्ष का आयाम n है। अगला, n को 500 या 1000 के बराबर लिया जाएगा।
2. हम दृश्य मॉडल को पूर्व-प्रशिक्षित करते हैं, जो वस्तुओं को 1000 वर्गों में अच्छी तरह से वर्गीकृत करता है।
3. हमने पूर्व-प्रशिक्षित दृश्य मॉडल से अंतिम सॉफ्टमैक्स परत को काट दिया और 4096 से एन न्यूरॉन्स से पूरी तरह से जुड़ा हुआ परत जोड़ दिया। हम प्रत्येक छवि के लिए परिणामी मॉडल को छवि लेबल के अनुरूप एम्बेड करने के लिए प्रशिक्षित करते हैं।

आइए हम मैपिंग की मदद से समझाते हैं। बता दें कि LM एक लैंग्वेज मॉडल है, VM एक विजुअल मॉडल है जिसमें कट सॉफ्टमैक्स और पूरी तरह से कनेक्टेड लेयर जोड़ा गया है, I - इमेज, L- लेबल ऑफ इमेज, LM (L) - सिमेंटिक स्पेस में लेबल एम्बेडिंग है। फिर तीसरे चरण में हम VM को प्रशिक्षित करते हैं ताकि:

$$

$$VM (I) = LM (L)$$

वास्तुकला:

भाषा मॉडल

भाषा मॉडल सीखने के लिए, हमने स्किप-ग्राम मॉडल का उपयोग किया, जो wikipedia.org से लिया गया 5.4 बिलियन शब्दों का एक निकाय है। संबंधित अवधारणाओं का अनुमान लगाने के लिए मॉडल ने एक पदानुक्रमित सॉफ्टमैक्स परत का उपयोग किया, एक खिड़की - 20 शब्द, शरीर के माध्यम से गुजरने की संख्या - 1. यह प्रयोगात्मक रूप से स्थापित किया गया था कि एम्बेडिंग आकार 500-1000 लेने के लिए बेहतर है।

अंतरिक्ष में कक्षाओं की व्यवस्था की तस्वीर से पता चलता है कि मॉडल ने एक गुणात्मक और समृद्ध अर्थ संरचना सीख ली है। उदाहरण के लिए, परिणामस्वरूप सिमेंटिक स्पेस में शार्क की एक निश्चित प्रजाति के लिए, 9 निकटतम पड़ोसी अन्य 9 प्रकार के शार्क हैं।

दृश्य मॉडल

2012 ILSVRC प्रतियोगिता जीतने वाली वास्तुकला को एक दृश्य मॉडल के रूप में लिया गया था। इसमें सॉफ्टमैक्स को हटा दिया गया था और आउटपुट पर वांछित एम्बेडिंग आकार प्राप्त करने के लिए एक पूरी तरह से जुड़ा हुआ परत जोड़ा गया था।

हानि समारोह

यह पता चला कि नुकसान फ़ंक्शन का विकल्प महत्वपूर्ण है। कॉज़ेन समानता और हिंग रैंक नुकसान के संयोजन का उपयोग किया गया था। हानि फ़ंक्शन ने विज़ुअल नेटवर्क के परिणाम वेक्टर और संबंधित लेबल एम्बेडिंग के बीच एक बड़े स्केलर उत्पाद को प्रोत्साहित किया, और दृश्य नेटवर्क के परिणाम और यादृच्छिक संभव छवि लेबल के एम्बेडिंग के बीच एक बड़े स्केलर उत्पाद के लिए जुर्माना लगाया। मनमाने ढंग से यादृच्छिक लेबल की संख्या तय नहीं की गई थी, लेकिन उस स्थिति तक सीमित थी जिसके तहत झूठा लेबल वाले स्केलर उत्पादों का योग एक निश्चित लेबल माइनस के साथ स्केलर उत्पाद से अधिक हो गया जो एक निश्चित मार्जिन (0.1 के बराबर निरंतर) है। बेशक, सभी वैक्टर पहले से सामान्यीकृत थे।

$$

$$हानि (I, L) = \ sum_ {j} {अधिकतम [0, मार्जिन - (L, VM (I)) + (wrongL_j, VM (I))]}$$

प्रशिक्षण प्रक्रिया

शुरुआत में, केवल अंतिम जोड़ा गया पूरी तरह से जुड़ा हुआ परत प्रशिक्षित किया गया था, बाकी नेटवर्क ने वजन को अपडेट नहीं किया था। इस स्थिति में, SGD अनुकूलन विधि का उपयोग किया गया था। तब पूरे दृश्य नेटवर्क को एडागैड ऑप्टिमाइज़र का उपयोग करके पिघलाया और प्रशिक्षित किया गया था ताकि नेटवर्क के विभिन्न परतों पर बैक प्रचार के दौरान ग्रेडिएंट पैमाने सही ढंग से हो।

भविष्यवाणी

भविष्यवाणी के दौरान, दृश्य नेटवर्क का उपयोग करते हुए छवि से, हमें अपने सिमेंटिक स्पेस में कुछ वेक्टर मिलते हैं। अगला, हम निकटतम पड़ोसियों को खोजते हैं, अर्थात्, कुछ संभव लेबल और एक विशेष तरीके से उन्हें स्कोरिंग के लिए इमेजनेट सिंटसेट में वापस प्रदर्शित करते हैं। अंतिम प्रदर्शन की प्रक्रिया इतनी सरल नहीं है, क्योंकि ImageNet में लेबल केवल एक लेबल नहीं, पर्यायवाची शब्द हैं। यदि पाठक विवरण जानने में रुचि रखता है, तो मैं मूल लेख (परिशिष्ट 2) की सिफारिश करता हूं।

परिणाम

DEVISE मॉडल के परिणाम की तुलना दो मॉडलों के साथ की गई:

1. सॉफ्टमैक्स बेसलाइन मॉडल - अत्याधुनिक विजन मॉडल (SOTA - प्रकाशन के समय)
2. रैंडम एम्बेडिंग मॉडल वर्णित DEVISE मॉडल का एक संस्करण है, जहां एम्बेडिंग को भाषा मॉडल द्वारा नहीं सीखा जाता है, लेकिन मनमाने ढंग से आरंभ किया जाता है।

गुणवत्ता का आकलन करने के लिए, "फ्लैट" हिट @ k मीट्रिक और पदानुक्रमित परिशुद्धता @ k मीट्रिक का उपयोग किया गया था। मीट्रिक "फ्लैट" हिट @ k परीक्षण छवियों का प्रतिशत है, जिसके लिए पहले के पूर्वानुमानित विकल्पों में से सही लेबल मौजूद है। सिमेंटिक पत्राचार की गुणवत्ता का मूल्यांकन करने के लिए पदानुक्रमित परिशुद्धता @ k मीट्रिक का उपयोग किया गया था। यह मीट्रिक इमेजनेट में लेबल पदानुक्रम पर आधारित था। प्रत्येक सच्चे लेबल और निश्चित k, सेट के लिए
शब्दशः सही लेबल - जमीनी सच्चाई की सूची। भविष्यवाणी (निकटतम पड़ोसी) प्राप्त करना जमीनी सच्चाई की सूची के साथ प्रतिच्छेदन का प्रतिशत था।

लेखकों ने उम्मीद की कि सॉफ्टमैक्स मॉडल को फ्लैट मीट्रिक पर सबसे अच्छा परिणाम दिखाना चाहिए क्योंकि यह क्रॉस-एन्ट्रापी नुकसान को कम करता है, जो कि "फ्लैट" हिट @ के मेट्रिक्स के लिए बहुत उपयुक्त है। लेखक आश्चर्यचकित थे कि DEVISE मॉडल सॉफ्टमैक्स मॉडल के कितने करीब है, बड़े k पर समता तक पहुँचता है और k = 20 पर भी ओवरटेक करता है।

पदानुक्रमित मीट्रिक पर, DEVISE मॉडल अपनी सभी महिमा में खुद को दिखाता है और सॉफ्टमैक्स बेसबॉल को k = 5 के लिए 3% और k = 20 के लिए 7% से आगे निकल जाता है।

जीरो शॉट सीखना

DEVISE मॉडल का एक विशेष लाभ उन छवियों के लिए पर्याप्त पूर्वानुमान प्रदान करने की क्षमता है जिनके लेबल को प्रशिक्षण के दौरान नेटवर्क ने कभी नहीं देखा है। उदाहरण के लिए, प्रशिक्षण के दौरान, नेटवर्क ने टाइगर शार्क, बुल शार्क और ब्लू शार्क को टैग किया और शार्क के निशान से कभी नहीं मिले। चूँकि सिमेंटिक स्पेस में शार्क के लिए भाषा मॉडल का प्रतिनिधित्व होता है और यह विभिन्न प्रकार के शार्क के एम्बेडिंग के करीब होता है, इसलिए मॉडल को पर्याप्त पूर्वानुमान देने की संभावना है। इसे सामान्यीकरण - सामान्यीकरण करने की क्षमता कहा जाता है।

आइए शून्य-शॉट की भविष्यवाणियों के कुछ उदाहरणों को प्रदर्शित करें:

ध्यान दें कि DEVISE मॉडल, यहां तक ​​कि इसकी गलत धारणाओं में, सॉफ्टमैक्स मॉडल की गलत मान्यताओं की तुलना में सही उत्तर के करीब है।

इसलिए, प्रस्तुत मॉडल फ्लैट मेट्रिक्स पर बेसलाइन के लिए सॉफ्टमैक्स के लिए थोड़ा खो देता है, लेकिन पदानुक्रमित परिशुद्धता @ k मीट्रिक पर जीतता है। मॉडल में सामान्यीकरण करने की क्षमता है, उन छवियों के लिए पर्याप्त भविष्यवाणियां उत्पन्न करता है जिनके लेबल नेटवर्क से नहीं मिले हैं (शून्य-शॉट लर्निंग)।

वर्णित दृष्टिकोण को आसानी से लागू किया जा सकता है, क्योंकि यह दो पूर्व प्रशिक्षित मॉडल - भाषा और दृश्य पर आधारित है।