पहले भाग में, हमने गहरी शिक्षा के माध्यम से डोमेन अनुकूलन के तरीकों से खुद को परिचित किया। हमने मुख्य डेटासेट्स के साथ-साथ विसंगति-आधारित और प्रतिकूल-आधारित गैर-जेनेरिक दृष्टिकोणों के बारे में बात की। ये कार्य कुछ कार्यों के लिए अच्छी तरह से काम करते हैं। और इस बार हम सबसे जटिल और होनहार प्रतिकूल-आधारित विधियों का विश्लेषण करेंगे: जनरेटिव मॉडल, साथ ही एल्गोरिदम जो कि विज़्डा डेटासेट पर सबसे अच्छे परिणाम दिखाते हैं (सिंथेटिक डेटा से वास्तविक फ़ोटो में अनुकूलन)।

पीढ़ी के मॉडल

इस दृष्टिकोण का आधार आवश्यक वितरण से डेटा उत्पन्न करने के लिए GAN की क्षमता है। इस संपत्ति के लिए धन्यवाद, आप सही मात्रा में सिंथेटिक डेटा प्राप्त कर सकते हैं और इसे प्रशिक्षण के लिए उपयोग कर सकते हैं। जेनेरेटिव मॉडल परिवार से विधियों का मुख्य विचार स्रोत डोमेन का उपयोग करके डेटा उत्पन्न करना है जो लक्ष्य डोमेन के प्रतिनिधियों के समान संभव है। इस प्रकार, नए सिंथेटिक डेटा में मूल डोमेन के प्रतिनिधियों के समान लेबल होंगे, जिसके आधार पर उन्हें प्राप्त किया गया था। फिर लक्ष्य डोमेन के लिए मॉडल को केवल इस उत्पन्न डेटा पर प्रशिक्षित किया जाता है।

ICML -2018 में प्रस्तुत किया गया, साइकाडा: साइकिल-कंसिस्टेंट एडवरसैरियल डोमेन अनुकूलन विधि ( कोड ) जेनेरेटिव मॉडल परिवार का एक प्रतिनिधि सदस्य है। यह GAN और डोमेन अनुकूलन से कई सफल दृष्टिकोणों को जोड़ती है। इसका एक महत्वपूर्ण हिस्सा चक्र-संगति हानि का उपयोग है, जिसे पहले CycleGAN पर एक लेख में पेश किया गया था । चक्र-संगति हानि का विचार यह है कि स्रोत से लक्ष्य डोमेन तक उत्पन्न होने वाली छवि, इसके बाद उलटा परिवर्तन, प्रारंभिक छवि के करीब होना चाहिए। इसके अलावा, साइकाडा में पिक्सेल स्तर पर और वेक्टर अभ्यावेदन के स्तर पर अनुकूलन शामिल है, साथ ही उत्पन्न छवि में संरचना को बचाने के लिए शब्दार्थ हानि भी शामिल है।

चलो $$$f_T$ और $$$f_S$ - क्रमशः लक्ष्य और स्रोत डोमेन के लिए नेटवर्क, $$$X_T$ और $$$X_S$ - लक्ष्य और स्रोत डोमेन, $$$Y_S$ - स्रोत डोमेन पर मार्कअप, $$$G_ {S-> T}$ और $$$G_ {T-> S}$ - स्रोत से लक्ष्य डोमेन के लिए जनरेटर और इसके विपरीत, $$$D_T$ और $$$D_S$ - क्रमशः लक्ष्य और स्रोत डोमेन से संबंधित भेदभाव। तब हार फ़ंक्शन, जिसे साइकाडा में कम से कम किया जाता है, छह हानि कार्यों का योग है (हानि संख्याओं के साथ प्रशिक्षण योजना नीचे दी गई है):

1. $$$L_ {कार्य} (f_T, G_ {S-> T} (X_S), Y_S)$ - मॉडल वर्गीकरण $$$f_T$ स्रोत डोमेन से उत्पन्न डेटा और छद्म लेबल।
2. $$$L_ {GAN} (G_ {S-> T}, D_T, X_T, X_S)$ - जनरेटर प्रशिक्षण के लिए प्रतिकूल-नुकसान $$$G_ {S-> T}$ ।
3. $$$L_ {GAN} (G_ {T-> S}, D_S, X_S, X_T)$ - जनरेटर प्रशिक्षण के लिए प्रतिकूल-नुकसान $$$G_ {T-> S}$ ।
4. $$$L_ {cyc} (G_ {S-> T}, G_ {T-> S}, X_S, X_T)$ (चक्र-संगति हानि) - $$$L ^ 1$ -साथ ही, यह सुनिश्चित करना कि प्राप्त छवियों से $$$G_ {S-> T}$ और $$$G_ {T-> S}$ पास हो जाएगा।
5. $$$L_ {GAN} (f_T, D_ {करतब), f_S (G_ {S-> T} (X_S)), X_T)$ - वेक्टर अभ्यावेदन के लिए प्रतिकूल-हानि $$$f_T$ और $$$f_S$ जनरेट किए गए डेटा (ADDA में उपयोग किए जाने वाले समान) पर।
6. $$$L_ {sem} (G_ {S-> T}, G_ {T-> S}, X_S, X_T, f_S)$ (शब्दार्थ संगति हानि) - $$$L ^ 1$ नुकसान, इस तथ्य के लिए जिम्मेदार है कि $$$f_S$ इसी तरह से प्राप्त छवियों पर काम करेंगे $$$G_ {S-> T}$ दोनों से $$$G_ {T-> S}$ ।

साइकाडा परिणाम:

• USPS डिजिटल डोमेन की एक जोड़ी पर -> MNIST: 95.7%।
• विभाजन के कार्य पर GTA 5 -> सिटीस्केप्स: मीन IoU = 39.5%।

दृष्टिकोण के भाग के रूप में, जनरेट करने के लिए जनरेट करें: जेनरेटर एडवांसरियल नेटवर्क्स ( कोड ) का उपयोग करते हुए डोमेन को इस तरह के जनरेटर से प्रशिक्षित करें $$$जी$ इतना है कि उत्पादन में यह मूल डोमेन के करीब छवियों का उत्पादन करता है। इस तरह के एक $$$जी$ आपको लक्ष्य डोमेन से डेटा परिवर्तित करने और उन्हें स्रोत डोमेन के चिह्नित-अप डेटा पर प्रशिक्षित क्लासिफ़ायर लागू करने की अनुमति देता है।

इस तरह के जनरेटर को प्रशिक्षित करने के लिए, लेखक एक संशोधित भेदभाव करनेवाला का उपयोग करते हैं $$$डी$ लेख से AC-GAN । इस की विशेषता $$$डी$ इस तथ्य में शामिल हैं कि वह न केवल 1 का उत्तर देता है यदि इनपुट स्रोत डोमेन से आया है, और 0 अन्यथा, लेकिन एक सकारात्मक जवाब के मामले में भी वह स्रोत डोमेन की कक्षाओं के अनुसार इनपुट डेटा को वर्गीकृत करता है।

हम निरूपित करते हैं $$$एफ$ एक दृढ़ नेटवर्क की तरह, जो एक छवि के वेक्टर प्रतिनिधित्व का उत्पादन करता है, $$$सी$ - एक क्लासिफायर जो एक वेक्टर से काम करता है $$$एफ$ । सीखना और अनुमान एल्गोरिदम:

प्रशिक्षण प्रक्रिया में कई घटक होते हैं:

• discriminator $$$डी$ से प्राप्त सभी के लिए डोमेन निर्धारित करना सीखता है $$$जी$ डेटा, स्रोत डोमेन के लिए, एक वर्गीकरण नुकसान अभी भी जोड़ा गया है, जैसा कि ऊपर वर्णित है।
• स्रोत डोमेन से डेटा पर $$$जी$ प्रतिकूल-हानि और वर्गीकरण हानि के संयोजन का उपयोग करके, इसे स्रोत डोमेन के समान परिणाम उत्पन्न करने के लिए प्रशिक्षित किया जाता है, और सही ढंग से वर्गीकृत किया जाता है $$$डी$ ।
• $$$एफ$ और $$$सी$ स्रोत डोमेन से डेटा को वर्गीकृत करना सीखें। भी $$$एफ$ एक और वर्गीकरण नुकसान की मदद से, वर्गीकरण की गुणवत्ता बढ़ाने के लिए इसे बदल दिया जाता है $$$डी$ ।
• प्रतिकूल-हानि का उपयोग करना $$$एफ$ "धोखा" करना सीखता है $$$डी$ लक्ष्य डोमेन से डेटा पर।
• लेखकों ने अनुभवपूर्वक निष्कर्ष निकाला कि जमा करने से पहले $$$जी$ यह एक सदिश को समाप्‍त करने के लिए समझ में आता है $$$एफ$ सामान्य शोर और एक-गर्म वर्ग वेक्टर के साथ ( $$$K + 1$ लक्ष्य डेटा के लिए)।

बेंचमार्क पर विधि के परिणाम:

• USPS डिजिटल डोमेन पर -> MNIST: 90.8%।
• Office डेटासेट पर, Amazon और Webcam डोमेन के जोड़े के लिए औसत अनुकूलन गुणवत्ता 86.5% है।
• VISDA डेटासेट पर, अज्ञात वर्ग के बिना 12 श्रेणियों के लिए औसत गुणवत्ता मूल्य 76.7% है।

लेख में स्रोत से लक्ष्य और पीछे: सममित द्वि-दिशात्मक अनुकूली GAN ( कोड ), SBADA-GAN मॉडल पेश किया गया था, जो साइकाडा से काफी मिलता-जुलता है और जिनके CyCADA जैसे लक्ष्य फ़ंक्शन में 6 घटक होते हैं। लेखकों की धारणा में $$$G_ {st}$ और $$$G_ {ts}$ - स्रोत डोमेन से लक्ष्य के लिए जनरेटर और इसके विपरीत, $$$D_s$ और $$$D_t$ - विभेदक जो क्रमशः स्रोत और लक्ष्य डोमेन में उत्पन्न वास्तविक डेटा को अलग करते हैं, $$$C_s$ और $$$C_t$ - वे क्लासीफायर जो स्रोत डोमेन के डेटा और उनके संस्करणों पर लक्षित डोमेन में रूपांतरित किए जाते हैं।

SBADA-GAN, साइकाडा की तरह, लक्ष्य डोमेन में उत्पन्न डेटा के लिए CycleGAN, संगति हानि और छद्म लेबल के विचार का उपयोग करता है, जो लक्ष्य शब्द को संबंधित शब्दों से बनाता है। SBADA-GAN की विशेषताओं में शामिल हैं:

• छवि + शोर जनरेटर को इनपुट को खिलाया जाता है।
• परीक्षण लक्ष्य मॉडल और परिवर्तन के आधार पर स्रोत मॉडल की भविष्यवाणियों के रैखिक संयोजन का उपयोग करता है $$$G_ {st}$ ।

SBADA-GAN प्रशिक्षण योजना:

SBADA-GAN के लेखकों ने साइकाडा के लेखकों की तुलना में अधिक प्रयोग किए, और निम्नलिखित परिणाम प्राप्त किए:

• USPS पर -> MNIST डोमेन: 95.0%।
• MNIST पर -> SVHN डोमेन: 61.1%।
• सड़क के संकेतों पर सिंथ साइन्स -> GTSRB: 97.7%।

जेनेरिक मॉडल के परिवार से, निम्नलिखित महत्वपूर्ण लेखों पर विचार करना समझ में आता है:

• Unsupervised क्रॉस-डोमेन छवि निर्माण ;
• अनसुपर्विज़्ड इमेज-टू-इमेज ट्रांसलेशन नेटवर्क्स

दृश्य डोमेन अनुकूलन चुनौती

कार्यशाला के भाग के रूप में, ईसीसीवी और आईसीसीवी सम्मेलन एक दृश्य डोमेन अनुकूलन चैलेंज डोमेन अनुकूलन प्रतियोगिता की मेजबानी करते हैं। इसमें, प्रतिभागियों को सिंथेटिक डेटा पर क्लासिफायरियर को प्रशिक्षित करने और इमेजनेट से अनलॉक्ड डेटा के लिए अनुकूल करने के लिए आमंत्रित किया जाता है।

विज़ोडा -2017 में विजुअल डोमेन एडाप्टेशन ( कोड ) के लिए सेल्फ असेम्बलिंग में प्रस्तुत एल्गोरिथ्म । यह विधि आत्म-वशीकरण के विचार पर आधारित है: एक शिक्षक-नेटवर्क (शिक्षक मॉडल) और एक छात्र-नेटवर्क है। प्रत्येक पुनरावृत्ति पर, इन दोनों नेटवर्क के माध्यम से इनपुट छवि को चलाया जाता है। छात्र को वर्गीकरण हानि और स्थिरता हानि के योग का उपयोग करके प्रशिक्षित किया जाता है, जहां वर्गीकरण हानि एक सामान्य श्रेणी के लेबल के साथ सामान्य क्रॉस-एंट्रॉपी है, और संगतता हानि शिक्षक और छात्र भविष्यवाणियों (चुकता अंतर) के बीच औसत चुकता अंतर है। शिक्षक नेटवर्क के वजन की गणना छात्र नेटवर्क के भार की घातीय चलती औसत के रूप में की जाती है। यह प्रशिक्षण प्रक्रिया नीचे सचित्र है।

डोमेन अनुकूलन के लिए इस पद्धति के अनुप्रयोग की महत्वपूर्ण विशेषताएं हैं:

• प्रशिक्षण बैच में, स्रोत डोमेन से डेटा मिलाया जाता है $$$x_ {Si}$ वर्ग लेबल के साथ $$$y_ {Si}$ और लक्ष्य डोमेन से डेटा $$$x_ {ति}$ बिना टैग के।
• तंत्रिका नेटवर्क में इनपुट छवियों से पहले, विभिन्न मजबूत संवर्द्धन लागू किए जाते हैं: गाऊसी शोर, परिशोधन परिवर्तन, आदि।
• दोनों नेटवर्क मजबूत नियमितीकरण विधियों (जैसे ड्रॉपआउट) का उपयोग करते थे।
• $$$z_ {ति}$ - छात्र नेटवर्क आउटपुट, $$$\ widetilde {z} _ {Ti}$ - नेटवर्क शिक्षक। यदि इनपुट लक्ष्य डोमेन से था, तो केवल बीच की निरंतरता हानि $$$z_ {ति}$ और $$$\ widetilde {z} _ {Ti}$ , क्रॉस-एन्ट्रापी नुकसान = 0।
• सीखने की स्थिरता के लिए, आत्मविश्वास थ्रेसहोल्ड का उपयोग किया जाता है: यदि शिक्षक की भविष्यवाणी थ्रेसहोल्ड (0.9) से कम है, तो निरंतरता हानि हानि = 0।

वर्णित प्रक्रिया की योजना:

मुख्य डेटासेट पर, एल्गोरिथ्म ने उच्च प्रदर्शन हासिल किया। सच है, लेखकों ने अलग से प्रत्येक कार्य के लिए संवर्द्धन का एक सेट चुना है।

• USPS -> MNIST: 99.54%।
• MNIST -> SVHN: 97.0%।
• सिंथ नंबर -> एसवीएचएन: 97.11%।
• सड़क के संकेतों पर सिंथ साइन्स -> GTSRB: 99.37%।
• VISDA डेटासेट पर, अज्ञात वर्ग के बिना 12 श्रेणियों के लिए औसत गुणवत्ता मूल्य 92.8% है। यह ध्यान रखना महत्वपूर्ण है कि यह परिणाम 5 मॉडलों के एक संयोजन का उपयोग करके और परीक्षण समय वृद्धि का उपयोग करके प्राप्त किया गया था।

इस वर्ष ECCV-2018 सम्मेलन के भाग के रूप में विस्दा -2018 प्रतियोगिता आयोजित की गई थी। इस बार उन्होंने 13 वीं क्लास जोड़ी: अज्ञात, जिसे वह सब कुछ मिला जो 12 कक्षाओं में नहीं आया था। इसके अलावा, इन 12 वर्गों से संबंधित वस्तुओं का पता लगाने के लिए एक अलग प्रतियोगिता आयोजित की गई थी। दोनों श्रेणियों में, चीनी टीम जेडी एआई रिसर्च ने जीत हासिल की। वर्गीकरण प्रतियोगिता में, उन्होंने 92.3% (13 श्रेणियों में गुणवत्ता का औसत मूल्य) का परिणाम हासिल किया। उनकी विधि के विस्तृत विवरण के साथ कोई प्रकाशन नहीं हैं, कार्यशाला से केवल एक प्रस्तुति है ।

उनके एल्गोरिथ्म की विशेषताओं पर ध्यान दिया जा सकता है:

• लक्ष्य डोमेन से डेटा के लिए छद्म लेबल का उपयोग करना और स्रोत डोमेन से डेटा के साथ उन पर क्लासिफायर को फिर से लिखना।
• कनवल्शन नेटवर्क SE-ResNeXt-101, AM-Softmax और Noise adaption लेयर का उपयोग करना, लक्ष्य डोमेन से डेटा के लिए सामान्यीकृत क्रॉस एन्ट्रापी लॉस।

प्रस्तुति से एल्गोरिथम आरेख:

निष्कर्ष

अधिकांश भाग के लिए, हमने प्रतिकूल-आधारित दृष्टिकोण के आधार पर अनुकूलन विधियों पर चर्चा की है। हालांकि, पिछले दो विस्टा प्रतियोगिताओं में, एल्गोरिदम जो इससे संबंधित नहीं थे और छद्म लेबल पर प्रशिक्षण का उपयोग कर रहे थे और अधिक शास्त्रीय गहरी सीखने के तरीकों के संशोधनों ने जीत हासिल की। मेरी राय में, यह इस तथ्य के कारण है कि जीएएन पर आधारित विधियां अभी भी केवल उनके विकास की शुरुआत में हैं और बेहद अस्थिर हैं। लेकिन हर साल हमें अधिक से अधिक नए परिणाम मिलते हैं जो GAN के काम में सुधार करते हैं। इसके अलावा, डोमेन अनुकूलन के क्षेत्र में वैज्ञानिक समुदाय के हित का ध्यान मुख्य रूप से प्रतिकूल-आधारित विधियों पर केंद्रित है, और नए लेख मुख्य रूप से इस दृष्टिकोण का अध्ययन करते हैं। इसलिए, यह संभावना है कि जीएएन से जुड़े एल्गोरिदम धीरे-धीरे अनुकूलन मुद्दों में सबसे आगे आएंगे।

लेकिन गैर-प्रतिकूल-आधारित दृष्टिकोणों पर शोध भी जारी है। यहाँ इस क्षेत्र से कुछ दिलचस्प लेख हैं:

• सहयोगी डोमेन अनुकूलन ;
• असममित डोमेन अनुकूलन के लिए असममित त्रि-प्रशिक्षण ।

विसंगति-आधारित विधियों को "ऐतिहासिक" के रूप में वर्गीकृत किया जा सकता है, लेकिन नवीनतम तरीकों में उपयोग किए जाने वाले कई विचार: एमएमडी, छद्म-लेबल, मीट्रिक-लर्निंग, आदि। इसके अलावा, कभी-कभी सरल अनुकूलन समस्याओं में प्रशिक्षण के सापेक्ष सहजता और परिणामों की बेहतर व्याख्या के कारण इन तरीकों को लागू करना समझ में आता है।

अंत में, मैं यह नोट करना चाहता हूं कि डोमेन अनुकूलन के तरीके अभी भी लागू क्षेत्रों में उनके आवेदन की तलाश कर रहे हैं, लेकिन अनुकूलन के उपयोग की आवश्यकता वाले संभावित कार्य धीरे-धीरे अधिक से अधिक हो रहे हैं। उदाहरण के लिए, डोमेन अनुकूलन सक्रिय रूप से स्वायत्त कार मॉड्यूल का उपयोग करने के लिए उपयोग किया जाता है: चूंकि ऑटोपिलॉट्स के प्रशिक्षण के लिए शहर की सड़कों पर वास्तविक डेटा एकत्र करने के लिए यह महंगा और समय लेने वाली है, इसलिए स्वायत्त कार सिंथेटिक डेटा (SYNTHIA और GTA 5 डेटाबेस उनके उदाहरणों की सेवा) का उपयोग करते हैं, विशेष रूप से। कार से कैमरा "देखता" के विभाजन की समस्या को हल करने के लिए।

कंप्यूटर विजन में गहराई से प्रशिक्षण के आधार पर उच्च गुणवत्ता वाले मॉडल प्राप्त करना काफी हद तक प्रशिक्षण के लिए बड़े लेबल वाले डेटासेट की उपलब्धता पर निर्भर है। मार्कअप को लगभग हमेशा बहुत समय और धन की आवश्यकता होती है, जो कि मॉडल के विकास के चक्र को काफी बढ़ाता है और, परिणामस्वरूप, उन पर आधारित उत्पाद।

डोमेन अनुकूलन के तरीके इस समस्या को हल करने के उद्देश्य से हैं और संभावित रूप से कई लागू समस्याओं और सामान्य रूप से कृत्रिम बुद्धिमत्ता में एक सफलता में योगदान कर सकते हैं। ज्ञान को एक डोमेन से दूसरे में स्थानांतरित करना वास्तव में कठिन और दिलचस्प काम है, जिसका वर्तमान में सक्रिय अध्ययन किया जा रहा है। यदि आप अपने कार्यों में डेटा की कमी से पीड़ित हैं, और डेटा का अनुकरण कर सकते हैं या समान डोमेन पा सकते हैं, तो मैं डोमेन अनुकूलन के तरीकों की कोशिश करने की सलाह देता हूं!