Google न्यूरल नेटवर्क रैंडमली स्टाइल्स रियल-टाइम इमेजेज

Google का तंत्रिका नेटवर्क फ़ोटो पर 32 प्रशिक्षित शैलियों में से किसी को भी सुपरमिज़ करता है (पाँच यहाँ दिखाए गए हैं)। कार्यक्रम हार्डवेयर और मेमोरी के लिए बिना सोचे समझे है। कोड जल्द ही प्रकाशित किया जाएगा

बनावट का संश्लेषण एक छवि से दूसरे में शैली के हस्तांतरण के साथ - एक प्रसिद्ध तकनीक जो 15 साल की है। यह पहली बार SIGGRAPH 2001 सम्मेलन के लिए Microsoft अनुसंधान के शोधकर्ताओं के एक समूह द्वारा " छवि में समानताएं " लेख में वर्णित किया गया था , साथ ही साथ एक ही वर्ष 2001 में बर्कले में मित्सुबिशी इलेक्ट्रिक रिसर्च और कैलिफोर्निया विश्वविद्यालय से लेख " बनावट संश्लेषण और हस्तांतरण के लिए छवि पैडिंग " । अब यह कहना मुश्किल है कि कौन पहले दिखाई दिया।

2015 में, तकनीक को दूसरा जीवन मिला, जब न्यूरल नेटवर्क शैली हस्तांतरण के साथ छवियों के संश्लेषण से जुड़े थे। यह हुआ वैज्ञानिक काम करने के बाद " neuroalgorithms कलात्मक शैली " विश्वविद्यालय एबरहार्ड-कार्ल्स Tuebingen, जर्मनी (से Getisa, एकर और Bethge Geektimes पर लेख )। यह कार्य इतना प्रभावशाली है कि वर्णित एल्गोरिथ्म जल्द ही उपभोक्ता बाजार के लिए कई कंप्यूटर कार्यक्रमों में लागू किया गया था, जिसमें रूसी प्रिज्मा (जून 2016) जैसे मोबाइल एप्लिकेशन शामिल हैं ।

गेटिस, ईकर और बेटेज का काम अच्छा है क्योंकि लेखकों ने प्रसिद्ध कलाकारों के मौजूदा कार्यों पर तंत्रिका नेटवर्क को प्रशिक्षित किया: विन्सेन्ट वान गाग, पाब्लो पिकासो, एडवर्ड मुंच और अन्य। इसी समय, तंत्रिका नेटवर्क को अन्य डेटा सेटों पर प्रशिक्षित किया जा सकता है, इसलिए यह एक सार्वभौमिक उपकरण है। यह एक ऐसा न्यूरल नेटवर्क है जो प्रिज्मा और अन्य कंपनियों के सर्वर पर चलता है जो उपयोगकर्ता फोटो को स्टाइल करने के लिए मोबाइल एप्लिकेशन वितरित करते हैं।

गेटिस, ईकर और बेट्गे के दृढ़ तंत्रिका नेटवर्क को सिमोनियन और ज़िसरमैन के 19-परत वीजीजी तंत्रिका नेटवर्क के आधार पर बनाया गया था।, और मूल छवि का प्रसंस्करण कई चरणों में होता है। पदानुक्रम में प्रत्येक चरण में, फ़िल्टर की संख्या बढ़ जाती है। एक विशिष्ट शैली के लिए स्टाइलिंग "डाउनसम्पलिंग" (व्यापक स्ट्रोक, क्यूबिस्ट पैटर्न, आदि) के पहले चरणों में होती है, और तंत्रिका नेटवर्क की अंतिम परतें मूल छवि को संसाधित करती हैं ताकि ऑब्जेक्ट पहचानने योग्य रहें ( आरेख में डी और ई )। तंत्रिका नेटवर्क एक यादृच्छिक स्थिति (या मूल छवि से) से काम करना शुरू कर देता है जब तक कि परिणाम निर्दिष्ट आवश्यकताओं को पूरा नहीं करता है।



सामग्री और शैली के प्रतिनिधि तंत्रिका नेटवर्क में एक दूसरे से अलग होते हैं। इस प्रकार, उन्हें एक-दूसरे से स्वतंत्र रूप से नियंत्रित किया जा सकता है। उदाहरण के लिए, एक छवि से सामग्री लें, और दूसरी से शैली।


गैटिस, ईकर और बेटगे

मूल छवि के तंत्रिका नेटवर्क में स्टाइलिंग छवियों के उदाहरण : ओल्ड टाउन इन तुबिंगन


शैली नमूना: पेंटिंग "क्लाउन हेड" (1907-1908), जॉर्जेस रौल्ट, शैली, अभिव्यक्तिवाद


तंत्रिका नेटवर्क के काम का नतीजा


यह काम गहन शिक्षण प्रौद्योगिकियों में एक मौलिक सफलता माना जाता है, क्योंकि यह एक तंत्रिका नेटवर्क के माध्यम से कलात्मक शैली के हस्तांतरण का पहला वैचारिक प्रमाण है। एक कलात्मक दृष्टि, जिसे लेखक की शैली और कला की शैली माना जाता था, को एक तंत्रिका नेटवर्क द्वारा सफलतापूर्वक औपचारिक और अवशोषित किया जाता है। कृत्रिम बुद्धिमत्ता ने पहली बार वास्तविक रचनात्मकता में महारत हासिल की।

चित्र की शैली और सामग्री को अलग करने के विचार ने विभिन्न प्रकार के तंत्रिका नेटवर्क बनाए, जिसमें भयावह छवियों की पीढ़ी भी शामिल थीऔर अश्लील चित्र बनाने के लिए ।

दुर्भाग्य से, गैटिस, ईएकेआर और बेट्ज न्यूरल नेटवर्क में एक खामी है: इस तरह के तंत्रिका नेटवर्क कंप्यूटिंग संसाधनों पर बहुत अधिक मांग कर रहे हैं। यह पहले डेमो अनुप्रयोगों की रिहाई के बाद स्पष्ट हो गया, जिन्हें कई मिनटों के लिए सर्वर पर संसाधित किया गया था। रूसी विशेषज्ञों सहित

बाद के कार्यों में, सीमित कार्यक्षमता के कारण तंत्रिका नेटवर्क को काफी अनुकूलित किया गया था। नतीजतन, अनुकूलन इस हद तक पहुंच गया कि कुछ मिनटों के बजाय, फोटो का स्टाइलाइजेशन लगभग तुरंत होने लगा। इसलिए वास्तविक समय के वीडियो को भी स्टाइल करने का अवसर था !

लेकिन इस तरह के एक स्टाइलिज्म में सिक्के का एक फ्लिप पक्ष होता है। अल्ट्रा-फास्ट स्टाइलिंग केवल तभी संभव है जब नमूना के लिए एक छवि ली गई हो । यह मूल एल्गोरिथम की एक सीमा है, क्योंकि यह एक शैली से बंधा नहीं है। दूसरे शब्दों में, यदि आप एक ऐसी प्रणाली बनाना चाहते हैं जो 100 विभिन्न शैलियों को प्रसारित कर सकती है, तो आपको 100 विभिन्न तंत्रिका नेटवर्क को पूर्व-प्रशिक्षित करना होगा।

अब Google ने इस शोध में योगदान दिया है। 24 अक्टूबर 2016 को, Google ब्रेन टीम के कर्मचारियों ने एक एल्गोरिथ्म का वर्णन करते हुए एक लेख प्रकाशित किया, जो पिछले वाले की तरह ही तेजी से काम करता है, लेकिन एक ही सार्वभौमिक तंत्रिका नेटवर्क में किसी भी अधिग्रहित शैलियों को थोप सकता है।

के अनुसार के शब्दोंडेवलपर्स, उनका एल्गोरिथ्म लागू करने के लिए सरल है और रैम पर उच्च मांगों को आगे नहीं रखता है। इसके अलावा, कई शैलियों पर प्रशिक्षण के बाद, वह एक ही समय में कई शैलियों को संयोजित करने और वास्तविक समय में काम करने में सक्षम है । उदाहरण के लिए, यहां तुबिंगन में उसी पुराने शहर की एक तस्वीर है, जिस पर चार शैलियों को एक साथ समेटा गया है ।



शोधकर्ताओं का मानना ​​है कि उनका काम स्टाइलिज़ेशन न्यूरल नेटवर्क के रचनात्मक उपयोग के लिए नई संभावनाओं को खोलता है। निकट भविष्य में, वे मेजेंटा ब्लॉग पर टेन्सरफ्लो के लिए कार्यक्रम के स्रोत कोड को प्रकाशित करने का वादा करते हैं, ताकि हर कोई अपने कंप्यूटर पर डेमो चला सके।

तंत्रिका नेटवर्क में स्टाइलिंग छवियों के बारे में अधिक विवरण लोकप्रिय विज्ञान वीडियो में वर्णित हैं ।। यह दो कर्मचारियों नट और लो द्वारा अपने काम के समय के 20% में दर्ज किया गया था, जिसे Google अपनी पसंद की परियोजनाओं के लिए आवंटित करता है।

Source: https://habr.com/ru/post/hi398703/