किसी दिन हम भविष्य में चश्मा लगाने में सक्षम होंगे - और शहर के चारों ओर घूमना, जो वास्तविक समय में उस शैली में प्रदान किया जाता है जिसे हम पसंद करते हैं। धूप हो या हल्की धुंध, शाम का सूर्यास्त, जो भी हो। कोई फर्क नहीं पड़ता कि वास्तुकला कितना सुस्त है, चश्मे के साथ यह सुंदर होगा। शैलियों के हस्तांतरण के साथ प्रतिपादन की इन संभावनाओं को अद्भुत कार्यक्रम डीप फोटो स्टाइल ट्रांसफर द्वारा खोला जाता है, जो सार्वजनिक डोमेन में प्रकाशित होता है, साथ ही साथ इसमें अंतर्निहित वैज्ञानिक कार्य (arXiv: 1703.07511)।

शैली को एक छवि से दूसरी में स्थानांतरित करना एक पुरानी समस्या है जिसे डेवलपर्स ने अतीत में हल करने के लिए अपेक्षाकृत सफलतापूर्वक प्रयास किया है। शैली को स्थानांतरित करने के लिए सही मॉडल का चयन करके, आप अपनी तस्वीर को खूबसूरती से बदल सकते हैं - जैसे कि यह दिन के दूसरे समय में, अलग-अलग प्रकाश के तहत, अलग-अलग मौसम में या एक विशेष तरीके से, कलात्मक रूप से संसाधित होता है। अब तक, तंत्रिका नेटवर्क का उपयोग करके शैलियों को स्थानांतरित करने की तकनीक अपेक्षाकृत सीमित रही है - या तो वे केवल कुछ दृश्यों के साथ काम कर सकते थे, या स्थानांतरित शैलियों की दुर्दशा का सामना करना पड़ा। नए कार्यक्रम डीप फोटो स्टाइल ट्रांसफर के लेखकों ने इन सभी समस्याओं को हल करने की कोशिश की।

न्यूरल नेटवर्क डीप फोटो स्टाइल ट्रांसफर, गैटिस द्वारा वर्णित न्यूरल स्टाइल ट्रांसफर तकनीक के अनुसार बनाया गया है, लेकिन इसमें काफी सुधार और सुधार किया गया है। मुख्य सुधार फोटोरिअलिज़्म है। यहां तक ​​कि अगर मूल छवि और नमूना तस्वीरें हैं, तो भी अंतिम छवि अभी भी एक तस्वीर से मिलती है, जहां स्पष्ट रेखाएं और सीमाएं धुंधली हो जाती हैं और बनावट पड़ोसी वस्तुओं पर आरोपित होती हैं। यह सुंदर दिखता है, लेकिन बहुत वास्तविक नहीं।

रंग अंतरिक्ष केवल

डीप फोटो स्टाइल ट्रांसफर का परिणाम कड़ाई से फोटोरिअलिस्टिक है। स्थानिक विरूपण पर प्रतिबंध के कारण "पेंटिंग प्रभाव" समाप्त हो गया। यहां, शैलियों का स्थानांतरण केवल रंग स्थान द्वारा सीमित है। दूसरे शब्दों में, वस्तुओं का आकार ठीक उसी तरह रहता है जैसे मूल में। यह इस कारण से है कि भविष्य में लेख की शुरुआत में जिन "बिंदुओं" का उल्लेख किया गया था, वे संभव हो जाएंगे। आसपास की वास्तविकता में सभी ऑब्जेक्ट अपने आकार को बनाए रखेंगे, वे बस एक अलग शैली में दिखेंगे।

लेखकों ने किरचॉफ मैट्रिक्स (लाप्लासियन मैट्रिक्स) की भावना में तंत्रिका नेटवर्क की एक विशिष्ट परत का उपयोग करके इस कार्य को प्राप्त किया - मैट्रिक्स के रूप में ग्राफ का प्रतिनिधित्व करना। जैसा कि विभिन्न दृश्यों के साथ तस्वीरों में सत्यापन द्वारा दिखाया गया है, यह दृष्टिकोण सफलतापूर्वक विरूपण को दबा देता है, जबकि एक ही समय में तस्वीरों की प्रामाणिकता पर न्यूनतम प्रभाव बढ़ाता है।

सबसे स्पष्ट रूप से वर्णित सिद्धांत दो विशेष रूप से चयनित उदाहरणों में प्रकट होता है।



जैसा कि आप देख सकते हैं, वस्तुओं की सीमाएं स्पष्ट रूप से संरक्षित हैं। रूपांतरण केवल रंग स्थान में होता है। पहले मामले में, आग की शैली को इत्र की बोतल में स्थानांतरित किया जाता है, और दूसरे मामले में, पैटर्न के अनुसार सेब की बनावट बदल जाती है।

शब्दार्थ विभाजन

कार्यक्रम के लेखकों की दूसरी उपलब्धि मूल तस्वीर और शैली के नमूने में अनुचित वस्तुओं के बीच शैली को स्थानांतरित करने की समस्या को हल करना है। यह शब्दार्थ विभाजन के माध्यम से किया जाता है। इसलिए, घर की शैलियों को केवल घरों के बीच स्थानांतरित किया जाता है, और आकाश की शैली केवल आकाश को प्रभावित करती है। कई मामलों में, सिमेंटिक विभाजन बहुत कुशलता से काम करता है, बशर्ते कि शैली के नमूने में मूल छवि की तरह ही सिमेंटिक ऑब्जेक्ट हो।

उपरोक्त दृष्टिकोणों में से दो ने अत्यंत यथार्थवादी फोटो रूपांतरण प्रदान किया है।

मूल


शैली पैटर्न


अंतिम छवि


यहाँ कुछ और उदाहरण दिए गए हैं।

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

---

मूल


शैली पैटर्न


अंतिम छवि

इस एल्गोरिथ्म की गुणवत्ता केवल उन उपयोगकर्ताओं के सर्वेक्षण द्वारा निर्धारित की जा सकती है जो फोटोलेरिज्म और शैली के प्रसारण की विश्वसनीयता का मूल्यांकन करते हैं। ऐसा सर्वेक्षण किया जाएगा। उन्होंने दिखाया कि छायावाद के संदर्भ में, डीप फोटो स्टाइल ट्रांसफर तंत्रिका शैली और CNNMRF के पहले प्रस्तुत किए गए घटनाक्रमों से काफी आगे निकल गया है, लेकिन पीट रंग प्रतिपादन प्रणाली से हीन है । स्टाइल डीप फोटो स्टाइल ट्रांसफर की विश्वसनीयता अन्य तरीकों की तुलना में बहुत बेहतर है।



वैज्ञानिक कार्यों के लेखक छवि विभाजन की मौजूदा सीमाओं को दूर करने के लिए अनुसंधान जारी रखने का इरादा रखते हैं। वे पूर्व-प्रशिक्षित तंत्रिका नेटवर्क होनहार का उपयोग करके फ़ोटो के वास्तविक समय प्रसंस्करण पर भी विचार करते हैं।