बहु-पिक्सेल संभाव्य फोटो वृद्धि: Google मस्तिष्क

सेलिब्रिटी चेहरों के आधार पर प्रशिक्षण के बाद तंत्रिका नेटवर्क का एक उदाहरण। बाईं ओर तंत्रिका नेटवर्क के इनपुट पर 8 × 8 पिक्सल की छवियों का प्रारंभिक सेट है, केंद्र में मॉडल की भविष्यवाणी के अनुसार 32 × 32 पिक्सल तक के प्रक्षेप का परिणाम है। दाईं ओर हस्ती के चेहरे की वास्तविक तस्वीरें हैं, जो 32 × 32 तक कम हैं, जिसमें से बाएं स्तंभ के लिए नमूने प्राप्त किए गए थे

क्या अनंत तक फोटो के संकल्प को बढ़ाना संभव है? क्या 64 पिक्सेल के आधार पर विश्वसनीय चित्र उत्पन्न करना संभव है? लॉजिक बताता है कि यह असंभव है। Google ब्रेन का नया न्यूरल नेटवर्क अलग तरह से सोचता है। यह वास्तव में तस्वीरों के संकल्प को अविश्वसनीय स्तर तक बढ़ाता है।

इस तरह के "अति-संकल्प" कम-रिज़ॉल्यूशन कॉपी से मूल छवि की बहाली नहीं है। यह एक विश्वसनीय तस्वीर का एक संश्लेषण है जो शायद मूल छवि हो सकती है। यह एक संभाव्य प्रक्रिया है।

जब कार्य किसी तस्वीर के "रिज़ॉल्यूशन" को बढ़ाना है, लेकिन इसमें सुधार के लिए कोई विवरण नहीं है, तो मॉडल का कार्य मानव दृष्टिकोण से सबसे प्रशंसनीय छवि उत्पन्न करना है। बदले में, जब तक मॉडल ने आकृति नहीं बनाई है और एक "मजबूत-इच्छा" निर्णय किया है, जिसके बारे में बनावट, आकार और पैटर्न छवि के विभिन्न हिस्सों में मौजूद होंगे, तब तक यथार्थवादी छवि बनाना असंभव है।

उदाहरण के लिए, केवल KDPV को देखें, जहां बाएं स्तंभ में तंत्रिका नेटवर्क के लिए वास्तविक परीक्षण चित्र हैं। उनके पास त्वचा और बालों का विवरण नहीं है। वे किसी भी तरह से पारंपरिक प्रक्षेप विधियों जैसे कि रैखिक या बाइसिक के द्वारा बहाल नहीं किए जा सकते हैं। हालांकि, यदि आपको पहले चेहरे की पूरी विविधता और उनके विशिष्ट रूपरेखाओं के बारे में गहराई से जानकारी है (और यह जानते हुए भी कि यहाँ चेहरे का रिज़ॉल्यूशन बढ़ाना आवश्यक है), तो तंत्रिका नेटवर्क एक शानदार चीज़ को पूरा करने में सक्षम है - और गायब होने वाले विवरणों को "आकर्षित" करें।

Google ब्रेन के विशेषज्ञों ने रिकर्सिव पिक्सेल सुपर रिज़ॉल्यूशन वैज्ञानिक पेपर प्रकाशित किया है, जो उच्च-रिज़ॉल्यूशन तस्वीरों के सेट पर प्रशिक्षित पूरी तरह से संभाव्य मॉडल का वर्णन करता है और छोटे 8 × 8 नमूनों से 32 × 32 छवियां उत्पन्न करने के लिए 8 × 8 की कम प्रतियां।

मॉडल में दो घटक होते हैं जो एक साथ प्रशिक्षित होते हैं: एक कंडीशनिंग तंत्रिका नेटवर्क और एक पूर्व नेटवर्क। उनमें से पहला प्रभावी रूप से संबंधित उच्च-रिज़ॉल्यूशन छवियों के वितरण पर एक कम-रिज़ॉल्यूशन छवि को सुपरमोज़ करता है, और दूसरा मॉडल उच्च-रिज़ॉल्यूशन विवरण को अंतिम संस्करण को अधिक यथार्थवादी बनाने के लिए। एक वातानुकूलित तंत्रिका नेटवर्क में ResNet इकाइयाँ होती हैं, और पहले एक PixelCNN वास्तुकला है।

योजना के अनुसार, मॉडल को चित्रण में दर्शाया गया है।



एक वातानुकूलित दृढ़ तंत्रिका नेटवर्क इनपुट पर कम-रिज़ॉल्यूशन छवियों को प्राप्त करता है और लॉग-इन मूल्यों का उत्पादन करता है जो उच्च-रिज़ॉल्यूशन छवि में प्रत्येक पिक्सेल के लिए सशर्त लॉगिट संभावना की भविष्यवाणी करते हैं। बदले में, पूर्व-अनुमानी तंत्रिका नेटवर्क पिछले यादृच्छिक पूर्वानुमानों (आरेख में धराशायी रेखा द्वारा इंगित) के आधार पर भविष्यवाणियां करता है। पूरे मॉडल के लिए संभाव्यता वितरण की गणना एक वातानुकूलित तंत्रिका नेटवर्क और लॉग से दो सेट के योग के शीर्ष पर सॉफ्टमैक्स ऑपरेटर के रूप में की जाती है।

लेकिन ऐसे नेटवर्क की गुणवत्ता का मूल्यांकन कैसे करें? वैज्ञानिक कार्य के लेखक इस निष्कर्ष पर पहुंचे कि मानक मैट्रिक्स जैसे कि पीक सिग्नल टू शोर अनुपात (पीएसएनआर) और संरचनात्मक समानता (एसएसआईएम) संकल्प में सुपरस्ट्रॉन्ग वृद्धि की ऐसी समस्याओं के लिए भविष्यवाणी की गुणवत्ता का सही आकलन करने में सक्षम नहीं हैं। इन मेट्रिक्स के अनुसार, यह पता चलता है कि सबसे अच्छा परिणाम धुंधली तस्वीरें हैं, न कि फोटोरियलिस्टिक चित्र, जिसमें स्पष्ट और विश्वसनीय विवरण प्लेसमेंट के स्थान पर वास्तविक छवि के स्पष्ट विवरण के साथ मेल नहीं खाते हैं। यानी ये pSNR और SSIM मेट्रिक्स बेहद रूढ़िवादी हैं। अध्ययनों से पता चला है कि लोग प्रतिगमन विधियों द्वारा बनाए गए धुंधले विकल्पों से वास्तविक तस्वीरों को आसानी से भेद सकते हैं, लेकिन उनके लिए वास्तविक तस्वीरों से तंत्रिका नेटवर्क द्वारा उत्पन्न नमूनों के बीच अंतर करना इतना आसान नहीं है।

आइए देखें कि Google ब्रेन द्वारा विकसित मॉडल और 200,000 सेलिब्रिटी चेहरों (सेलेबए फोटो सेट) और 2,000,000 बेडरूम (एलएसयूएन बेड रूम फोटो सेट) शो में प्रशिक्षित किए गए परिणाम क्या हैं। सभी मामलों में, सिस्टम को प्रशिक्षित करने से पहले की तस्वीरें 32 × 32 पिक्सल के आकार तक कम हो गई थीं, और फिर फिर से बाइबिक इंटरपोलेशन विधि का उपयोग करके 8 × 8 तक। TensorFlow तंत्रिका नेटवर्क 8 GPU पर प्रशिक्षित।

परिणामों की तुलना दो मुख्य आधारों पर की गई थी: 1) SRResNet तंत्रिका नेटवर्क के समान एक आर्किटेक्चर के साथ स्वतंत्र पिक्सेल-बाय-पिक्सेल प्रतिगमन (प्रतिगमन), जो प्रक्षेप की गुणवत्ता का आकलन करने के लिए मानक मैट्रिक्स पर उत्कृष्ट परिणाम दिखाता है; 2) निकटतम पड़ोसी तत्व (एनएन) की खोज करें, जो यूक्लिडियन अंतरिक्ष में पिक्सल की निकटता द्वारा सबसे समान छवि के लिए कम-रिज़ॉल्यूशन शैक्षिक नमूनों के डेटाबेस की खोज करता है, और फिर उसी उच्च-रिज़ॉल्यूशन छवि को वापस करता है जिससे यह शैक्षिक नमूना उत्पन्न हुआ था।

यह ध्यान दिया जाना चाहिए कि संभाव्य मॉडल सॉफ्टमैक्स तापमान के आधार पर विभिन्न गुणवत्ता के परिणाम पैदा करता है। यह मैन्युअल रूप से स्थापित किया गया था कि इष्टतम मान $$$\ _ ताऊ$1.1 और 1.3 के बीच झूठ। लेकिन भले ही आप इंस्टॉल करें $$$\ tau = 1.2$फिर वैसे भी परिणाम हर बार अलग होंगे।


सॉफ्टमैक्स तापमान वाले मॉडल को शुरू करते समय अलग-अलग परिणाम $$$\ tau = 1.2$

आप बिगाड़ने के तहत नमूनों द्वारा संभाव्य मॉडल के काम की गुणवत्ता का मूल्यांकन कर सकते हैं।



परिणामों के यथार्थवाद को सत्यापित करने के लिए, वैज्ञानिकों ने क्राउडसोर्सिंग का एक सर्वेक्षण किया। प्रतिभागियों को दो तस्वीरें दिखाई गईं: एक वास्तविक, और दूसरी 8 × 8 की कम प्रतिलिपि से विभिन्न तरीकों से उत्पन्न हुई और यह इंगित करने के लिए कहा गया कि कौन सी तस्वीर कैमरे द्वारा ली गई थी।



तालिका के शीर्ष पर सेलिब्रिटी आधार के लिए परिणाम हैं, और नीचे बेडरूम के लिए हैं। जैसा कि आप देख सकते हैं, तापमान पर $$$\ tau = 1.2$बेडरूम की तस्वीरों में, मॉडल ने अधिकतम परिणाम दिखाया: 27.9% मामलों में, इसका वितरण वास्तविक छवि की तुलना में अधिक यथार्थवादी निकला! यह एक स्पष्ट सफलता है।

नीचे दिया गया चित्रण तंत्रिका नेटवर्क के सबसे सफल काम को दर्शाता है, जिसमें यह यथार्थवाद के संदर्भ में मूल को "हरा" करता है। निष्पक्षता के लिए - और कुछ सबसे खराब।



तंत्रिका नेटवर्क का उपयोग करके फोटोरिअलिस्टिक छवियां उत्पन्न करने के क्षेत्र में, एक बहुत तेजी से विकास अब देखा गया है। 2017 में, हम निश्चित रूप से इस विषय पर बहुत सारी खबरें सुनेंगे।