तंत्रिका नेटवर्क उनकी तैयारी के लिए व्यंजनों के अनुसार व्यंजनों की छवियां उत्पन्न करता है

वास्तविक तस्वीरों (ऊपर) की तुलना, सिमेंटिक रेगुलराइजेशन (मध्य पंक्ति) और इसके बिना की गई छवियां

तेल अवीव विश्वविद्यालय के शोधकर्ताओं की एक टीम ने एक तंत्रिका नेटवर्क विकसित किया है जो अपने पाठ्य व्यंजनों के अनुसार व्यंजनों की छवियां उत्पन्न कर सकता है। इस प्रकार, एक गृहिणी अग्रिम में देख सकती है कि परिणामस्वरूप क्या होगा यदि नुस्खा का एक या दूसरा पैराग्राफ बदल दिया जाता है: एक नया घटक जोड़ें या मौजूदा कुछ को हटा दें। सिद्धांत रूप में, यह वैज्ञानिक कार्य एक व्यावसायिक अनुप्रयोग के लिए एक अच्छा विचार है, खासकर जब से कार्यक्रम का स्रोत कोड सार्वजनिक डोमेन में प्रकाशित होता है ।

एक न्यूरल नेटवर्क एक जनरेटिव एडवरसरी नेटवर्क (GAN) का संशोधित संस्करण है जिसे स्टैकगैन V2 कहा जाता है। रेसिपी 1 एम डेटासेट से 52 हज़ार जोड़े चित्रों / व्यंजनों के एक बड़े आधार पर प्रशिक्षण हुआ।

सिद्धांत रूप में, एक तंत्रिका नेटवर्क लगभग किसी भी सामग्री और निर्देशों की सूची ले सकता है - यहां तक ​​कि शानदार संयोजन - और पता लगा सकते हैं कि तैयार उत्पाद कैसा दिखता है।

"यह सब तब शुरू हुआ जब मैंने अपनी दादी माँ से टमाटर की चटनी के साथ उनकी मशहूर फिश पैटीज की रेसिपी के लिए पूछा," कागज के प्रमुख लेखक ओरी बार एल कहते हैं । "उसकी उन्नत उम्र के कारण, उसे सटीक नुस्खा याद नहीं था।" लेकिन मैं सोच रहा था कि क्या ऐसा सिस्टम बनाना संभव है जो भोजन की छवि से एक नुस्खा प्रदर्शित करता है। इस कार्य के बारे में सोचने के बाद, मैं इस निष्कर्ष पर पहुंचा कि प्रणाली के लिए असली और "छिपी हुई" सामग्री, जैसे नमक, काली मिर्च, मक्खन, आटा, आदि के साथ एक सटीक नुस्खा प्राप्त करना बहुत मुश्किल है, फिर मुझे आश्चर्य हुआ कि क्या यह दूसरी तरह से किया जा सकता है। अर्थात्, व्यंजनों के आधार पर उत्पाद छवियां उत्पन्न करें। हमारा मानना ​​है कि यह कार्य लोगों के लिए, विशेषकर कंप्यूटर के लिए बहुत कठिन है। चूंकि कृत्रिम बुद्धिमत्ता की अधिकांश आधुनिक प्रणालियाँ उन कार्यों में विशेषज्ञों को प्रतिस्थापित करने का प्रयास करती हैं जो मनुष्यों के लिए सरल हैं, हमने सोचा कि ऐसी समस्या को हल करना दिलचस्प होगा जो मानवीय क्षमताओं से परे हो। जैसा कि आप देख सकते हैं, यह कुछ सफलता के साथ किया जा सकता है। ”

पाठ से चित्र बनाना एक जटिल कार्य है जिसमें कई कंप्यूटर दृष्टि अनुप्रयोग हैं। हाल के काम से पता चला है कि कम-परिवर्तनशीलता, कम-रिज़ॉल्यूशन डेटा सेट से उच्च-गुणवत्ता वाली यथार्थवादी छवियों को संश्लेषित करने में जेनेरिक एडवरसियर नेटवर्क (जीएएन) बहुत प्रभावी हैं।

यह भी ज्ञात है कि सीजीएएन नेटवर्क पाठ विवरण से सीधे सम्मोहक चित्र उत्पन्न करते हैं। हाल ही में, एक वैज्ञानिक अध्ययन के हिस्से के रूप में, एक नुस्खा 1M डेटासेट में 800 हजार जोड़े व्यंजनों और उनकी संबंधित छवियों (ए। सल्वाडोर, एन। हाइन्स, वाई। अय्यर, जे। मारिन, एफ। टली, आई। वेबर) शामिल थे। और ए। टोराल्बा। खाना पकाने के व्यंजनों और भोजन छवियों के लिए क्रॉस-मोडल एम्बेडिंग सीखना । कंप्यूटर विजन और पैटर्न मान्यता , 2017 पर IEEE सम्मेलन की कार्यवाही में )। श्रेणी द्वारा खाद्य श्रेणियों की विविधता के कारण इस सेट में उच्च परिवर्तनशीलता है। इसके अलावा, दो खंडों (सामग्री और निर्देश) से जटिल पाठ छवियों से जुड़ा हुआ है। कुल में, पाठ भाग में दर्जनों लाइनें हो सकती हैं।

इस तरह के एक उत्कृष्ट डेटा सेट के साथ, तेल अवीव विश्वविद्यालय के वैज्ञानिक केवल तंत्रिका नेटवर्क को प्रशिक्षित कर सकते थे। उन्होंने जेनरेटरी-प्रतिस्पर्धी नेटवर्क और एक प्रकाशित डेटा सेट के क्षेत्र में संचित ज्ञान को संयुक्त किया।

शोधकर्ताओं ने स्वीकार किया कि सिस्टम अभी तक सही नहीं है। समस्या यह है कि प्रारंभिक डेटा सेट 256 × 256 पिक्सेल के अपेक्षाकृत छोटे रिज़ॉल्यूशन छवियों द्वारा दर्शाया जाता है, और अक्सर खराब गुणवत्ता के होते हैं, खराब रोशनी की स्थिति, दलिया जैसी छवियां और गैर-वर्ग-आकार की छवियां (जो सीखने के मॉडल को कठिन बनाती हैं) के साथ कई चित्र हैं। यह तथ्य बताता है कि दोनों विकसित सीजीएएन मॉडल "दलिया-जैसे" खाद्य उत्पादों (उदाहरण के लिए, पास्ता, चावल, सूप, सलाद) बनाने में सफल रहे, लेकिन उनके लिए एक अलग, विशिष्ट रूप (उदाहरण के लिए, हैमबर्गर या चिकन) के साथ खाद्य छवियां उत्पन्न करना बहुत मुश्किल है।

भविष्य में, लेखक सिस्टम को बाकी व्यंजनों को पढ़ाने के द्वारा काम जारी रखने का इरादा रखता है (लगभग 350 हजार चित्र उपयुक्त डेटा के सेट में रहते हैं)। हालांकि, यह इस तथ्य को नकारता नहीं है कि उपलब्ध तस्वीरें खराब गुणवत्ता की हैं। इसलिए, वे बच्चों की किताबों और संबंधित चित्रों के पाठ के आधार पर अपना स्वयं का सेट बनाने की संभावना की अनुमति देते हैं।

वैज्ञानिक लेख 8 जनवरी, 2019 को प्रीप्रिंट साइट arXiv.org (arXiv: 1901.02404) पर प्रकाशित हुआ था।