मशीन दृष्टि तंत्रिका नेटवर्क यथार्थवादी कंप्यूटर गेम पर प्रशिक्षित है।

कंप्यूटर गेम ग्रैंड थेफ्ट ऑटो वी और एक मशीन दृष्टि तंत्रिका नेटवर्क सीखने के लिए अर्थ मार्कअप से शॉट्स

न्यूरल नेटवर्क लगभग सभी कंप्यूटर विज़न प्रतियोगिताओं में नए रिकॉर्ड स्थापित करते हैं, और अन्य एआई अनुप्रयोगों में भी तेजी से उपयोग किए जाते हैं। ऐसे अविश्वसनीय तंत्रिका नेटवर्क प्रदर्शन के प्रमुख घटकों में से एक प्रशिक्षण और मूल्यांकन के लिए बड़े डेटा सेट की उपलब्धता है। उदाहरण के लिए, आधुनिक तंत्रिका नेटवर्क का मूल्यांकन करने के लिए 1 मिलियन से अधिक छवियों के साथ Imagenet लार्ज स्केल विजुअल रिकॉग्निशन चैलेंज (ILSVRC) का उपयोग किया जाता है। लेकिन नवीनतम परिणामों को देखते हुए (ResNet केवल 3.57% त्रुटियों का परिणाम दिखाता है), जल्द ही शोधकर्ताओं को अधिक व्यापक डेटा सेट संकलित करना होगा। और फिर - और भी व्यापक। वैसे, इस तरह के फोटो को एनोटेट करना बहुत काम है, जिसका एक हिस्सा मैन्युअल रूप से किया जाना है।

कंप्यूटर विजन सिस्टम के कुछ डेवलपर्स ऐसे सिस्टम को प्रशिक्षित करने और परीक्षण करने का एक वैकल्पिक तरीका प्रदान करते हैं। प्रशिक्षण फ़ोटो को मैन्युअल रूप से एनोटेट करने के बजाय, वे यथार्थवादी कंप्यूटर गेम से संश्लेषित फ़्रेम का उपयोग करते हैं।

यह पूरी तरह से तार्किक दृष्टिकोण है। आधुनिक खेलों में, ग्राफिक्स यथार्थवाद के ऐसे स्तर पर पहुंच गए हैं कि संश्लेषित चित्र वास्तविक दुनिया की तस्वीरों से केवल थोड़ा अलग हैं। एक ही समय में, गेम इंजन अनंत प्रकार के फ़्रेमों को उत्पन्न कर सकता है - यह तुरंत तंत्रिका नेटवर्क के प्रशिक्षण और मूल्यांकन के लिए लाखों फ़ोटो एकत्र करने की समस्या को नाटकीय रूप से हल करता है।

यद्यपि खेल इंजन एक सीमित संख्या में बनावट का उपयोग करता है, लेकिन देखने के कोण, प्रकाश व्यवस्था, मौसम और विस्तार के स्तर के संयोजन की एक विस्तृत विविधता है, जो पर्याप्त मात्रा में डेटा सेट प्रदान करता है।

इस वर्ष, शोधकर्ताओं के दो समूहों ने अभ्यास में जाँच की कि क्या कंप्यूटर विज़न न्यूरल नेटवर्क के प्रशिक्षण के लिए कंप्यूटर गेम से उत्पन्न फ्रेम का उपयोग करना संभव है। ब्रिटिश कोलंबिया विश्वविद्यालय में सूचना विज्ञान के संकाय (कनाडा) के शोधकर्ताओं के एक समूह ने एक प्रकाशित वैज्ञानिक लेख , जिसके लिए सड़क प्रकार के साथ एक कंप्यूटर गेम से अधिक से अधिक 60 000 फ्रेम एकत्र, डेटा के समान सेट CamVid और शहर परिदृश्य । शोधकर्ता यह साबित करने में कामयाब रहे कि सिंथेटिक चित्रों पर प्रशिक्षण के बाद तंत्रिका नेटवर्क वास्तविक तस्वीरों में प्रशिक्षण के बाद एक समान त्रुटि स्तर दिखाता है। इसके अलावा, वास्तविक तस्वीरों का उपयोग करके संश्लेषित छवियों पर प्रशिक्षण एक और भी बेहतर परिणाम दिखाता है।

वर्चुअल धूप के मौसम में सभी 60,000 फ्रेम ले लिए गए, आभासी समय में 11:00 बजे, 1024 × 768 और अधिकतम ग्राफिक्स सेटिंग्स के साथ (कॉपीराइट के बारे में चिंताओं के कारण खेल का नाम का खुलासा नहीं किया गया था)। एक मानवरहित वाहन गलती से सड़क के नियमों का पालन करते हुए गेमिंग सड़कों पर चला गया। फ्रेम को एक सेकंड में एक बार शूट किया गया था। उनमें से प्रत्येक स्वत: अर्थ सेगमेंटेशन (आकाश, पैदल, कारों, पेड़ों, पृष्ठभूमि - विभाजन बिल्कुल सटीक है और खेल से लिया गया है), एक गहरी छवि (गहराई की छवि, वस्तुओं के मार्कअप के साथ नक्शा) के साथ-साथ सतह पर आदर्श के साथ है।

बुनियादी वीजी डेटासेट के अलावा, शोधकर्ताओं ने बहुत सी अर्थ सूचना के साथ एक और वीजी + डेटासेट बनाया, जो पांच लेबल तक सीमित नहीं है - यहां विभाजन सटीक नहीं है। SegNet का उपयोग करके मार्कअप स्वचालित रूप से किया गया था ।


वीजी + सेट से कसकर टैग किए गए फ्रेम

तंत्रिका नेटवर्क प्रशिक्षण की प्रभावशीलता की तुलना करने के लिए, कैमवीड और सिटीसैप्स डेटा सेट (पांच लेबल), साथ ही कैमविड + और सिटीसैप्स + के साथ विस्तारित लेबल सेट तैयार किए गए थे।


मूल CamVid तस्वीरें एनोटेशन के साथ सिटीस्कैप्स की


दो रैंडम छवियां + विस्तृत एनोटेशन के साथ सेट करें।

सिमेंटिक वर्गीकरण के लिए, सिमोनीन और सिसरमैन के 16-लेयर वीजीजी नेट के शीर्ष पर एक साधारण एफसीएन 8 वास्तुकला के साथ एक लंबी संलयन तंत्रिका नेटवर्क।।

शोधकर्ताओं ने एक तंत्रिका नेटवर्क द्वारा वस्तुओं की मान्यता दक्षता का मूल्यांकन करने के लिए कई प्रयोग किए जो विभिन्न डेटा सेटों पर प्रशिक्षित किए गए थे। लगभग सभी मामलों में, सिंथेटिक डेटा पर प्रशिक्षित एक तंत्रिका नेटवर्क ने वास्तविक तस्वीरों पर प्रशिक्षित तंत्रिका नेटवर्क की तुलना में बेहतर परिणाम दिखाया। असली तस्वीरों पर जाँच करने पर भी उसने सबसे अच्छा परिणाम दिखाया।

उदाहरण के लिए, तालिका तीन डेटा सेट (वास्तविक फ़ोटो, गेम से सिंथेटिक डेटा, मिश्रित सेट) पर प्रशिक्षित समान तंत्रिका नेटवर्क के प्रदर्शन का आकलन देती है जब ऑब्जेक्ट कैमविड + और सिटीस्केप + सेट से वास्तविक फ़ोटो में पहचाने जाते हैं।



जैसा कि आप देख सकते हैं, जब एक तंत्रिका नेटवर्क को प्रशिक्षित करते हैं, तो वास्तविक तस्वीरों के साथ कंप्यूटर गेम से सिंथेटिक छवियों को पूरक करना सबसे अच्छा है।

वैज्ञानिक लेखप्रकाशित 5 अगस्त, वर्ष 2016 arXiv.org, दूसरे संस्करण में - 15 अगस्त ( पीडीएफ )।



ब्रिटिश कोलंबिया विश्वविद्यालय के शोधकर्ताओं के अलावा, लगभग एक ही काम डार्मस्टेड तकनीकी विश्वविद्यालय (जर्मनी) और इंटेल लैब्स के वैज्ञानिकों के एक अन्य समूह द्वारा किया गया था । उन्होंने प्रशिक्षण के लिए ओपन-वर्ल्ड कंप्यूटर गेम ग्रैंड थेफ्ट ऑटो वी से 24,966 फ्रेम लिए। शोधकर्ताओं ने एक ही परिणाम दिया: सिंथेटिक छवियों के 2/3 और कैमविड तस्वीरों के 1/3, सटीकता से बना एक प्रशिक्षण डेटासेट का उपयोग करते समय। कैमविड तस्वीरों का उपयोग करते समय मान्यता केवल से अधिक है।


CamVid से तस्वीरों में विभिन्न वस्तुओं की पहचान की सटीकता, पारंपरिक तरीकों का उपयोग करते समय और GTA V (नीचे की रेखा) से फ़्रेम का उपयोग करते समय सेट करें

एक ही समय में, एक विशेष रूप से विकसित संपादक में अर्ध-स्वचालित एनोटेशन एक तंत्रिका नेटवर्क के प्रशिक्षण के लिए डेटा सेट तैयार करने के लिए आवश्यक समय को काफी कम कर देता है। उदाहरण के लिए, एक CamVid फोटो की व्याख्या करने में 60 मिनट लगते हैं, एक सिटीसाइड फोटो में 90 मिनट लगते हैं, और अर्ध-स्वचालित GTA V फ्रेम एनोटेशन में केवल 7 सेकंड लगते हैं, औसतन ( वीडियो, संपादक का प्रदर्शन )।



कंप्यूटर विज़न ECCV'16 (अक्टूबर 11-14) पर यूरोपीय सम्मेलन के लिए डार्मस्टेड टेक्निकल यूनिवर्सिटी और इंटेल लैब्स के शोधकर्ताओं का काम विश्वविद्यालय की वेबसाइट पर प्रकाशित किया गया था। लेखकों ने लेबल पढ़ने और डेटा के पूर्ण सेटों के लिए स्रोत कोड निर्धारित किया है : स्रोत के फोटोग्राफ और सिमेंटिक मार्कअप के साथ इन-डेप्थ चित्र। एनोटेशन के लिए संपादक का स्रोत कोड भविष्य में प्रकाशित होने की संभावना है।



यथार्थवादी कंप्यूटर गेम बनाने में प्रगति के लिए धन्यवाद, आर्टिफिशियल इंटेलिजेंस सिस्टम के डेवलपर्स के पास अपने निपटान में मशीन विजन सिस्टम सीखने के लिए एक उत्कृष्ट मंच होगा। इन सिस्टमों का इस्तेमाल मानवरहित वाहनों और रोबोट में किया जाएगा।

शायद कंप्यूटर गेम का उपयोग न केवल मशीन दृष्टि के लिए किया जा सकता है, बल्कि समाज में व्यवहार के प्राकृतिक पैटर्न बनाने के लिए भी किया जा सकता है। केवल एआई प्रशिक्षण के साथ आपको एक खेल चुनने के बारे में सावधान रहना चाहिए।

Source: https://habr.com/ru/post/hi397557/