कैस्केडूर: एक चरित्र के छह-बिंदु मुद्रा की भविष्यवाणी करना

हम अपने कैसकेडुर कार्यक्रम के लिए चरित्र एनीमेशन में गहरी सीखने के साथ पहली उपलब्धियों के बारे में सामान्य शब्दों में रूपरेखा चाहते हैं।

शैडो फाइट 3 पर काम करते हुए, हमने लगभग 4 सेकंड की औसत अवधि के साथ 1100 आंदोलनों के बारे में - बहुत सारे लड़ाकू एनीमेशन जमा किए। यह हमें बहुत पहले लगा कि यह किसी प्रकार के तंत्रिका नेटवर्क के प्रशिक्षण के लिए एक अच्छा डेटासेट हो सकता है।

एक बार जब हमने देखा कि जब एनिमेटर्स कागज पर विचारों के पहले स्केच बनाते हैं, तो उन्हें केवल चरित्र की मुद्रा की कल्पना करने के लिए सचमुच स्टिक मैन खींचने की आवश्यकता होती है। हमने सोचा कि चूंकि एक अनुभवी एनिमेटर एक साधारण पैटर्न में अच्छी तरह से पोज़ दे सकता है, इसलिए यह बहुत संभव है कि तंत्रिका नेटवर्क इसे संभाल सकता है। इस अवलोकन से, एक सरल विचार का जन्म हुआ: चलो प्रत्येक मुद्रा से केवल 6 प्रमुख बिंदु लेते हैं - कलाई, टखने, श्रोणि और गर्दन का आधार। यदि तंत्रिका नेटवर्क केवल इन बिंदुओं की स्थिति जानता है, तो क्या यह बाकी मुद्रा की भविष्यवाणी कर सकता है - चरित्र के 37 शेष बिंदुओं की स्थिति?

सीखने की प्रक्रिया को कैसे व्यवस्थित किया जाए, यह शुरुआत से ही स्पष्ट था: प्रवेश द्वार पर, नेटवर्क एक विशिष्ट मुद्रा से 6 बिंदुओं की स्थिति प्राप्त करता है, आउटपुट पर यह शेष 37 बिंदुओं की स्थिति देता है, और हम उनकी तुलना उन पदों से करते हैं जो प्रारंभिक स्थिति में थे। मूल्यांकन समारोह में, आप बिंदुओं और स्रोत के अनुमानित पदों के बीच की दूरी के लिए कम से कम वर्ग विधि का उपयोग कर सकते हैं।

प्रशिक्षण डेटासेट के लिए, हमारे पास शैडो फाइट 3 से सभी पात्रों के मूवमेंट थे। हमने प्रत्येक फ्रेम से पोज़ लिया, और हमें लगभग 115,000 लोग मिले। लेकिन यह सेट विशिष्ट था - चरित्र लगभग हमेशा एक्स अक्ष के साथ दिखता था, और बाएं पैर हमेशा आंदोलन की शुरुआत में सामने था। इस समस्या को हल करने के लिए, हमने कृत्रिम रूप से दर्पण पोज़ बनाकर डेटासेट का विस्तार किया, और अंतरिक्ष में प्रत्येक पोज़ को बेतरतीब ढंग से घुमाया। इसने हमें डेटासेट को दो मिलियन पोज़ तक बढ़ाने की अनुमति दी। हमने नेटवर्क प्रशिक्षण के लिए 95% अपने डेटासेट का उपयोग किया और 5% पैरामीटराइजेशन और परीक्षण के लिए।


हमने एक काफी सरल तंत्रिका नेटवर्क आर्किटेक्चर लिया - सक्रियण फ़ंक्शन के साथ एक पूरी तरह से जुड़ा हुआ पांच-परत नेटवर्क और स्व-सामान्यीकरण तंत्रिका नेटवर्क से एक आरंभीकरण विधि। अंतिम परत पर, सक्रियण का उपयोग नहीं किया जाता है। प्रत्येक नोड के लिए 3 निर्देशांक होने पर, हमें 6 * 3 तत्वों की एक इनपुट परत और 37 * 3 तत्वों की आउटपुट परत मिलती है। हमने छिपी हुई परतों के लिए इष्टतम वास्तुकला की खोज की और प्रत्येक छिपी हुई परत पर 300, 400, 300, 200 के न्यूरॉन्स की संख्या के साथ एक पांच-परत वास्तुकला पर बसे, हालांकि, कम छिपी परतों वाले नेटवर्क ने भी अच्छे परिणाम उत्पन्न किए। नेटवर्क मापदंडों का एल 2 नियमितीकरण भी बहुत उपयोगी था, इसने भविष्यवाणियों को अधिक सहज और अधिक निरंतर बना दिया।

ऐसे मापदंडों के साथ एक तंत्रिका नेटवर्क 3.5 सेमी की औसत त्रुटि के साथ बिंदुओं की स्थिति की भविष्यवाणी करता है। यह एक बहुत ही उच्च त्रुटि है, लेकिन समस्या की बारीकियों को ध्यान में रखा जाना चाहिए। इनपुट मानों के एक सेट के लिए, कई संभावित आउटपुट मान हो सकते हैं। इसलिए, तंत्रिका नेटवर्क ने अंततः सबसे संभावित, औसत भविष्यवाणियों को जारी करना सीखा। हालांकि, जब इनपुट बिंदुओं की संख्या 16 हो गई, तो त्रुटि आधे से कम हो गई, जो व्यवहार में मुद्रा की बहुत सटीक भविष्यवाणी करता है।

लेकिन एक ही समय में, तंत्रिका नेटवर्क पूरी तरह से सही मुद्रा नहीं दे सकता है, सभी हड्डियों की लंबाई और सही संयुक्त जोड़ों को संरक्षित कर सकता है। इसलिए, हम अतिरिक्त रूप से एक अनुकूलन प्रक्रिया शुरू करते हैं जो हमारे भौतिक मॉडल के सभी ठोस निकायों और जोड़ों को संरेखित करती है।

व्यवहार में, परिणाम काफी ठोस थे - आप उन्हें हमारे वीडियो में देख सकते हैं। लेकिन इस तथ्य के कारण भी एक विशिष्टता है कि प्रशिक्षण डेटासेट हथियारों के साथ एक लड़ाई के खेल से मुकाबला एनिमेशन है। उदाहरण के लिए, एक चरित्र यह मान लेता है कि वह एक कंधे के साथ दुश्मन की ओर बढ़ता है, जैसा कि एक लड़ाई के रुख में, और तदनुसार अपने पैरों और सिर को मोड़ता है। और जब आप उसके हाथ को बाहर खींचते हैं, तो ब्रश मुड़ता नहीं है जैसे कि उसे मुट्ठी से मारा जाता है, लेकिन जब तलवार से मारा जाता है।



अगले चरण का तार्किक विचार इस से आया - कुछ और नेटवर्क को बिंदुओं के एक विस्तारित सेट के साथ प्रशिक्षित करने के लिए, जो हाथ, पैर और सिर के उन्मुखीकरण को निर्दिष्ट करता है, साथ ही घुटनों और कोहनी की स्थिति भी। हमने 16-बिंदु और 28-बिंदु योजनाएं जोड़ी हैं। यह पता चला कि इन नेटवर्कों के परिणामों को संयोजित किया जा सकता है ताकि उपयोगकर्ता पदों के एक मनमाने ढंग से सेट कर सकें। उदाहरण के लिए, उपयोगकर्ता ने बाईं कोहनी को स्थानांतरित करने का निर्णय लिया, लेकिन दाएं को स्पर्श नहीं किया। फिर दाएं कोहनी की स्थिति और दाएं कंधे को 6-बिंदु पैटर्न में भविष्यवाणी की जाती है, और बाएं कंधे की स्थिति की भविष्यवाणी 16-बिंदु पैटर्न में की जाती है।



ऐसा लगता है कि यह एक चरित्र की मुद्रा के साथ काम करने के लिए वास्तव में एक दिलचस्प उपकरण बन गया है। इसकी क्षमता अभी तक अंत में सामने नहीं आई है, और हमारे पास इस पर विचार है कि इसे कैसे सुधारें और इसे न केवल एक मुद्रा के साथ काम करने के लिए लागू करें। इस उपकरण का पहला संस्करण कैस्केडुर के वर्तमान संस्करण में पहले से ही उपलब्ध है। यदि आप हमारी वेबसाइट cascadeur.com पर बंद बीटा परीक्षण के लिए साइन अप करते हैं, तो आप इसे आज़मा सकते हैं

आपकी राय जानकर और सवालों के जवाब देने में हमें खुशी होगी।

बंजई गेम्स टीम को गहन सीखने वाले शोधकर्ता की आवश्यकता है। रिक्ति के बारे में यहाँ और पढ़ें।