DeepStereo एल्गोरिथ्म Google स्ट्रीट व्यू शॉट्स को चिकनी वीडियो में दिखाता है

Google के शोधकर्ता जॉन फ्लिन, इवान न्युलेंडर, जेम्स फिलबिन और नोआ सीनेवली ने एक एल्गोरिथ्म बनाया जो स्ट्रीट व्यू पैनोरमिक व्यू सर्विस से छवियों को सूक्ष्म कलाकृतियों के साथ चिकनी वीडियो में जोड़ सकता है। एल्गोरिथ्म को डीपस्टेरियो कहा जाता है, इसके संचालन का एक उदाहरण ऊपर प्रस्तुत किया गया है। निर्मित तकनीक के संभावित उपयोग में सरल एनिमेशन, छवि प्रसंस्करण, सिनेमा और आभासी वास्तविकता का निर्माण शामिल है।

केवल नक्शे या डिजिटल तस्वीरों द्वारा किसी निश्चित स्थान का पर्याप्त रूप से मूल्यांकन करना हमेशा संभव नहीं होता है। मानवीय ऊंचाई के ठीक ऊपर की ऊँचाई की सड़क को देखें, जो Google स्ट्रीट व्यू जैसी सेवाओं में मदद करती है। लेकिन ये तस्वीरें वीडियो नहीं बल्कि पैनोरमा में चिपकी तस्वीरें हैं।

यदि आपको व्यक्तिगत शॉट्स से आगे बढ़ने का एक एनीमेशन बनाने की आवश्यकता है, तो बस छवियों के अनुक्रम को खोने का निर्णय काम नहीं करेगा - यह बहुत तेज़ हो जाएगा, क्योंकि चित्र कम से कम 24 फ्रेम प्रति सेकंड की आवृत्ति पर बदल जाएगा। यदि आप एक विस्तृत, सपाट सड़क या राजमार्ग के साथ ड्राइव करते हैं, तो आप धीमी गति की शैली में एक अच्छा एनीमेशन बना सकते हैं। लेकिन गूगल स्ट्रीट व्यू में संग्रहालयों और अलंकृत सड़कों के पैनोरमा हैं - त्वरित फ्रेम परिवर्तन से समय व्यतीत होने से यहां काम नहीं होगा। शॉट्स के बीच लापता छवियों की जरूरत है। बनाया एल्गोरिथ्म इस में लगा हुआ है।

शोधकर्ताओं की टीम ने एल्गोरिथम के प्रशिक्षण में कंपनी के व्यापक ज्ञान का उपयोग किया। इनपुट में कुछ बिंदुओं से छवियों का एक सेट होता है, और लक्ष्य अन्य बिंदुओं से नए फ्रेम बनाना है। इस समस्या के सटीक समाधान के लिए एक 3 डी पर्यावरण मॉडल का निर्माण आवश्यक है, जो बाधाओं के कारण सबसे अधिक बार असंभव है। चुनौती कोई नई नहीं है। पिछले कुछ तरीकों में समस्याएं हैं जो अवरोधों, निकटता और धुंधलापन के निकट अंतराल की ओर ले जाती हैं। विशेष रूप से कठिनाइयों पेड़ों और अन्य वस्तुओं के कारण होती हैं जिनके व्यक्तिगत तत्व दृश्य को अस्पष्ट कर सकते हैं।



फ्लिन की नई पद्धति कंप्यूटर विज़न प्रशिक्षण का उपयोग करती है ताकि वह यह समझ सके कि लापता फ्रेम में क्या वस्तुएं होनी चाहिए। प्रशिक्षण के लिए, एक चलती कार से छवियों के सेट का उपयोग किया गया था। शोधकर्ताओं का कहना है कि प्रशिक्षण के लिए आधार की मात्रा छवियों के 100 हजार सेट की राशि है।

फिर, Google स्ट्रीट व्यू से तीन शॉट्स के दृश्यों का उपयोग करके परीक्षण किया गया। एल्गोरिथ्म को दो चरम छवियों को संसाधित करने और मध्यवर्ती का एक संस्करण पेश करने के लिए मजबूर किया गया था। काम का मूल्यांकन करने की अनुमति मूल के साथ तुलना।

DeepStereo टीम का अंतिम परिणाम विश्वसनीय माना जाता है। पहली नज़र में, वास्तविक फोटोग्राफी से अलग करना इतना आसान नहीं है। उल्लेखनीय कलाकृतियों में रिज़ॉल्यूशन का थोड़ा नुकसान और अग्रभूमि में ठीक संरचनाओं के गायब होने शामिल हैं। एक जटिल संरचना वाले ऑब्जेक्ट जो अपने स्वयं के विवरण को ओवरलैप करते हैं, धुंधला दिखाई दे सकते हैं। एल्गोरिथ्म उन सतहों को बनाने में भी सक्षम नहीं है जो मूल चित्रों में नहीं हैं। गतिमान वस्तु बनाने के लिए गतिमान वस्तुओं (पैदल यात्री, कार) को जानबूझकर धुंधला कर दिया जाता है।

प्रतिपादन के लिए प्रभावशाली कंप्यूटिंग शक्ति की आवश्यकता होती है। 512 × 512 पिक्सेल के रिज़ॉल्यूशन वाली केवल एक छवि बनाने के लिए, अनाम तकनीकी विशेषताओं वाले मल्टी-कोर सिस्टम के संचालन के लगभग 12 मिनट की आवश्यकता होती है। उच्च रिज़ॉल्यूशन की छवियां बनाने के लिए बहुत अधिक रैम की आवश्यकता होती है। वीडियो कार्ड प्रोसेसर का उपयोग करते समय शोधकर्ताओं ने प्रतिपादन के समय को कई मिनट या कुछ सेकंड तक कम करने की संभावना के साथ आशा व्यक्त की। भविष्य में, महत्वपूर्ण शोधन के साथ, GPU पर एल्गोरिथ्म का कार्य वास्तविक समय में भी संभव है। अध्ययन

के पाठ और एमआईटी प्रौद्योगिकी की समीक्षा के आधार पर । arXiv: 1506.06825 [cCCV]

Source: https://habr.com/ru/post/hi381787/