👩🏾‍🤝‍👨🏿 ☔️ 👽 ऑप्टिकल फ्लो कम्प्यूटेशन में डीप लर्निंग 🤔 🔘 ⏳

कई अलग-अलग तंत्रिका नेटवर्क आर्किटेक्चर के आगमन के साथ, कई क्लासिक कंप्यूटर विज़न तकनीक अतीत की बात हैं। कम और कम लोग अक्सर वस्तु पहचान के लिए SIFT और HOG का उपयोग करते हैं, और कार्रवाई मान्यता के लिए MBH, और यदि वे इसका उपयोग करते हैं, तो यह इसी ग्रिड के लिए दस्तकारी संकेत पसंद करता है। आज हम क्लासिक सीवी समस्याओं में से एक को देखने जा रहे हैं जिसमें शास्त्रीय तरीके अभी भी अग्रणी हैं, जबकि डीएल आर्किटेक्चर सिर के पीछे की तरफ सांस लेते हैं।

ऑप्टिकल प्रवाह का अनुमान

दो चित्रों (आमतौर पर एक वीडियो के आसन्न फ्रेम के बीच) के बीच ऑप्टिकल प्रवाह की गणना करने का कार्य एक वेक्टर क्षेत्र का निर्माण करना है

O

$O$ एक ही आकार, इसके अलावा

O (i, j)

$O (i, j)$ स्पष्ट पिक्सेल विस्थापन वेक्टर के अनुरूप होगा

(i, j)

$(i, j)$ पहले फ्रेम से दूसरे में। वीडियो के सभी आसन्न फ़्रेमों के बीच इस तरह के एक वेक्टर फ़ील्ड का निर्माण करके, हमें इस बात की पूरी तस्वीर मिलती है कि कुछ ऑब्जेक्ट्स उस पर कैसे चले गए। दूसरे शब्दों में, यह एक वीडियो में सभी पिक्सेल को ट्रैक करने का कार्य है। ऑप्टिकल प्रवाह का उपयोग व्यापक रूप से किया जाता है - कार्रवाई मान्यता कार्यों में, उदाहरण के लिए, ऐसा वेक्टर क्षेत्र आपको वीडियो पर होने वाली गतिविधियों पर ध्यान केंद्रित करने और इसके संदर्भ से दूर होने की अनुमति देता है [7]। यहां तक कि अधिक सामान्य अनुप्रयोग दृश्य ओडोमेट्री, वीडियो संपीड़न, पोस्ट-प्रोसेसिंग (उदाहरण के लिए, एक धीमी गति प्रभाव जोड़ना) और भी बहुत कुछ हैं।

कुछ अस्पष्टताओं के लिए जगह है - क्या गणित के दृष्टिकोण से वास्तव में एक दृश्य पूर्वाग्रह माना जाता है? आमतौर पर, यह माना जाता है कि पिक्सेल मान एक फ्रेम से दूसरे में बिना बदलाव के दूसरे शब्दों में जाते हैं:

I (i, j, t) = I (i + u_{i}, j + u_{j}, t + 1),

$I (i, j, t) = I (i + u_i, j + u_j, t + 1),$

जहाँ

I (i, j, t)

$I (i, j, t)$ - निर्देशांक में पिक्सेल की तीव्रता

(i, j)

$(i, j)$ फिर ऑप्टिकल प्रवाह

(u_{i}, u_{j})

$(u_i, u_j)$ दिखाता है कि यह पिक्सेल समय में अगले बिंदु पर स्थानांतरित हो गया है (यानी, अगले फ्रेम पर)।

तस्वीर में ऐसा लग रहा है:

वैक्टर के साथ सीधे वेक्टर क्षेत्र की कल्पना करना दृश्य है, लेकिन हमेशा सुविधाजनक नहीं है, इसलिए रंग के साथ कल्पना करने का दूसरा सामान्य तरीका है:

इस चित्र में प्रत्येक रंग एक विशिष्ट वेक्टर को एनकोड करता है। सादगी के लिए, 20 से अधिक लंबे वैक्टर को काट दिया जाता है, और वेक्टर को निम्न छवि से रंग द्वारा बहाल किया जा सकता है:

अधिक बिल्ली का प्रवाह!

शास्त्रीय तरीकों ने बहुत अच्छी सटीकता हासिल की है, जो कभी-कभी एक कीमत पर आती है। हम इस प्रगति पर विचार करेंगे कि पिछले 4 वर्षों में तंत्रिका नेटवर्क ने इस समस्या को हल करने में क्या हासिल किया है।

डेटा और मेट्रिक्स

दो शब्द जिनके बारे में डेटासेट उपलब्ध थे और हमारी कहानी (२०१५) की शुरुआत में लोकप्रिय थे, और यह भी कि वे परिणामी एल्गोरिदम की गुणवत्ता को कैसे मापते हैं।

Middlebury

छोटे ऑफसेट के साथ 8 जोड़े छवियों का एक छोटा डेटासेट, जो, हालांकि, कभी-कभी अब भी ऑप्टिकल प्रवाह की गणना के लिए एल्गोरिदम को मान्य करने में उपयोग किया जाता है।

किट्टी

यह सेल्फ-ड्राइविंग कारों के लिए अनुप्रयोगों के लिए चिह्नित डेटासेट है और LIDAR तकनीक का उपयोग कर इकट्ठा किया जाता है। यह व्यापक रूप से ऑप्टिकल प्रवाह गणना एल्गोरिदम को मान्य करने के लिए उपयोग किया जाता है और इसमें फ्रेम के बीच तेज बदलाव के साथ कई बल्कि जटिल मामले होते हैं।

Sintel

एक और बहुत ही सामान्य बेंचमार्क सिंटेल के खुले और ब्लेंडर कार्टून के आधार पर दो संस्करणों में बनाया गया है, जिसे साफ और अंतिम रूप में नामित किया गया है। दूसरा अधिक जटिल है, क्योंकि ऑप्टिकल प्रवाह की गणना के लिए एल्गोरिदम के लिए बहुत अधिक वायुमंडलीय प्रभाव, शोर, धुंधला और अन्य परेशानियां शामिल हैं।

EPE

ऑप्टिकल प्रवाह संगणना कार्य के लिए मानक त्रुटि फ़ंक्शन एंड पॉइंट त्रुटि या ईपीई है। यह केवल गणना एल्गोरिथ्म और सच्चे ऑप्टिकल प्रवाह के बीच यूक्लिडियन दूरी है, जो सभी पिक्सेल पर औसत है।

फ्लोनेट (2015)

2015 में ऑप्टिकल फ्लक्स की गणना के कार्य के लिए एक तंत्रिका नेटवर्क आर्किटेक्चर के निर्माण पर काम करते समय, लेखकों (म्यूनिख और फ्रीबर्ग विश्वविद्यालयों से) को दो समस्याओं का सामना करना पड़ा: इस कार्य के लिए एक बड़े चिह्नित डेटासेट नहीं थे, और मैन्युअल रूप से इसे चिह्नित करना मुश्किल होगा (यह चिह्नित करने की कोशिश करें कि मैं कहाँ चला गया हूँ) अगले फ्रेम पर छवि के प्रत्येक पिक्सेल), सबसे पहले। यह कार्य उन सभी कार्यों से काफी अलग था जो पहले सीएनएन-आर्किटेक्चर की मदद से हल किए गए थे, दूसरे। वास्तव में, यह पिक्सेल-बाय-पिक्सेल प्रतिगमन का एक कार्य है, जो इसे विभाजन (पिक्सेल-बाय-पिक्सेल वर्गीकरण) के कार्य के समान बनाता है, लेकिन एक छवि के बजाय, हमारे पास दो इनपुट हैं, और सहजता से, संकेतों को किसी तरह दो छवियों के बीच अंतर दिखाना होगा। पहले पुनरावृत्ति के रूप में, यह दो आरजीबी-फ़्रेमों को एक इनपुट के रूप में पॉप करने का निर्णय लिया गया था (प्राप्त होने, वास्तव में, एक 6-चैनल छवि), जिसके बीच हम ऑप्टिकल स्ट्रीम की गणना करना चाहते हैं, और कई बदलावों के साथ आर्किटेक्चर के रूप में यू-नेट लेते हैं। इस नेटवर्क को FlowNetS (S का अर्थ है सिंपल):

जैसा कि आप आरेख से देख सकते हैं, एनकोडर ध्यान देने योग्य नहीं है, डिकोडर कई मायनों में क्लासिक विकल्पों से अलग है:

ऑप्टिकल प्रवाह की भविष्यवाणी न केवल अंतिम स्तर से होती है, बल्कि सभी अन्य से भी होती है। डिकोडर के i-th स्तर के लिए ग्राउंड ट्रुथ प्राप्त करने के लिए, मूल लक्ष्य (यानी ऑप्टिकल स्ट्रीम) को वांछित रिज़ॉल्यूशन के लिए बस लगभग (छवि के समान) घटा दिया जाता है, और i-th स्तर पर प्राप्त विधेय आगे बढ़ जाता है, t यानी, यह इस स्तर से उभरने वाले फ़ीचर मैप के साथ सम्‍मिलित है। सीखने के नुकसान का सामान्य कार्य डिकोडर के सभी स्तरों से नुकसान का एक भारित योग होगा, जबकि वजन स्वयं नेटवर्क आउटपुट के स्तर के जितना अधिक होगा। लेखक ऐसा क्यों करते हैं, इसका स्पष्टीकरण नहीं देते हैं, लेकिन सबसे अधिक संभावना यह है कि यह तथ्य यह है कि शुरुआती स्तरों पर पता लगाने के लिए तेज आंदोलनों बेहतर हैं, फिर निचले-रिज़ॉल्यूशन वाले ऑप्टिकल स्ट्रीम में वैक्टर इतने बड़े नहीं होंगे।
आरेख दिखाता है कि छवियों का इनपुट रिज़ॉल्यूशन 384x512 है, और आउटपुट चार गुना छोटा है। लेखकों ने देखा कि यदि आप सरल बिलिनियर प्रक्षेप द्वारा इस उत्पादन को 384x512 तक बढ़ाते हैं, तो यह उसी तरह की गुणवत्ता देगा जैसे कि आप डिकोडर के दो और स्तरों को संलग्न करते हैं। आप परिवर्तनीय दृष्टिकोण [2] का भी उपयोग कर सकते हैं, जो गुणवत्ता को साबित करता है (गुणवत्ता के साथ तालिका में v)।
यू-नेट की तरह, एनकोडर से विशेषता कार्ड को डिकोडर में भेजा जाता है और इसे चित्र में दिखाया गया है।

यह समझने के लिए कि लेखकों ने अपनी आधार रेखा को कैसे बेहतर बनाने की कोशिश की, आपको यह जानना होगा कि छवियों के बीच संबंध क्या है और यह ऑप्टिकल प्रवाह की गणना करने में उपयोगी क्यों हो सकता है। इसलिए, दो छवियां होने और यह जानने के बाद कि पहली के सापेक्ष वीडियो में दूसरा फ्रेम है, हम दूसरे फ्रेम में उसी आकार के क्षेत्रों के साथ पहले फ्रेम पर बिंदु के आसपास के क्षेत्र की तुलना करने की कोशिश कर सकते हैं (जिसके लिए हम दूसरे फ्रेम में शिफ्ट खोजना चाहते हैं)। इसके अलावा, यह मानते हुए कि शिफ्ट प्रति इकाई समय में बहुत बड़ी नहीं हो सकती है, तुलना केवल शुरुआती बिंदु के एक निश्चित पड़ोस में ही मानी जा सकती है। इसके लिए, क्रॉस-सहसंबंध का उपयोग किया जाता है। आइए एक उदाहरण से स्पष्ट करें।

वीडियो के दो आसन्न फ्रेम लें, हम यह निर्धारित करना चाहते हैं कि एक निश्चित बिंदु पहले फ्रेम से दूसरे स्थान पर कहां स्थानांतरित हो गया है। मान लीजिए कि इस बिंदु के आसपास का कुछ क्षेत्र उसी तरह से स्थानांतरित हो गया है। दरअसल, एक वीडियो में पड़ोसी पिक्सेल आमतौर पर एक साथ ऑफसेट होते हैं, जैसे सबसे अधिक संभावना है, नेत्रहीन, एक वस्तु का हिस्सा हैं। यह धारणा सक्रिय रूप से उपयोग की जाती है, उदाहरण के लिए, अंतर दृष्टिकोण में, जिसे [5], [6] में अधिक विस्तार से पढ़ा जा सकता है।

fig, ax = plt.subplots(1, 2, figsize=(20, 10)) ax[0].imshow(frame1) ax[1].imshow(frame2);

चलो बिल्ली के बच्चे के पंजे के केंद्र में एक बिंदु लेने की कोशिश करें और इसे दूसरे फ्रेम पर ढूंढें। इसके आसपास कुछ क्षेत्र लें।

 patch1 = frame1[90:190, 140:250] plt.imshow(patch1);

हम इस क्षेत्र के बीच सहसंबंध की गणना करते हैं (अंग्रेजी साहित्य में अक्सर पहली छवि से टेम्पलेट या पैच लिखते हैं) और दूसरी छवि। टेम्पलेट दूसरी छवि के माध्यम से "वॉक" करेगा और दूसरी छवि में स्वयं और समान आकार के टुकड़ों के बीच निम्न मान की गणना करेगा:

इस मान का मूल्य जितना बड़ा होता है, उतना ही टेम्पलेट दूसरी छवि में संबंधित टुकड़े की तरह दिखता है। OpenCV के साथ, यह इस तरह किया जा सकता है:

 corr = cv2.matchTemplate(frame2, patch1, cv2.TM_CCORR_NORMED) plt.imshow(corr, cmap='gray');

अधिक जानकारी [7] में मिल सकती है।

परिणाम इस प्रकार है:

हम एक स्पष्ट चोटी देखते हैं, जो सफेद रंग में संकेतित है। इसे दूसरे फ्रेम में खोजें:

 min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(corr) h, w, _ = patch1.shape top_left = max_loc bottom_right = (top_left[0] + w, top_left[1] + h) frame2_copy = frame2.copy() cv2.rectangle(frame2_copy, top_left, bottom_right, 255, 2) plt.imshow(frame2_copy);

हम देखते हैं कि पैर सही तरीके से पाया गया था, इन आंकड़ों के अनुसार हम समझ सकते हैं कि यह किस दिशा में पहले फ्रेम से दूसरे स्थान पर चला गया और संबंधित ऑप्टिकल प्रवाह की गणना करता है। इसके अलावा, यह पता चला है कि यह ऑपरेशन फोटोमेट्रिक विकृतियों के लिए काफी प्रतिरोधी है, अर्थात। यदि दूसरे फ्रेम में चमक तेजी से बढ़ती है, तो छवियों के बीच क्रॉस-सहसंबंध शिखर जगह में रहेगा।

उपरोक्त सभी को ध्यान में रखते हुए, लेखकों ने तथाकथित सहसंबंध परत को अपनी वास्तुकला में पेश करने का फैसला किया, लेकिन यह इनपुट छवियों के अनुसार सहसंबंध पर विचार नहीं करने का निर्णय लिया गया था, लेकिन एनकोडर की कई परतों के बाद विशेषता नक्शे के अनुसार। स्पष्ट कारणों से इस तरह की एक परत में सीखने के पैरामीटर नहीं होते हैं, हालांकि यह अनिवार्य रूप से दृढ़ संकल्प के समान है, लेकिन फिल्टर के बजाय, यह वजन का उपयोग नहीं करता है, लेकिन दूसरी छवि के कुछ क्षेत्र:

अजीब तरह से, इस लेख के लेखकों की गुणवत्ता में इस चाल ने एक महत्वपूर्ण सुधार नहीं दिया, हालांकि, इसे और अधिक सफलतापूर्वक आगे के कामों में लागू किया गया था, और [9] में लेखक यह दिखाने में सक्षम थे कि प्रशिक्षण मापदंडों को थोड़ा बदलकर, FlowNetC को बहुत बेहतर काम करने के लिए बनाया जा सकता है।

लेखकों ने समस्या का समाधान सुरुचिपूर्ण तरीके से एक डेटासेट की कमी के साथ किया: उन्होंने थीम पर फ्लिकर से 964 छवियों को स्क्रैप किया: 1024 × 768 के संकल्प में "शहर", "परिदृश्य", "पहाड़" और पृष्ठभूमि के रूप में अपनी फसल 512 × 383 का उपयोग किया, जिसने तब कुछ फेंक दिया। प्रदान की गई 3 डी मॉडल के एक खुले सेट से कुर्सियाँ। फिर, विभिन्न affine परिवर्तनों को स्वतंत्र रूप से कुर्सियों और पृष्ठभूमि पर लागू किया गया था, जो एक जोड़ी में दूसरी छवि और उनके बीच ऑप्टिकल प्रवाह उत्पन्न करने के लिए उपयोग किया गया था। परिणाम इस प्रकार है:

एक दिलचस्प परिणाम यह था कि इस तरह के सिंथेटिक डेटासेट के उपयोग से किसी अन्य डोमेन के डेटा के लिए अपेक्षाकृत अच्छी गुणवत्ता प्राप्त करना संभव हो गया। इसी डेटा पर ठीक ट्यून, निश्चित रूप से, अधिक गुण साबित हुए (नीचे दी गई तालिका में फीट):

असली वीडियो पर परिणाम यहाँ देखा जा सकता है:

स्पायनेट (2016)

बाद के कई लेखों में, लेखकों ने अचानक आंदोलनों की खराब पहचान की समस्या को हल करके गुणवत्ता में सुधार करने की कोशिश की। सहज रूप से, आंदोलन को नेटवर्क द्वारा कैप्चर नहीं किया जाएगा यदि इसका वेक्टर महत्वपूर्ण रूप से सक्रियण के ग्रहणशील क्षेत्र से परे जाता है। यह तीन चीजों के कारण इस समस्या को हल करने का प्रस्ताव है: एक बड़ा प्रवाह, एक पिरामिड से एक जोड़ी में एक छवि और "warping" एक छवि। क्रम में सब कुछ।

इसलिए, यदि हमारे पास कुछ छवियां हैं, जिसमें ऑब्जेक्ट तेजी से स्थानांतरित हो गया है (10+ पिक्सेल), तो हम बस छवि को कम कर सकते हैं (6 या अधिक बार)। ऑफ़सेट्स का निरपेक्ष मान काफी कम हो जाएगा, और नेटवर्क को "पकड़ने" में सक्षम होने की अधिक संभावना है, खासकर यदि इसके कॉन्फोल्यूशंस ऑफ़सेट से बड़े हैं (इस मामले में, 7x7 कनवल्शन का उपयोग किया जाता है)।

हालांकि, छवि को कम करते समय, हमने बहुत सारे महत्वपूर्ण विवरण खो दिए हैं, इसलिए हमें पिरामिड के अगले स्तर पर जाना चाहिए, जिसमें छवि का आकार पहले से बड़ा है, जबकि किसी तरह हम उस जानकारी को ध्यान में रखते हैं जो हमने पहले प्राप्त की थी जब हमने छोटे आकार में ऑप्टिकल प्रवाह की गणना की थी। यह वारपिंग ऑपरेटर का उपयोग करके किया जाता है, जो ऑप्टिकल फ्लक्स (पिछले स्तर पर प्राप्त) के उपलब्ध सन्निकटन के अनुसार पहली छवि को याद करता है। इस मामले में एक सुधार यह है कि ऑप्टिकल फ्लक्स के सन्निकटन के अनुसार "धक्का दिया गया" पहली छवि मूल एक की तुलना में दूसरे के करीब होगी, अर्थात, हम फिर से ऑप्टिकल फ्लक्स के निरपेक्ष मूल्य को कम करते हैं, जिसे हमें भविष्यवाणी करने की आवश्यकता है (याद रखें, मूल्य में छोटा) आंदोलनों को बेहतर तरीके से पता लगाया जाता है, क्योंकि वे पूरी तरह से एक दृढ़ संकल्प में शामिल हैं)। गणित के दृष्टिकोण से, एक बिटमैप छवि I और ऑप्टिकल फ्लक्स V का सन्निकटन, वारपिंग ऑपरेटर को निम्नानुसार वर्णित किया जा सकता है:

w (I, V) = I_{w},; I_{w} (x) = I (x + V (x)),

$w (I, V) = I_w, \;; I_w (x) = I (x + V (x)),$

जहाँ

x = (i, j)

$x = (i, j)$ , यानी। छवि में एक विशिष्ट बिंदु

म ै ं

$मैं$ - छवि ही

V

$V$ - प्रकाशीय प्रवाह

I_{w}

$I_w$ - परिणामस्वरूप छवि, ऑप्टिकल धारा में "लिपटे"।

CNN वास्तुकला में यह सब कैसे लागू किया जाए? हम पिरामिड स्तरों की संख्या को ठीक करते हैं

k

$k$ और एक ऐसा कारक जिसके द्वारा प्रत्येक बाद की छवि पिछले से शुरू होने वाले स्तर पर कम हो जाती है

ए न

$एन$ । द्वारा निरूपित करें

d (*)

$d (*)$ और

य ू (*)

$यू (*)$ इस कारक द्वारा इमेज या ऑप्टिकल फ्लक्स की डाउनसम्पलिंग और अपसम्पलिंग कार्य।

हमें CNN-ok {का एक सेट भी मिलेगा

G_{0} . . . G_{k}

$G_0 ... G_k$ }, पिरामिड के प्रत्येक स्तर के लिए एक। तो

G_{i}

$G_i$ -इस नेटवर्क के साथ कुछ छवियों को स्वीकार करेंगे

म ै ं

$मैं$ पिरामिड स्तर और ऑप्टिकल प्रवाह की गणना

G_{i - 1}

$G_ {i-1}$ स्तर (

G_{0}

$G_0$ केवल शून्य के एक टेंसर को स्वीकार करेंगे)। इस स्थिति में, हम उनके बीच के अंतर को कम करने के लिए छवियों में से एक को वारिंग परत पर भेजेंगे, और हम इस स्तर पर ऑप्टिकल प्रवाह की भविष्यवाणी नहीं करेंगे, लेकिन ऑप्टिकल प्रवाह प्राप्त करने के लिए पिछले स्तर से बढ़े हुए (अपसामान्य) ऑप्टिकल प्रवाह को जोड़ने के लिए आवश्यक मूल्य इस स्तर पर। सूत्र में, यह कुछ इस तरह दिखता है:

v_{k} = G_{k} (I_{k}^{1}, w (I_{k}^{2}, u (V_{k - 1})), V_{k - 1})

$v_k = G_k (I_k ^ 1, w (I_k ^ 2, u (V_ {k-1})), V_ {k-1})$

ऑप्टिकल स्ट्रीम को स्वयं प्राप्त करने के लिए, हम बस नेटवर्क को पूर्ववर्ती से बढ़ाते हैं और पिछली धारा से बढ़े हुए स्ट्रीम को जोड़ते हैं:

V_{k} = u (V_{k - 1}) + v_{k}

$V_k = u (V_ {k-1}) + v_k$

इस स्तर पर नेटवर्क के लिए ग्राउंड ट्रूथ प्राप्त करने के लिए, हमें विपरीत ऑपरेशन करने की आवश्यकता है - पिछले पिरामिड स्तर से लक्ष्य (इच्छित स्तर तक) से विधेय को घटाएं। योजनाबद्ध रूप से, यह इस तरह दिखता है:

इस दृष्टिकोण का लाभ यह है कि हम प्रत्येक स्तर को स्वतंत्र रूप से सिखा सकते हैं। लेखकों ने स्तर 0 से प्रशिक्षण शुरू किया, प्रत्येक बाद के नेटवर्क को पिछले एक के मापदंडों के साथ आरंभ किया गया था। हर नेटवर्क के बाद से

G_{i}

$G_i$ बड़ी छवि में ऑप्टिकल फ्लक्स की पूर्ण गणना की तुलना में समस्या को बहुत सरल करता है, फिर मापदंडों को बहुत कम किया जा सकता है। इतना कि अब पूरा पहनावा मोबाइल उपकरणों पर फिट हो सकता है:

पहनावा स्वयं इस प्रकार है (3 स्तरों के पिरामिड का एक उदाहरण):

यह वास्तुकला के बारे में सीधे बात करने के लिए बनी हुई है

G_{i}

$G_i$ नेटवर्क और जायजा लेते हैं। हर नेटवर्क

G_{i}

$G_i$ 5 संकेंद्रित परतें होती हैं, जिनमें से प्रत्येक अंतिम (जो कि ऑप्टिकल प्रवाह की भविष्यवाणी करता है) को छोड़कर, ReLU सक्रियण के साथ समाप्त होती है। प्रत्येक परत पर फिल्टर की संख्या क्रमशः {

32, 64, 32, 16, 2

$32, 64, 32, 16, 2$ }। तंत्रिका नेटवर्क के इनपुट (छवि, दूसरी छवि "ऑप्टिकल स्ट्रीम में लिपटे हुए" और स्वयं ऑप्टिकल स्ट्रीम) बस चैनलों के आयाम के अनुसार समतल करते हैं, इसलिए उनके इनपुट टेंसर में 8. परिणाम प्रभावी हैं।

PWC- नेट (2018)

अपने जर्मन सहयोगियों की सफलता से प्रेरित होकर, NVIDIA के लोगों ने परिणाम को और बेहतर बनाने के लिए अपने अनुभव (और वीडियो कार्ड) को लागू करने का फैसला किया। उनका काम काफी हद तक पिछले मॉडल (स्पायनेट) के विचारों पर आधारित था, इसलिए पीडब्ल्यूसी-नेट पिरामिड के साथ भी व्यवहार करेगा, लेकिन दृढ़ संकल्प पिरामिड के साथ, मूल चित्र नहीं, हालांकि, फिर से - क्रम में।

ऑप्टिकल फ्लक्स की गणना करने के लिए कच्चे पिक्सेल तीव्रता का उपयोग करना हमेशा उचित नहीं होता है, क्योंकि चमक / कंट्रास्ट में तेज बदलाव हमारी धारणा को तोड़ देगा कि पिक्सल बिना किसी बदलाव के एक फ्रेम से दूसरे फ्रेम में चले जाते हैं और एल्गोरिथम ऐसे बदलावों के लिए प्रतिरोधी नहीं होगा। ऑप्टिकल फ्लक्स की गणना के लिए शास्त्रीय एल्गोरिदम में, विभिन्न परिवर्तनों का उपयोग किया जाता है जो इस स्थिति को कम करते हैं, इस मामले में, लेखकों ने मॉडल को ऐसे परिवर्तनों को स्वयं सीखने का अवसर प्रदान करने का निर्णय लिया। इसलिए, पीडब्लूसी-नेट में छवि पिरामिड के बजाय, कन्वेंशन पिरामिड का उपयोग किया जाता है (इसलिए Pwc-Net में पहला अक्षर), अर्थात्। बस अलग सीएनएन परतों से नक्शे की सुविधा है, जिसे यहाँ फीचर पिरामिड एक्सट्रैक्टर कहा जाता है।

तब सब कुछ लगभग स्पाईनेट में होता है, सीएनएन में जमा करने से पहले, जिसे ऑप्टिकल प्रवाह अनुमानक कहा जाता है, जो आपको चाहिए, सब कुछ:

छवि (इस मामले में, फीचर पिरामिड एक्सट्रैक्टर से एक फीचर मैप),
पिछले स्तर पर आकलित ऑप्टिकल प्रवाह की गणना,
दूसरी छवि, "लिपटे" (युद्ध की परत को याद रखें, इसलिए इस ऑप्टिकल स्ट्रीम में pWc-Net में दूसरा अक्षर)

"लिपटे" दूसरे फ्रेम और सामान्य पहले के बीच (फिर से मैं आपको याद दिलाता हूं कि कच्ची छवियों के बजाय, फीचर पिरामिड एक्सट्रैक्टर के साथ फीचर कार्ड का उपयोग यहां किया जाता है) विचार करें कि लागत वॉल्यूम क्या है (इसलिए पीडब्ल्यूसी-नेट में तीसरा अक्षर) और जो अनिवार्य रूप से पहले से ही है। पहले दो छवियों के बीच सहसंबंध माना जाता है।

अंतिम स्पर्श संदर्भ नेटवर्क है, जो ऑप्टिकल प्रवाह अनुमानक के तुरंत बाद जोड़ा जाता है और गणना की गई ऑप्टिकल स्ट्रीम के लिए प्रशिक्षित पोस्ट-प्रोसेसिंग की भूमिका निभाता है। आर्किटेक्चरल विवरण को स्पॉइलर के नीचे या मूल लेख में देखा जा सकता है।

अंतरंग विवरण

तो, फीचर पिरामिड एक्सट्रैक्टर में दोनों छवियों के लिए एक ही भार है, लीक रेएलयू का उपयोग किसी भी रूपांतरण के लिए गैर-रैखिकता के रूप में किया जाता है। प्रत्येक बाद के स्तर पर फीचर मैप्स के रिज़ॉल्यूशन को कम करने के लिए, स्ट्राइड 2 के साथ कन्वेंशन का उपयोग किया जाता है, और

c_{t}^{l}

$c_t ^ l$ मतलब इमेज फीचर मैप

ट ी

$टी$ स्तर पर

ल

$ल$ ।

पिरामिड के दूसरे स्तर पर ऑप्टिकल प्रवाह अनुमानक (उदाहरण के लिए)। यहां कुछ भी असामान्य नहीं है, प्रत्येक दृढ़ संकल्प अभी भी अंतिम एक को छोड़कर, लीक रेएलयू के साथ समाप्त होता है, जो ऑप्टिकल प्रवाह की भविष्यवाणी करता है।

संदर्भ नेटवर्क अभी भी पिरामिड के एक ही दूसरे स्तर पर है, यह नेटवर्क अंतिम परत को छोड़कर, समान लीकेई ReLU सक्रियणों के साथ पतले संकल्पों का उपयोग करता है। यह ऑप्टिकल प्रवाह अनुमानक द्वारा गणना की गई ऑप्टिकल प्रवाह और एक ही ऑप्टिकल प्रवाह अनुमानक के साथ परत के अंत से दूसरी परत से विशेषताओं को प्राप्त करता है। प्रत्येक ब्लॉक में अंतिम अंक का मतलब होता है फैलाव स्थिर।

परिणाम और भी प्रभावशाली हैं:

ऑप्टिकल प्रवाह की गणना के लिए अन्य सीएनएन तरीकों की तुलना में, पीडब्ल्यूसी-नेट गुणवत्ता और मापदंडों की संख्या के बीच एक संतुलन प्राप्त करता है:

स्वयं लेखकों द्वारा भी एक उत्कृष्ट प्रस्तुति है, जिसमें वे स्वयं मॉडल और उनके प्रयोगों के बारे में बात करते हैं:

निष्कर्ष

ऑप्टिकल फ्लक्स काउंटिंग की समस्या को हल करने वाले आर्किटेक्चर का विकास, सीएनएन आर्किटेक्चर में प्रगति और शास्त्रीय तरीकों के साथ संयोजन करने का एक शानदार उदाहरण है जो सबसे अच्छा और सबसे अच्छा परिणाम देता है। और जबकि क्लासिक CV विधियां अभी भी गुणवत्ता में जीतती हैं, हाल के परिणाम उम्मीद करते हैं कि यह निश्चित है ...

स्रोत और लिंक

1. फ्लोनेट: लर्निंग ऑप्टिकल फ्लो विथ कन्फ्यूज़नल नेटवर्क्स: आर्टिकल , कोड ।
2. बड़े विस्थापन ऑप्टिकल प्रवाह: वर्णनात्मक गति अनुमान में मिलानकर्ता विवरण: लेख ।
3. एक स्थानिक पिरामिड नेटवर्क का उपयोग करते हुए ऑप्टिकल फ्लो अनुमान: लेख , कोड ।
4. पीडब्ल्यूसी-नेट: पिरामिड, वारपिंग और कॉस्ट वॉल्यूम का उपयोग करते हुए ऑप्टिकल फ्लो के लिए सीएनएन: लेख , कोड ।
5. आप ऑप्टिकल प्रवाह के बारे में क्या जानना चाहते थे, लेकिन पूछने के लिए शर्मिंदा थे: लेख ।
6. लुकास-कनाडा विधि द्वारा ऑप्टिकल फ्लक्स की गणना। सिद्धांत: लेख ।
7. OpenCVP के साथ खाका मिलान: डॉक ।
8. Quo Vadis, एक्शन रिकॉग्निशन? एक नया मॉडल और कैनेटीक्स डेटासेट: लेख ।
9. फ्लोनेट 2.0: डीप नेटवर्क्स के साथ ऑप्टिकल फ्लो एस्टिमेशन का विकास: लेख , कोड ।

ऑप्टिकल फ्लो कम्प्यूटेशन में डीप लर्निंग