ऑप्टिकल ट्रैकर्स: ASEF और MOSSE

वीडियो एनालिटिक्स के महत्वपूर्ण उपकथाओं में से एक वीडियो पर वस्तुओं को ट्रैक कर रहा है। यह इतना आदिम नहीं है कि मुझे पिक्सेल-बाय-पिक्सेल स्तर तक नीचे जाना पड़ा, लेकिन यह इतना जटिल नहीं है जितना कि समाधान के लिए स्पष्ट रूप से एक बहुपरत तंत्रिका नेटवर्क की आवश्यकता होती है। ट्रैकिंग को अपने आप में एक अंत के रूप में और अन्य एल्गोरिदम के हिस्से के रूप में इस्तेमाल किया जा सकता है:

• एक निश्चित क्षेत्र में प्रवेश करने वाले या एक सीमा में सीमा पार करने वाले अद्वितीय लोगों की गिनती
• एक पार्किंग में कारों के विशिष्ट मार्गों की पहचान और एक स्टोर में लोग
• ऑब्जेक्ट को स्थानांतरित करने पर निगरानी कैमरे का स्वचालित रोटेशन

साहित्य को देखे बिना भी, मैं विश्वास के साथ कह सकता हूं कि समस्या को हल करने का सबसे अच्छा तरीका तंत्रिका नेटवर्क का उपयोग करना है। सामान्य तौर पर, आप आगे कुछ नहीं लिख सकते, लेकिन GTX 1080Ti की जोड़ी के साथ किसी कार्य में भाग लेना संभव नहीं है। कौन ऐसे मामलों में वीडियो पर वस्तुओं को ट्रैक करना चाहता है, कृपया, बिल्ली के नीचे। मैं न केवल यह समझाने की कोशिश करता हूं कि ASEF और MOSSE ट्रैकर्स कैसे काम करते हैं, बल्कि आपको समाधान तक ले जाते हैं ताकि फॉर्मूला स्पष्ट हो।

शुरू करने के लिए, हम एक प्रारंभिक प्रश्न का उत्तर देंगे: जब आप वीडियो के टेंसरफ़्लो स्टैक को फ़ीड कर सकते हैं और कुछ हफ़्ते के लिए कंप्यूटर छोड़ सकते हैं तो कुछ का आविष्कार क्यों करें? तंत्रिका नेटवर्क के दृष्टिकोण में एक गंभीर खामी है: आधुनिक वीडियो कार्ड पर भी नेटवर्क से आग की अच्छी दर प्राप्त करना मुश्किल है। यदि हम रिकॉर्ड किए गए वीडियो का विश्लेषण करते हैं, तो यह कोई समस्या नहीं है, लेकिन यदि आप वास्तविक समय में काम करना चाहते हैं तो यह पहियों में एक छड़ी सम्मिलित करता है। मान लीजिए कि हम 10 एफपीएस पर पांच कैमरों से वीडियो प्रोसेस करना चाहते हैं। इस तरह की अपेक्षाकृत हल्की स्थितियों के साथ भी, एक तंत्रिका नेटवर्क में अनुमान से कम समय होना चाहिए $$$\ frac {1000} {5 \ गुना 10} = $ 2$ मिलीसेकंड (पूर्ण गैर-समानता की स्थितियों में)। तुलना के लिए, अपेक्षाकृत सरल वास्तुकला के साथ एक क्लासिफायर नेटवर्क, YoloV3, एक तस्वीर बाहर थूक सकता है $$$50$ मिलीसेकेंड। इसके अलावा, शक्तिशाली ग्राफिक्स कार्ड पर आधारित समाधान महंगे हो सकते हैं।

यह आलेख मानता है कि आपने मशीन इमेज प्रोसेसिंग से पहले ही निपट लिया है, रैखिक बीजगणित (कनवल्शन, नॉर्म्स, मैट्रिक्स इनवर्जन) के मूल संचालन से परिचित हैं और सामान्य तौर पर फूरियर ट्रांसफॉर्म को समझते हैं।

बाद में:

• $$$A \ odot B$ एलिमेंटिव मैट्रिक्स गुणा के लिए खड़ा है $$$ए$ और $$$ब$
• $$$A \ otimes B$ मैट्रिसेस को दोषी ठहराना $$$ए$ और $$$ब$
• $$$\ hat {A} (\ omega, \ nu) = \ mathcal {F} (A (x, y))$ इसका मतलब है कि $$$\ _ {A} (\ omega, \ nu)$ - छवि के लिए लागू तेजी से फूरियर रूपांतरण की आवृत्ति मैट्रिक्स $$$ए$ ।
• $$$\ समानांतर A \ समानांतर।$ - मैट्रिक्स के तत्वों के वर्गों का योग इंगित करता है $$$ए$

तुच्छ निर्णय

पहली नज़र में, किसी विशिष्ट विषय पर नज़र रखने का कार्य इतना जटिल नहीं लगता है।

हमारे पास हो सकता है $$$T$ वीडियो के लगातार फ्रेम $$$I_t$ आकार $$$w$ पर $$$ज$ पिक्सेल। वीडियो के शुरुआती फ्रेम में $$$I_0$ एक आयत किसी वस्तु के चारों ओर चक्कर लगाती है $$$F_0$$$$एम$ पर $$$एन$ । इस शरीर के स्थान को अन्य सभी फ़्रेमों पर खोजना आवश्यक है $$$I_t$ ।

हम छवियों में शोर को हटाते हैं, फिर हम उनमें से प्रत्येक को -1 से 1 तक की सीमा में सामान्य करते हैं ताकि चमक में सामान्य परिवर्तन का पता लगाने पर असर न पड़े। बिना मार्कअप के वीडियो का पहला फ्रेम लें $$$I_1$ । अगर $$$I_0$ और $$$I_1$ - अच्छे एफपीएस के साथ वीडियो के पड़ोसी फ्रेम, यह संभावना नहीं है कि वांछित वस्तु अपने मूल स्थान से बहुत दूर है। इसका फायदा उठाएं। काट दो $$$I_1$ आयत $$$F_1$ उस स्थान से जहां वांछित शरीर पहले स्थित था। "PROTAN" $$$F_0$ के माध्यम से $$$F_1$ और प्रत्येक बिंदु पर हम अंतर के योग के वर्ग की गणना करते हैं

$$

$$G_ {L_2} (i, j) = \ समानांतर F_ {1} (i, j) - F_0 \ समानांतर_ {2}, i \ में [0, m], j \ में [0, n]$$

में अंतर की गणना करने के लिए कहाँ $$$G_ {L_2} (i, j)$ केंद्र को संयोजित करने की आवश्यकता है $$$F_0$ तत्व के साथ $$$(i, j)$ में $$$F_1$ , और लापता मान शून्य पर। उसके बाद मैट्रिक्स में $$$G_ {L2}$ न्यूनतम मांगा गया है; इसका स्थान केंद्र के निर्देशांक को घटाता है $$$F_1$ और वांछित वस्तु की भरपाई होगी $$$I_1$ ।

ताकि पता लगाने के दौरान शून्य पर एक तीव्र संक्रमण "रिंग" न हो, शुरू में बेहतर है कि आयत को आवश्यक से थोड़ा अधिक ले लिया जाए और सीमाओं के करीब मूल्यों को शून्य करने के लिए सुचारू रूप से कम किया जाए। $$$F_0$ और $$$F_1$ । इसके लिए, प्रत्येक $$$एफ$ मुखौटा से गुणा करने की आवश्यकता है। वर्ग वस्तुओं के लिए, अच्छा पुराना प्रदर्शक करेगा। $$$A = \ exp {\ frac {(x - i) ^ 2 + (y - j) ^ 2} {\ sigma ^ 2}}$ (जहां $$$(x, y)$ खिड़की का केंद्र है), लेकिन सामान्य स्थिति में दो-आयामी हानिंग विंडो लेना बेहतर है।

के लिए $$$I_2$ खिड़की $$$F_2$ फ्रेम पर अनुमानित स्थिति से लिया गया $$$I_1$ , और इसी तरह।


के बदले $$$L_2$ मानदंडों का उपयोग किया जा सकता है $$$L_1$ ( $$$G_ {L_ {1}} (i, j) = | F_1 (i, j) - F_0 $$ ) और मत्रियों के क्रॉस-सहसंबंध को घटाते हैं ( $$$G_ {nCC} (i, j) = - \ sum_ {kl} {F_ {1, kl} (i, j) F_ {0, kl}}, k \ _ [0, m], l \ in [ 0, एन]$ )। दोनों की तुलना में थोड़ा तेज माना जाता है $$$L_2$ लेकिन उनकी अपनी विशेषताएं हैं। $$$L_1$ गैर-परिवर्तनीय और पिक्सेल मूल्यों में बड़े अंतर के प्रति कम संवेदनशील। क्रॉस-सहसंबंध गलत सकारात्मक उत्पादन कर सकता है यदि नमूना कम विपरीत है और छवि में बहुत हल्का या बहुत अंधेरा क्षेत्र है।

$$$L_2$ मीट्रिक के विसर्जन में ऐसा नुकसान नहीं होता है:

$$

$$G_ {L_2} = \ योग {(F_ {1, kl} (i, j) - F_ {0, kl}) ^ 2}$$

$$

$$= \ योग {(F_ {1, kl} (i, j)) ^ 2 - 2 F_ {1, kl} (i, j) F_ {0, kl} + (F_ {0, kl}) - 2 }$$

$$

$$= \ sum {(F_ {1, kl} (i, j)) ^ 2} - \ sum {2 F_ {1, kl} (i, j) F_ {0, kl}} + \ sum {(F_) {{Kl}} ^ 2}$$

$$

$$= E_ {F_1 (i, j)} + 2 G_ {nCC} (i, j) + E_ {F_0}$$

$$$E_ {F_1 (i, j)}$ , पर चयनित साइट की "ऊर्जा" $$$I_t$ एक संतुलन कारक के रूप में कार्य करता है ( $$$E_ {F_0}$ नमूना के पिक्सेल मानों के वर्गों का योग सभी विंडो पदों के लिए समान है और यहां कोई व्यावहारिक महत्व नहीं है)।

यहां तक ​​कि इस तरह के एक आदिम एल्गोरिथ्म वस्तुओं के रैखिक आंदोलन के मामले में बहुत अच्छी तरह से मुकाबला करता है (उदाहरण के लिए, एक कैमरा नीचे की ओर देखता है)। हालांकि, मॉडल की सादगी और निष्पादन के कारण, इस ट्रैकिंग विधि के कई नुकसान हैं:

1. प्रकृति में परिवर्तन के बिना किसी वस्तु की एक सरल रैखिक गति दुर्लभ है। एक नियम के रूप में, कैमरे के दृश्य के क्षेत्र में शरीर कुछ वर्गों के परिवर्तनों से गुजर सकते हैं। बढ़ती हुई जटिलता के क्रम में: आकार में वृद्धि / कमी, घुमाव, परिशोधन परिवर्तन, प्रक्षेप्य परिवर्तन, अशुभ परिवर्तन, किसी वस्तु में परिवर्तन। यहां तक ​​कि अगर हम ऑब्जेक्ट परिवर्तन और नॉनलाइनियर परिवर्तनों को छोड़ देते हैं, तो हम चाहेंगे कि एल्गोरिथ्म अपेक्षाकृत सरल घुमाव और आकार में परिवर्तन से उबरने में सक्षम हो। जाहिर है, उपरोक्त प्रक्रिया में यह संपत्ति नहीं है। शायद $$$F_0$ यह अभी भी ऑब्जेक्ट पर ध्यान देने योग्य प्रतिक्रिया देगा, लेकिन नमूना के सटीक स्थान को निर्धारित करना मुश्किल होगा, और ट्रैक बंद हो जाएगा।
   
   
   उदाहरण

   

   
   
2. हमने एल्गोरिदम को केवल एक सकारात्मक नमूना दिखाया, यह कहना मुश्किल है कि प्रतिक्रिया क्या देगी $$$F_0$ अगर खिड़की में एक और समान वस्तु मिलती है। ठीक है, अगर वांछित वस्तु विपरीत है और एक दुर्लभ संरचना है, लेकिन क्या होगा अगर हम अन्य मशीनों की एक धारा में एक मशीन की निगरानी करना चाहते हैं? एक ट्रैकर अप्रत्याशित रूप से एक कार से दूसरी कार में कूद सकता है।
3. प्रत्येक फ्रेम में, हम पूरे बैकस्टोरी को त्याग देते हैं। शायद, यह भी किसी तरह इस्तेमाल किया जाना चाहिए।
4. इसके अलावा, हम छवि में केवल एक बिंदु पर सीखते हैं। यह बेहतर होगा यदि, ऑब्जेक्ट के सही स्थान के पास , ट्रैकर भी एक अच्छी प्रतिक्रिया देगा। एक बिट काउंटरिनिटिव, लेकिन सोचें: यदि फ़िल्टर तस्वीर में ऑब्जेक्ट के सटीक स्थान पर है $$$(x, y)$ सबसे अच्छा मूल्य देता है, और में $$$(x + 1, y + 1)$ - कुछ यादृच्छिक, जिसका अर्थ है कि वह छोटे विवरणों के प्रति बहुत संवेदनशील है जो आसानी से बदल सकता है। इसके विपरीत, यदि में $$$(x, y)$ और में $$$(x + 1, y + 1)$ लगभग उतने ही अच्छे मूल्य, फ़िल्टर बड़े पर "झुका" और, हम आशा करते हैं, अधिक स्थायी संकेत।
5. ट्रैकिंग प्रक्रिया के अनुभवहीन कार्यान्वयन के साथ, फ्रेम के प्रत्येक पिक्सेल के लिए हम इस फ्रेम के संबंधित हिस्से द्वारा चयनित आइटम के साथ पूरी विंडो को गुणा करते हैं। इस ऑपरेशन की जटिलता है $$$O (m ^ 2n ^ 2)$ । ऐसे मामलों में, 50 से 50 पिक्सेल वस्तुओं को ट्रैक करना बहुत अच्छा नहीं है। यह समस्या वीडियो के आकार को कम करके आंशिक रूप से हल की जाती है, लेकिन जब छवि को चौड़ाई में 240 पिक्सेल से कम तक कम कर दिया जाता है, तो भी बड़े महत्वपूर्ण विवरण खो जाते हैं, जो एल्गोरिथ्म को अर्थहीन बना देता है।

ASEF, MOSSE

तुच्छ दृष्टिकोण ++?

हमारी आस्तीन ऊपर रोल करें और उपरोक्त समस्याओं को हल करने का प्रयास करें।

मूल छवि को संवर्धित करें। हम इसे कई हल्के चक्कर लगाने के लिए लागू करते हैं। आप शोर भी जोड़ सकते हैं या गामा बदल सकते हैं। इस प्रकार, एकल छवि के बजाय, एक माइक्रोडेटा सेट $$$पी$ तस्वीरें। बहुत सारी छवियां थीं, लेकिन एक खिड़की बनी रही। इसलिए अब हम न केवल छवि से एक आयत को काटेंगे, बल्कि कुछ फ़िल्टर की तलाश करेंगे $$$डब्ल्यू$ जो सभी के लिए एक अच्छी प्रतिक्रिया देगा $$$I ^ पी$ । हम समस्या को न्यूनतम समस्या में बदलते हैं:

$$

$$W: \ min_W {\ समानांतर F ^ p - W \ समानांतर_2}, p \ में [1, पी]$$

जहाँ $$$\ समानांतर F ^ p - W \ समानांतर_2$ - के बीच पिक्सेल अंतर के वर्गों का योग $$$डब्ल्यू$ और वस्तु के सटीक स्थान का संबंधित भाग $$$पी$ उस सिंथेटिक छवि को एक फ्रेम से बनाया गया है जिसमें सही मार्कअप है।

इसके अलावा, आप ट्रैक किए गए ऑब्जेक्ट के स्थान से दूर आयतों का नमूना ले सकते हैं और ऊपर दिखाए गए अंतर को अधिकतम कर सकते हैं।

यह सुझाव देना अधिक कठिन है कि फ़िल्टर ऑब्जेक्ट के सटीक स्थान के पास बिंदुओं पर एक अच्छी प्रतिक्रिया देता है। हम जानते हैं कि में $$$(x, y)$ के साथ आवेदन फ़िल्टर करें $$$L_2$ -मेट्रिक को 0, अगला - अधिक, दूर - और भी अधिक देना चाहिए। इसके अलावा, हमारे पास कोई पसंदीदा दिशा नहीं है, प्रतिक्रिया को सम्मान के साथ केंद्रीय रूप से सममित होना चाहिए $$$(x, y)$ । ऐसा लगता है कि हम गणितीय रूप से व्यक्त कर सकते हैं कि संदर्भ छवियों पर लागू फ़िल्टर की प्रतिक्रिया कैसी दिखनी चाहिए! विशिष्ट प्रतिक्रिया क्षीणन समारोह के आधार पर सटीक उपस्थिति भिन्न हो सकती है, लेकिन क्या हर कोई गाऊसी से प्यार करता है? इसलिए, हम यह मान लेते हैं $$$डब्ल्यू$ के लिए आवेदन किया $$$F_p$ आदर्श रूप से एक परिणाम देना चाहिए $$$G_p = 1 - \ exp {\ frac {(x - i) ^ 2 + (y - j) ^ 2} {\ sigma ^ 2}}$ । इसलिए, कम से कम समस्या में बदल जाता है:

$$

$$D_p (i, j) = \ समानांतर F ^ p (i, j) - W \ parallel_2$$

$$

$$W: \ min_W {\ समानांतर D_p (i, j) - G_p (i, j) \ समानांतर_2}, p \ में [1, P]$$

अब हम एक बिंदु पर प्रतिक्रिया को कम नहीं करते हैं, लेकिन वांछित से प्रतिक्रिया के विचलन को कम करते हैं।

एक सेकंड रुको ... हमने किया $$$P \ गुना m \ गुना n$ के साथ समीकरण $$$m \ n n$ चर को कम करने के लिए। ऐसा लगता है कि हम इसे पूरा कर रहे हैं। थोड़ा पीछे चलते हैं।

मुख्य चाल

सभी समस्याओं में से, सबसे बड़ी कठिनाई जटिलता है। $$$O (m ^ 2n ^ 2)$ । क्या यह संभव है कि किसी एक खोज बॉक्स के कई छोटे हिस्सों में बंटवारे के अलावा कुछ और छोटे-छोटे रिज़ॉल्यूशन में तस्वीर में खोजें और उच्च-परिशुद्धता के लिए ठीक-ठीक ट्यूनिंग करें?

यह आप कर सकते हैं पता चला है! मेटानालिसिस हमें बताता है कि साधारण अंतरिक्ष में कार्यों की तह उनकी फूरियर छवियों का गुणन है। हम छवियों के लिए तेजी से फूरियर रूपांतरण लागू करने में सक्षम हैं, तत्व द्वारा उनकी आवृत्तियों को गुणा करें, और फिर परिणाम को एक मैट्रिक्स में वापस करें $$$O (mn \ log {mn})$ , जो ईमानदारी से मैट्रिक्स को कम करने की तुलना में बहुत तेज है। फूरियर! किसने सोचा होगा! टेनसफ़्लो के युग में, वह अभी भी कंप्यूटर की दृष्टि से हमारी मदद कर सकता है।

(यह, वैसे, सामान्य गणितीय सिद्धांत को प्रदर्शित करता है: यदि आप अंतरिक्ष में समस्या को हल नहीं करना चाहते हैं $$$X$ इसे अंतरिक्ष में ले जाएं $$$य$ वहां निर्णय लें, और निर्णय वापस लें। समाधान अक्सर प्रत्यक्ष की तुलना में छोटा होता है।)

जैसा कि ऊपर दिखाया गया है, हम छवि में नमूने को स्थानीय बनाने के लिए क्रॉस-सहसंबंध का उपयोग कर सकते हैं। लेकिन क्रॉस-सहसंबंध क्षैतिज और लंबवत रूप से परिलक्षित होता है $$$डब्ल्यू$ । मेटानालिसिस बताता है कि इस मामले में आवृत्तियों को गुणा करना आवश्यक होगा $$$एफ$ एक आवृत्ति मैट्रिक्स के लिए एक जटिल संयुग्म मैट्रिक्स पर $$$डब्ल्यू$ :

$$

$$\ hat {W} (\ omega, \ nu) = \ mathcal {F} (W (x, y))$$

$$

$$\ hat {F} (\ omega, \ nu) = \ mathcal {F} (F (x, y))$$

$$

$$\ hat {G} _ {conv} (\ omega, \ nu) = \ mathcal {F} (G_ {conv} (x, y))$$

$$

$$G_ {conv} = F \ otimes W \ rightarrow \ hat {G} _ {conv} = \ hat {F} \ odot \ hat {W} ^ *$$

जहाँ $$$G_ {conv} = \ exp {\ frac {(x - i) ^ 2 + (y - j) ^ 2} {\ sigma ^ 2}}$ - संदर्भ छवि पर सही प्रतिक्रिया समारोह। कृपया ध्यान दें $$$L_2$ हमने मीट्रिक को कम से कम किया और कन्वेंशन मीट्रिक को अधिकतम किया, इसलिए अब, जितना अधिक होगा, उतना बेहतर होगा।

यदि हमारी एक छवि थी, तो हमें सटीक फ़िल्टर आवृत्ति मैट्रिक्स मिलेगा:

$$

$$\ hat {W} ^ * = \ frac {\ hat {G} _ {conv}} {\ hat {F}}$$

जहां दायीं ओर तत्व-वार विभाजन को संदर्भित करता है। लेकिन थोड़ा पहले हमने उत्पन्न किया था $$$पी$ स्रोत से छवियाँ हम उन्हें फूरियर दृष्टिकोण के साथ लागू कर सकते हैं। ऐसी आवृत्तियों के साथ कोई फ़िल्टर नहीं है जो आदर्श रूप से सभी छवियों को संतुष्ट करेगा, लेकिन आप कुछ अच्छा प्राप्त कर सकते हैं। समस्या को हल करने के दो तरीके हैं:

1. आप आदर्श फ़िल्टर का एक सेट पा सकते हैं, और फिर उन्हें एक में औसत कर सकते हैं। यह एक तरह से सिंथेटिक सटीक फिल्टर (ASEF) के औसत के लेखक हैं:

   $$

   $$\ hat {W} ^ * = \ frac {1} {P} \ sum_ {p = 1} ^ {P} \ hat {W} ^ * _ p = \ frac {1} {P} \ sum_ {p = 1} ^ {P} {\ frac {\ hat {G} _p} {\ hat {F} ^ p} "$$
   यहाँ हम फूरियर चित्रों की रैखिकता गुण का उपयोग करते हैं। आवृत्तियों को जोड़ना, जैसा कि ऊपर दिखाया गया है, हम कई फ़िल्टर भार को औसत करते हैं।
2. आप फ़िल्टर फ़्रीक्वेंसी पा सकते हैं जो औसतन सभी चित्रों को संतुष्ट करते हैं, लगभग $$$L_2$ :

   $$

   $$\ hat {W} ^ *: \ min _ {\ hat {W} ^ *} {\ sum_ {p = 1} ^ {P} {\ समानांतर \ hat {F} ^ p \ odot \ hat {W} ^ * - \ / टोपी {G} _p \ समानांतर_2}}$$
   न्यूनतम खोजने के लिए, आपको फ़िल्टर तत्वों का व्युत्पन्न लेना होगा:

   $$

   $$\ frac {\ delta} {\ delta \ hat {W} ^ *} \ sum_ {p = 1} ^ {P} {\ समानांतर \ टोपी {F} ^ p \ odot \ hat {W} ^ * - \ _ हैट {जी} _p \ समानांतर_2} = 0$$
   इस व्युत्पन्न की एक ईमानदार कैप्चर को एडाप्टिव कोरिलेशन फिल्टर्स का उपयोग करके विज़ुअल ऑब्जेक्ट ट्रैकिंग में पाया जा सकता है, जो न्यूनतम त्रुटि बीमित राशि वाले फ़िल्टर फ़िल्टर (MOSSE फ़िल्टर) प्रदान करता है। परिणाम यह है:

   $$

   $$\ hat {W} ^ * = \ frac {\ _ sum_ {p = 1} ^ {P} {\ hat {G} _p \ odot \ hat {F} ^ {p *}}} {\ _ sum_ {p = 1} ^ {P} {\ hat {F} ^ p \ odot \ hat {F} ^ {p *}}}$$

हम्म, जैसे कि समान तत्व सूत्र में शामिल थे। पर $$$P = 1$ ASEF और MOSSE के सूत्र बिल्कुल एक जैसे हैं। $$$\ _ {W} ^ *$ एक छवि के रूप में प्रतिनिधित्व किया जा सकता है

$$

$$\ hat {W} ^ * = \ frac {\ hat {G_p}} {\ hat {F ^ p}} = \ frac {\ hat {G_p} \ odot \ hat {F} ^ {p *}} { \ टोपी {F ^ p} \ odot \ टोपी {F} ^ {p *}}$$

ASEF और पाने के लिए सूत्र में स्थानापन्न

$$

$$\ hat {W} ^ * = \ sum_ {p = 1} ^ {P} {\ frac {\ hat {G} _p \ odot \ hat {F} ^ {p *}} {\ hat {F} ^ p \ odot \ hat {F} ^ {p *}}}$$

अहा! अब यह देखना बेहतर है कि ASEF और MOSSE केवल फ़िल्टर औसत की विधि में भिन्न हैं! यह तर्क दिया जाता है कि MOSSE ASEF की तुलना में बेहतर फिल्टर का उत्पादन करता है। यह तर्कसंगत लगता है: छवियों के पूरे पैक को समायोजित करना एक संपूर्ण फिल्टर से बेहतर है।

हमें मिल गया $$$\ _ {W} ^ *$ , हम आवृत्ति डोमेन में प्रतिक्रिया की गणना करते हैं $$$\ hat {G} _ {conv} = \ hat {F} \ odot \ hat {W} ^ *$ , तो हम इसे स्थानिक डोमेन में अनुवाद करते हैं और परिणामी मैट्रिक्स में अधिकतम की तलाश करते हैं $$$जी$ । जहाँ अधिकतम है, वहाँ वस्तु की नई स्थिति है।

अतिरिक्त अंक

• सूत्रों के हर में शब्दों का एक दिलचस्प भौतिक अर्थ है। $$$\ hat {F} ^ p \ odot \ hat {F} ^ {p *}$ के साथ एक आयत का ऊर्जा स्पेक्ट्रम है $$$पी$ वह छवि।
• दिलचस्प समरूपता पर ध्यान दें। प्रतिक्रिया प्राप्त करने के लिए छवि आवृत्तियों द्वारा फ़िल्टर आवृत्तियों को गुणा करना आवश्यक था। अब आपको फ़िल्टर आवृत्तियों को प्राप्त करने के लिए छवि आवृत्तियों (और सामान्यीकृत) द्वारा प्रतिक्रिया आवृत्तियों को गुणा करना होगा।
• वास्तविक जीवन में, एलिमेंटविज़न विभाजन शून्य से विभाजन का कारण बन सकता है, इसलिए एक नियमित स्थिरांक आमतौर पर हर में जोड़ा जाता है $$$\ epsilon$ । यह तर्क दिया जाता है कि इस तरह के नियमितीकरण से फ़िल्टर कम आवृत्तियों पर अधिक ध्यान देने का कारण बनता है, जिससे सामान्यीकरण की क्षमता में सुधार होता है।
• वास्तविक वीडियो को संसाधित करते समय, आप आमतौर पर पिछले फ़्रेम से प्राप्त ट्रैक किए गए ऑब्जेक्ट के बारे में जानकारी सहेजना चाहते हैं। अगले फ्रेम में जाने पर, आप गणना नहीं कर सकते $$$\ _ {W}$ खरोंच से, और पिछले एक को अपडेट करें। ASEF के लिए अद्यतन सूत्र:

  $$

  $$\ hat {W} ^ * _ i = \ frac {\ eta} {P} \ sum_ {p = 1} ^ {P} {\ frac {\ hat {G_p}} {\ hat {F ^ p}}}। + (1 - \ eta) \ hat {W} ^ * _ {i-1}$$
  MOSSE के लिए, आपको अंश और हर को अलग-अलग जमा करना होगा:

  $$

  $$A_i = \ eta \ sum_ {p = 1} ^ {P} \ hat {G} _p \ odot \ hat {F} ^ {p *} + (1 - \ eta) A_ {i-1}$$

  $$

  $$B_i = \ eta \ sum_ {p = 1} ^ {P} \ hat {F} ^ p \ odot \ hat {F} ^ {p *} + (1 - \ eta) B_ {i-1}$$

  $$

  $$\ _ {W} ^ * _ i = \ frac {A_i} {B_i}$$
  जहाँ $$$\ eta$ - सीखने की गति।
• यह याद रखना महत्वपूर्ण है कि फूरियर रूपांतरण गणना के समान नहीं है $$$जी$ ईमानदारी से, जैसा कि लेख की शुरुआत में वर्णित है। एफएफटी की गणना करते समय, लापता तत्व गायब नहीं होते हैं, लेकिन रिवर्स साइड पर प्रतिस्थापित होते हैं, जैसे कि छवि को दाएं से बाएं और नीचे से ऊपर तक लूप किया गया था। लेकिन लेख की शुरुआत में, हमने पहले से ही किनारों को काला करने का फैसला किया $$$एफ$ , इसलिए इस समस्या पर ध्यान देने योग्य प्रभाव नहीं होगा।
• जैसा कि ऊपर उल्लेख किया गया है, क्रॉस-सहसंबंध में एक अप्रिय विशेषता है: सामान्य तौर पर, एक हल्का फिल्टर छवि के सफेद क्षेत्रों में एक मजबूत प्रतिक्रिया दे सकता है, भले ही वे विपरीत क्षेत्रों में मेल न खाते हों। समस्याएं यहीं तक सीमित नहीं हैं। यहां तक ​​कि एक मेल खाने वाला पिक्सेल जो दृढ़ता से सकारात्मक या बहुत नकारात्मक मान के साथ होता है, फ़िल्टर के साथ हस्तक्षेप कर सकता है अगर नमूना एक पूरे के विपरीत है। इस आशय को सुचारू करने के लिए, प्रीप्रोसेसिंग में छवि पिक्सेल के एक गैर-रैखिक परिवर्तन को शामिल किया जाना चाहिए, जो बीच में बहुत हल्के और बहुत अंधेरे क्षेत्रों को "प्रेस" करेगा। इसके कारण, इन विषम क्षेत्रों का संयोग मीट्रिक में एक मजबूत योगदान देता है। ASEF और MOSSE लेख लघुगणक का उपयोग करते हैं:

  $$

  $$I = \ log {I + 1}$$
  पिक्सेल कहाँ हैं $$$मैं$ 0 से 255 तक। मेरी राय में, यह बहुत कठोर है, और काले क्षेत्रों में अंधेरे फिल्टर की मजबूत प्रतिक्रिया की समस्या को अनदेखा करता है। इस तरह की योजना बेहतर काम करती है:

  $$

  $$I = चिन्ह (I - 127) \ sqrt {| I - 127 |}$$
  फिर सामान्यीकरण आता है, और यह पता चलता है कि अधिकांश तत्व शून्य के आसपास केंद्रित हैं।
  
• ऐसा एल्गोरिथ्म कैसे निर्धारित कर सकता है कि ट्रैक की गई वस्तु फ्रेम से गायब हो गई है? अगले फ्रेम से प्राप्त प्रतिक्रिया का अधिक विस्तृत विश्लेषण यहां मदद करेगा। MOSSE के निर्माता PSR इंडिकेटर की पेशकश करते हैं - पीक से सिडेलोब रेशियो। चलो $$$g_ {अधिकतम}$ - अधिकतम तत्व $$$जी$ वस्तु की नई स्थिति के अनुरूप $$$(x, y)$ । हम विचार से वर्ग को बाहर करते हैं $$$11 \ _11$ इस अधिकतम के आसपास। हम शेष पिक्सेल के लिए औसत और मानक विचलन की गणना करते हैं ( $$$\ mu_ {sl}, \ sigma_ {sl}$ )। तो

  $$

  $$PSR = \ frac {g_ {अधिकतम} - \ mu_ {sl}} {\ sigma_ {{}}$$
  यदि यह मान एक निश्चित सीमा से ऊपर है, तो पता लगाना सफल माना जाता है। सीमा आमतौर पर 3 और 10 के बीच के क्षेत्र में ली जाती है। आत्मविश्वास से बचने के लिए, PSR को आमतौर पर 20 से ऊपर रखा जाता है।
  
  (ध्यान दें कि यहाँ PSR का मतलब यह नहीं है कि सिग्नल प्रोसेसिंग सिद्धांत में इसका आम तौर पर क्या मतलब है; इसलिए इसे गूगल न करें, इससे अच्छा कुछ नहीं होगा
• एल्गोरिथ्म बेहद सरल है। OpenCV कार्यान्वयन का उपयोग करते हुए 320x400 के साथ छवियों में Core-i7 पर ट्रैकिंग प्रक्रिया 0.5 से 2 मिलीसेकंड तक होती है, जो कि ट्रैक की गई वस्तु के आकार पर निर्भर करती है।

MOSSE एल्गोरिथ्म

यह सब एक साथ रखना।

सामान्य स्थिति:

फ़िल्टर फ्रीक्वेंसी मैट्रिक्स: $$$\ _ {W}$
फिल्टर आवृत्तियों की गणना के लिए सहायक मैट्रीस: $$$ए, बी$
वांछित आदर्श प्रतिक्रिया की आवृत्ति मैट्रिक्स: $$$\ _ {जी}$
ट्रैकिंग के दौरान प्रशिक्षण की गति: $$$\ eta$
वस्तु की वर्तमान स्थिति की आयत: $$$आर$
परिवर्तनों की संख्या: $$$पी$
प्रतिक्रिया थ्रेशोल्ड: $$$PSR_ {thr}$

सहायक समारोह: प्रशिक्षण । इनपुट: इमेज $$$मैं$ वर्तमान सीखने की गति $$$\ eta_ {वर्तमान}$

1. $$$A_ {नया}: = 0, B_ {नया}: = 0$
2. जब तक मुझे नहीं मिला $$$पी$ परिवर्तनों:
   
   1. छवि के केंद्र पर केंद्रित एक छोटा यादृच्छिक परिशोधन परिवर्तन लागू करें। $$$आर$
   2. ऑब्जेक्ट के साथ आयत छवि से काटें $$$एफ$
   3. किनारों को सुचारू रूप से साफ करने के लिए उस पर मास्क लगाएं
   4. अनुवाद करना $$$एफ$ आवृत्ति डोमेन में: $$$\ _ {F}$
   5. $$$A_ {new} = A_ {new} + \ hat {G} \ odot \ hat {F} ^ *$
   6. $$$B_ {new} = B_ {new} + \ hat {F} \ odot \ hat {F} ^ *$
   
   
3. अगर $$$\ eta_ {current} \ geq 1.0$ फिर प्रतिस्थापित करें $$$ए$ और $$$ब$ पर $$$ए_ {नया}$ और $$$B_ {नया}$ । अन्यथा:
   

   $$

   $$B: = \ eta B_ {new} + (1 - \ eta) B$$

   $$

   $$A: = \ eta A_ {new} + (1 - \ eta) A$$
4. फ़िल्टर आवृत्तियों की गणना करें:

   $$

   $$\ _ {W} ^ * = \ frac {A} {B}$$

इनिशियलाइज़ेशन । इनपुट: इमेज $$$मैं$ वस्तु की स्थिति के आसपास का आयत $$$R_ {init}$

1. $$$R: = R_ {init}$
2. वांछित प्रतिक्रिया तैयार करें $$$जी$ । आमतौर पर यह केंद्र में एक छोटे से गॉसियन के साथ पूरी तरह से शून्य मैट्रिक्स है।
3. प्रशिक्षण : $$$मैं$ , 1.0
4. अनुवाद करना $$$जी$ आवृत्ति डोमेन में: $$$\ _ {जी}$

ट्रैकिंग : इनपुट: छवि $$$मैं$

1. आयत को काटो $$$एफ$ से $$$मैं$ ऑब्जेक्ट की मौजूदा पिछली स्थिति के लिए $$$आर$
2. किनारों को सुचारू रूप से साफ करने के लिए उस पर मास्क लगाएं
3. अनुवाद करना $$$एफ$ आवृत्ति डोमेन में: $$$\ _ {F}$
4. $$$\ hat {G} _ {response} = \ hat {W} \ odot \ hat {F} ^ *$
5. अनुवाद करना $$$\ _ {G} _ {प्रतिक्रिया}$ स्थानिक डोमेन के लिए: $$$G_ {प्रतिक्रिया}$
6. में अधिकतम खोजें $$$G_ {प्रतिक्रिया}$ : $$$g_ {अधिकतम}, (x, y)$
7. प्रतिक्रिया शक्ति की गणना करें $$$PSR: = \ frac {g_ {max} - \ mu_ {sl}} {\ sigma_ {{}} $$
8. अगर $$$PSR <PSR_ {thr}$ निकास विफल
9. अद्यतन स्थिति $$$आर$ । R को समायोजित करें यदि यह छवि से परे चला जाता है, या यह निर्णय लिया गया था कि ऑब्जेक्ट बढ़ा / घटा है।
10. प्रशिक्षण : $$$मैं$ । $$$\ eta$
11. पुनः प्राप्त $$$आर$

कार्यान्वयन विवरण भिन्न हो सकते हैं। उदाहरण के लिए

• केवल प्रीप्रोसेस कर सकते हैं $$$एफ$ , पूरी छवि नहीं।
• $$$जी$ अलग-अलग फ़ंक्शन और प्रतिक्रिया चौड़ाई के साथ प्रत्येक छवि परिवर्तन के लिए फिर से बनाया जा सकता है।
• आप दूरी और आसपास के क्षेत्र में आंदोलनों का पता लगाने के लिए ऑब्जेक्ट के कई पैमानों पर एक ही समय में कई अलग-अलग फ़िल्टर को प्रशिक्षित कर सकते हैं।

यह कैसा दिखता है

शुरुआत के लिए, द्वि-आयामी फूरियर रूपांतरण के कुछ उदाहरण।


अब एक वास्तविक कार्य उदाहरण पर चलते हैं:


एक संकीर्ण वांछित प्रतिक्रिया के साथ एक ही उदाहरण:


$$$डब्ल्यू$ पिछले तीन मामलों के लिए $$$जी$ जब इनपुट छवि के 16 परिवर्तनों के प्रशिक्षण के लिए उपयोग किया जाता है:


यदि आप यह देखना चाहते हैं कि यह कैसा दिखता है, तो यहां से मेरे परीक्षण रिपॉजिटरी को डीबगिंग चित्रों के आउटपुट के साथ MOSSE के कार्यान्वयन के साथ डाउनलोड करें । आप जीथब पर अधिक MOSSE विकल्प पा सकते हैं। इसके अलावा, यह OpenCV में है ।

निष्कर्ष

आपके ध्यान के लिए धन्यवाद, Habrovsk। MOSSE और ASEF ट्रैकिंग दुनिया में सबसे जटिल एल्गोरिदम नहीं हैं। यह न केवल उन्हें प्रभावी ढंग से लागू करना आसान है, बल्कि यह भी समझना है कि उनके रचनाकारों को कैसे निर्देशित किया गया था। मुझे उम्मीद है कि मेरे स्पष्टीकरण ने आपको शोधकर्ताओं के सिर में प्रवेश करने में मदद की है, ताकि उनके विचारों का पालन किया जा सके। यह उपयोगी हो सकता है: मशीन लर्निंग ज्ञान का एक स्थिर क्षेत्र नहीं है, रचनात्मकता और अनुसंधान के लिए एक जगह है। कुछ स्थापित एल्गोरिथ्म में गहराई से खुदाई करने की कोशिश करें: त्वरण के लिए अनावश्यक अंगों को देखा या अपने विशेष मामले में बेहतर काम करने के लिए एक जोड़े को जोड़ा। आप इसे पसंद करेंगे!

यह लेख डीएसएसएल के समर्थन से लिखा गया था।