अनिश्चित वस्तु का पता लगाना

मशीन लर्निंग में सबसे महत्वपूर्ण कार्यों में से एक है ऑब्जेक्ट डिटेक्शन। हाल ही में, ऑब्जेक्ट डिटेक्शन के लिए डीप लर्निंग पर आधारित मशीन लर्निंग एल्गोरिदम की एक श्रृंखला प्रकाशित की गई है। ये एल्गोरिदम व्यावहारिक कंप्यूटर दृष्टि अनुप्रयोगों में केंद्रीय स्थानों में से एक पर कब्जा करते हैं, विशेष रूप से, वर्तमान में बहुत लोकप्रिय सेल्फ-ड्राइविंग कारें। लेकिन ये सभी तरीके एक शिक्षक के साथ शिक्षण के तरीके हैं, अर्थात्। उन्हें एक विशाल डेटासेट (विशाल डेटासेट) की आवश्यकता होती है। स्वाभाविक रूप से, एक मॉडल को "कच्चे" (असंबद्ध) डेटा से सीखने में सक्षम होने की इच्छा है। मैंने मौजूदा तरीकों का विश्लेषण करने की कोशिश की और उनके विकास के संभावित तरीकों का भी संकेत दिया। मैं हर किसी से पूछता हूं कि कात के तहत दया की इच्छा करना, यह दिलचस्प होगा।

प्रश्न की वर्तमान स्थिति

स्वाभाविक रूप से, इस समस्या का सूत्रीकरण लंबे समय से मौजूद है (मशीन सीखने के अस्तित्व के पहले दिनों से) और इस विषय पर पर्याप्त संख्या में काम करता है। उदाहरण के लिए, मेरे पसंदीदा में से एक स्पैनिशली इनवेरिएंट अनसुप्रोवाइज्ड ऑब्जेक्ट डिटेक्शन विथ कनफ्यूज़नल न्यूरल नेटवर्क्स । संक्षेप में, लेखक वेरिएबल ऑटो एनकोडर (VAE) का प्रशिक्षण ले रहे हैं, लेकिन यह दृष्टिकोण मेरे लिए कई सवाल खड़े करता है।

थोड़ा दर्शन

तो एक छवि में कोई वस्तु क्या है? इस सवाल का जवाब देने के लिए, हमें इस सवाल का जवाब देना चाहिए - हम दुनिया को वस्तुओं में भी क्यों विभाजित करते हैं? इस प्रश्न पर थोड़ा ध्यान देने के बाद, मेरे पास इस प्रश्न का केवल एक ही उत्तर था (मैं यह नहीं कह रहा हूं कि कोई अन्य नहीं हैं, मैं उन्हें ढूंढ नहीं पाया हूं) - हम उस दुनिया का प्रतिनिधित्व खोजने की कोशिश कर रहे हैं जो दुनिया का वर्णन करने के लिए आवश्यक जानकारी को समझना और नियंत्रित करना हमारे लिए आसान है। वर्तमान कार्य के संदर्भ में। उदाहरण के लिए, छवियों को वर्गीकृत करने के कार्य के लिए (जो आम तौर पर गलत तरीके से तैयार की जाती है - एक वस्तु के साथ बहुत कम ही छवियां होती हैं। यानी, हम समस्या को हल करते हैं जो चित्र में नहीं दिखाया गया है, लेकिन कौन सी वस्तु "मुख्य" है), हमें केवल यह कहना होगा कि चित्र "कार" है , बदले में, वस्तुओं का पता लगाने के कार्य के लिए, हम यह जानना चाहते हैं कि "दिलचस्प" ऑब्जेक्ट्स (चित्र में पेड़ों से सभी पत्तियों में हमें कोई दिलचस्पी नहीं है) वहाँ हैं, और वे कहाँ हैं, दृश्य का वर्णन करने के कार्य के लिए, हम "दिलचस्प" प्रक्रिया का नाम प्राप्त करना चाहते हैं। यह वहाँ होता है, उदाहरण के लिए, "सूर्यास्त", आदि।

यह पता चला है कि ऑब्जेक्ट डेटा का एक सुविधाजनक प्रतिनिधित्व है। इस प्रतिनिधित्व के क्या गुण होने चाहिए? दृश्य में छवि के बारे में यथासंभव पूरी जानकारी होनी चाहिए। यानी ऑब्जेक्ट विवरण होने से, हम मूल छवि को सटीकता की आवश्यक डिग्री के साथ पुनर्स्थापित करने में सक्षम होना चाहते हैं।

इसे गणितीय रूप से कैसे व्यक्त किया जा सकता है? कल्पना करें कि छवि एक यादृच्छिक चर X का एहसास है, और प्रतिनिधित्व एक यादृच्छिक चर Y का एहसास होगा। उपरोक्त के मद्देनजर, हम चाहते हैं कि X के बारे में अधिक से अधिक जानकारी हो। स्वाभाविक रूप से, ऐसा करने के लिए, पारस्परिक जानकारी की अवधारणा का उपयोग करें।

अधिकतम जानकारी के लिए मशीन सीखने के मॉडल

वस्तुओं का पता लगाने को एक जनरेटिव मॉडल माना जा सकता है, जो इनपुट पर एक छवि प्राप्त करता है $$$x$ , और आउटपुट छवि का एक वस्तु प्रतिनिधित्व है $$$य$ ।

आइए अब आपसी जानकारी की गणना करने के सूत्र को याद करें:

$$

$$I (x, y) = \ int p (x, y) log \ frac {p (x, y)} {p (x) p (y)} dxdy$$

जहाँ $$$p (x, y)$ संयुक्त घनत्व वितरण के रूप में अच्छी तरह से $$$p (x), p (y)$ सीमांत।

यहां मैं गहराई में नहीं जाऊंगा कि यह सूत्र ऐसा क्यों दिखता है, लेकिन हम यह मानेंगे कि आंतरिक रूप से यह बहुत तार्किक है। वैसे, वर्णित विचारों के आधार पर, बिल्कुल पारस्परिक जानकारी चुनने के लिए आवश्यक नहीं है, यह किसी भी अन्य "जानकारी" हो सकती है, लेकिन हम अंत तक इसके करीब लौट आएंगे।

विशेष रूप से चौकस (या जो लोग सूचना के सिद्धांत पर किताबें पढ़ते हैं) पहले ही देख चुके हैं कि आपसी जानकारी संयुक्त वितरण और सीमांत लोगों के काम के बीच कुल्बैक-लेब्लर विचलन से ज्यादा कुछ नहीं है। यहां थोड़ी जटिलता पैदा होती है - जो कोई भी मशीन सीखने पर कम से कम कुछ किताबें पढ़ता है, वह जानता है कि अगर हमारे पास केवल दो वितरणों से नमूने हैं (यानी हम वितरण कार्यों को नहीं जानते हैं), तो यह भी अनुकूलन नहीं है, लेकिन कुल्लबैक के विचलन का मूल्यांकन करते हुए, लीब्लर का कार्य बहुत गैर-तुच्छ है। इसके अलावा, हमारे प्यारे गण इस कारण से पैदा हुए थे।

सौभाग्य से, ऑन वारीएशनल बाउंड्स ऑफ़ म्युचुअल इन्फ़ॉर्मेशन में वर्णित निचली परिवर्तनशील सीमा का उपयोग करने का अद्भुत विचार हमारी सहायता के लिए आता है। आपसी जानकारी को इस प्रकार प्रस्तुत किया जा सकता है:

$$

$$I (x, y) = \ int p (x) dx \ int p (y | x) लॉग [q (x | y)] dxdy + \ int p (y) डाई \ int p (x | y) लॉग (\ frac {p (x | y)} {q (x | y)} dxdy$$

या

$$

$$I (x, y) = \ int p (x) dx \ int p (y | x) log [q (x | y)] dxdy + KL [p (x | y)] q (x | y) ]$$

जहाँ $$$p (y | x)$ - किसी दिए गए चित्र के लिए प्रतिनिधित्व का वितरण, हमारे तंत्रिका ग्रिड द्वारा पैराट्राइज्ड और इस वितरण से हम नमूना ले सकते हैं, लेकिन हमें किसी विशेष नमूने की घनत्व या संभावना का अनुमान लगाने में सक्षम होने की आवश्यकता नहीं है (जो आमतौर पर कई सामान्य मॉडल की विशिष्ट है)। $$$q (x | y)$ दूसरे तंत्रिका नेटवर्क द्वारा एक निश्चित घनत्व फ़ंक्शन पैराट्राइज्ड है (सबसे सामान्य मामले में, हमें 2 तंत्रिका नेटवर्क की आवश्यकता है, हालांकि कुछ मामलों में उन्हें पहले एक द्वारा दर्शाया जा सकता है), यहां हमें परिणामी नमूनों की संभावनाओं की गणना करने में सक्षम होना चाहिए।

मूल्य $$$LVB (x, y) = \ int p (x) dx \ int p (y | x) लॉग [q (x | y)] dxdy$ जिसे लोअर वेरिएशन बाउंड कहा जाता है।

अब हम अपनी समस्या के लिए दृष्टिकोण को हल कर सकते हैं, अर्थात्, पारस्परिक जानकारी को बढ़ाने के लिए नहीं, बल्कि इसकी कम परिवर्तनीय सीमा। यदि वितरण $$$q (x | y)$ सही ढंग से चुना गया है, तो परिवर्तनशील सीमा और पारस्परिक जानकारी के अधिकतम बिंदु पर, लेकिन व्यावहारिक मामले में (वितरण के दौरान) $$$q (x | y)$ बिल्कुल कल्पना नहीं कर सकते $$$p (x | y)$ , लेकिन कार्यों के एक बड़े परिवार के होते हैं) बहुत करीब होंगे, जो हमें भी सूट करता है।

यदि कोई यह नहीं जानता है कि यह कैसे काम करता है, तो मैं आपको ईएम एल्गोरिदम पर ध्यान से विचार करने की सलाह देता हूं। यहाँ एक पूरी तरह से इसी तरह का मामला है।

यहाँ क्या हो रहा है? वास्तव में, हमें ऑटो एनकोडर के प्रशिक्षण के लिए कार्यक्षमता मिली। यदि इनपुट पर किसी चित्र के साथ तंत्रिका नेटवर्क के आउटपुट पर Y परिणाम है, तो इसका मतलब है कि $$$p (y | x) = \ delta (enc (x))$ जहाँ $$$एनक (x)$ तंत्रिका नेटवर्क परिवर्तन समारोह। और गॉसियन द्वारा उलटा वितरण को अनुमानित करें, अर्थात। $$$log [q (x | y)] = (x - dec (y)) ^ 2 - 2 * log (सिग्मा)$ हमें मिलता है:

$$

$$LVB (x, y) = \ int p (x) (x-dec (एन्को (x))) ^ 2d +$$

और यह ऑटो एनकोडर के लिए एक क्लासिक विशेषता है।

ऑटो एनकोडर पर्याप्त नहीं है

मुझे लगता है कि कई पहले से ही ऑटो-एनकोडर को प्रशिक्षित करना चाहते हैं और आशा करते हैं कि इसकी छिपी हुई परत में न्यूरॉन्स होंगे जो विशिष्ट वस्तुओं पर प्रतिक्रिया करते हैं। सामान्य तौर पर, कुछ इसी तरह की पुष्टि होती है और यह बड़े पैमाने पर Unsupervised Learning का उपयोग करते हुए High-Level Features का निर्माण करता है। लेकिन फिर भी यह पूरी तरह से अव्यावहारिक है। और सबसे चौकस लोगों ने पहले ही ध्यान दिया है कि इस लेख के लेखकों ने नियमितीकरण का उपयोग किया है - उन्होंने एक शब्द जोड़ा है जो छिपी हुई परत में विरलता प्रदान करता है, और उन्होंने काले और सफेद रंग में लिखा है कि इस शब्द के बिना कुछ भी नहीं होता है।

क्या "सुविधाजनक" विचार सीखने के लिए आपसी जानकारी को अधिकतम करने का सिद्धांत पर्याप्त है? जाहिर है, नहीं, क्योंकि हम वाई को एक्स के बराबर चुन सकते हैं (यानी, छवि को उसके प्रतिनिधित्व के रूप में उपयोग करें) या किसी भी विशेषण परिवर्तन, इस मामले में आपसी जानकारी अनंत तक जाती है। इस मूल्य का कोई और अधिक नहीं हो सकता है, लेकिन जैसा कि हम जानते हैं कि यह एक बहुत ही खराब विचार है।

हमें प्रस्तुति की "सुविधा" के लिए एक अतिरिक्त मानदंड की आवश्यकता है। उपरोक्त लेख के लेखकों ने "सुविधा" के रूप में प्रसार लिया। यह परिकल्पना का एक प्रकार का एहसास है कि तस्वीर में कुछ "महत्वपूर्ण वस्तुएं" होनी चाहिए। लेकिन हम और आगे बढ़ेंगे - हम न केवल इस तथ्य को सीखना चाहते हैं कि इस तरह की वस्तु चित्र में है, बल्कि यह भी जानना चाहती है कि यह कहां है, यह कितना ओवरलैप्ड है, आदि। सवाल यह उठता है कि तंत्रिका नेटवर्क को न्यूरॉन के आउटपुट की व्याख्या कैसे करें, जैसे कि, किसी वस्तु का समन्वय? उत्तर स्पष्ट है - इस न्यूरॉन से आउटपुट को इसके लिए सटीक रूप से उपयोग किया जाना चाहिए। यही है, इस विचार को जानने के बाद, हमें मूल के समान "समान" चित्र बनाने में सक्षम होना चाहिए।

सामान्य विचार फेसबुक से लोगों से उधार लिया गया था।
एनकोडर इस तरह दिखेगा:

जहाँ $$$ए$ - वस्तु का वर्णन करने वाले कुछ वेक्टर, $$$x, y$ - वस्तु के निर्देशांक, $$$sx, sy$ - वस्तु का पैमाना, $$$z$ - गहराई में वस्तु की स्थिति, $$$पी$ - संभावना है कि वस्तु मौजूद है।

यही है, इनपुट न्यूरल नेटवर्क एक पूर्व निर्धारित आकार की एक तस्वीर प्राप्त करता है जिस पर हम वस्तुओं को ढूंढना चाहते हैं और विवरणों की एक सरणी जारी करते हैं। अगर हम सिंगल-पास नेटवर्क चाहते हैं, तो दुर्भाग्य से इस सरणी को निश्चित आकार देना होगा। यदि हम सभी वस्तुओं को ढूंढना चाहते हैं, तो हमें भर्ती नेटवर्क का उपयोग करना होगा।

डिकोडर इस तरह होगा:


जहां ऑब्जेक्ट जेनरेटर एक नेटवर्क है जो इनपुट पर एक वस्तु विवरण वेक्टर प्राप्त करता है और देता है $$$O$ - ऑब्जेक्ट की छवि (एक निश्चित मानक आकार) और अपारदर्शी पिक्सल (अपारदर्शिता मुखौटा) का मुखौटा।
रचनाकार - सभी वस्तुओं, मुखौटा, स्थिति, पैमाने, गहराई की इनपुट छवि प्राप्त करता है और आउटपुट छवि बनाता है, जो मूल के समान होना चाहिए।

हमारे दृष्टिकोण और VAE में क्या अंतर है?

ऐसा लगता है कि हम एक ही आर्किटेक्चर के साथ एक ऑटो एनकोडर का उपयोग करना चाहते हैं क्योंकि लेख के लेखक स्थानिक रूप से अपरिवर्तनीय Unsupervised Object Detection with Convolutional Neural Networks , इसलिए सवाल यह है कि अंतर क्या है। वहाँ और वहाँ दोनों autoencoder, केवल दूसरे संस्करण में यह परिवर्तनशील है।

सैद्धांतिक दृष्टिकोण से, अंतर बहुत बड़ा है। VAE एक जेनरेटिव मॉडल है और इसका काम 2 डिस्ट्रीब्यूशन (शुरुआती तस्वीरें और जेनरेट किए गए) को एक जैसा बनाना है। आमतौर पर, वीएई कोई वारंटी नहीं देता है कि मूल छवि से उत्पन्न वस्तु के "विवरण" से उत्पन्न छवि कम से कम मूल के समान होगी। वैसे, वीएई ऑटो-एन्कोडिंग वैरेशनल बेयर्स के लेखक खुद इस बारे में बात करते हैं। तो यह अभी भी क्यों काम करता है? मुझे लगता है कि तंत्रिका नेटवर्क और "विवरण" की चयनित वास्तुकला छवि की पारस्परिक जानकारी और "विवरण" को बढ़ाने में मदद करती है, लेकिन मुझे इस परिकल्पना के लिए कोई गणितीय प्रमाण नहीं मिला। पाठकों के लिए एक प्रश्न, क्या कोई लेखकों के परिणामों की व्याख्या करने में सक्षम हो सकता है - उनकी बहाल छवि मूल के समान है, क्यों?

इसके अलावा, "विवरणों" के वितरण को निर्दिष्ट करने के लिए वीएई बलों के लेखकों का उपयोग और आपसी जानकारी को अधिकतम करने की विधि इस बारे में कोई धारणा नहीं बनाती है। जो हमें अतिरिक्त स्वतंत्रता देता है, उदाहरण के लिए, हम पहले से ही प्रशिक्षित मॉडल पर वैक्टर को क्लस्टर करने का प्रयास कर सकते हैं $$$ए$ विवरण, और देखो - शायद इस तरह की प्रणाली वस्तुओं के वर्गों को सीखेगी? यह ध्यान दिया जाना चाहिए कि VAE का उपयोग करने वाले इस तरह के क्लस्टरिंग का कोई मतलब नहीं है, उदाहरण के लिए, लेख के लेखक इन वैक्टर के लिए एक गौसियन वितरण का उपयोग करते हैं।

प्रयोगों

दुर्भाग्य से, अब काम में भारी मात्रा में समय लगता है और स्वीकार्य समय में इसे पूरा करना संभव नहीं है। यदि कोई कोड की कई हजार पंक्तियों को लिखना चाहता है, तो सैकड़ों मशीन लर्निंग मॉडल को प्रशिक्षित करें और कई दिलचस्प प्रयोगों का संचालन करें, सिर्फ इसलिए कि इससे उसे (या उसे) खुशी मिलती है - मुझे बलों में शामिल होने में खुशी होगी। एक व्यक्तिगत में लिखें।

यहाँ प्रयोगों के लिए क्षेत्र बहुत विस्तृत है। मेरे पास क्लासिक ऑटो-एनकोडर (विवरणों के लिए छवियों की निर्धारक मानचित्रण और एक गाऊसी उलटा वितरण) को प्रशिक्षित करके शुरू करने की योजना है और देखें कि यह क्या सीखता है। पहले प्रयोगों में, फेसबुक से लोगों द्वारा वर्णित संगीतकार का उपयोग करना पर्याप्त होगा, लेकिन भविष्य में मुझे लगता है कि विभिन्न संगीतकारों के साथ खेलना बहुत दिलचस्प होगा, और उन्हें भी सीखने योग्य बनाना संभव है। विभिन्न नियमितताओं की तुलना करें: इसके बिना, विरल, आदि। फीडफॉर्वर्ड और पुनरावर्ती मॉडल के उपयोग की तुलना करें। फिर उलटा वितरण के लिए अधिक उन्नत वितरण मॉडल का उपयोग करें, उदाहरण के लिए, रियल एनवीपी का उपयोग करके इस तरह के घनत्व का अनुमान । देखें कि अधिक लचीले मॉडल के साथ यह कितना बेहतर या खराब है। देखें कि क्या होगा यदि विवरणों पर चित्रों का प्रदर्शन गैर-निर्धारक (कुछ सशर्त वितरण से उत्पन्न) किया जाता है। और अंत में, वैक्टर का वर्णन करने के लिए विभिन्न क्लस्टरिंग विधियों को लागू करने का प्रयास करें $$$ए$ और समझें कि क्या इस तरह की प्रणाली ऑब्जेक्ट क्लास सीख सकती है।

लेकिन सबसे महत्वपूर्ण बात, मैं वास्तव में पारस्परिक सूचना और VAE के साथ मॉडल को अधिकतम करने के आधार पर मॉडल की गुणवत्ता की तुलना करना चाहता हूं।