शिक्षक प्रशिक्षण के बिना बड़े पैमाने पर प्रयोग करके उच्च-स्तरीय लक्षणों का गठन

लेख में मानव मस्तिष्क द्वारा फेस रिकग्निशन: 19 तथ्यों, जिनके बारे में कंप्यूटर विज़न शोधकर्ताओं को पता होना चाहिए , एक प्रायोगिक तथ्य का उल्लेख किया गया था: एक चेतन के मस्तिष्क में न्यूरॉन्स होते हैं जो चेहरे के चेहरे (मानव, बंदर, आदि) की छवि के लिए चुनिंदा रूप से प्रतिक्रिया करते हैं और औसत देरी लगभग 120 है। एमएस। जिससे मैंने कमेंट्री में एक शौकिया निष्कर्ष निकाला कि दृश्य छवि को सीधे सिग्नल प्रसार द्वारा संसाधित किया जाता है, और तंत्रिका नेटवर्क की परतों की संख्या लगभग 12 है।

मैं इस तथ्य की एक नई प्रयोगात्मक पुष्टि का प्रस्ताव करता हूं, हमारे प्रिय एंड्रयू एनजी द्वारा संक्षिप्त रूप से प्रकाशित किया गया है।

लेखकों ने बड़ी संख्या में छवियों के आधार पर मानव चेहरे का एक डिटेक्टर बनाने के लिए एक बड़े पैमाने पर प्रयोग किया, जो किसी भी तरह से चिह्नित नहीं थे। स्थानीय ग्रहणशील क्षेत्रों के साथ एक विरल ऑटो-एनकोडर की संरचना के साथ एक 9-परत तंत्रिका नेटवर्क का निर्माण किया गया था। एक तंत्रिका नेटवर्क 1000 कंप्यूटरों के समूह पर लागू किया जाता है, प्रत्येक में 16 कोर होते हैं, और न्यूरॉन्स के बीच 1 बिलियन कनेक्शन होते हैं। नेटवर्क को प्रशिक्षित करने के लिए, 200x200 पिक्सल के 10 मिलियन फ्रेम का उपयोग किया गया, जो बेतरतीब ढंग से YouTube वीडियो से प्राप्त किया गया था। एसिंक्रोनस ग्रेडिएंट डीसेंट ट्रेनिंग में 3 दिन लगे।

बिना शिक्षक के प्रशिक्षण के परिणामस्वरूप, शिक्षक के बिना, अंतर्ज्ञान के विपरीत, नेटवर्क की आउटपुट परत में एक न्यूरॉन का चयन किया गया था, जो छवि में एक चेहरे की उपस्थिति के लिए चुनिंदा प्रतिक्रिया करता है। नियंत्रण प्रयोगों से पता चला कि यह क्लासिफायर न केवल छवि क्षेत्र पर विस्थापन का सामना करने के लिए प्रतिरोधी है, बल्कि स्केलिंग और यहां तक ​​कि छवि विमान के बाहर 3 डी रोटेशन के लिए भी है! यह पता चला कि यह तंत्रिका नेटवर्क कई उच्च-स्तरीय अवधारणाओं, जैसे कि मानव आंकड़े या बिल्लियों को पहचानना सीखने में सक्षम है।

लेख का पूरा पाठ, लिंक देखें, यहां मैं एक संक्षिप्त विवरण देता हूं।

संकल्पना

न्यूरोबायोलॉजी में, यह माना जाता है कि व्यक्तिगत न्यूरॉन्स को मस्तिष्क में प्रतिष्ठित किया जा सकता है जो कुछ सामान्यीकृत श्रेणियों जैसे कि मानव चेहरे के लिए चयनात्मक होते हैं। उन्हें "दादी के न्यूरॉन्स" भी कहा जाता है।

कृत्रिम तंत्रिका नेटवर्क में, मानक दृष्टिकोण एक शिक्षक के साथ प्रशिक्षण है: उदाहरण के लिए, मानव चेहरों के एक वर्गीकरण का निर्माण करने के लिए, चेहरों का एक सेट लिया जाता है, साथ ही उन छवियों का एक सेट होता है जिनमें चेहरे नहीं होते हैं, प्रत्येक छवि के साथ "चेहरा" - "चेहरा" लेबल होता है। प्रशिक्षण डेटा के बड़े, लेबल वाले संग्रह की आवश्यकता एक बड़ी तकनीकी समस्या है।

इस पत्र में, लेखकों ने दो सवालों के जवाब देने की कोशिश की: क्या यह एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए संभव नहीं है कि वे नॉन-लेबल डेटा से चेहरे को पहचान सकें, और क्या अनधिकृत डेटा पर "दादी के न्यूरॉन्स" के आत्म-प्रशिक्षण की संभावना की प्रयोगात्मक पुष्टि करना संभव है। यह, सिद्धांत रूप में, उस परिकल्पना की पुष्टि करेगा कि शिशुओं को स्वतंत्र रूप से एक शिक्षक के हस्तक्षेप के बिना समान छवियों (उदाहरण के लिए, चेहरे) को समूह में प्रशिक्षित किया जाता है।

प्रशिक्षण डेटा

प्रशिक्षण सेट को 10 मिलियन YouTube वीडियो के एक फ्रेम को बेतरतीब ढंग से नमूने द्वारा संकलित किया गया था। नमूने में डुप्लिकेट से बचने के लिए प्रत्येक वीडियो से केवल एक फ्रेम लिया गया था। प्रत्येक फ्रेम को 200x200 पिक्सल के आकार में बढ़ाया गया था (जो कि अधिकांश मान्यता कार्यों से वर्णित प्रयोग को अलग करता है जो आमतौर पर 32x32 फ्रेम या इस तरह संचालित होते हैं) यहां प्रशिक्षण सेट से विशिष्ट चित्र हैं:

एल्गोरिथ्म

प्रयोग का आधार एक विरल ऑटो-एनकोडर (हब पर वर्णित ) था। उथले गहराई वाले ऑटोचेनॉडरों के साथ शुरुआती प्रयोगों ने गैबर फिल्टर के समान निम्न-स्तरीय विशेषताओं (सेगमेंट, बॉर्डर, आदि) के क्लासिफायर प्राप्त करना संभव बना दिया।

वर्णित एल्गोरिथ्म एक बहु-परत ऑटो एनकोडर का उपयोग करता है, साथ ही साथ कुछ महत्वपूर्ण विशिष्ट विशेषताएं:

• स्थानीय ग्रहणशील क्षेत्र
• तख्ते का तख्ता
• विरोधाभासों का स्थानीय सामान्यीकरण।

स्थानीय ग्रहणशील क्षेत्र बड़े चित्रों के लिए तंत्रिका नेटवर्क को मापते हैं। पूलिंग फ्रेम और स्थानीयकरण विरोधाभासों से आंदोलन और स्थानीय विकृतियों में आक्रमण की अनुमति मिलती है।

उपयोग किए गए ऑटो-एनकोडर में तीन दोहराई जाने वाली परतें होती हैं, जिनमें से प्रत्येक एक ही उपशीर्षकों का उपयोग करती है: स्थानीय फ़िल्टरिंग, स्थानीय पूलिंग, विरोधाभासों का स्थानीय सामान्यीकरण।

इस संरचना की सबसे महत्वपूर्ण विशेषता न्यूरॉन्स के बीच स्थानीय संपर्क है। पहला sublevel 18x18 पिक्सेल के ग्रहणशील क्षेत्रों का उपयोग करता है, और दूसरा sublevel पड़ोसी क्षेत्रों को जोड़ने के 5x5 फ़्रेमों को जोड़ता है। ध्यान दें कि स्थानीय ग्रहणशील क्षेत्र दृढ़ संकल्प का उपयोग नहीं करते हैं, अर्थात्। प्रत्येक पुनरावर्ती क्षेत्र के मापदंडों को दोहराया नहीं जाता है, वे अद्वितीय हैं। यह दृष्टिकोण जैविक प्रोटोटाइप के अधिक निकट है, और साथ ही आपको अधिक हमलावरों को सीखने की अनुमति देता है।



इसके विपरीत स्थानीय सामान्यीकरण भी जैविक ऑप्टिक पथ में प्रक्रियाओं की नकल करता है। प्रत्येक न्यूरॉन के सक्रियण से, पड़ोसी न्यूरॉन्स (गौसियन वेट) के सक्रियण का भारित औसत मूल्य घटाया जाता है। फिर, पड़ोसी न्यूरॉन्स की सक्रियता के स्थानीय आरएमएस मूल्य के अनुसार सामान्यीकरण किया जाता है, जो गॉस-वेटेड भी हैं।

नेटवर्क को प्रशिक्षित करते समय उद्देश्य फ़ंक्शन एक विरल ऑटो-एनकोडर द्वारा मूल छवि को पुन: पेश करने में त्रुटि के मूल्य को कम करता है। अनुकूलन सभी प्रबंधित नेटवर्क मापदंडों (1 बिलियन से अधिक मापदंडों) के लिए अतुल्यकालिक ग्रेडिएंट डिसेंट (एसिंक्रोनस सिंक्रोनाइज़ेशन) का उपयोग करके विश्व स्तर पर किया जाता है। इस तरह के बड़े पैमाने पर समस्या को हल करने के लिए, मॉडल समानतावाद को लागू किया गया था, जिसमें इस तथ्य को शामिल किया गया था कि विभिन्न मशीनों को तंत्रिका नेटवर्क के स्थानीय वजन वितरित किए जाते हैं। मॉडल का एक उदाहरण 169 कंप्यूटरों पर वितरित किया जाता है, जिसमें प्रत्येक में 16 प्रोसेसर कोर होते हैं।

सीखने की प्रक्रिया को और अधिक समानांतर करने के लिए, मॉडल के कई उदाहरणों का उपयोग करके अतुल्यकालिक ढाल वंश को लागू किया जाता है। वर्णित प्रयोग में, प्रशिक्षण के नमूने को 5 भागों में विभाजित किया गया था, और प्रत्येक भाग को मॉडल की एक अलग प्रतिलिपि पर प्रशिक्षित किया गया था। मॉडल अद्यतन पैरामीटर मानों को केंद्रीकृत "पैरामीटर सर्वर" (256 सर्वर) तक पहुंचाते हैं। एक सरल प्रस्तुति में, 100 प्रशिक्षण छवियों की एक मिनी-श्रृंखला को संसाधित करने से पहले, मॉडल पैरामीटर सर्वर से मापदंडों का अनुरोध करता है, पैरामीटर को सीखता है (मापदंडों को अपडेट करता है) और पैरामीटर ग्रेडिएंट को पैरामीटर सर्वर में स्थानांतरित करता है।

इस तरह के एक अतुल्यकालिक ढाल वंश व्यक्तिगत नेटवर्क नोड्स की विफलताओं के लिए प्रतिरोधी है।

इस प्रयोग को करने के लिए, DistBelief फ्रेमवर्क विकसित किया गया था, जो एक सर्वर में समानांतर कंप्यूटरों के बीच सभी संचार मुद्दों को हल करता है, जिसमें पैरामीटर सर्वरों को अनुरोध भेजना भी शामिल है। सीखने की प्रक्रिया 3 दिनों तक चली।

प्रयोग के परिणाम

आश्चर्यजनक रूप से, सीखने की प्रक्रिया में, न्यूरॉन्स का गठन किया गया, जिसमें से सबसे ने चेहरे की पहचान में 81.7% सटीकता दिखाई। सक्रियण स्तर (ज़ीरो के थ्रेशोल्ड मान के सापेक्ष) के हिस्टोग्राम से पता चलता है कि परीक्षण नमूने में कितनी छवियां "दादी न्यूरॉन" के एक या किसी अन्य सक्रियण का कारण बनीं। नीला रंग उन छवियों को दिखाता है जिनमें चेहरे नहीं होते (यादृच्छिक चित्र), लाल रंग चेहरे दिखाता है।



यह पुष्टि करने के लिए कि क्लासिफायर को विशेष रूप से चेहरे की पहचान के लिए प्रशिक्षित किया गया है, हमने दो तरीकों का उपयोग करके प्रशिक्षित नेटवर्क की कल्पना की।

पहली विधि परीक्षण छवियों का चयन है जो क्लासिफायर न्यूरॉन की सबसे बड़ी सक्रियता का कारण बनी:



दूसरा दृष्टिकोण इष्टतम उत्तेजना प्राप्त करने के लिए संख्यात्मक अनुकूलन है। ग्रेडिएंट डिसेंट विधि का उपयोग करते हुए, एक इनपुट पैटर्न प्राप्त किया गया था जो तंत्रिका नेटवर्क के दिए गए मापदंडों के लिए क्लासिफायरियर के आउटपुट सक्रियण के मूल्य को अधिकतम करता है:



प्रयोग के परिणामों के बारे में अधिक विस्तृत मात्रात्मक अनुमान और निष्कर्ष के लिए, मूल लेख देखें। अपने दम पर, मैं यह नोट करना चाहता हूं कि एक बड़े पैमाने पर कम्प्यूटेशनल प्रयोग ने एक शिक्षक के बिना एक तंत्रिका नेटवर्क को आत्म-सीखने की संभावना को साबित कर दिया, और इस नेटवर्क के मापदंडों (विशेष रूप से, परतों और इंटरकनेक्ट की संख्या) लगभग जैविक मूल्यों के अनुरूप हैं।