मशीन सोच को समझने के लिए एक नया दृष्टिकोण

तंत्रिका नेटवर्क को उनकी अचूकता के लिए जाना जाता है - कंप्यूटर एक अच्छा जवाब दे सकता है, लेकिन यह समझा नहीं सकता है कि इस निष्कर्ष पर क्या पहुंचा। बिन किम एक "मानव अनुवादक" विकसित कर रहा है ताकि अगर कृत्रिम बुद्धिमत्ता टूट जाए तो हम इसे समझ सकें।

बीन किम, Google ब्रेन के एक शोधकर्ता, अपने निर्णयों के बारे में मशीन सीखने की प्रणाली पर सवाल उठाने का एक तरीका विकसित कर रहे हैं।

यदि डॉक्टर आपको बताता है कि आपको सर्जरी की आवश्यकता है, तो आप यह पता लगाना चाहेंगे कि क्यों - और आप उम्मीद करेंगे कि उसका स्पष्टीकरण आपको सार्थक लगेगा, भले ही आपको डॉक्टर के रूप में प्रशिक्षित नहीं किया गया हो। गूगल ब्रेन के एक शोधकर्ता बीन किम का मानना ​​है कि हमें कृत्रिम बुद्धिमत्ता (एआई) से उम्मीद करने में सक्षम होना चाहिए। वह "व्याख्या" मशीन लर्निंग (एमओ) में एक विशेषज्ञ है, और एक एआई बनाना चाहती है जो किसी को भी उसके कार्यों की व्याख्या कर सकती है।

दस साल पहले, एआई के पीछे तंत्रिका नेटवर्क की तकनीक अधिक से अधिक फैलने लगी थी, यह सभी प्रक्रियाओं को बदलने में सक्षम थी, ई-मेल को छाँटने से लेकर नई दवाओं की खोज तक, डेटा से सीखने और उनमें पैटर्न देखने की क्षमता के लिए। लेकिन इस क्षमता में एक अकथनीय पकड़ है: बहुत ही जटिलता जो आधुनिक तंत्रिका नेटवर्क को गहराई से प्रशिक्षण के साथ सफलतापूर्वक कार चलाना और बीमा के साथ धोखाधड़ी को पहचानने की अनुमति देती है, जिससे विशेषज्ञों को अपने काम के सिद्धांतों को समझना लगभग असंभव हो जाता है। यदि एक तंत्रिका नेटवर्क को यकृत कैंसर या सिज़ोफ्रेनिया के जोखिम वाले रोगियों की खोज करने के लिए प्रशिक्षित किया जाता है - और 2015 में न्यूयॉर्क के माउंट सिनाई अस्पताल में "डीप पेशेंट" नामक एक प्रणाली शुरू की गई थी - तो यह समझने का कोई तरीका नहीं है कि कौन से हैं डेटा तंत्रिका नेटवर्क "ध्यान देता है" सुविधाएँ। यह "ज्ञान" कृत्रिम न्यूरॉन्स की कई परतों में फैला है, जिनमें से प्रत्येक का सैकड़ों या हजारों अन्य न्यूरॉन्स के साथ संबंध है।

जैसा कि अधिक से अधिक उद्योग एआई का उपयोग करके अपनी निर्णय लेने की प्रक्रियाओं को स्वचालित या बेहतर बनाने की कोशिश करते हैं, यह "ब्लैक बॉक्स" समस्या कम तकनीकी दोष लगती है, और अधिक मौलिक दोष। DARPA की एक परियोजना जिसे XAI कहा जाता है ("एक्सपेंनेबल AI" के लिए संक्षिप्त नाम, eXplainable AI) सक्रिय रूप से इस मुद्दे की खोज कर रहा है, और व्याख्याता एमओ के क्षेत्र में अनुसंधान के आगे की पंक्तियों से अपने केंद्र के करीब बढ़ रहा है। किम कहते हैं, "जब हम मानवता के लिए सही हैं तो एआई एक महत्वपूर्ण क्षण में है। "अगर हम व्याख्यात्मकता की समस्या को हल नहीं करते हैं, तो मुझे लगता है कि हम इस तकनीक के साथ आगे नहीं बढ़ पाएंगे, और शायद हम इसे मना कर देंगे।"

गूगल ब्रेन के किम और सहकर्मियों ने हाल ही में कॉन्सेप्ट एक्टिवेशन वेक्टर्स (टीसीएवी) सिस्टम के साथ टेस्टिंग को विकसित किया, जिसे वह एक मानव अनुवादक के रूप में वर्णित करता है जो उपयोगकर्ता को एआई ब्लैक बॉक्स के बारे में सवाल पूछने की अनुमति देता है। निर्णय लेने में एक निश्चित उच्च-स्तरीय अवधारणा कितनी शामिल थी। उदाहरण के लिए, यदि एमओ प्रणाली को ज़ेबरा छवियों को खोजने के लिए प्रशिक्षित किया जाता है, तो एक व्यक्ति टीसीएवी से यह वर्णन करने के लिए कह सकता है कि निर्णय लेने की प्रक्रिया में "धारियों" की अवधारणा कितनी है।

टीसीएवी को शुरू में छवियों को पहचानने के लिए प्रशिक्षित मॉडलों पर परीक्षण किया गया था, लेकिन यह वर्ड प्रोसेसिंग या डेटा विज़ुअलाइज़ेशन के कुछ कार्यों के लिए डिज़ाइन किए गए मॉडल के साथ भी काम करता है, उदाहरण के लिए, ईईजी ग्राफ़। "यह सामान्यीकृत और सरल है - इसे कई अलग-अलग मॉडलों से जोड़ा जा सकता है," किम कहते हैं।

क्वांटा ने किम से इस बारे में बात की कि व्याख्या का मतलब क्या है, किसे इसकी जरूरत है और यह क्यों मायने रखता है।



आपने अपने करियर में एमओ के लिए "व्याख्यात्मकता" पर ध्यान केंद्रित किया है। लेकिन वास्तव में इस शब्द का क्या अर्थ है?

व्याख्या की दो शाखाएँ हैं। विज्ञान के लिए एक व्याख्या है: यदि आप तंत्रिका नेटवर्क को अध्ययन का एक उद्देश्य मानते हैं, तो आप इस पर वैज्ञानिक प्रयोग कर सकते हैं कि वास्तव में मॉडल के संपूर्ण इंस और बहिष्कार को समझने के लिए, इसकी प्रतिक्रिया के कारणों, और इसी तरह।

दूसरी शाखा, जिस पर मैं मुख्य रूप से अपने प्रयासों को केंद्रित करता हूं, प्रश्नों का उत्तर देने में सक्षम AI बनाने के लिए व्याख्यात्मकता है। आपको मॉडल के हर छोटे विस्तार को समझने की आवश्यकता नहीं है। लेकिन हमारा लक्ष्य पर्याप्त रूप से समझना है ताकि इस उपकरण का सुरक्षित उपयोग किया जा सके।

लेकिन एक प्रणाली में कैसे विश्वास किया जा सकता है, अगर कोई पूरी तरह से समझ नहीं पाता है कि यह कैसे काम करता है?

मैं तुम्हें एक उपमा दूंगा। मान लीजिए मेरे यार्ड में एक पेड़ है जिसे मैं काटना चाहता हूं। मेरे पास इसके लिए एक चेनसॉ है। मुझे समझ में नहीं आता कि कैसे एक चेनसॉ काम करता है। लेकिन निर्देश कहते हैं, "किसी चीज़ की देखभाल खुद को न करने के लिए की जाए।" निर्देश होने के बाद, मैं हाथ से देखे जाने के बजाय चेनसा का बेहतर उपयोग कर सकता हूं - बाद वाला समझने में आसान है, लेकिन मुझे इसे पांच घंटे तक देखना होगा।

आप समझते हैं कि "कट" करने का क्या अर्थ है, भले ही आप उस तंत्र के बारे में सब कुछ नहीं जानते जो इसे संभव बनाता है।

हां। व्याख्या की दूसरी शाखा का उद्देश्य इस प्रकार है: क्या हम उपकरण का उपयोग करने के लिए सुरक्षित होने के लिए पर्याप्त समझ सकते हैं? और हम यह समझ बना सकते हैं कि उपयोगी मानव ज्ञान साधन में परिलक्षित होता है।

लेकिन "मानवीय ज्ञान का प्रतिबिंब" एआई के ब्लैक बॉक्स को कैसे अधिक समझ में आता है?

यहाँ एक और उदाहरण है। यदि डॉक्टर कैंसर का निदान करने के लिए MO मॉडल का उपयोग करता है, तो डॉक्टर को यह जानना होगा कि मॉडल केवल डेटा में कुछ यादृच्छिक सहसंबंध का चयन नहीं करता है जिसकी हमें आवश्यकता नहीं है। इसे सत्यापित करने का एक तरीका यह पुष्टि करना है कि एमओ मॉडल मोटे तौर पर वही काम करता है जो डॉक्टर करेंगे। यही है, यह दिखाने के लिए कि चिकित्सक का नैदानिक ​​ज्ञान मॉडल में परिलक्षित होता है।

उदाहरण के लिए, यदि कोई डॉक्टर कैंसर के निदान के लिए एक उपयुक्त सेल उदाहरण की खोज करता है, तो वह "मर्ज किए गए ग्रंथि" नामक चीज की तलाश करेगा। वह रोगी की उम्र जैसे कि संकेतक को भी ध्यान में रखेगा, और चाहे वह अतीत में कीमोथेरेपी से गुजरा हो। इन कारकों या अवधारणाओं को कैंसर का निदान करने की कोशिश कर रहे डॉक्टर द्वारा ध्यान में रखा जाएगा। यदि हम दिखा सकते हैं कि एमओ मॉडल भी उनकी ओर ध्यान आकर्षित करता है, तो मॉडल अधिक समझ में आएगा, क्योंकि यह डॉक्टरों के मानव ज्ञान को प्रतिबिंबित करेगा।



यह वही है जो TCAV के साथ व्यवहार करता है - यह दिखाता है कि निर्णय लेने के लिए MO मॉडल किन उच्च-स्तरीय अवधारणाओं का उपयोग करता है?

हां। इससे पहले, व्याख्यात्मक तरीकों ने केवल समझाया कि तंत्रिका नेटवर्क "इनपुट सुविधाओं" के संदर्भ में क्या करता है। इसका क्या मतलब है? यदि आपके पास एक छवि है, तो इसके प्रत्येक पिक्सेल में एक इनपुट सुविधा होगी। यांग लेकुन (गहरी शिक्षा के अग्रणी, फेसबुक पर एआई अनुसंधान के निदेशक), ने कहा कि वह इन मॉडलों को सुपर-व्याख्यात्मक मानते हैं, क्योंकि आप तंत्रिका नेटवर्क के प्रत्येक नोड को देख सकते हैं और प्रत्येक इनपुट विशेषताओं के संख्यात्मक मान देख सकते हैं। कंप्यूटर के लिए, यह उपयुक्त हो सकता है, लेकिन लोग अलग तरह से सोचते हैं। मैं आपको नहीं बता रहा हूं "100 से 200 तक पिक्सेल देखें, उनके RGB मान 0.2 और 0.3 हैं।" मैं कहता हूं, "यह बहुत ही झबरा कुत्ते की एक छवि है।" लोग इस तरह से संवाद करते हैं - अवधारणाओं के माध्यम से।

TCAV इनपुट सुविधाओं और अवधारणाओं के बीच कैसे अनुवाद करता है?

आइए एमओ मॉडल का उपयोग करते हुए एक डॉक्टर के उदाहरण पर वापस जाएं, जो पहले से ही कैंसर के अनुसार सेल नमूनों की छवियों को वर्गीकृत करने के लिए प्रशिक्षित किया गया है। आपको एक डॉक्टर के रूप में यह पता लगाने की आवश्यकता है कि कैंसर के लिए सकारात्मक पूर्वानुमान बनाने के लिए मॉडल के लिए "मर्ज किए गए ग्रंथियों" की अवधारणा कितनी महत्वपूर्ण थी। सबसे पहले, आप इकट्ठा, कहते हैं, 20 छवियां जो मर्ज किए गए ग्रंथियों के उदाहरण दिखाती हैं। फिर आप इन लेबल किए गए उदाहरणों को मॉडल से जोड़ते हैं।

तब, टीसीएवी खुद को तथाकथित तथाकथित बाहर ले जाता है "संवेदनशीलता की जांच"। जब हम मर्ज किए गए ग्रंथियों के इन लेबल वाले चित्रों को जोड़ते हैं, तो सकारात्मक कैंसर की भविष्यवाणी की संभावना कितनी बढ़ जाती है? उत्तर का अनुमान 0 से 1 तक की संख्या से लगाया जा सकता है और ये आपके अंक TCAV में होंगे। यदि संभावना बढ़ गई, तो यह अवधारणा मॉडल के लिए महत्वपूर्ण थी। यदि नहीं, तो यह अवधारणा महत्वपूर्ण नहीं है।

"अवधारणा" एक अस्पष्ट शब्द है। क्या ऐसी कोई अवधारणाएँ हैं जो TCAV के साथ काम नहीं करेंगी?

यदि आप अपने डेटा सेट के सबसेट का उपयोग करते हुए एक अवधारणा का वर्णन नहीं कर सकते हैं, तो यह काम नहीं करेगा। यदि आपका MO मॉडल छवियों में प्रशिक्षित है, तो अवधारणा को नेत्रहीन रूप से व्यक्त किया जाना चाहिए। यदि, उदाहरण के लिए, मैं प्यार की अवधारणा को नेत्रहीन रूप से व्यक्त करना चाहता हूं, तो यह करना काफी मुश्किल होगा।

हम अवधारणा की सावधानीपूर्वक जांच भी करते हैं। हमारे पास एक सांख्यिकीय सत्यापन प्रक्रिया है जो अवधारणा वेक्टर को अस्वीकार कर देती है यदि इसका मॉडल पर यादृच्छिक के बराबर प्रभाव होता है। यदि आपकी अवधारणा इस परीक्षा को पास नहीं करती है, तो TCAV कहेगा, "मुझे नहीं पता, यह अवधारणा मॉडल के लिए कुछ महत्वपूर्ण नहीं लगती है।"



क्या टीसीएवी प्रोजेक्ट अपनी समझ को सामान्य करने की तुलना में एआई ट्रस्ट के निर्माण पर अधिक केंद्रित है?

नहीं, - और मैं समझाऊंगा कि क्यों, क्योंकि यह अंतर बहुत सूक्ष्म है।

संज्ञानात्मक विज्ञान और मनोविज्ञान के क्षेत्र में कई अध्ययनों से, हम जानते हैं कि लोग बहुत भरोसेमंद हैं। इसका मतलब है कि किसी व्यक्ति को किसी चीज पर विश्वास करने के लिए मजबूर करके उसे धोखा देना बहुत आसान है। एमओ व्याख्या का लक्ष्य विपरीत है। इसमें एक व्यक्ति को सूचित करना शामिल है कि किसी विशेष प्रणाली का उपयोग करना असुरक्षित है। लक्ष्य सत्य को उजागर करना है। इसलिए, "विश्वास" सही शब्द नहीं है।

तो व्याख्या का लक्ष्य एआई तर्क में संभावित खामियों को उजागर करना है?

हाँ, बिल्कुल।

वह दोषों को कैसे प्रकट कर सकता है?

टीसीएवी का उपयोग मॉडल को उन अवधारणाओं के बारे में सवाल पूछने के लिए किया जा सकता है जो अनुसंधान के क्षेत्र से संबंधित नहीं हैं। कैंसर की संभावना का अनुमान लगाने के लिए एआई का उपयोग कर डॉक्टरों के उदाहरण पर लौटना। डॉक्टर अचानक सोच सकते हैं: “जाहिर है, मशीन कई छवियों के लिए कैंसर की उपस्थिति के लिए सकारात्मक भविष्यवाणियां देती है, जिसमें रंग थोड़ा नीला हो जाता है। हमारा मानना ​​है कि इस कारक को ध्यान में नहीं रखा जाना चाहिए। और अगर उन्हें नीले रंग के लिए एक उच्च टीसीएवी स्कोर मिलता है, तो इसका मतलब है कि उन्हें अपने एमओ मॉडल में एक समस्या मिली।

TCAV को मौजूदा AI सिस्टम पर लटका दिया गया है जिसकी व्याख्या नहीं की जा सकती है। ब्लैक बॉक्स की बजाय तुरंत व्याख्यात्मक सिस्टम क्यों नहीं बनाया गया?

व्याख्यात्मकता के अध्ययन की एक शाखा है, जो शुरू में व्याख्या किए गए मॉडल के निर्माण पर ध्यान केंद्रित करती है जो किसी व्यक्ति के तर्क को दर्शाती है। लेकिन मुझे ऐसा लगता है: अब हम पहले से ही तैयार एआई मॉडल से भरे हुए हैं जो पहले से ही महत्वपूर्ण समस्याओं को हल करने के लिए उपयोग किए जाते हैं, और उन्हें बनाते समय, हम शुरू में व्याख्या के बारे में नहीं सोचते थे। इसलिए खाना आसान है। उनमें से कई Google पर काम करते हैं! आप कह सकते हैं, "व्याख्या इतनी उपयोगी है कि हम आपके लिए एक और मॉडल बनाएं जो आपके पास है। खैर, शुभकामनाएँ।

और फिर क्या करना है? हमें अभी भी इस निर्णायक क्षण से गुजरने का निर्णय लेने की आवश्यकता है कि यह तकनीक हमारे लिए उपयोगी है या नहीं। इसलिए, मैं पोस्ट-ट्रेनिंग व्याख्यात्मक तरीकों पर काम कर रहा हूं। यदि किसी ने आपको एक मॉडल दिया है और आप इसे बदल नहीं सकते हैं, तो आप इसके व्यवहार के स्पष्टीकरण उत्पन्न करने के कार्य से कैसे संपर्क करेंगे ताकि आप इसे सुरक्षित रूप से उपयोग कर सकें? यह ठीक वही है जो TCAV करता है।



TCAV लोगों को AI से कुछ अवधारणाओं के महत्व के बारे में पूछने की अनुमति देता है। लेकिन क्या होगा अगर हम नहीं जानते कि क्या पूछना है - क्या होगा अगर हम चाहते हैं कि एआई सिर्फ समझाए?

अभी हम एक ऐसे प्रोजेक्ट पर काम कर रहे हैं, जो स्वचालित रूप से आपके लिए अवधारणाएँ खोज सकता है। हम इसे DTCAV - उद्घाटन TCAV कहते हैं। लेकिन मुझे लगता है कि व्याख्या की मुख्य समस्या यह है कि लोग इस प्रक्रिया में भाग लेते हैं, और यह कि हम लोगों और मशीनों को संवाद करने की अनुमति देते हैं।

कई मामलों में, जब अनुप्रयोगों पर काम करना बहुत निर्भर करता है, तो किसी विशेष क्षेत्र के विशेषज्ञों के पास पहले से ही उन अवधारणाओं की एक सूची है जो उनके लिए महत्वपूर्ण हैं। हम Google ब्रेन में AI के मेडिकल अनुप्रयोगों में लगातार इसका सामना कर रहे हैं। उन्हें अवधारणाओं के एक सेट की आवश्यकता नहीं है - वे अवधारणा मॉडल प्रदान करना चाहते हैं जो उनके लिए दिलचस्प हैं। हम डायबिटिक रेटिनोपैथी, नेत्र रोग का इलाज करने वाले एक डॉक्टर के साथ काम कर रहे हैं, और जब हमने उसे टीसीएवी के बारे में बताया, तो वह बहुत खुश थी क्योंकि उसके पास पहले से ही परिकल्पना का एक पूरा गुच्छा था कि मॉडल क्या कर सकती है, और अब वह उन सभी सवालों की जांच कर सकती है जो उत्पन्न हुई थीं। यह एक बहुत बड़ा प्लस है, और सहयोगी मशीन सीखने को लागू करने के लिए एक बहुत उपयोगकर्ता-केंद्रित तरीका है।

आपको लगता है कि व्याख्या के बिना, मानवता केवल एआई प्रौद्योगिकी को छोड़ सकती है। यह देखते हुए कि आपके पास क्या अवसर हैं, क्या आप वास्तव में ऐसे विकल्प का वास्तविक रूप से मूल्यांकन करते हैं?

हां। विशेषज्ञ प्रणालियों के साथ वास्तव में यही हुआ है। 1980 के दशक में, हमने निर्धारित किया कि वे कुछ समस्याओं को सुलझाने में लोगों की तुलना में सस्ते हैं। और आज विशेषज्ञ प्रणालियों का उपयोग कौन करता है? कोई नहीं। और उसके बाद एआई सर्दी आ गई।

अब तक, यह संभावना नहीं लगती है, इसलिए बहुत अधिक प्रचार और पैसा एआई में निवेश किया जा रहा है। लेकिन लंबे समय में, मुझे लगता है कि मानवता तय कर सकती है - शायद डर से बाहर, शायद सबूत की कमी के कारण - कि यह तकनीक हमें शोभा नहीं देती। यह संभव है।