क्या मेरे एल्गोरिथ्म में मानसिक समस्याएं हैं?

क्या मेरी कार में मतिभ्रम है? क्या मेरे शहर में पुलिस निगरानी प्रणाली को नियंत्रित करने वाला एल्गोरिथ्म व्यामोह से पीड़ित है? गैलेक्सी के एंड्रॉइड सहयात्री, मार्विन, बाईं ओर सभी डायोड से पीड़ित थे। क्या मेरे टोस्टर में समान भावनाएँ हैं?

यह अजीब लगता है, लेकिन केवल जब तक हम यह नहीं समझते कि हमारे एल्गोरिदम स्वयं की तरह अधिक से अधिक हैं। जितना अधिक हम अपने मस्तिष्क के बारे में सीखते हैं, उतना ही हम इस ज्ञान को स्वयं के एल्गोरिथम संस्करण बनाने में लगाते हैं। ये एल्गोरिदम रॉबमोबाइल्स की गति को नियंत्रित करते हैं, स्वायत्त सैन्य ड्रोन के लक्ष्यों को निर्धारित करते हैं, वाणिज्यिक और राजनीतिक विज्ञापन के लिए हमारी संवेदनशीलता की गणना करते हैं, ऑनलाइन सेवाओं में आत्मा के साथी ढूंढते हैं और बीमा और ऋण के लिए जोखिम का आकलन करते हैं। एल्गोरिदम हमारे जीवन के लिए एक लगभग समझदार पृष्ठभूमि बन जाते हैं।

आज के काम में उपयोग किए जाने वाले सबसे लोकप्रिय एल्गोरिदम गहरे सीखने के साथ एल्गोरिदम हैं। वे मानव मस्तिष्क की वास्तुकला की नकल करते हैं, जानकारी के जटिल मॉडल का निर्माण करते हैं। उन्हें इसकी धारणा के माध्यम से आसपास की वास्तविकता को समझने के लिए प्रशिक्षित किया जाता है, यह निर्धारित करने के लिए कि क्या महत्वपूर्ण है, और यह समझने के लिए कि क्या आता है। वे हमारे दिमाग की तरह दिखते हैं, और मनोवैज्ञानिक समस्याओं का खतरा बढ़ रहा है।

डीप ब्लू, एल्गोरिदम जिसने 1997 में विश्व शतरंज चैंपियन गैरी कास्परोव को हराया था, ने क्रूर बल का उपयोग किया, प्रति सेकंड एक लाख पदों को छांटा और भविष्य में 20 चालों तक की भविष्यवाणी की। हर कोई समझ गया कि यह कैसे काम करता है, भले ही वे इसे दोहरा न सकें। 2016 में ली सेडोला को पराजित करने वाली इन-लर्निंग इन-अल्गोरिद्म अल्फाजो, मौलिक रूप से अलग है। उन्होंने खेल की अपनी समझ बनाने के लिए तंत्रिका नेटवर्क का उपयोग किया, सभी बोर्ड खेलों में सबसे कठिन माना जाता है। अन्य लोगों को देखकर और खुद के साथ खेलने के द्वारा प्रशिक्षित अल्फागो। प्रोग्रामर और गो खिलाड़ी, अल्फ़ा के खेलने की अपरंपरागत शैली से भ्रमित हैं। पहली बार में उनकी रणनीति असामान्य लगती है। और तभी हम समझ पाते हैं कि उसके मन में क्या था, और फिर, 100% नहीं।

आपको बेहतर ढंग से समझाने के लिए कि प्रतिबिंब से मेरा क्या मतलब है, निम्नलिखित पर विचार करें। डीप ब्लू जैसे कार्यक्रमों में कोड में त्रुटि हो सकती है। वे मेमोरी ओवरफ्लो से गिर सकते हैं। वे एक अनंत लूप के कारण पंगु हो सकते हैं या बस गलत उत्तर दे सकते हैं। लेकिन इन सभी समस्याओं को एक प्रोग्रामर द्वारा हल किया जा सकता है, जिसके पास उस प्रोग्राम के स्रोत कोड तक पहुंच है जिसके साथ एल्गोरिदम लिखा गया था।

अल्फाजो जैसे एल्गोरिदम बहुत अलग तरीके से काम करते हैं। उनकी समस्याओं को देखना बहुत मुश्किल है, बस प्रोग्राम कोड को देखना है। वे सूचना की आंतरिक प्रस्तुति से संबंधित हैं। यह दृश्य स्वप्न के परिदृश्य के सदृश बहुआयामी बहुआयामी स्थान है। ऐसे एल्गोरिदम की समस्याओं को हल करने के लिए एल्गोरिदम के लिए मनोचिकित्सक की तुलना में न तो अधिक और न ही कम आवश्यकता होती है।

मानव रहित वाहन लें। रोबोमोबाइल, जिसने वास्तविक दुनिया में पहला स्टॉप साइन देखा था, पहले ही इस साइन के मानसिक प्रतिनिधित्व के निर्माण की प्रक्रिया में प्रशिक्षण के दौरान लाखों स्टॉप संकेत देख चुका था। अलग-अलग प्रकाश व्यवस्था की परिस्थितियों में, अच्छे और बुरे मौसम में, बुलेट छेद के साथ और उनके बिना - स्टॉप संकेत में विविध जानकारी की एक अविश्वसनीय मात्रा होती है। अधिकांश सामान्य परिस्थितियों में, रोबोट स्टॉप साइन को पहचान लेगा। लेकिन सभी स्थितियां सामान्य नहीं हैं। हाल के कुछ प्रयोगों से पता चला है कि स्टॉप साइन को कवर करने वाले कुछ काले स्टिकर एक एल्गोरिथ्म को मूर्ख बना सकते हैं जो यह तय करता है कि वास्तव में, गति सीमा 60 मील प्रति घंटे है। एल्गोरिथ्म, एक पेड़ की विषम छाया के समान भयानक रूप से कुछ के साथ मिलना, मतिभ्रम करना शुरू कर देता है।

और कितने तरीकों से एक एल्गोरिथ्म में मतिभ्रम होता है? यह पता लगाने के लिए, हमें एल्गोरिथ्म को इनपुट डेटा के सभी संभावित संयोजनों से पूछना होगा। इसका मतलब यह है कि कुछ अनंत तरीकों से गलत हो सकता है। विशेषज्ञ प्रोग्रामर लंबे समय से यह जानते हैं, और वे इसका उपयोग तथाकथित बनाने के लिए करते हैं प्रतिकूल उदाहरण। MIT के MIT LabSix अनुसंधान समूह ने दिखाया कि Google छवि वर्गीकरण एल्गोरिदम को विशेष चित्र जारी करके और उससे प्राप्त डेटा का उपयोग करके, कोई भी अपने कमजोर बिंदुओं की पहचान कर सकता है। और फिर वे एल्गोरिदम को धोखा देने के लिए इन कमजोरियों का उपयोग कर सकते हैं - उदाहरण के लिए, उसे विश्वास दिलाने के लिए कि एक्स-रे वास्तव में घास में खेलने वाले दो पिल्लों की एक छवि है।

एल्गोरिदम भी गलतियाँ कर सकते हैं, क्योंकि वे कभी-कभी पर्यावरणीय विशेषताओं का अनुभव करते हैं जो अंतिम परिणाम के साथ सहसंबंधित होते हैं, हालांकि उनका इसके साथ एक कारण संबंध नहीं है। एल्गोरिदम की दुनिया में, इसे रिट्रेनिंग कहा जाता है। जब मस्तिष्क में ऐसा होता है, तो हम इसे अंधविश्वास कहते हैं।

इस समय सबसे बड़ी एल्गोरिथम विफलताओं में से एक तथाकथित बनी हुई है। " पेराबोला Google फ़्लू " [फ्लू महामारी की भविष्यवाणी]। Google फ़्लू ने उन सूचनाओं का उपयोग किया है जो लोग Google पर खोज करते हैं ताकि फ़्लू के प्रकोप के स्थानों और तीव्रता का अनुमान लगाया जा सके। सबसे पहले, Google फ़्लू की भविष्यवाणियों ने अच्छी तरह से काम किया, लेकिन वे समय के साथ बिगड़ने लगे, आखिरकार, सिस्टम ने इन्फ्लूएंजा के कई मामलों की तुलना में दो बार भविष्यवाणी करना शुरू कर दिया, जो कि अमेरिका के रोग नियंत्रण केंद्र में पंजीकृत था। Google फ़्लू, एक एल्गोरिथम शमन के रूप में, बस उस चीज़ पर ध्यान नहीं दिया गया जिसकी आवश्यकता थी।

शायद एल्गोरिथम पैथोलॉजी को ठीक किया जा सकता है। लेकिन व्यवहार में, एल्गोरिदम अक्सर मालिकाना ब्लैक बॉक्स होते हैं जिनके अपडेट को वाणिज्य के नियमों द्वारा निषिद्ध किया जाता है। केटी ओ'नील के 2016 वेपन ऑफ मैथमेटिकल डिफेट में सच फ्रीक परेड का वर्णन है, जो वाणिज्यिक एल्गोरिदम से बना है, जिनकी चालाक पैथोलॉजी ने लोगों के जीवन को खराब कर दिया है। विशेष रुचि के एल्गोरिदम दोष हैं जो अमीर और गरीब को विभाजित करते हैं। गरीब लोगों को क्रेडिट की समस्या होने की संभावना है, उच्च अपराध दर वाले स्थानों में रहते हैं, और इसी तरह की समस्याओं के साथ अन्य गरीब लोगों से घिरे हैं। इस वजह से, एल्गोरिदम इन लोगों को उन विज्ञापनों को धोखा देने के लिए चुनते हैं जो उनकी निराशा पर फ़ीड करते हैं, उन्हें सबप्राइम ऋण प्रदान करते हैं, और उनके पड़ोस में अधिक पुलिस भेजते हैं, इस संभावना को बढ़ाते हुए कि पुलिस उन्हें अपराध के लिए हिरासत में ले लेगी, वे उसी आवृत्ति पर होते हैं और समृद्ध क्षेत्रों में। न्याय प्रणाली द्वारा उपयोग किए जाने वाले एल्गोरिदम ऐसे लोगों को लंबे समय तक असाइन करते हैं, उनकी पैरोल की संभावना कम करते हैं, उनके लिए रिक्तियां रोकते हैं, बंधक ब्याज में वृद्धि करते हैं, बड़े बीमा प्रीमियम की आवश्यकता होती है, और इसी तरह।

यह एल्गोरिथम शातिर सर्कल काले बक्से से मिलकर नेस्टेड गुड़िया में छिपा हुआ है: उच्च आयामों के अपने विचारों में प्रसंस्करण को छिपाने वाले ब्लैक बॉक्स एल्गोरिदम, जिनके पास हमारी पहुंच नहीं है, एल्गोरिदम के मालिकाना अधिकारों के काले बक्से में छिपे हुए हैं। कुछ स्थानों में, उदाहरण के लिए, न्यूयॉर्क में, इसने नगरपालिका सेवाओं द्वारा उपयोग किए जाने वाले एल्गोरिदम की निष्पक्षता की निगरानी के लिए कानूनों को अपनाने के लिए प्रस्तावों का नेतृत्व किया है। लेकिन अगर हम स्वयं में संज्ञानात्मक विकृतियों का पता नहीं लगा सकते हैं, तो हम उनसे अपने एल्गोरिदम में पता लगाने की उम्मीद कैसे कर सकते हैं?

एल्गोरिदम, मानव डेटा पर प्रशिक्षण, हमारी विकृतियों का अधिग्रहण करते हैं। प्रिंसटन विश्वविद्यालय के एलीन कालिस्कान के नेतृत्व में हाल के एक अध्ययन में , यह पता चला कि समाचार-आधारित एल्गोरिदम ने जल्दी से नस्लीय और लैंगिक पक्षपात हासिल कर लिया। जैसा कि काल्किसन ने कहा: “बहुत से लोग मानते हैं कि कारों में कोई पूर्वाग्रह नहीं है। लेकिन मशीनें मानव डेटा पर प्रशिक्षण देती हैं। और लोगों में पूर्वाग्रह हैं। "

सामाजिक नेटवर्क मानव पूर्वाग्रह और घृणा का एक साँप का घोंसला है। एल्गोरिदम जो सोशल नेटवर्क पर बहुत समय बिताते हैं, जल्दी से अंधे कट्टरपंथी बन जाते हैं। वे नर्सों और महिला इंजीनियरों के खिलाफ पूर्वाग्रह का अधिग्रहण करते हैं। वे आव्रजन और अल्पसंख्यक अधिकारों जैसे मुद्दों को गलत समझते हैं। थोड़ा और, और एल्गोरिदम लोगों के साथ गलत व्यवहार करना शुरू कर देंगे क्योंकि लोग एक दूसरे से संबंधित हैं। लेकिन एल्गोरिदम स्वाभाविक रूप से अपनी अचूकता में बहुत आश्वस्त हैं। और जब तक आप उन्हें दूसरे तरीके से प्रशिक्षित नहीं करते हैं, तब तक उनके पास खुद की अक्षमता पर संदेह करने का कोई कारण नहीं होगा (सब कुछ लोगों की तरह है)।

मेरे द्वारा वर्णित एल्गोरिदम में, मनोवैज्ञानिक समस्याएं उत्पन्न होती हैं, क्योंकि वे जिस डेटा को प्रशिक्षित करते हैं, उसकी गुणवत्ता के कारण। लेकिन एल्गोरिदम को उनकी आंतरिक संरचना के कारण समान समस्याएं हो सकती हैं। नई जानकारी सीखने पर वे पुरानी जानकारी भूल सकते हैं। कल्पना कीजिए कि आप एक नए सहयोगी का नाम याद करते हैं और अचानक भूल जाते हैं कि आप कहां रहते हैं। चरम मामलों में, तथाकथित के कारण एल्गोरिदम को नुकसान हो सकता है " विपत्तिपूर्ण भूल " जब एक पूरे के रूप में एल्गोरिथ्म अब कुछ नया नहीं सीख और याद रख सकता है। उम्र से संबंधित संज्ञानात्मक हानि का सिद्धांत एक समान विचार पर आधारित है: जब स्मृति अतिभारित हो जाती है, तो मस्तिष्क और कंप्यूटर दोनों को यह जानने में अधिक समय लगता है कि वे क्या जानते हैं।

जब वास्तव में कोई मामला पैथोलॉजिकल टर्न लेता है - यह देखने के बिंदु पर निर्भर करता है। नतीजतन, लोगों में मनोवैज्ञानिक असामान्यताएं अक्सर अनसुलझी रहती हैं। सिंथेटिक्स , जैसे कि मेरी बेटी, जिसकी धारणा में लिखित पत्र कुछ रंगों से जुड़े होते हैं, अक्सर महसूस नहीं होता है कि उनके पास किशोरावस्था तक धारणा के लिए एक विशेष उपहार है। अब रोनाल्ड रीगन के भाषण विश्लेषण के साक्ष्य से पता चलता है कि वह राष्ट्रपति के रूप में मनोभ्रंश से पीड़ित थे। द गार्जियन के एक लेख में बताया गया है कि पिछले पांच वर्षों में हर दस दिनों में से लगभग नौ में संयुक्त राज्य अमेरिका में कितने बड़े पैमाने पर गोलीबारी हुई है, इसका मंचन तथाकथित रूप से किया जाता है। "सामान्य" लोग जो उत्पीड़न और अवसाद नहीं उठा सकते हैं।

कई मामलों में, एक समस्या का पता लगाने के लिए कई लगातार रुकावटों की आवश्यकता होती है। सिज़ोफ्रेनिया का निदान लक्षणों का निरीक्षण करने में कम से कम एक महीने का समय लगता है। असामाजिक व्यक्तित्व विकार - मनोचिकित्सा और समाजोपाथी के लिए एक आधुनिक शब्द - का निदान 18 वर्ष से कम उम्र के लोगों में नहीं किया जा सकता है, और फिर उनका निदान केवल तभी किया जा सकता है जब किसी व्यक्ति को व्यवहार संबंधी विकार 15 साल तक हो गए हों।

अधिकांश मनोवैज्ञानिक विकारों में बायोमार्कर नहीं होते हैं, ठीक उसी तरह जैसे अल्फ़ागो कोड में कोई बग नहीं होते हैं। हमारे "उपकरण" में समस्याएं दिखाई नहीं दे रही हैं। वह हमारे "सॉफ्टवेयर" में है। मस्तिष्क के विघटन के लिए कई विकल्प प्रत्येक मनोवैज्ञानिक समस्या को अद्वितीय बनाते हैं। हम उन्हें व्यापक श्रेणियों में वर्गीकृत करते हैं, जैसे कि सिज़ोफ्रेनिया या एस्परगर सिंड्रोम , लेकिन अधिकांश विकारों की एक विस्तृत श्रृंखला होती है, जो उन लक्षणों को कवर करती है, जो अधिकांश लोगों में एक डिग्री या किसी अन्य को मिल सकती हैं। 2006 में, मनोवैज्ञानिक मैथ्यू केलर और जोफ्रे मिलर ने लिखा कि यह मस्तिष्क संरचना की एक अपरिहार्य संपत्ति है।

हमारे जैसे दिमाग में, बहुत कुछ गलत हो सकता है। कार्ल जंग ने एक बार सुझाव दिया था कि हर बुद्धिमान व्यक्ति में एक पागल व्यक्ति होता है। जितना अधिक हमारे एल्गोरिदम हमारे जैसे हो जाएंगे, उतना ही उनके लिए छिपाना आसान होगा।

थॉमस हिल्स ब्रिटेन के कोवेंट्री में वारविक विश्वविद्यालय में मनोविज्ञान के प्रोफेसर हैं।