कृत्रिम बुद्धि के पूर्वाग्रह के बारे में

tl; डॉआर:

• मशीन लर्निंग डेटा में पैटर्न की तलाश करता है। लेकिन आर्टिफिशियल इंटेलिजेंस "पक्षपाती" हो सकता है - यानी, गलत पैटर्न ढूंढना। उदाहरण के लिए, तस्वीरों से त्वचा कैंसर का पता लगाने वाला सिस्टम डॉक्टर के कार्यालय में ली गई तस्वीरों पर विशेष ध्यान दे सकता है। मशीन लर्निंग को पता नहीं है कि: इसके एल्गोरिदम केवल संख्याओं में पैटर्न को प्रकट करते हैं, और यदि डेटा प्रतिनिधि नहीं है, तो उनके प्रसंस्करण का परिणाम होगा। और मशीन के सीखने के यांत्रिकी के कारण ऐसे कीड़े को पकड़ना मुश्किल हो सकता है।
• सबसे स्पष्ट और भयावह समस्या क्षेत्र मानव विविधता है। कई कारण हैं कि लोगों के बारे में डेटा संग्रह चरण में भी अपनी निष्पक्षता खो सकता है। लेकिन आपको यह नहीं सोचना चाहिए कि यह समस्या केवल लोगों को चिंतित करती है: ठीक वैसी ही कठिनाइयाँ तब होती हैं जब किसी गोदाम में बाढ़ या असफल टरबाइन को खोजने की कोशिश की जाती है। कुछ प्रणालियों में त्वचा के रंग के बारे में पूर्वाग्रह हो सकते हैं, अन्य सीमेंस सेंसर के खिलाफ पक्षपाती होंगे।
• ऐसी समस्याएं मशीन लर्निंग के लिए नई नहीं हैं, और वे उसके लिए अद्वितीय हैं। गलत धारणाएं किसी भी जटिल संरचनाओं में बनाई जाती हैं, और यह समझना हमेशा मुश्किल होता है कि कोई निर्णय क्यों किया गया था। यह एक जटिल तरीके से निपटने के लिए आवश्यक है: सत्यापन के लिए उपकरण और प्रक्रियाएं बनाएं - और उपयोगकर्ताओं को शिक्षित करें ताकि वे एआई की सिफारिशों का आँख बंद करके पालन न करें। मशीन लर्निंग वास्तव में कुछ चीजें हमसे बेहतर करती है, लेकिन कुत्तों, उदाहरण के लिए, ड्रग्स का पता लगाने में लोगों की तुलना में बहुत अधिक प्रभावी हैं, जो उन्हें गवाह के रूप में लाने और उनके प्रशंसापत्र के आधार पर वाक्यों को पारित करने का कारण नहीं है। और कुत्ते, वैसे भी, किसी भी मशीन लर्निंग सिस्टम की तुलना में अधिक होशियार हैं।

मशीन लर्निंग आज सबसे महत्वपूर्ण मौलिक प्रौद्योगिकी प्रवृत्तियों में से एक है। यह एक मुख्य तरीका है कि तकनीक अगले दशक में हमारे आसपास की दुनिया को बदल देगी। इन परिवर्तनों के कुछ पहलू चिंताजनक हैं। उदाहरण के लिए, श्रम बाजार पर मशीन सीखने का संभावित प्रभाव, या अनैतिक उद्देश्यों के लिए इसका उपयोग (उदाहरण के लिए, सत्तावादी शासन)। एक और समस्या है जो इस पोस्ट को समर्पित है: कृत्रिम बुद्धि का पूर्वाग्रह ।

यह एक कठिन कहानी है।

Google AI बिल्लियों को पा सकता है। 2012 की यह खबर तब कुछ खास थी।

AI पूर्वाग्रह क्या है?

"रॉ डेटा" एक ऑक्सीमोरोन और एक बुरा विचार दोनों है; डेटा को अच्छी तरह और सावधानी से तैयार किया जाना चाहिए। —जेफ्रे बोकर

2013 से पहले कहीं, एक सिस्टम बनाने के लिए, जो कहता है, तस्वीरों में बिल्लियों को पहचानता है, आपको तार्किक चरणों का वर्णन करना था। एक छवि में कोनों को कैसे खोजें, आंखों को पहचानें, फर की उपस्थिति के लिए बनावट का विश्लेषण करें, पंजे की गिनती करें, और इसी तरह। फिर सभी घटकों को इकट्ठा करें - और पाते हैं कि यह सब वास्तव में काम नहीं करता है। एक यांत्रिक घोड़े की तरह कुछ - सैद्धांतिक रूप से यह किया जा सकता है, लेकिन व्यवहार में यह वर्णन करने के लिए बहुत जटिल है। बाहर निकलने पर आपके पास हस्तलिखित नियमों के सैकड़ों (या हजारों) हैं। और एक भी कामकाजी मॉडल नहीं।

मशीन लर्निंग के आगमन के साथ, हमने किसी ऑब्जेक्ट को पहचानने के लिए "मैनुअल" नियमों का उपयोग करना बंद कर दिया। इसके बजाय, हम "एक," X, "अन्य," Y के एक हजार नमूने लेते हैं, और कंप्यूटर को उनके सांख्यिकीय विश्लेषण के आधार पर एक मॉडल बनाने के लिए मजबूर करते हैं। फिर हम इस मॉडल को कुछ नमूना डेटा देते हैं, और यह कुछ सटीकता के साथ निर्धारित करता है कि क्या यह एक सेट में फिट बैठता है। मशीन लर्निंग डेटा के आधार पर एक मॉडल बनाता है, न कि इसे लिखने वाले की मदद से। परिणाम प्रभावशाली हैं, विशेष रूप से छवि और पैटर्न मान्यता के क्षेत्र में, और यही कारण है कि संपूर्ण तकनीक उद्योग अब मशीन लर्निंग (एमएल) में जा रहा है।

लेकिन इतना सरल नहीं है। वास्तविक दुनिया में, एक्स या वाई के आपके हजारों उदाहरणों में ए, बी, जे, एल, ओ, आर और यहां तक ​​कि एल भी हैं। वे असमान रूप से वितरित किए जा सकते हैं, और उनमें से कुछ को इतनी बार पाया जा सकता है कि सिस्टम उन पर अधिक ध्यान देगा। उन वस्तुओं के लिए जो आपकी रुचि रखते हैं।

व्यवहार में इसका क्या अर्थ है? मेरा पसंदीदा उदाहरण है जब छवि पहचान प्रणाली एक घास की पहाड़ी को देखती है और कहती है "भेड़ । " यह समझ में आता है कि क्यों: "भेड़" की अधिकांश उदाहरण तस्वीरें घास के मैदानों में ली गई थीं जहाँ वे रहते हैं, और इन चित्रों में घास सफेद घास की तुलना में बहुत अधिक जगह लेती है, और यह उस प्रणाली की घास है जिसे सबसे महत्वपूर्ण माना जाता है।

और भी गंभीर उदाहरण हैं। हाल ही में - तस्वीरों में त्वचा के कैंसर का पता लगाने के लिए एक परियोजना । यह पता चला कि त्वचा विशेषज्ञ अक्सर संरचनाओं के आकार को ठीक करने के लिए त्वचा के कैंसर की अभिव्यक्तियों के साथ लाइनअप की तस्वीर लेते हैं। स्वस्थ त्वचा की तस्वीरों के उदाहरणों पर, कोई शासक नहीं हैं। एआई प्रणाली के लिए, इस तरह के शासक (अधिक सटीक रूप से, पिक्सेल जिन्हें हम "शासक" के रूप में परिभाषित करते हैं) उदाहरणों के सेट के बीच मतभेदों में से एक बन गए हैं, और कभी-कभी एक छोटे से त्वचा के दाने की तुलना में अधिक महत्वपूर्ण होते हैं। इसलिए त्वचा कैंसर की पहचान करने के लिए बनाया गया एक सिस्टम, कभी-कभी इसके बजाय लाइन को पहचानता था।

यहाँ मुख्य बात यह है कि सिस्टम को इस बात की कोई शब्दार्थ समझ नहीं है कि वह क्या देख रहा है। हम पिक्सेल का एक सेट देखते हैं और उनमें एक भेड़, त्वचा या शासक देखते हैं, और सिस्टम - केवल एक संख्या रेखा। वह तीन आयामी स्थान नहीं देखती है, वह न तो वस्तुओं को देखती है, न ही बनावट और न ही भेड़ों को। वह डेटा में सिर्फ पैटर्न देखती है।

इस तरह की समस्याओं के निदान में कठिनाई यह है कि तंत्रिका नेटवर्क (आपके मशीन सीखने की प्रणाली द्वारा उत्पन्न मॉडल) में हजारों हजारों हजारों नोड्स होते हैं। एक मॉडल को देखने और देखने का कोई आसान तरीका नहीं है कि यह कैसे निर्णय लेता है। ऐसी विधि की उपस्थिति का मतलब होगा कि मशीन सीखने का उपयोग किए बिना सभी नियमों को मैन्युअल रूप से वर्णन करने के लिए प्रक्रिया काफी सरल है। लोगों को चिंता है कि मशीन लर्निंग एक तरह का ब्लैक बॉक्स बन गया है। (मैं थोड़ा बाद में बताऊंगा कि यह तुलना अभी भी बहुत अधिक क्यों है।)

सामान्य शब्दों में, यह आर्टिफिशियल इंटेलिजेंस या मशीन लर्निंग के पूर्वाग्रह की समस्या है: डेटा में पैटर्न खोजने की एक प्रणाली गलत पैटर्न पा सकती है, लेकिन आप इसे नोटिस नहीं कर सकते हैं। यह प्रौद्योगिकी की एक मौलिक विशेषता है, और यह उन सभी के लिए स्पष्ट है जो वैज्ञानिक समुदाय और बड़ी प्रौद्योगिकी कंपनियों में इसके साथ काम करते हैं। लेकिन इसके परिणाम जटिल हैं, और इसलिए इन परिणामों के लिए हमारे संभावित समाधान हैं।

पहले परिणामों के बारे में बात करते हैं।

बड़ी संख्या में असंगत संकेतों के आधार पर, AI निश्चित रूप से कुछ श्रेणियों के लोगों के पक्ष में हमारे लिए एक विकल्प बना सकता है

एआई पूर्वाग्रह परिदृश्य

सबसे स्पष्ट और भयावह बात यह है कि यह समस्या मानव विविधता के बारे में स्वयं प्रकट हो सकती है। हाल ही में , एक अफवाह उड़ी है कि अमेज़न ने नौकरी के उम्मीदवारों की शुरुआती स्क्रीनिंग के लिए मशीन लर्निंग सिस्टम बनाने की कोशिश की है। चूंकि अमेज़ॅन श्रमिकों के बीच अधिक पुरुष हैं, इसलिए "सफल हायरिंग" के उदाहरण भी पुरुषों की तुलना में अधिक बार होते हैं, और सिस्टम द्वारा प्रस्तावित रिज्यूमे के चयन में अधिक पुरुष थे। अमेज़ॅन ने इस पर ध्यान दिया और उत्पादन में सिस्टम को जारी नहीं किया।

इस उदाहरण में सबसे महत्वपूर्ण बात यह है कि इस प्रणाली के पक्ष में पुरुष उम्मीदवारों के पक्ष में होने की अफवाह है, इस तथ्य के बावजूद कि लिंग को फिर से शुरू में सूचीबद्ध नहीं किया गया था। सिस्टम ने "सफल भर्ती" के उदाहरणों में अन्य पैटर्न देखे: उदाहरण के लिए, महिलाएं उपलब्धियों का वर्णन करने के लिए विशेष शब्दों का उपयोग कर सकती हैं, या विशेष शौक रख सकती हैं। बेशक, सिस्टम को यह नहीं पता था कि "हॉकी" क्या थी, न ही "लोग" और न ही "सफलता" क्या थी - यह केवल पाठ का एक सांख्यिकीय विश्लेषण किया। लेकिन जो पैटर्न उसने देखा, वह सबसे अधिक संभावना है कि व्यक्ति द्वारा किसी का ध्यान नहीं गया, और उनमें से कुछ (उदाहरण के लिए, यह तथ्य कि विभिन्न लिंगों के लोग सफलता का अलग-अलग वर्णन करते हैं), हमारे लिए, यहां तक ​​कि उन्हें देखना भी मुश्किल होगा।

आगे और भी बुरा। एक मशीन लर्निंग सिस्टम जो पीली त्वचा पर बहुत अच्छी तरह से कैंसर का पता लगाता है, वह डार्क स्किन या इसके उलट काम कर सकता है। जरूरी नहीं कि पूर्वाग्रह के कारण, बल्कि इसलिए कि आपको संभवतः एक अलग त्वचा के रंग के लिए एक अलग मॉडल बनाने की जरूरत है, अन्य विशेषताओं को चुनना। मशीन लर्निंग सिस्टम एक संकीर्ण क्षेत्र में छवि पहचान के रूप में भी विनिमेय नहीं हैं। आपको सिस्टम सेट करने की आवश्यकता होती है, कभी-कभी केवल परीक्षण और त्रुटि के माध्यम से, वांछित डेटा तक पहुंचने तक आपकी रुचि के डेटा में सुविधाओं को अच्छी तरह से नोटिस करने के लिए। लेकिन आप यह नहीं देख सकते हैं कि 98% मामलों में सिस्टम एक समूह के साथ काम करते समय सटीक है और केवल 91% में (यद्यपि यह किसी व्यक्ति द्वारा किए गए विश्लेषण की तुलना में अधिक सटीक है)।

अब तक मैंने मुख्य रूप से लोगों और उनकी विशेषताओं के बारे में उदाहरणों का उपयोग किया है। इस समस्या पर चर्चा मुख्य रूप से इस विषय पर केंद्रित है। लेकिन यह समझना जरूरी है कि लोगों के प्रति पूर्वाग्रह ही समस्या का हिस्सा है। हम कई चीजों के लिए मशीन लर्निंग का उपयोग करेंगे, और सभी के लिए एक नमूना त्रुटि प्रासंगिक होगी। दूसरी ओर, यदि आप लोगों के साथ काम करते हैं, तो डेटा पूर्वाग्रह उनसे संबंधित नहीं हो सकता है।

इसे समझने के लिए, आइए हम त्वचा कैंसर के उदाहरण पर वापस जाएं और सिस्टम के टूटने की तीन काल्पनिक संभावनाओं पर विचार करें।

1. लोगों के अमानवीय वितरण: विभिन्न स्वरों में त्वचा की असंतुलित संख्या, जो कि रंजकता से जुड़े गलत सकारात्मक या गलत नकारात्मक परिणामों की ओर ले जाती है।
2. जिस डेटा पर सिस्टम को प्रशिक्षित किया जाता है, उसमें अक्सर सामना होता है और पूरी तरह से वितरित विशेषता होती है जो लोगों से संबंधित नहीं होती है और इसका कोई नैदानिक ​​मूल्य नहीं है: भेड़ की तस्वीरों पर त्वचा के कैंसर की अभिव्यक्तियों या घास की तस्वीरों पर एक शासक। इस मामले में, परिणाम अलग होगा यदि सिस्टम उस चीज़ की छवि में पिक्सेल पाता है जिसे मानव आंख "शासक" के रूप में परिभाषित करती है।
3. डेटा में एक तृतीय-पक्ष विशेषता है जो एक व्यक्ति नहीं देख सकता है, भले ही वह इसके लिए खोज करे।

इसका क्या मतलब है? हम एक प्राथमिकता जानते हैं कि डेटा को विभिन्न समूहों के लोगों द्वारा अलग-अलग रूप में प्रस्तुत किया जा सकता है, और कम से कम हम ऐसे अपवादों की खोज करने की योजना बना सकते हैं। दूसरे शब्दों में, यह मानने के लिए सामाजिक कारणों का एक समूह है कि लोगों के समूहों के डेटा में पहले से ही कुछ पूर्वाग्रह हैं। यदि हम शासक के साथ फोटो को देखते हैं, तो हम इस शासक को देखेंगे - हमने पहले ही इसे अनदेखा कर दिया था, यह जानते हुए कि इससे कोई फर्क नहीं पड़ता, और यह भूल जाते हैं कि सिस्टम को कुछ भी नहीं पता है।

लेकिन क्या होगा अगर आपके कार्यालय में अस्वस्थ त्वचा की सभी तस्वीरें ली गईं, जहां तापदीप्त बल्बों का उपयोग किया जाता है, और फ्लोरोसेंट रोशनी में स्वस्थ हैं? क्या होगा अगर, अस्वस्थ शूटिंग से पहले स्वस्थ त्वचा को हटाने के बाद, आपने फोन पर ऑपरेटिंग सिस्टम को अपडेट किया, और एप्पल या Google ने शोर कम करने के एल्गोरिदम को थोड़ा बदल दिया? कोई भी व्यक्ति इस पर ध्यान नहीं दे सकता है, चाहे वह इस तरह की सुविधाओं की कितनी ही मांग क्यों न करता हो। लेकिन फिर मशीन उपयोग प्रणाली तुरंत देख और इसका उपयोग करेगी। वह कुछ नहीं जानती।

जबकि हमने झूठी सहसंबंधों के बारे में बात की थी, ऐसा हो सकता है कि डेटा सटीक हैं और परिणाम सही हैं, लेकिन आप उन्हें नैतिक, कानूनी या प्रशासनिक कारणों से उपयोग नहीं करना चाहते हैं। कुछ न्यायालयों में, उदाहरण के लिए, महिलाओं को बीमा पर छूट प्रदान करना संभव नहीं है, हालांकि महिलाएं ड्राइविंग में सुरक्षित हो सकती हैं। हम आसानी से एक प्रणाली की कल्पना कर सकते हैं, जो ऐतिहासिक डेटा का विश्लेषण करते समय, महिला नामों के लिए कम जोखिम वाले कारकों को असाइन करेगी। ठीक है, चलो नामों को चयन से हटा दें। लेकिन अमेज़ॅन के साथ उदाहरण को याद रखें: सिस्टम अन्य कारकों द्वारा लिंग का निर्धारण कर सकता है (हालांकि यह नहीं पता है कि लिंग क्या है, और एक मशीन क्या है), और आप इसे तब तक नोटिस नहीं करेंगे जब तक कि नियामक आपके द्वारा पेश की जाने वाली दरों का विश्लेषण नहीं करता है और आपसे शुल्क नहीं लेता है। तुम ठीक हो

अंत में, यह अक्सर निहित होता है कि हम ऐसी प्रणालियों का उपयोग केवल उन परियोजनाओं के लिए करेंगे जो लोगों और सामाजिक सहभागिता से संबंधित हैं। ऐसा नहीं है। यदि आप गैस टर्बाइन बनाते हैं, तो आप शायद अपने उत्पाद (ऑडियो, वीडियो, तापमान) पर दर्जनों या सैकड़ों सेंसरों द्वारा प्रसारित टेलीमेटरी में मशीन लर्निंग लागू करना चाहते हैं, और कोई भी अन्य सेंसर डेटा उत्पन्न करता है जिसे मशीन लर्निंग मॉडल बनाने के लिए बहुत आसानी से अनुकूलित किया जा सकता है )। हाइपोथेटिक रूप से, आप कह सकते हैं: "यहां एक हजार असफल टर्बाइनों पर डेटा उनकी विफलता से पहले प्राप्त किए गए हैं, लेकिन यहां एक हजार टर्बाइनों के डेटा हैं जो नहीं टूटे। कहने के लिए कि उनमें क्या अंतर है, एक मॉडल बनाएं। ठीक है, अब कल्पना कीजिए कि सीमेंस सेंसर में 75% खराब टर्बाइन हैं, और केवल 12% अच्छे हैं (विफलताओं के साथ कोई संबंध नहीं है)। सिस्टम सीमेंस सेंसर के साथ टरबाइन का पता लगाने के लिए एक मॉडल का निर्माण करेगा। ऊप्स!

चित्र - मोरित्ज़ हार्ड्ट, यूसी बर्कले

एआई पूर्वाग्रह प्रबंधन

हम इसके बारे में क्या कर सकते हैं? आप मुद्दे को तीन तरफ से देख सकते हैं:

1. सिस्टम के प्रशिक्षण के लिए डेटा के संग्रह और प्रबंधन में कार्यप्रणाली कठोरता।
2. मॉडल व्यवहार के विश्लेषण और निदान के लिए तकनीकी उपकरण।
3. मशीन सीखने को उत्पादों में पेश करने के लिए प्रशिक्षण, शिक्षा और सावधानी।

मोलीयर की पुस्तक "द ट्रेड्समैन इन द नोबिलिटी" में एक मजाक है: एक व्यक्ति को बताया गया था कि साहित्य गद्य और कविता में विभाजित है, और वह प्रशंसा के साथ स्वीकार करता है कि उसने अपने सारे जीवन को बिना जाने समझे बोल दिया। शायद, सांख्यिकीविदों को आज भी कुछ ऐसा ही लगता है: बिना किसी सूचना के, उन्होंने अपने करियर को कृत्रिम बुद्धिमत्ता और नमूना त्रुटि के लिए समर्पित कर दिया। एक नमूना त्रुटि की तलाश करना और इसके बारे में चिंता करना कोई नई समस्या नहीं है, हमें बस इसके समाधान के लिए व्यवस्थित रूप से संपर्क करने की आवश्यकता है। जैसा कि ऊपर उल्लेख किया गया है, कुछ मामलों में लोगों के डेटा से जुड़ी समस्याओं का अध्ययन करके ऐसा करना वास्तव में आसान है। हम एक प्राथमिकता मानते हैं कि हम लोगों के विभिन्न समूहों के बारे में पूर्व धारणाएं हो सकती हैं, लेकिन हमारे लिए सीमेंस सेंसर के बारे में पूर्वाग्रह की कल्पना करना कठिन है।

इस सब में नया, ज़ाहिर है, लोग अब सीधे सांख्यिकीय विश्लेषण में शामिल नहीं हैं। यह मशीनों द्वारा किया जाता है जो बड़े जटिल मॉडल बनाते हैं जिन्हें समझना मुश्किल है। पारदर्शिता का मुद्दा पूर्वाग्रह की समस्या के मुख्य पहलुओं में से एक है। हमें डर है कि सिस्टम सिर्फ पक्षपाती नहीं है, लेकिन यह कि इसके पूर्वाग्रह का पता लगाने का कोई तरीका नहीं है, और यह मशीन लर्निंग स्वचालन के अन्य रूपों से अलग है, जो कि स्पष्ट तार्किक चरणों से युक्त हैं जिन्हें सत्यापित किया जा सकता है।

यहां दो समस्याएं हैं। हम, शायद, फिर भी मशीन लर्निंग सिस्टम का ऑडिट कर सकते हैं। और किसी भी अन्य प्रणाली का ऑडिट वास्तव में आसान नहीं है।

सबसे पहले, मशीन लर्निंग के क्षेत्र में आधुनिक अनुसंधान के क्षेत्रों में से एक है कि मशीन लर्निंग सिस्टम की महत्वपूर्ण कार्यक्षमता की पहचान करने के तरीकों पर खोज की जाए। इसी समय, मशीन लर्निंग (इसकी वर्तमान स्थिति में) विज्ञान का एक नया क्षेत्र है जो तेजी से बदल रहा है, इसलिए आपको यह नहीं सोचना चाहिए कि आज असंभव चीजें बहुत जल्द वास्तविक नहीं बन सकती हैं। OpenAI परियोजना इसका एक दिलचस्प उदाहरण है।

दूसरे, यह विचार कि मौजूदा प्रणालियों या संगठनों में निर्णय लेने की प्रक्रिया को जांचना और समझना संभव है, सिद्धांत रूप में अच्छा है, लेकिन व्यवहार में ऐसा है। यह समझना कि किसी बड़े संगठन में कैसे निर्णय लिए जाते हैं, यह आसान नहीं है। यहां तक ​​कि अगर कोई औपचारिक निर्णय लेने की प्रक्रिया है, तो यह प्रतिबिंबित नहीं करता है कि लोग वास्तव में कैसे बातचीत करते हैं, और वास्तव में उनके पास अक्सर अपने निर्णय लेने के लिए एक तार्किक व्यवस्थित दृष्टिकोण नहीं होता है। जैसा कि मेरे सहयोगी विजय पांडे ने कहा , लोग ब्लैक बॉक्स भी हैं ।

कई ओवरलैपिंग कंपनियों और संस्थानों में एक हजार लोगों को ले लो, और समस्या और भी जटिल हो जाएगी। हम इस तथ्य के बाद जानते हैं कि जब वे वापस लौटे तो स्पेस शटल अलग होना तय था, और नासा के अंदर कुछ लोगों के पास ऐसी जानकारी थी जिससे उन्हें यह सोचने का कारण मिला कि कुछ बुरा हो सकता है, लेकिन एक पूरे के रूप में सिस्टम को पता नहीं था। नासा ने भी बस एक समान ऑडिट पास किया था, पिछले शटल को खो दिया था, और फिर भी यह एक और हार गया - एक बहुत ही समान कारण के लिए। यह कहना आसान है कि संगठन और लोग स्पष्ट तार्किक नियमों का पालन करते हैं जिन्हें जाँच, समझा और बदला जा सकता है - लेकिन अनुभव इसके विपरीत साबित होता है। यह " राज्य योजना आयोग की त्रुटि " है।

मैं अक्सर मशीन लर्निंग की तुलना डेटाबेस से करता हूं, विशेष रूप से रिलेशनल - एक नई मौलिक तकनीक जिसने कंप्यूटर विज्ञान और इसके आसपास की दुनिया की संभावनाओं को बदल दिया है, जो कि हर चीज का एक हिस्सा बन गया है जिसे हम लगातार बिना एहसास किए उपयोग करते हैं। डेटाबेस में भी समस्याएं हैं, और उनके पास एक समान संपत्ति है: सिस्टम गलत धारणाओं या खराब डेटा पर बनाया जा सकता है, लेकिन यह नोटिस करना मुश्किल होगा, और सिस्टम का उपयोग करने वाले लोग वही करेंगे जो यह सवाल पूछे बिना उन्हें बताता है। कर श्रमिकों के बारे में पुराने चुटकुलों का एक समूह है, जो एक बार गलत तरीके से आपके नाम का उच्चारण करते हैं, और गलती को सुधारने के लिए उन्हें आश्वस्त करना वास्तव में नाम बदलने की तुलना में बहुत अधिक कठिन है। यह अलग-अलग तरीकों से सोचा जा सकता है, लेकिन यह स्पष्ट नहीं है कि सबसे अच्छा कैसे: एसक्यूएल में तकनीकी समस्या के बारे में, या ओरेकल रिलीज में त्रुटि के बारे में, या नौकरशाही संस्थानों की विफलता के बारे में कैसे? इस प्रक्रिया में त्रुटि का पता लगाना कितना मुश्किल है, जिसके कारण सिस्टम में टाइपोस करेक्शन जैसी सुविधा नहीं है? क्या लोगों की शिकायत शुरू होने से पहले इसे समझा जा सकता है?

इससे भी आसान यह समस्या है कि नाविकों में पुराने डेटा के कारण ड्राइवरों को नदियों में जाने के लिए कहानियों द्वारा चित्रित किया गया है। ठीक है, नक्शों को लगातार अपडेट किया जाना चाहिए। लेकिन टॉमटॉम इस तथ्य के लिए कितना दोषी है कि आपकी कार समुद्र में उड़ती है?

मैं इस तथ्य से कहता हूं कि हां - मशीन सीखने का पूर्वाग्रह समस्याएं पैदा करेगा। लेकिन ये समस्याएं उन लोगों के समान होंगी जो हमने अतीत में सामना किया था, और उन्हें देखा जा सकता है और हल किया जा सकता है (या नहीं) लगभग और जैसा कि हमने अतीत में किया था। , , , , . , - - , , . “ ” , , , , . . , . .

निष्कर्ष

, , — , .

, « » . , — . HAL9000 Skynet — -, . लेकिन नहीं। , , , . , , … . . , , , - . , — , , .

, — , — . , , .

, , « — , » . , « ». , , , . , . , — , , , . , , .

: .
: .
: @PonchikNews .