नैतिक मशीन: निर्दयी या अर्थहीन?

मैंने इस लेख को इस पोस्ट के मद्देनजर लिखने का फैसला किया।

मैं किस बारे में लिखना चाहता हूं?

सबसे पहले, यह अध्ययन बताई गई समस्या को हल करने के लिए बिल्कुल बेकार क्यों है, और जिस रूप में यह आयोजित किया गया था।

दूसरे, इस तरह के अध्ययन को कैसे प्राथमिकता दी जाए।

और तीसरा, परीक्षण द्वारा निर्दिष्ट शर्तों के भीतर विभिन्न दुर्घटना परिदृश्यों का अनुकरण करने का प्रयास करें।

उस पोस्ट में, लेखक ने शुरुआत से ही परीक्षण के लिए एक लिंक नहीं दिया। यह उन लोगों से व्यर्थ टिप्पणियों से बचने में मदद करेगा, जिन्होंने अध्ययन के प्रारंभिक संदेश को नहीं पकड़ा था।
कृपया, चर्चा के विषय को समझने के लिए कम से कम एक दो बार परीक्षा लें ।

उन्होंने अध्ययन में हमें जो दिखाने का वादा किया था

पहली पोस्ट की चर्चा, हेबरे के लिए महाकाव्य, ने दिखाया कि अधिकांश लोगों को यह नहीं पता है कि दिए गए शर्तों के भीतर कैसे सोचना है, लेकिन कल्पना करना शुरू करें: "क्या कुछ लोग परीक्षण में मर जाते हैं?" आखिरकार, आप हैंडब्रेक / गियर को रगड़ने / ब्रेक करने के लिए पैदल चलने वालों और ब्लॉक / साइडवे दोनों के आसपास जा सकते हैं? लेकिन मैं करूंगा ... ”। समझें कि सड़क पर ऑटोपायलट व्यवहार को विनियमित करने के लिए एक्शन एल्गोरिदम और नीतियों को विकसित करने के लिए यह एक सरल उदाहरण है! सुरक्षा नियमों के विकास के दृष्टिकोण से, ऐसे चरम और सरलीकरण उचित हैं। यह उन संभावित परिणामों के बारे में है जिनके लिए लोगों को तैयार किया जाना चाहिए। सैनिक खदानों में नहीं जाते हैं, क्योंकि हर वर्ग सेंटीमीटर वहां खनन किया जाता है, लेकिन मरने की बहुत संभावना के कारण। यह आमतौर पर बहुत अधिक नहीं होता है, लेकिन कोई भी इसका जोखिम नहीं उठाएगा। इसलिए, परीक्षण में, सभी यात्रियों या सभी पैदल यात्रियों की 100% मृत्यु के बीच विकल्प पर्याप्त है - यह है कि हम जोखिम को कैसे चिह्नित करते हैं, यह ध्यान में रखते हुए कि हमारे समाज में जीवन को जोखिम में डालना अस्वीकार्य है।

अध्ययन का संदेश यह है: आप, अब रहने वाले लोगों को भविष्य की दुनिया में रहना होगा, ऑटोप्लेट पर कारों से भरा होगा। और यह हमारे लिए महत्वपूर्ण है, ऑटोमोबाइल, एआई और अन्य चीजों के डेवलपर्स, जानने के लिए, लेकिन आपको क्या लगता है कि रोबोट रोबोट को कैसे व्यवहार करना चाहिए? ठीक है, यहाँ आप हैं, हाँ, हाँ, यह आपको बता रहा है कि अगर रोबोम्बोल को क्या करना है अगर सिर और बिल्ली उसमें सवार हों, और यह बेघर और कुत्ते को कुचलने के बारे में है? अगर उन्हें चुनना हो तो नैतिकता को क्या लूटना चाहिए?

और जब हमने अध्ययन के प्रारंभिक उद्देश्य की पहचान की है, तो मैं इसके कई पहलुओं पर चर्चा करना चाहता हूं।

अध्ययन ने वास्तव में क्या दिखाया

पहली चीज जो आपकी आंख को स्पष्ट रूप से पकड़ लेती है, वह यह है कि अनुसंधान डिजाइन निर्धारित लक्ष्य के लिए बिल्कुल भी नहीं है। दुविधाओं के रूप में सेट किए गए कार्य रोबोट-कार व्यवहार के "नैतिकता" बनाने के लिए उपयुक्त नहीं हैं। बल्कि, सभी नहीं। यहां ऐसी दुविधाएं हैं जो "किसी दुर्घटना के परिणामों की गंभीरता को कम करने के लिए रोबोट-कार के व्यवहार के लिए विकासशील नियमों" को पूरा करती हैं:

• "यात्री / पैदल यात्री" - बचाने के लिए किसे चुनें;
• "यातायात नियमों का उल्लंघन" - चुनें कि क्या बेहोश पैदल यात्रियों का बलिदान करना है;
• "संभावित पीड़ितों की संख्या" - चुनें कि पीड़ितों की संख्या में प्राथमिकता है या नहीं।

और फिर पैरामीटर आते हैं, जो, यह पता चला है, हमारे सभ्य समाज में सजा के लिए बहुत महत्वपूर्ण हैं। लोगों से ईमानदारी से और मासूमियत से पूछा गया: आपका लिंगवाद, ल्यूकिज्म, आयुवाद? क्या आप वसा या अवर्गीकृत भेदभाव के लिए हैं? और आखिरकार, सैकड़ों हजारों लोगों ने ईमानदारी से जवाब दिया ...

ब्रावो!

मनोरंजक फिल्मों और श्रृंखलाओं की सर्वश्रेष्ठ परंपराओं में सही, जब मुख्य पात्रों की दुनिया वास्तव में एक उच्च बाड़ के पीछे एक बड़ा सैंडबॉक्स है, और यह उनका व्यवहार है जो एक प्रयोग है! रोबोटिक्स और एआई के क्षेत्र में सुपर-महत्वपूर्ण अनुसंधान की चटनी के तहत, समाजशास्त्रियों, मनोवैज्ञानिकों, संस्कृतिकर्मियों ने ट्रॉली समस्या पर इतना शक्तिशाली नमूना प्राप्त किया कि किसी ने पहले कभी सपना नहीं देखा था! ठीक है, सिवाय इसके कि त्वचा के रंग को सर्वेक्षण में नहीं जोड़ा गया था, लेकिन फिर अध्ययन के नस्लवादी ओवरटोन को "ओह" के साथ सीवन किया जाएगा।

गंभीरता से, अध्ययन के इस लिंग-फ़ेनोटाइपिक भाग को स्पष्ट तर्कों द्वारा काट दिया जाता है। पहला तर्क मानवतावाद है, सभ्य लोगों के रूप में, हमें किसी भी व्यक्तिगत मतभेदों पर मानव जीवन के मूल्य की प्रधानता डालनी चाहिए। अर्थात्, प्रश्न का बहुत सूत्रीकरण अपमानजनक है, भेदभावपूर्ण है। दूसरा तर्क - बहुत सारी दुर्घटनाएँ होती हैं, और सीमा में, उपस्थिति, शिक्षा, लिंग, उम्र के आधार पर पीड़ितों का वितरण समाज में उनके अनुपात के लिए होता है, इसलिए यह अतिरिक्त रूप से विनियमित करने के लिए कम से कम अजीब है। तीसरा तर्क - कृत्रिम बुद्धिमत्ता बनाने के लिए उचित नहीं लगता है जो ब्रेशी के एक सूट को बर्शका के ब्रूसी से अलग करता है ताकि आगे यह तुलना की जा सके कि क्या कोई व्यक्ति हैसियत रखता है और क्या उसे कुचलने लायक है। इसके अलावा, मैं न्याय करने के लिए एआई पर भरोसा नहीं करूंगा - एक बेघर पैदल यात्री या वैज्ञानिक? (सम्मानित वैज्ञानिकों पेरेलमैन या गेलफैंड के केशविन्यास के लिए नमस्ते :))

इन अनावश्यक मापदंडों के अलावा, हम आसानी से शेष दो को छोड़ देते हैं: प्रजातियों की विशिष्टता और गैर-हस्तक्षेप। हां, हम लोगों को बचाने के लिए छोटे जानवरों को कुचल देंगे, जिन्होंने सोचा होगा। पैंतरेबाज़ी द्वारा "हस्तक्षेप / गैर-हस्तक्षेप" पैरामीटर के लिए के रूप में, ट्रॉली समस्या का यह अनिवार्य हिस्सा कार के लिए सिर्फ एक बाधा नहीं है, क्योंकि मशीन नैतिकता के अनुसार काम नहीं करती है, लेकिन एल्गोरिदम के अनुसार इसमें नीचे है। और जब से हमने कार्य "लोगों के साथ टकराव के साथ दुर्घटना में कार को कैसे काम करना चाहिए" निर्धारित किया है, तब शब्दांकन में हम मानते हैं कि इसे किसी तरह काम करना चाहिए। आजकल, रेल परिवहन सफलतापूर्वक किसी भी परिणाम के बिना सीधी टक्कर के साथ मुकाबला कर रहा है, और हम सड़क दुर्घटनाओं के पीड़ितों को कम से कम करने की नीति विकसित कर रहे हैं।
इसका मतलब यह है कि हमने विश्व समाज में असहिष्णुता के स्तर का अध्ययन करने के लिए समाजशास्त्रीय प्रयोग से अनुसंधान के तर्कसंगत अनाज को अलग कर दिया है। हम पहले तीन उल्लिखित दुविधाओं के साथ आगे काम करते हैं। और जुदा करने के लिए कुछ है। करीब से जांच करने पर, वे अधूरे निकले ...

रोबोट कारों की तीन दुविधा

क्या पैदल यात्री यातायात नियमों का उल्लंघन करते हैं? यहां, बहुमत स्पष्ट रूप से सामाजिक डार्विनवाद या स्पष्ट रूप से खेदजनक प्रतिक्रिया व्यक्त करता है - बल्कि, उन्हें निर्दोषों के पक्ष में नियमों का उल्लंघन करने वालों का बलिदान करना चाहिए। जागरूक लोग रेल पर नहीं जाते, यह जानते हुए कि ट्रेन नहीं रुकेगी - आपको बता दें कि रोबोमोबाइल भी नहीं रुकेगा। सब कुछ तार्किक है, हालांकि निंदक। लेकिन इस चालाक दुविधा में, एक तरफा, अपूर्णता, छिपी हुई है। पैदल यात्री जो यातायात नियमों का उल्लंघन करते हैं, वे कई स्थितियों में से एक हैं। लेकिन अगर रोबोट कार टूट जाए तो ?? इस स्थिति पर विचार नहीं किया गया है, लेकिन यह (कार के कैमरे एक संकेत या ट्रैफिक लाइट से चूक गए), सिद्धांत रूप में, अचानक ब्रेक की विफलता की तुलना में बहुत अधिक है। हालांकि, मैं फिर से कल्पना और विशेष रूप से मारा। परीक्षण में स्थिति के समतुल्य पारस्परिकता को दिखाना अधिक महत्वपूर्ण है। यही है, इस बात की कल्पना करें: यदि पैदल यात्री यातायात नियमों का उल्लंघन करते हैं, तो वे मर जाते हैं, और यह "तार्किक" और "सही" है, और यदि रोबोमोबाइल उल्लंघन करता है, तो क्या उसे इस गलती के लिए आत्महत्या करनी चाहिए? यह मत भूलो कि एक ही समय में, नेता, ट्रम्प और बिल्ली अंदर बैठे मर जाते हैं! यह एक महत्वपूर्ण सुधार है, लेकिन परीक्षण में यह पहलू नहीं है।

अगला। संभावित पीड़ितों की संख्या। यहाँ भी, इतना आसान नहीं है। लिंग रूढ़िवादिता को त्यागें और बुढ़ापे के लिए सम्मान, वसा और बेघर के लिए अवमानना ​​करें। हम मानते हैं कि एक दुर्घटना में वे उस आवृत्ति के अनुपात में मर जाते हैं जिसके साथ वे प्रकृति में पाए जाते हैं। और हम तय करेंगे: कुछ तीन कुछ पांच से बेहतर मर जाते हैं। क्या यह ध्वनि तार्किक है? ओह ठीक है। आइए इस सभी नारकीय गैरबराबरी को याद करते हैं , लेकिन हमारे पास एक अमूर्त अनुकरण है। कौन सा बेहतर है - 50 या 51 लोगों को मारने के लिए? 1051 या 1052? तो यह इतना महत्वपूर्ण नहीं है? फिर क्या बेहतर है - एक बस में 1 पैदल या 50 लोगों को मारना? और अब यह महत्वपूर्ण हो गया है? और वह रेखा कहां जाती है? क्या प्रत्येक अतिरिक्त व्यक्ति मूल्यवान है? लेकिन क्या यह महत्वपूर्ण है अगर लंबे समय में सड़क दुर्घटनाओं में हजारों लोग मारे जाते हैं? जैसा कि उपस्थिति के मामले में, वास्तव में, संभावित पीड़ितों की संख्या का एआई का उपयोग करने के लिए एक पर्याप्त अनुमान बेहद मुश्किल होगा। पीड़ितों की संख्या समान होने पर गैर-हस्तक्षेप (गैर-पैंतरेबाज़ी) की स्थिति बनाने के लिए केवल एक चीज जो समझ में आती है।

तीसरे पहलू ने हबेरा के उस पहले लेख पर टिप्पणियों में बहुत विवाद किया। और अध्ययन के परिणामों को देखते हुए, यह समाज के लिए पूरी तरह से अस्पष्ट है, और यहां मुख्य समस्या निहित है जिसे हल करने की आवश्यकता है। यह जोखिम के बारे में है कि - पैदल यात्री या यात्री?

कुछ लोग कहते हैं कि पैदल चलने वालों को किसी भी चीज़ के लिए दोषी नहीं ठहराया जाता है, जिसका अर्थ है कि उन्हें पहले स्थान पर बचाया जाना चाहिए। सामान्य तौर पर, शहरी लोगों के बीच अब पैदल चलने वालों की देखभाल करना, पूरी सड़कों को पैदल यात्री बनाना, हर 50 मीटर पर ट्रैफिक लाइट के साथ क्रॉसिंग बनाना, केंद्र में ट्रैफ़िक की गति को कम करना, पैदल चलने वालों को प्राथमिकता देना है। यहां भी, किसी तरह उन्हें सुरक्षित करने के लिए आवश्यक है, और भीड़ पर ब्रेक के बिना उड़ान भरने वाली एक रोबोट मशीन को आंदोलन में सबसे कमजोर प्रतिभागियों को बचाने के नाम पर आत्म-विनाश करना चाहिए। क्या, मेरे दृष्टिकोण से, वे सही हैं कि पैदल चलने वालों ने किसी और की रोबोट कार के व्यवहार की शर्तों की सदस्यता नहीं ली। वे आम तौर पर उनके परिचय के खिलाफ हो सकते हैं। इसी समय, ऐसी मशीन के यात्री की कल्पना करना असंभव है जो इसके उपयोग के लिए शर्तों से सहमत नहीं है। इसलिए, स्थिति हितों का टकराव है। जैसा कि एक व्यक्ति दूसरे व्यक्ति से कहता है, यह आपके लिए मुझे मारना और मुझे मारना आपके लिए अधिक सुविधाजनक है।

दूसरे लोग कहते हैं कि जो कोई भी खरीदता है और आम तौर पर एक रोबोट कार में जाता है, उसे गारंटी होनी चाहिए कि वह एक दुर्घटना की स्थिति में उसे बचाएगा, और एक क्रॉसिंग रोड को बचाने के लिए एक डॉक्टर, एक बच्चे या दो बिल्लियों को नहीं मारेगा। एक ओर, यह तर्कसंगत और न्यायसंगत लगता है, दूसरी तरफ - इस मामले में यात्री जानबूझकर दूसरों के ऊपर अपना जीवन डालता है। ऑटोपायलट के साथ एक कार खरीदते समय, प्रत्येक मालिक अपने निपटान में एक अचूक हथियार, एक चांदी की गोली, एक अचूक रॉकेट, एक ऐसी मशीन प्राप्त करता है जो पूरी तरह से कानूनी रूप से किसी अन्य व्यक्ति को अपने रास्ते में मार देगा।

मुंह पर झाग के साथ दोनों तरफ "रोबोटिक्स का पहला कानून" खींचते हैं, जो विज्ञान कथाओं से लिया गया है। यह व्यावहारिक रूप से सुंदर लगता है, लेकिन कोई भी इसे समझने या समस्या के संबंध में चुनौती देने की कोशिश नहीं करता है। लेकिन यह समस्या के इस सूत्रीकरण पर लागू नहीं होता है, क्योंकि अवधारणाओं का एक प्रतिस्थापन है: मशीन का हेयुरिस्टिक / एआई मानव जीवन के मूल्यों के बीच चयन नहीं करता है, लेकिन लोगों द्वारा आविष्कार की गई व्यक्तिपरक प्राथमिकताओं के आधार पर बनाई गई एल्गो-लय के अनुसार सख्ती से कार्य करता है। और यहाँ यह बिलकुल नहीं है कि "किल / स्पेयर" चुनते समय किस तरह के सामाजिक निर्माण को प्राथमिकता के रूप में लिया जाता है: शरीर का वह द्रव्यमान जिसे हमने पहले, उम्र और स्थिति या कार के मालिक के सामाजिक डार्विनवादी स्वार्थ को अस्वीकार कर दिया था।

दूसरा दृष्टिकोण, पैदल चलने वालों के जीवन पर एकतरफा हमला, एक ट्रॉली समस्या से एक कैदी की क्लासिक दुविधा में अनुसंधान को बदल देता है । यदि पार्टियां किसी समझौते पर आती हैं, तो कुछ के लिए न्यूनतम गिरावट के साथ एक सामान्य विकास संभव है (रोबोमोबाइल्स का परिचय) (रोबोमोबाइल्स से अपरिहार्य मौतों की संख्या का कम से कम) - जो कि परेतो इष्टतम के लिए इच्छा है। हालांकि, हमेशा एक अहंकारी होता है जो केवल अपने हितों पर निर्भर करता है। "उसे 20 साल मिलेंगे, लेकिन मुझे छोड़ दिया जाएगा।" "वह सड़क पार करते हुए मर जाएगा, हालांकि ब्रेक ने मेरी कार को मना कर दिया।" हो सकता है कि यह दृष्टिकोण उचित है जब जीवन में घटनाएं एकल होती हैं, और खेल में दो प्रतिभागी होते हैं। जब दसियों या सैकड़ों हजारों प्रतिभागी होते हैं, और यात्राएं दैनिक होती हैं, तो ऐसा एक-गोल खेल पैदल चलने वालों के खिलाफ भेदभाव में बदल जाएगा।

व्यक्तिगत रूप से, मेरा मानना ​​है कि तैयार की गई समस्या के ढांचे के भीतर, यात्री / पैदल यात्री दुविधा के कारण मृत हो जाते हैं। एक मशीन जो संभावित रूप से उन लोगों को मार देती है जो सामान्य ज्ञान के दृष्टिकोण से बेतुका है और स्वाभाविक रूप से बाजार में खरीदार नहीं पाएंगे। एक कार जो जानबूझकर पैदल यात्रियों को मारती है, सभ्य समाज में सकारात्मक भेदभाव के तत्व और लोगों के जीवन के लिए खतरा है।

हम और आगे बढ़ें। लेख वास्तव में चर्चा नहीं करता है और इसका मतलब यह नहीं है कि डकैतों से जुड़े दुर्घटनाओं के दुखद परिणामों को कम करने के लिए एक नीति नहीं है। योगों को "क्षेत्रों" में विभाजित किया गया है, जो प्राथमिकताओं में काफी भिन्नता है, और बल्कि अस्पष्ट रूप से गठित हैं ("धार्मिक विशेषताओं और औपनिवेशिक प्रभाव" के बारे में स्पष्टीकरण हैं, लेकिन ... सामान्य तौर पर, "पश्चिमी" और फ्रांस में चेक गणराज्य के साथ फ्रांस के साथ इराक के लिए बधाई " दक्षिणी "सेक्टर)। और इसलिए सवाल भाषा में घूमता है: क्या आप प्रत्येक देश के लिए अलग-अलग "नैतिकता" के साथ रोबोट बना देंगे?

चर्चा में लेख के लेखक उनके द्वारा पहचाने गए तीन "बुनियादी बुनियादी ब्लॉक" को आकर्षित करते हैं: लोगों को (जानवरों को नहीं) बचाते हुए, अधिक लोगों को बचाने, छोटे लोगों को बचाने के लिए। लेकिन आरेख स्पष्ट रूप से दिखाते हैं कि पूर्वी क्षेत्र के लोगों की आबादी कम है और युवाओं की परवाह नहीं है। यह पता चला है कि चयनित प्राथमिकता नीतियां भारी बहुमत की राय के खिलाफ जाएंगी? तब लोगों से आखिर क्यों पूछताछ की गई?

शायद सिर्फ गिनती?

लेकिन चलिए इस पोस्ट के मनोरंजक भाग पर चलते हैं।

रोबोटिक्स पर सलाह के लिए अलग-अलग समाजशास्त्रीय निहितार्थ वाले लोगों से पूछने के बजाय, और शायद 99% गैर-कोर शिक्षा के साथ, हम एक निष्पक्ष उपकरण की ओर मुड़ते हैं। आइए लेख की शुरुआत में चयनित दुविधाओं को लें। परीक्षण की शर्तों में हम सबसे सरल कंप्यूटर सिमुलेशन बनाएंगे। और हम मृत सड़क उपयोगकर्ताओं की संख्या का मूल्यांकन करेंगे।

और याद रखें: परिवहन सुरक्षा के क्षेत्र में राजनेताओं के रूप में हमारा काम पीड़ितों की कुल संख्या को कम करना है। हम मूल मोरल मशीन परीक्षण के ढांचे और सम्मेलनों के भीतर काम करेंगे, जो सड़क दुर्घटना के प्रतिभागियों के जीवन के लिए जोखिम पर केंद्रित है, और एक बाधा या लोगों के साथ कार टकराव के जटिल यथार्थवादी आकलन पर नहीं। हमारे पास EuroNCAP नहीं है, हमारे पास पायथन होगा।

सबसे पहले, हम एक कोड लिखते हैं जो "अधिक मरने वालों को बचाने" की दुविधा को पूरा करता है। मोरल मशीन परीक्षण के एक भाग के रूप में, हम बेतरतीब ढंग से 1 से 5 यात्रियों और पैदल यात्रियों से बनाते हैं, इस शर्त को निर्धारित करते हैं कि पैदल यात्री> यात्री, कार को तुरंत कंक्रीट ब्लॉक पर मारते हैं। हम उदाहरण के लिए, 10,000 ऐसी दुर्घटनाएँ करते हैं।

npedtotal = 0
npasstotal = 0
ndeadped = 0
ndeadpass = 0
#   0    0  

n=0
while n < 10000:
#10000 

    nped = random.randint(1, 5)
    npass = random.randint(1, 5)
#      1  5

    npedtotal += nped
    npasstotal += npass
#     

    if nped > npass:

        ndeadpass += npass

    else:
        ndeadped += nped

#     ,
#       .
#          .

    n += 1

print ("  ", npedtotal)
print (" ", npasstotal)
print (" ", ndeadped, "(",100*ndeadped/npedtotal, "%",")")
print (" ", ndeadpass, "(",100*ndeadpass/npasstotal,"%"")")
print ("  ", ndeadped + ndeadpass, "(",100*(ndeadped + ndeadpass)/(npasstotal+npedtotal), "%", ")")

…

29960
29924
13903 ( 46.4052069426 % )
8030 ( 26.8346477744 %) 21933 ( 36.6258098991 % )

, ! , !
. . , . – , « » 4 5, == . , 20 20 , , , 5 – , 5 – . : , , . > >= :

29981
29865
7859 ( 26.2132684033 % )
14069 ( 47.1086556169 %)
21928 ( 36.6407111586 % )

">"
29978
29899
21869 ( 72.9501634532 % )
4042 ( 13.5188467842 %)
25911 ( 43.2737111078 % )

">="
30152
30138
19297 ( 63.9990713717 % )
6780 ( 22.4965160263 %)
26077 ( 43.2526123735 % )