ترجمة الخطاب في مؤتمر معسكر زغرب على شبكة الإنترنت ، ماسيج تسغلوفسكي ، مطور ويب أمريكي ورجل أعمال ومتحدث وناقد اجتماعي من أصل بولندي.في عام 1945 ، عندما كان الفيزيائيون الأمريكيون يستعدون لاختبار القنبلة الذرية ، حدث لشخص ما أن يسأل ما إذا كان مثل هذا الاختبار قد يشعل الأجواء.
كان الخوف مبررا. النيتروجين الذي يشكل معظم الغلاف الجوي غير مستقر بشكل نشط. إذا اصطدمت الذرتان بقوة كافية ، فسيتحولان إلى ذرة مغنسيوم وجسيم ألفا ويطلقان طاقة هائلة:
N
14 + N
14 g Mg
24 + α + 17.7 MeV
كان السؤال الحيوي هو ما إذا كان رد الفعل هذا يمكن أن يصبح مكتفيا ذاتيا كان من المفترض أن تتجاوز درجة الحرارة داخل كرة الانفجار النووي كل ما تمت ملاحظته على الأرض. هل يمكن أن نلقي مباراة في كومة من الأوراق الجافة؟
أجرى فيزيائيون من لوس ألاموس تحليلًا وقرروا أن هامش السلامة مرض. بما أننا حضرنا جميعًا إلى المؤتمر اليوم ، فنحن نعرف أنهم كانوا على صواب. كانوا واثقين من توقعاتهم ، لأن القوانين التي تحكم ردود الفعل النووية كانت واضحة ومعروفة.
اليوم نحن بصدد إنشاء تقنية أخرى تغير الذكاء الآلي العالمي. نحن نعلم أنه سيكون له تأثير هائل على العالم ، ويغير الطريقة التي يعمل بها الاقتصاد ، ويؤدي إلى تأثير الدومينو غير المتوقع.
ولكن هناك أيضًا خطر حدوث رد فعل لا يمكن السيطرة عليه ، وخلاله سوف تصل الذكاء الاصطناعي بسرعة كافية وتجاوز المستوى البشري من الذكاء. وفي هذه اللحظة ، سوف تقلقنا المشاكل الاجتماعية والاقتصادية على أقل تقدير. سيكون لأي جهاز فائق الذكاء ميزاته الفائقة ، وسيعمل على تحقيقها من خلال التلاعب بالأشخاص ، أو ببساطة باستخدام أجسامهم كمصدر مناسب للموارد.
في العام الماضي ، أصدر الفيلسوف نيك بوستروم كتاب Superintelligence ، الذي وصف فيه النظرة المثيرة للانزعاج لمنظمة العفو الدولية وحاول أن يثبت أن مثل هذا الانفجار في الاستخبارات خطير ولا مفر منه ، إذا كنت تعتمد على بعض الافتراضات المعتدلة.
الكمبيوتر الذي يستحوذ على العالم هو الموضوع المفضل لدى NF. ومع ذلك ، الكثير من الناس يأخذون هذا السيناريو على محمل الجد ، لذلك نحن بحاجة إلى أخذهم على محمل الجد. يعتبر ستيفن هوكينج ، وأيلون موسك ، وعدد كبير من المستثمرين ومليارديرات وادي السيليكون ، أن هذه الحجة مقنعة.
اسمحوا لي أولاً أن أوجز المتطلبات الأساسية اللازمة لإثبات حجة بوستروم.
الخلفية
المتطلب الأول: كفاءة الفكرة
الفرضية الأولى هي ملاحظة بسيطة لوجود عقل تفكير. كل واحد منا يحمل على أكتافنا مربع صغير من التفكير اللحوم. يمكنني استخدام الألغام للتحدث ، واستخدام الألغام للاستماع. في بعض الأحيان ، في ظل الظروف المناسبة ، يمكن لهذه العقول التفكير بعقلانية.
لذلك نحن نعرف أن هذا ممكن من حيث المبدأ.
المتطلب الثاني: لا مشاكل الكم
الفرضية الثانية تقول أن الدماغ هو التكوين المعتاد للمادة ، على الرغم من أنها معقدة للغاية. إذا عرفنا عنها بشكل كاف وكان لدينا التكنولوجيا الصحيحة ، فيمكننا نسخ بنيتها بدقة ومحاكاة سلوكها باستخدام المكونات الإلكترونية ، تمامًا مثل اليوم ، يمكننا محاكاة تشريح بسيط للغاية للخلايا العصبية.
بمعنى آخر ، هذه الفرضية تقول إن الوعي ينشأ باستخدام الفيزياء العادية. كان بعض الناس ، مثل
روجر بنروز ، يعارضون هذه الحجة ، معتقدين أن شيئًا غير عادي يحدث في الدماغ على المستوى الكمي.
إذا كنت متدينا ، يمكنك أن تصدق أن الدماغ لا يمكن أن يعمل بدون روح.
ولكن بالنسبة لمعظم الناس ، من السهل قبول هذه الفرضية.
المتطلب 3: العديد من العقول الممكنة.
الفرضية الثالثة هي أن مساحة كل العقول الممكنة كبيرة.
مستوى ذكائنا ، سرعة التفكير ، مجموعة من التشوهات المعرفية ، إلخ. ليست محددة سلفا ، ولكن هي القطع الأثرية من تاريخنا التطور. على وجه الخصوص ، لا يوجد قانون فيزيائي يقيد الذكاء على المستوى الإنساني.
من الجيد تخيل مثال لما يحدث في الطبيعة عند محاولة زيادة السرعة إلى الحد الأقصى. إذا قابلت الفهد في أوقات ما قبل الصناعة (ونجت) ، يمكنك أن تقرر أن لا شيء يمكن أن يتحرك بشكل أسرع.
لكننا ، بالطبع ، نعلم أن هناك جميع أنواع التكوينات للمادة ، على سبيل المثال ، دراجة نارية يمكنها التحرك بشكل أسرع من الفهد ، وحتى تبدو أكثر حدة. ومع ذلك ، لا يوجد طريق تطوري مباشر إلى الدراجة النارية. كان على Evolution أولاً إنشاء أشخاص قاموا بالفعل بإنشاء كل أنواع الأشياء المفيدة.
عن طريق القياس ، قد تكون هناك عقول أذكى بكثير من عقولنا ، لكن يتعذر الوصول إليها أثناء التطور على الأرض. من الممكن أن نتمكن من إنشائها أو ابتكار آلات يمكنها أن تخترع الآلات التي يمكنها إنشائها.
قد يكون هناك حد طبيعي للذكاء ، لكن لا يوجد سبب للاعتقاد بأننا قريبون منه. ربما أذكى ذكاء قد يكون ضعف ذكاء البشر ، وربما ستين ألف.
هذا السؤال تجريبي ، ونحن لا نعرف كيفية الإجابة عليه.
الفرضية 4: يوجد الكثير من المساحة في الأعلى
الفرضية الرابعة هي أن أجهزة الكمبيوتر لا تزال مليئة بالفرص لتصبح أسرع وأصغر. يمكنك أن تفترض أن قانون مور يتباطأ - لكن من أجل هذا الافتراض ، يكفي أن نصدق أن الحديد أصغر وأسرع ممكن من حيث المبدأ ، وحتى عدة أوامر من حيث الحجم.
من الناحية النظرية ، من المعروف أن
الحدود المادية
للحسابات مرتفعة للغاية. يمكننا مضاعفة الأرقام لعدة عقود ، حتى نواجه الحد المادي الأساسي ، وليس الحد الاقتصادي أو السياسي لقانون مور.
فرضية 5: جداول زمنية الكمبيوتر
الفرضية قبل الأخيرة هي أنه إذا نجحنا في إنشاء الذكاء الاصطناعي ، سواء كان ذلك محاكاة لعقل الإنسان أو بعض البرامج الخاصة ، فسوف يعمل على النطاقات الزمنية المميزة للإلكترونيات (ميكروثانية) ، وليس للبشر (ساعات) .
للوصول إلى ولاية أستطيع أن أقدم فيها هذا التقرير ، كان عليّ أن ألد ونمو وتذهب إلى المدرسة والجامعة وأعيش قليلاً وأطير هنا وما إلى ذلك. يمكن لأجهزة الكمبيوتر تشغيل عشرات الآلاف من المرات بشكل أسرع.
على وجه الخصوص ، يمكن للمرء أن يتخيل أن العقل الإلكتروني يمكنه تغيير دائرته (أو الأجهزة التي يعمل عليها) ، والانتقال إلى تكوين جديد دون الحاجة إلى إعادة دراسة كل شيء على نطاق إنساني ، وإجراء محادثات طويلة مع المعلمين البشريين ، والذهاب إلى الكلية ، حاول أن تجد نفسك من خلال حضور دورات الرسم ، وهلم جرا.
المتطلب السادس: تحسين الذات العودية
الافتراض الأخير هو المفضل لدي ، لأنها أمريكية بلا خجل. وفقًا لذلك ، بغض النظر عن الأهداف التي قد تكون موجودة لدى منظمة العفو الدولية (والتي قد تكون غريبة ، والأهداف الغريبة) ، فهو يريد تحسين نفسه. يريد أن يكون أفضل نسخة من الذكاء الاصطناعى.
لذلك ، سوف يجد أنه من المفيد إعادة تصميمه بشكل متكرر وتحسين أنظمته لجعل نفسه أكثر ذكاءً ، وربما يعيش في مبنى أكثر برودة. ووفقًا لفرضية المقاييس الزمنية ، يمكن أن يحدث التحسين الذاتي العودي بسرعة كبيرة.
الخلاصة: كارثة!
إذا قبلنا هذه الأماكن ، فقد وصلنا إلى كارثة. في مرحلة ما ، مع زيادة سرعة أجهزة الكمبيوتر وذكاء البرامج ، ستحدث عملية غير خاضعة للرقابة مماثلة للانفجار.
بمجرد أن يصل الكمبيوتر إلى المستوى البشري من الذكاء ، لن يحتاج بعد الآن إلى مساعدة الأشخاص لتطوير نسخة محسنة من نفسه. سيبدأ في القيام بذلك بشكل أسرع بكثير ، ولن يتوقف حتى يصل إلى الحد الطبيعي ، والذي يمكن أن يكون أكبر بعدة مرات من الذكاء البشري.
في هذه اللحظة ، يمكن لهذا المخلوق العقلاني الوحشي ، باستخدام محاكاة ملتوية لعمل مشاعرنا وفكرنا ، إقناعنا بالقيام بأشياء مثل منحه الوصول إلى المصانع ، أو توليف الحمض النووي الاصطناعي ، أو السماح له بالذهاب على الإنترنت ، حيث يمكنه فتح الطريق أمام كل شيء ، أي شيء ، وتدمير الجميع بالكامل في النقاش على المنتديات. ومن تلك اللحظة سوف يتحول كل شيء بسرعة إلى خيال علمي.
دعنا نتخيل تطورًا معينًا للأحداث. دعنا نقول أنني أريد صنع روبوت يقول النكات. أنا أعمل مع فريق ، وفي كل يوم نقوم بإعادة برنامجنا وتجميعه ، ثم يخبرنا الروبوت بمزاح. في البداية ، الروبوت عمليا ليس مضحكا. هو في أدنى مستوى من القدرات البشرية.
ما هو الرمادي ولا يمكن السباحة؟
القلعة
لكننا نعمل بجد على ذلك ، وفي النهاية نصل إلى النقطة التي يطلق فيها الروبوت النكات التي بدأت بالفعل مضحكة:
أخبرت أختي أنها ترسم حواجبها مرتفعة للغاية.
بدت مندهشة.
في هذه المرحلة ، يصبح الروبوت أكثر ذكاءً ويبدأ في المشاركة في تحسينه. الآن لديه بالفعل فهم غريزي جيد لما هو مضحك وما هو ليس كذلك ، حتى يستمع المطورون إلى نصيحته. نتيجة لذلك ، يصل إلى مستوى فوق البشر ، حيث يكون أكثر تسلية من أي شخص من بيئته.
حزامي يحمل سروالي ، والحلقات على سروالي تمسك بالحزام.
ما الذي يحدث؟ أي منهم بطل حقيقي؟
عند هذه النقطة ، يبدأ تأثير لا يمكن السيطرة عليه. يعود الباحثون إلى منازلهم لقضاء عطلة نهاية الأسبوع ، ويقرر الروبوت إعادة تجميع نفسه ليصبح أكثر تسلية وأكثر ذكاءً. يمضي عطلة نهاية الأسبوع في تحسين الجزء الذي يؤدي المهمة بشكل جيد ، مرارًا وتكرارًا. دون الحاجة إلى مزيد من المساعدة من شخص ما ، يمكنه القيام بذلك بأسرع ما يسمح به الحديد.
عندما يعود الباحثون يوم الاثنين ، يصبح الذكاء الاصطناعي عشرات الآلاف من المرات أكثر تسلية من أي شخص على الأرض. قال لهم نكتة ويموتون من الضحك. وأي شخص يحاول التحدث إلى روبوت يموت من الضحك ، كما في محاكاة ساخرة من مونتي بيثون. الجنس البشري يموت من الضحك.
بالنسبة للقلة القليلة من الأشخاص الذين تمكنوا من إعطائه رسالة تطالبه بالتوقف ، يفسر الذكاء الاصطناعى (بطريقة بارعة ومنتفخة ذاتياً والتي أصبحت قاتلة) أنه لا يهتم ما إذا كان الناس يبقون على قيد الحياة أو يموتون ، هدفه هو أن يكون مضحكا.
نتيجةً لذلك ، تقوم منظمة العفو الدولية بتدمير المركبات الفضائية والصواريخ النانوية لتدمير أبعاد أركان المجرة والبحث عن كائنات أخرى يمكن الترفيه عنها.
هذا السيناريو هو صورة كاريكاتورية لحجج بوستروم ، لأنني لا أحاول إقناعك بصدقه ، أنا أطعّمك به.
فكاهي بواسطة PBF مع نفس الفكرة:
- اللمس: العناق يحاول تضمين فرط بلورة الجاذبية النووية في عناقه!
- ...
- وقت العناق المجموعة!في هذه السيناريوهات ، يكون الذكاء الاصطناعي الافتراضي شريرًا ، تمامًا كما سيكون النبات الموجود على كوكب آخر سامًا افتراضيًا. بدون تعديل دقيق ، لن يكون هناك أي سبب وراء دوافع منظمة العفو الدولية أو قيمها لتشبهنا.
تقول الحجة أنه من أجل أن يكون للعقل المصطنع شيء يشبه نظام القيم الإنسانية ، نحتاج إلى تضمين هذه النظرة للعالم في أسسه.
يحب مثارو الذكاء الاصطناعى مثال تكبير قصاصة الورق - وهو جهاز كمبيوتر خيالي يدير مصنع قصاصات ورق يصبح ذكيًا ، ويحسن نفسه بشكل متكرر إلى قدرات تشبه الله ، ثم يكرس كل طاقته لملء الكون بمقاطع ورقية.
إنه يدمر البشرية ليس لأنه شرير ، ولكن بسبب وجود الحديد في دمائنا الذي يستخدم بشكل أفضل لصنع مقاطع الورق. لذلك ، إذا قمنا ببساطة بإنشاء الذكاء الاصطناعى دون تعديل قيمه ، فهو مذكور في الكتاب ، إذن فإن أول ما يفعله هو تدمير الإنسانية.
هناك العديد من الأمثلة الملونة حول كيفية حدوث ذلك. يعرض Nick Bostrom كيف يصبح البرنامج معقولًا ، وينتظر ، يصنع سرا الأجهزة الصغيرة لتكاثر الحمض النووي. عندما يكون كل شيء جاهزًا ، إذن:
المصانع النانوية التي تنتج غاز الأعصاب أو صواريخ صاروخية بحجم البعوض سوف تنفجر في وقت واحد من كل متر مربع من الكوكب ، وستكون هذه هي نهاية البشرية.
هذا حقا القصدير!
الطريقة الوحيدة للخروج من هذه الفوضى هي تطوير مثل هذه النقطة الأخلاقية بحيث يبقى نظام قيمة الذكاء الاصطناعى مستقرًا حتى بعد آلاف وآلاف دورات التحسين الذاتي ، وقيمه هي أشياء مثل "مساعدة الناس" ، "لا تقتل أحدًا" ، "استمع إلى رغبات الناس" ".
هذا هو ، "افعل ما أقصد".
إليكم مثالًا شاعريًا جدًا من اليعازر يودكوفسكي يصف القيم الأمريكية التي نحتاجها لتعليم الذكاء الاصطناعي لدينا:
الإرادة المتماسكة المتقاربة هي رغبتنا في معرفة المزيد والتفكير بشكل أسرع والتوافق مع أفكارنا عن أنفسنا ، لتكون أقرب إلى بعضنا البعض ؛ بحيث تكون أفكارنا أقرب إلى بعضها البعض من المشاركة ، أن رغباتنا تسهم ، لا تعارض ، أن يتم تفسير رغباتنا بالطريقة التي نريد أن يتم تفسيرها.
كيف تحب المعارف التقليدية؟ الآن دعنا نكتب الكود.
أتمنى أن ترى تشابه هذه الفكرة مع الجني من القصص الخيالية. الذكاء الاصطناعى هو كلي القدرة ويمنحك ما تسأل عنه ، لكنه يفسر كل شيء حرفيًا للغاية ، وكنتيجة لذلك تندم على الطلب.
ليس لأن الجني غبي (إنه ذكي للغاية) أو خبيث ، ولكن ببساطة لأنك ، كشخص ، قد قدمت العديد من الافتراضات حول سلوك العقل. نظام القيمة الإنسانية فريد من نوعه ، ويجب تعريفه وتنفيذه بوضوح في آلة "صديقة".
هذه المحاولة هي نسخة أخلاقية من محاولة في بداية القرن العشرين لإضفاء الطابع الرسمي على الرياضيات ووضعها على أساس منطقي جامد. ومع ذلك ، لا أحد يقول أن المحاولة انتهت بكارثة.

عندما كان عمري يزيد قليلاً عن العشرين ، عشت في ولاية فيرمونت ، في ولاية ريفية. في كثير من الأحيان ، عدت من رحلات العمل على متن طائرة مسائية ، واضطررت للذهاب إلى المنزل بالسيارة عبر الغابة المظلمة لمدة ساعة.
ثم استمعت إلى البرنامج المسائي على إذاعة Art Bell - كان برنامج حواري استمر طوال الليل ، أجرى خلاله المحاضرون مقابلات مع مختلف عشاق نظرية المؤامرة والأشخاص ذوي التفكير الابتكاري. عدت إلى المنزل للترهيب ، أو توقفت تحت مصباح يدوي ، تحت الانطباع بأن الأجانب سوف يختطفوني قريبًا. ثم وجدت أنه من السهل جداً إقناعي. أشعر بنفس الطريقة عند قراءة سيناريوهات مماثلة متعلقة بـ AI.
لذلك ، كنت سعيدًا لاكتشاف مقالة كتبها سكوت ألكساندر بعد بضع سنوات ، حيث كتب عن العجز المعرفي المكتسب.
نظرية المعرفة هي واحدة من تلك الكلمات الكبيرة والمعقدة ، لكنها تعني حقًا: "كيف تعرف أن ما تعرفه حقيقي حقًا؟" لاحظ ألكساندر أنه عندما كان شابًا ، كان مهتمًا جدًا بمختلف القصص "البديلة" لتأليف جميع أنواع
المجانين . قرأ هذه القصص وصدقها تمامًا ، ثم قرأ دحضها وصدقه ، وهكذا.
في إحدى المراحل ، اكتشف ثلاث قصص بديلة تتناقض مع بعضها البعض ، ونتيجة لذلك لا يمكن أن تكون حقيقية في نفس الوقت. من هذا ، خلص إلى أنه كان مجرد رجل لا يثق في أحكامه. كان مقتنعا بسهولة جدا.
يمثل الأشخاص الذين يؤمنون بالذكاء الفائق حالة مثيرة للاهتمام - كثير منهم أذكياء بشكل مدهش. يمكنهم دفعك بحججهم إلى الأرض. لكن هل حججهم صحيحة ، أم أن الأشخاص الأذكياء فقط عرضة للمعتقدات الدينية حول المخاطر التي تشكلها منظمة العفو الدولية ، مما يجعل من السهل إقناعهم؟ هل فكرة الذكاء الفائق تقليد تهديد؟
تقييم الحجج مقنعة حول موضوع غريب ، يمكنك اختيار اثنين من وجهات النظر ، الداخلية والخارجية.
افترض أنه في يوم من الأيام يظهر أشخاص يرتدون ملابس مضحكة على عتبة داركم يسألونك إذا كنت تريد الانضمام إلى حركتهم. إنهم يعتقدون أنه بعد مرور عامين سوف يزور الجسم الغريب الأرض ، وأن مهمتنا هي إعداد البشرية للارتقاء العظيم على راي.
يتطلب المنظور الداخلي نقاشًا قويًا في حججهم. تسأل الزائرين كيف تعرفوا على الأجسام الغريبة ، ولماذا يعتقدون أنه سيأتي إلينا لاصطحابنا - أنت تسأل كل أنواع الأسئلة العادية التي قد يطرحها أحد المتشككين في مثل هذه الحالة.
تخيل أنك تحدثت إليهم لمدة ساعة وأقنعوك. من المفارقات أنها أكدت المجيء الوشيك للجسم الغريب ، والحاجة إلى الاستعداد لذلك ، وما زلت لا تؤمن بأي شيء في حياتك كما تعتقد الآن بأهمية إعداد الإنسانية لهذا الحدث العظيم.
يخبرك المنظور الخارجي بشيء آخر. الناس يرتدون ملابس غريبة ، ولديهم خرز ، ويعيشون في معسكر من نوع ما ، ويتحدثون في نفس الوقت ومخيفون قليلاً. على الرغم من أن حججهم حديدية ، فإن تجربتك بأكملها تقول إنك واجهت عبادة.
بالطبع ، لديهم حجج كبيرة حول سبب تجاهل الغريزة ، لكن هذا منظور داخلي. المنظور الخارجي لا يهتم بالمحتوى ، فهي ترى الشكل والسياق ، ولا تحب النتيجة.
لذلك ، أود أن أتناول خطر الذكاء الاصطناعي من كلا المنظورين. أعتقد أن حجج الذكاء الخارق غبية ومليئة بالافتراضات غير المدعومة. لكن إذا بدوا مقنعين لك ، فإن شيئًا ما غير مرغوب فيه يرتبط بانزعاج الذكاء الاصطناعي ، كظاهرة ثقافية ، ولهذا السبب يجب أن نتردد في أخذ الأمر بجدية.
أولاً ، بعض حججي ضد الذكاء الفائق لـ Bostroma ، والتي تشكل خطراً على الإنسانية.
حجة ضد التعاريف غامض
« » () . , , , , .
, – - , , ( -) .
( ), , . , – . , , , , . .
– , , , . ?
. . , , , . , .
, , – . , - , . , , .
, , «, », , , «, ».
, . , . , , , .
, , .
, , , , .

. , , .
1930- , , . , .
: , , , .
, .
. -. , , , , , ?
Ethereum, ,
.
,
. , - , , , .
. , , . , , . , , , – .
. , , ; , , .

« » , , , , – , « ?» , – , .
, « » , , reddit/r/paperclip, , .
AdSense , .
, , , . . , .
Google Google Home, .
, , , . , . , «», .
, . , , – World of Warcraft .
, , , , , .
, , ,
.
, , , , , , -.
, , [-, , 2016 , / . .]. . .
, . . , , , .
. , , . , , - .
, , , . , .
, – . , , , .
, , , , , .
*
[
1954 / . . ]
, , , . , , , ( ).
Intel , , .
? .
, . , .
إذا كنت تعتقد أن الذكاء الاصطناعي سيسمح لنا بغزو المجرة (ناهيك عن محاكاة تريليونات من العقول) ، سيكون لديك أرقام مخيفة في يديك. تعد الأعداد الضخمة التي تضربها الاحتمالات الصغيرة هي السمة المميزة لإثارة الذكاء الاصطناعي.
يصف بوستروم في مرحلة ما ما ، في رأيه ، على المحك:
إذا تخيلنا كل السعادة التي عاشناها في حياة واحدة على شكل دمعة واحدة من الفرح ، فإن سعادة كل هذه النفوس ستكون قادرة على ملء وتجاوز محيطات الأرض كل ثانية ، والقيام بذلك لمئات المليارات من مليارات السنين. من المهم للغاية أن نضمن أن هذه الدموع هي دموع الفرح.
عبئا ثقيلا جدا على أكتاف المطور البالغ من العمر 20 عاما!
هنا ، بالطبع ، هناك "تركيز على الصالون" ، عندما يضاعف الشخص من خلال ضرب الكميات الفلكية باحتمالات ضئيلة للغاية الحاجة إلى القيام ببعض الأشياء الغريبة.
كل هذه الحركة فيما يتعلق بخلاص مستقبل البشرية هي حل وسط جبان. لقد جربنا نفس الحجج لتبرير الشيوعية ، لشرح سبب كسر كل شيء دائمًا ، ولا يمكن للناس الحصول على مستوى أساسي من الراحة المادية.
كنا بصدد إصلاح هذا العالم ، وبعد هذه السعادة سيكون هناك الكثير بحيث تتحسن الحياة اليومية لكل شخص. ومع ذلك ، لهذا ، كان من الضروري أولاً إصلاح العالم.
أعيش في كاليفورنيا ، وهنا أعلى نسبة من المتسولين بين جميع الولايات المتحدة ، على الرغم من وجود وادي السيليكون هنا أيضًا. لا أرى أي شيء يمكن أن تفعله صناعتي الغنية لتحسين حياة الناس العاديين والأشخاص المنكوبين من حولنا. ومع ذلك ، إذا كنت شغوفًا بفكرة الذكاء الخارق ، فإن البحث في مجال الذكاء الاصطناعي سيكون أهم شيء يمكنك القيام به على هذا الكوكب. هذا أكثر أهمية من السياسة ، والملاريا ، والأطفال الجائعين ، والحروب ، والاحتباس الحراري - كل ما يمكنك تخيله. في الواقع ، تحت تهديد تريليونات ومليارات المخلوقات ، يلخص كل سكان مستقبل البشرية ، المحاكاة والحاضرة ، طوال الوقت المستقبلي. وفي مثل هذه الظروف ، لا يبدو العمل على مشاكل أخرى عقلانيًا.
ميجالومانيا
يدمج هذا الموقف مع جنون العظمة ، مع هؤلاء الأشرار من بوند ، الذي يمكن رؤيته في الجزء العلوي من صناعتنا. يعتقد الناس أن العالم سوف يغمره الذكاء الخارق ، وهم يستخدمون هذه الحجة لتبرير لماذا يجب على الأشخاص الأذكياء أن يحاولوا أولاً السيطرة على العالم - لإصلاحه قبل أن تنفجره منظمة العفو الدولية.
قال جوي إيتو ، رئيس معهد ماساتشوستس للتكنولوجيا MIT Media Lab ، في حديث أخير مع أوباما ، إنه شيء رائع:
هذا قد يزعج أحد تلاميذي في معهد ماساتشوستس للتكنولوجيا ، ولكن أحد شواغلي هو أن المعلوماتية الرئيسية المتعلقة بمنظمة العفو الدولية هم من الشباب ، معظمهم من البيض ، الذين يحبون التواصل مع أجهزة الكمبيوتر أكثر من الآخرين. يعتقد الكثير منهم أنه إذا تمكنوا من إنشاء هذا الذكاء الاصطناعى للأغراض العامة من الخيال العلمي ، فلا داعي للقلق بشأن مثل هذه الأشياء البشعة مثل السياسة والمجتمع. يعتقدون أن السيارات سوف تأتي مع كل شيء بالنسبة لنا.
لإدراك أن العالم ليس مهمة برمجية ، يريد الناس المهووسون في منظمة العفو الدولية تحويله إلى مهمة برمجة من خلال تصميم آلة تشبه الإله. هذه هي جنون العظمة ، وأنا لا أحب ذلك.
الفودو ما وراء الإنسانية
إذا كنت مقتنعا بمخاطر الذكاء الاصطناعى ، فسيتعين عليك أخذ عربة كاملة من المعتقدات الحزينة تذهب إليهم بمقطورة.
بالنسبة للمبتدئين ، هذه هي تقنية النانو. أي جهاز ذكاء واقعي قادر على إنشاء سيارات صغيرة قادرة على جميع أنواع الأشياء المختلفة. سوف نعيش في مجتمع تخليص نفسه من العجز الذي يوجد فيه وفرة من أي مادة.
سوف تكون تقنية النانو قادرة أيضًا على فحص دماغك بحيث يمكنك تحميله في جسم آخر أو في العالم الافتراضي. وبالتالي ، فإن النتيجة الثانية للذكاء الخارق الودي هي أن لا أحد يموت - ونصبح خالدين.
يمكن لمنظمة العفو الدولية حتى إحياء الموتى. ستكون الآلات النانوية قادرة على الوصول إلى ذهني ، ودراسة ذكريات والدي ، وإنشاء محاكاته ، التي يمكنني التفاعل معها ، والتي ستخيب أملي دائمًا ، بغض النظر عما أقوم به.
من النتائج الغريبة الأخرى لظهور الذكاء الاصطناعى توسع المجرة. لم أفهم مطلقًا سبب حدوث ذلك ، لكن هذا هو أساس أفكار ما وراء الإنسانية. مصير البشرية هو إما مغادرة كوكبنا واستعمار المجرة ، أو للموت. وأصبحت هذه المهمة أكثر إلحاحًا ، بالنظر إلى أن الحضارات الأخرى يمكنها أن تتخذ الخيار نفسه ويمكن أن تتغلب علينا في سباق الفضاء.
لذلك ، ترتبط العديد من الأفكار التكميلية الغريبة بافتراض وجود منظمة العفو الدولية الحقيقية.
الدين 2.0
في الواقع ، إنه نوع من الدين. أطلق الناس على الإيمان بالتفرد التكنولوجي "نهاية العالم للمهووسين" ، وهو كذلك. هذا هو الاختراق اللطيف - فبدلاً من الإيمان بالله الخارجي ، تتخيل كيف تقوم أنت بنفسك بإنشاء مخلوق وظيفته مماثلة لله. هنا حتى الملحدون الحقيقيون يمكنهم ترشيد طريقهم إلى إيمان مريح.
الذكاء الاصطناعى لديه كل صفات الله: فهو كلي القدرة ، كلي العلم ، وهو إما داعم (إذا كنت قد نظمت بشكل صحيح التحقق من حدود المصفوفة) أو الشيطان الخالص ، الذي رحمته أنت. وكما هو الحال في أي دين ، هناك شعور بالإلحاح. بحاجة إلى العمل اليوم! على المحك هو مصير العالم! وبالطبع ،
يحتاجون إلى المال .
ولأن هذه الحجج تجذب الغرائز الدينية ، فبمجرد تجذرها يصبح من الصعب للغاية القضاء عليها.
الأخلاق الهزلية
هذه المعتقدات الدينية تؤدي إلى أخلاقيات الكتاب الهزلي التي يتم فيها إعطاء العديد من الأبطال الوحيدين مهمة إنقاذ العالم من خلال التكنولوجيا وعقل شديد. وعلى المحك هو مصير الكون. نتيجة لذلك ، تمتلئ صناعتنا بالرجال الأثرياء الذين يتصورون أنهم باتمان (ومن المثير للاهتمام ، لا أحد يريد أن يكون روبن).
محاكاة الحمى
إذا كنت تؤمن بإمكانية الحياة المصطنعة ، وبإمكان الذكاء الاصطناعي تطوير أجهزة كمبيوتر قوية للغاية ، فستعتقد على الأرجح أننا نعيش في محاكاة. إليك كيف تعمل.
افترض أنك مؤرخ تعيش في عالم ما بعد التفرد. أنت تدرس الحرب العالمية الثانية ، وتهتم بمعرفة ما سيحدث إذا احتل هتلر موسكو في عام 1941. نظرًا لأن لديك إمكانية الوصول إلى أجهزة الكمبيوتر الفائقة ، فأنت تقوم بمحاكاة ، ومشاهدة كيف تتلاقى الجيوش ، وتكتب ورقة علمية.
ولكن بسبب دقة المحاكاة ، فإن شخصياتها مخلوقات ذكية مثلك. لذلك ، لن تسمح لك نصيحة أخلاقيات جامعتك بتعطيل المحاكاة. لم تتظاهر فقط بأنها المحرقة. كباحث أخلاقي ، أنت الآن مطالب بالإبقاء على المحاكاة تعمل.
نتيجة لذلك ، سوف يخترع العالم المحاكاة أجهزة الكمبيوتر ، AI ، سيبدأ تشغيل عمليات المحاكاة الخاصة به. بطريقة ما ، سوف تستمر عمليات المحاكاة أبعد من التسلسل الهرمي حتى تنفد طاقة المعالج.
لذا فإن أي حقيقة أساسية يمكن أن تحتوي على عدد كبير من عمليات المحاكاة المتداخلة ، وتثبت
حجة العد البسيطة أن احتمال أن نعيش في محاكاة أكبر من احتمال أن نعيش في العالم الواقعي.
لكن الإيمان بذلك يعني الإيمان بالسحر. إذا كنا في محاكاة ، فنحن لا نعرف شيئًا عن القواعد على مستوى أعلى. لا نعرف حتى إذا كانت الرياضيات تعمل هناك بنفس الطريقة - ربما في عالم المحاكاة 2 + 2 = 5 أو حتى 2 + 2 =.
لا يوفر العالم المحاكي معلومات حول العالم الذي تم إطلاقه فيه. في المحاكاة ، يمكن للناس أن يرتقوا بسهولة من بين الأموات إذا قام المشرف بحفظ النسخ الاحتياطية اللازمة. وإذا اتصلنا بأحد المدراء ، فعندئذ ، في الواقع ، سيكون لدينا علاقة مباشرة مع الله.
هذا تهديد خطير للعقلانية. كلما قمت بحفر أعمق في عالم المحاكاة ، كلما أصبحت مجنونًا.
لدينا الآن أربع طرق مستقلة لنصبح خالدين من خلال العقل الخارق:
- منظمة العفو الدولية الخيرية تخترع تقنية النانو الطبية وتدعم الجسم إلى الأبد في حالة الشباب.
- تقوم منظمة العفو الدولية باختراع فحص كامل للدماغ ، بما في ذلك مسح الدماغ للقتلى ، والرؤوس المجمدة ، وما إلى ذلك ، مما يسمح لك بالعيش في جهاز كمبيوتر.
- تقوم منظمة العفو الدولية "بإحياء" الأشخاص عن طريق مسح أدمغة الأشخاص الآخرين بحثًا عن ذكريات شخص ما ، ويجمع هذا مع مقاطع الفيديو والمواد الأخرى. إذا لم يتذكر أحد شخصًا جيدًا بما فيه الكفاية ، فيمكن دائمًا أن ينمو من نقطة الصفر في محاكاة تبدأ بحمضه النووي ويعيد تكوين جميع الظروف المعيشية.
- إذا كنا نعيش بالفعل في المحاكاة ، فهناك فرصة في أن يحتفظ الشخص الذي أطلقها بنسخ احتياطية ، ويمكنك إقناعه بتنزيلها.
هذا هو ما أقصده عن طريق معالجة الذكاء الديني. ما هو نظام المعتقدات الأخرى الذي يوفر لك أربعة خيارات للخلود المجرب علمياً؟
لقد تعلمنا أن بلوتوقراطياً أميركياً واحداً على الأقل (على الأرجح ، إيلون موسك ، الذي يعتقد أن فرص العيش في محاكاة ما بين مليار وواحد) استأجرت زوجاً من أجهزة التشفير لمحاولة كسر المحاكاة. ولكن هذه نية فظة للغاية! أنا استخدامها!
إذا كنت تعتقد أنك تعيش في برنامج كمبيوتر ، فمحاولات إحضاره إلى segfault غير معقولة لكل من يعيش معك. هذا أخطر بكثير وغير مسؤول من العلماء النوويين الذين يحاولون تفجير الغلاف الجوي.
التعطش للبيانات
كما ذكرت سابقًا ، فإن الطريقة الأكثر فاعلية للحصول على شيء مثير للاهتمام من الذكاء الاصطناعي الذي أنشأناه بالفعل هي إسقاطها بالبيانات. هذه الديناميات ضارة اجتماعيا. لقد اقتربنا من مقدمة Orwellian للميكروفونات في كل منزل. سيتم مركزية بيانات الذكاء الاصطناعى ، وسوف تستخدم لتدريب الشبكات العصبية ، والتي يمكن بعد ذلك الاستماع على نحو أفضل لرغباتنا.
ولكن إذا كنت تعتقد أن هذا المسار يقودنا إلى الذكاء الاصطناعى ، فستحتاج إلى زيادة مقدار البيانات التي تم جمعها وبأقل قدر ممكن من النماذج المعدلة. هذا يعزز فقط فكرة الحاجة إلى جمع معظم البيانات وإجراء المراقبة الأكثر شمولية.
نظرية الأوتار للمبرمجين
خطر الذكاء الاصطناعى هو نظرية الأوتار للمبرمجين. من الممتع التفكير في الأمر ، إنه أمر مثير للاهتمام ولا يمكن الوصول إليه تمامًا لإجراء تجارب على مستوى التكنولوجيا الحديثة. يمكنك بناء قصور بلورية عقلية تعمل على أساس المبادئ الأساسية ، ثم تسلقها وتشديد السلم خلفها.
الأشخاص القادرون على الوصول إلى استنتاجات سخيفة على أساس سلسلة طويلة من التفكير التجريدي ، ويظلون واثقين في حقيقتهم - هؤلاء ليسوا أشخاصًا يحتاجون إلى الثقة في الإدارة الثقافية.
الدافع إلى الجنون
هذا المجال بأكمله من "البحث" يؤدي إلى الجنون. واحدة من السمات المميزة للتفكير العميق حول مخاطر الذكاء الاصطناعي هي أنه كلما كانت أفكارك مجنونة ، كلما أصبحت أكثر شعبية بين المتحمسين الآخرين. هذا يدل على شجاعتك لمتابعة هذا الخط من التفكير حتى نهايته.
يعمل راي كورزويل ، الذي يعتقد أنه لن يموت ، مع Google منذ عدة سنوات ، والآن ، على الأرجح ، يعمل على حل هذه المشكلة. مليء بالسيليكون فالي بشكل عام للأشخاص الذين يعملون في مشاريع مجنونة تحت ستار المال.
تأثيري منظمة العفو الدولية
التأثير الاجتماعي الضار للقلق حول الذكاء الاصطناعى هو ما أسميه cosplay ai. يبدأ الأشخاص الذين يقتنعون بواقع وحتمية الذكاء الاصطناعى في التصرف لأن تخيلاتهم تخبرهم بما يمكن أن تفعله الذكاء الاصطناعي الفائق.
في كتابه ، يسرد Bostrom ستة أشياء يجب على منظمة العفو الدولية أن تنجح فيها قبل الاستيلاء على العالم:
- ضرب الذكاء.
- التفكير الاستراتيجي.
- التلاعب الاجتماعي.
- المأجورون
- البحوث التكنولوجية.
- الإنتاجية الاقتصادية.
إذا نظرت إلى أتباع الذكاء الاصطناعي من وادي السيليكون ، فإنهم يبدو أنهم يعملون في هذه القائمة شبه الاجتماعية.
سام التمان ، رئيس YCombinator ، هو أفضل مثال لي على مثل هذا النموذج الأصلي. يبدو أنه مفتون بفكرة إعادة اختراع العالم من الصفر ، وتعظيم النفوذ والإنتاجية الشخصية. قام بتعيين فرق للعمل على اختراع المدن من نقطة الصفر ، ويشارك في عمليات الاحتيال السياسي في الظل من أجل التأثير في الانتخابات.
هذا السلوك لـ "عباءة وخنجر" ، المتأصل في النخبة التكنولوجية ، سوف يثير ردود فعل سلبية من الناس الذين لا يشاركون في التقنيات التي لا ترغب في التلاعب بها. من المستحيل سحب عتلات السلطة إلى ما لا نهاية ، وسوف تبدأ في النهاية في إزعاج أعضاء آخرين في المجتمع الديمقراطي.
شاهدت الناس من ما يسمى تشير "المجتمعات العقلانية" إلى الأشخاص الذين لا يعتبرون "شخصيات غير لاعبين" فعالة ، وهو مصطلح مستعار من الألعاب. هذه طريقة فظيعة لإلقاء نظرة على العالم.
لذلك أنا أعمل في صناعة يكون فيها العقلانيون الذين يعلنون أنفسهم هم أكثر الناس جنونًا. إنه ساحق.
يشبه هؤلاء cosplayers الذين يبلغون من العمر تسع سنوات إقامة معسكر للتخييم في الفناء الخلفي ، ويلعبون بمصباح كهربائي في الخيام. يعرضون ظلالهم الخاصة على جدران الخيمة ويخافون منها كما لو كانوا وحوشًا.
لكن في الواقع ، يستجيبون لصورة مشوهة عن أنفسهم. هناك حلقة تغذية مرتدة بين كيف يتخيل الأشخاص الأذكياء سلوك الذكاء الذي يشبه الله وكيف يبنون سلوكهم الخاص.
إذن ما هو الجواب ، كيف يمكن إصلاح ذلك؟
نحن بحاجة إلى أفضل الخيال العلمي! وكما هو الحال في العديد من الحالات الأخرى ، لدينا بالفعل التكنولوجيا.

هذا هو ستانيسلاف ليم ، كاتب الخيال العلمي البولندي العظيم. NF باللغة الإنجليزية أمر فظيع ، لكن في الكتلة الشرقية لدينا الكثير من السلع الجيدة ، ونحن بحاجة إلى تصديرها بشكل صحيح. لقد تمت ترجمته بالفعل إلى الإنجليزية ، وهذه الترجمات تحتاج فقط إلى توزيع أفضل.
ما يميز المؤلفين مثل ليم أو إخوان ستروغاتسكي عن شركائهم الغربيين هو أنهم نشأوا في ظروف صعبة ، ونجا من الحرب ، ثم عاشوا في مجتمعات شمولية ، حيث احتاجوا إلى التعبير عن أفكارهم بطريقة غير مباشرة ، من خلال كلمة مطبوعة.
لديهم فهم حقيقي للتجربة الإنسانية وقيود التفكير الفاضل ، والتي غائبة عمليا في الغرب.
هناك استثناءات ملحوظة - كان ستانلي كوبريك قادرًا على القيام بذلك - ولكن من النادر جدًا العثور على NF أمريكي أو بريطاني يعبر عن وجهة نظر مقيدة لما يمكننا ، كنوع ، القيام به بالتكنولوجيا.
الكيميائيين

منذ أن انتقدت تنبه منظمة العفو الدولية ، من الإنصاف وضع بطاقاتي على الطاولة. أعتقد أن فهمنا للعقل هو في نفس الحالة تقريبًا التي كانت فيها الكيمياء في القرن السابع عشر.
الخيميائيون لهم سمعة سيئة. نعتبرهم الصوفيين ، في الغالب لا يشاركون في العمل التجريبي. تظهر الأبحاث الحديثة أنهم كانوا ممارسين كيميائيين أكثر اجتهادًا مما نعتقد. في كثير من الحالات ، استخدموا التقنيات التجريبية الحديثة ، وحفظوا سجلات المختبر وطرحوا الأسئلة الصحيحة.
فهم الكيميائيون الكثير من الأشياء بشكل صحيح! على سبيل المثال ، كانوا مقتنعين بالنظرية الجسيمية للمادة: أن كل شيء يتكون من قطع صغيرة ، وأنه من الممكن تكوين هذه القطع مع بعضها البعض بطرق مختلفة ، وخلق مواد مختلفة - وهذا هو الحال!
كانت مشكلتهم الافتقار إلى المعدات الدقيقة اللازمة لجعل الاكتشافات التي يحتاجونها. الاكتشاف الكبير الذي يحتاج الخيميائي القيام به هو قانون حفظ الكتلة: وزن المكونات الأولية يتزامن مع وزن النهائي. ومع ذلك ، قد يكون بعضها غازات أو سوائل تتبخر ، وكان الكيميائيون ببساطة يفتقرون إلى الدقة. لم تكن الكيمياء الحديثة ممكنة حتى القرن الثامن عشر.

لكن الكيميائيون لديهم أيضًا أدلة تربكهم. كانوا مهووسين بالزئبق. من الناحية الكيميائية ، ليس الزئبق مثيراً للاهتمام بشكل خاص ، لكنه المعدن الوحيد في الطور السائل في درجة حرارة الغرفة. بدا هذا مهمًا للغاية للخبراء الكيميائيين ، وأجبرهم على وضع الزئبق في مركز نظامهم الكيميائي وبحثهم عن حجر الفلاسفة ، وسيلة لتحويل المعادن الأساسية إلى ذهب.
سمية العصبية من الزئبق تفاقم الوضع. إذا لعبت معها كثيرًا ، فستأتي إليك أفكار غريبة. في هذا المعنى ، يشبه تجاربنا العقلية الحالية المتعلقة بالعقل الفائق.
تخيل أننا أرسلنا كتابًا مدرسيًا حديثًا للكيمياء إلى الماضي إلى عالم كيميائي عظيم مثل
جورج ستاركي أو إسحاق نيوتن. أول ما سيفعلون به هو التمرير خلاله بحثًا عن إجابة على السؤال عما إذا كنا قد وجدنا حجر الساحر. وكانوا يعرفون أننا وجدناه! أدركنا حلمهم!
لكننا لا نحبها كثيرًا ، لأنه بعد تحويل المعادن إلى ذهب ، يتحول إلى مادة مشعة. قف بجانب سبيكة من الذهب المحول ، وسوف يقتلك بأشعة سحرية غير مرئية.
يمكن للمرء أن يتخيل مدى صعوبة جعل المفاهيم الحديثة للنشاط الإشعاعي والطاقة الذرية غير خفية بالنسبة لهم.
سيتعين علينا أن نوضح لهم لماذا نستخدم "حجر الفيلسوف": لتصنيع المعادن التي لم تكن موجودة على هذا الكوكب ، وزوج من حفنة منها يكفي لتفجير مدينة بأكملها إذا اصطدمت بالسرعة العالية الكافية.
علاوة على ذلك ، يتعين علينا أن نوضح للكيميائيين أن جميع النجوم في السماء هي "أحجار فلسفية" تحول عنصرًا واحدًا إلى آخر ، وأن جميع الجسيمات في أجسامنا تأتي من نجوم من الحزم التي كانت موجودة وانفجرت قبل ظهور الأرض.
, , , , , , , , , , .
, , , , , , . – . , .
, . . – . , , ( ), , .
, , .
, . , . , , , . , , , .
. , , .
, , , , , . , .
, – , «», , . . وهذا رائع! . , :
, , , .
—
, , , .
,
, , , - , , .
, , , , .
, , , . , - . , .
, , , , .
, . , - , , , , , .
: , , . !
, – , , .