Eliezer Shlomo Yudkovsky es un especialista estadounidense en inteligencia artificial, que estudia los problemas de la singularidad tecnológica y aboga por la creación de AI amigable. En los círculos no académicos, es mejor conocido como el autor de la ficción de fanáticos de Harry Potter y Métodos de racionalidad bajo los auspicios de Less Wrong.Siempre me sorprendieron las personas inteligentes que creen en cosas que me parecen absurdas. Por ejemplo, el genetista y director de los Institutos Nacionales de Salud, Francis Collins, cree que Jesús resucitó de entre los muertos. El teórico de IA Eliezer Yudkowsky cree que los autos ... Pero mejor le daré la palabra yo mismo. En 2008, lo entrevisté en Bloggingheads.tv, pero no salió nada bueno porque decidí que era un seguidor del gurú de
la singularidad de
Ray Kurzweil . Pero Yudkovsky no siguió a nadie y nunca fue a la universidad. Es un teórico terco y original de la inteligencia, tanto humana como artificial. Su trabajo (por ejemplo, un ensayo que me ayudó a comprender, o me dio la ilusión de comprender, los teoremas de Bayes) exuda la arrogancia de los autodidactas, cuyos bordes afilados no fueron pulidos por una educación formal, pero esto es parte de su encanto. Incluso cuando te molesta, Yudkovsky es divertido, fresco, provocativo. Para obtener detalles de su biografía, consulte su sitio web personal o el sitio web del Instituto para el Estudio de la Inteligencia de Máquinas, en el que participó. Y lea esta entrevista con una bonificación en forma de comentarios de su esposa Briena.
Horgan : Cuando te preguntan en una fiesta qué haces, ¿qué respondes?
Yudkovsky : Depende del evento. “Soy especialista en teoría de la decisión” o “Cofundador del Instituto para el Estudio de la Inteligencia de Máquinas” o, si se trata de una fiesta de un tipo diferente, hablo de mis obras de arte.
X: ¿Cuál es tu película de IA favorita y por qué?
Yu: La IA en las películas es terriblemente estándar.
Ex Machina se ha acercado tanto a una excepción a esta regla como se puede esperar.
X: ¿La utilidad de la universidad está sobrevalorada?
Yu: Me sorprendería si se subestimara su utilidad, dados los requisitos sociales para terminarlo. Hasta donde sé, no hay razón para no creer en los economistas que creen que la universidad se ha convertido en un "producto prestigioso" y que los intentos de aumentar los préstamos estudiantiles simplemente han aumentado el costo de la universidad y la carga de la deuda estudiantil.
X: ¿Por qué escribes historias de ficción?
Yu: Si reformulas los cómics de
Wondermark : "Al principio traté de no hacerlo, pero no funcionó".
Además, la literatura seria transmite conocimiento, mientras que la ficción transmite experiencia. Si quieres entender las pruebas
de la fórmula de Bayes , puedo usar diagramas. Si quieres sentir cómo es usar la lógica de Bayes, necesito escribir una historia en la que el personaje lo haga.
X: ¿Eres religioso en algún sentido?
Yu: no. Cuando comete un error, debe evitar la tentación de salir en defensa, tratar de encontrar algún punto de vista desde el cual tenga al menos un poco de razón. Es mucho más sabio decir: "Oh", admitir que ni siquiera tenía un poco de razón, tragarse una píldora amarga entera y continuar viviendo. Así es como la humanidad debería relacionarse con la religión.
X: Si te convirtieras en el "Rey del mundo", ¿cuál estaría en la parte superior de tu lista de tareas pendientes?
Yu: Una vez escribí: “Una prueba para un libertario funciona así: imagina que has ganado poder; ¿Qué pensarás en primer lugar, sobre las leyes que aceptas o sobre las leyes que derogas? No soy 100% libertario, porque no toda mi lista de deseos se expresa en la abolición de las leyes y la relajación de las restricciones. Pero me imagino cómo trataría de hacer un mundo en el que una persona desempleada pudiera ofrecerle transporte al trabajo, obtener $ 5 por un viaje de 20 minutos, y no le sucedería nada malo por esto. No tendría que perder el seguro de desempleo, registrar un permiso comercial, perder el seguro médico, someterse a una auditoría, pedirle a un abogado que certifique que su trabajo cumple con las normas de la Administración de Protección Laboral, etc. Simplemente habría agregado $ 5.
Intentaría volver a un estado en el que contratar a un empleado sería tan simple como en el año 1900. Quizás ahora haya un sentido en ciertas medidas de seguridad, pero trataría de crear tal seguridad que no restrinja a una persona y no produzca documentos como resultado del simple regreso de una persona a la economía.
Intentaría hacer todo lo que los economistas inteligentes han estado gritando durante mucho tiempo, y que ningún estado hace. Reemplace los impuestos a la inversión y a la renta con impuestos al consumo y bienes inmuebles Reemplace el salario mínimo con impuestos de nómina negativos. Establezca una política para apuntar al PIB nominal para los bancos centrales y deje de apoyar estructuras "demasiado grandes para ir a la quiebra". Exigir que, durante el litigio de patentes, la parte perdedora pague honorarios legales [
siguiendo el llamado Regla inglesa - en contraste con las leyes estadounidenses, según las cuales cada una de las partes incumple sus propios costos - aprox. perev. ] y devolver la duración de los derechos de autor a 28 años. Eliminar obstáculos para construir casas. Copiar seguro de salud de Singapur. Gobierno electrónico en Estonia. Reemplazar comités y procesos complejos de toma de decisiones con individuos específicos que toman decisiones documentadas públicamente y son responsables de esto. Realice experimentos controlados con varias opciones para gestionar países y tenga en cuenta sus resultados. Puedo ir a la lista por horas.
Todo esto puede no importar en doscientos millones de años. Pero los activos nominales resultantes del auge económico pueden hacer un buen trabajo mientras trato de averiguar qué haremos con la inteligencia artificial. Lo obvio es el proyecto de Manhattan en algún lugar de la isla, con pagos basados en la competencia entre los fondos de cobertura más grandes, en los que las personas pueden explorar el problema de la inteligencia artificial generalizada sin publicar los resultados de su trabajo que automáticamente traerá el fin del mundo. Y a menos que aceptemos que tengo habilidades mágicas o un modo fundamentalmente irreversible, no veo cómo cualquier ley que aceptaría retrasaría el enfoque de la IA con bastante fuerza en un planeta donde las computadoras son ubicuas.
Pero todo esto todavía puede considerarse un experimento mental imposible y en la vida real la probabilidad de tal experimento es cero.
X: ¿Qué tiene de bueno el teorema de Bayes?
Yu: Bueno, por ejemplo, ella es muy profunda. Por lo tanto, tal pregunta es difícil de responder brevemente.
Podría responder que el teorema de Bayes puede llamarse la segunda ley de la termodinámica para la cognición. Si concluye que la probabilidad de alguna suposición es del 99%, ya sea la presencia de leche en el supermercado o la causa antropogénica del calentamiento global, entonces tiene una combinación de probabilidades a priori suficientemente buenas y evidencia bastante confiable. Este no es un requisito reglamentario, es una ley. Así como un automóvil no puede conducir sin disipar la entropía, no se puede obtener una buena imagen del mundo sin realizar un proceso en el que exista una estructura bayesiana en algún lugar del interior, incluso si las probabilidades no se utilizan directamente en el proceso.
Personalmente, creo que lo principal que Bayes puede ofrecernos es la existencia de reglas, leyes de hierro que determinan si la forma de pensar funciona para marcar la realidad. A los mormones se les dice que reconocen la verdad del Libro de Mormón a través de una sensación de ardor en el corazón. Acepte conservadoramente la
probabilidad a priori del Libro de Mormón como una en mil millones. Luego, evaluamos la probabilidad de que el Libro de Mormón no sea cierto, y alguien experimentó una sensación de ardor en el corazón después de que le dijeron que esto era de esperarse. Si comprende la fórmula de Bayes, nos daremos cuenta de inmediato de que la baja probabilidad de la prueba es inconmensurable con la baja probabilidad de la hipótesis que están tratando de probar con su ayuda. Ni siquiera necesita encontrar números específicos para entender que no convergen, como descubrió Philip Tetlock en su estudio de "
superpredictores ", a menudo conocían la fórmula de Bayes, pero rara vez daban números específicos. En cierto sentido, es más difícil engañarte si entiendes que hay algún tipo de matemática con la que puedes determinar con precisión la fuerza de la prueba y entender si es suficiente para superar la baja probabilidad de la hipótesis. No puedes inventar algo y creer en él, porque no funciona así.
X: ¿Te impresiona la hipótesis del cerebro bayesiano?
Yu: Creo que algunas personas que discuten sobre este tema hablan de cosas diferentes. Preguntar si el cerebro es un algoritmo bayesiano es como preguntar si el Honda Accord
funciona con un motor térmico Carnot . Si una persona dice: "Cada automóvil es un proceso termodinámico que requiere combustible y disipa el calor perdido", y otra persona escucha: "Si construye un diagrama de ciclo de Carnot y muestra su mecánica, debe aceptar que se ve como el interior de un Honda Accord "Entonces el acalorado debate es inevitable.
Algunas personas estarán muy felices cuando abran el motor de combustión interna, encuentren los cilindros y digan: "¡Estoy seguro de que convierten el calor en presión y ayudan a mover el automóvil hacia adelante!" Y tendrán razón, pero otras personas dirán: “Te estás enfocando en el único componente de un conjunto mucho más grande de piezas de automóviles. El convertidor catalítico también es muy importante, y no está en sus diagramas de ciclo de Carnot. Y a veces un aire acondicionado funciona para nosotros, funcionando exactamente lo contrario de cómo funciona el motor térmico según sus palabras ".
No creo que sea sorprendente si digo que las personas que te critican: "No estás familiarizado con los autos modernos; necesita un conjunto completo de métodos diferentes para construir un motor, como velas y convertidores catalíticos, y no solo sus procesos termodinámicos ”, pierden un nivel clave de abstracción.
Pero si desea saber si el cerebro puede considerarse literalmente bayesiano, y no un dispositivo que realiza un trabajo cognitivo, cuya naturaleza podemos entender usando métodos bayesianos, entonces puedo responder su pregunta: "No, por supuesto". Puede haber varios "cilindros" bayesianos en este "motor", pero mucho parecerá tan extraño como los cinturones de seguridad y el aire acondicionado. Pero estas adiciones no cambiarán el hecho de que para identificar correctamente una manzana basada en evidencia sensorial, se necesita hacer algo que pueda interpretarse como resultado de la inducción que pueda comprender el concepto de una manzana y se actualice con base en la evidencia que distingue las manzanas de las que no son manzanas.
X: ¿Es posible ser demasiado racional?
Yu: Puedes meterte en el llamado "El valle de la mala racionalidad". Si antes de eso fueron irracionales en varias cosas, equilibrándose entre sí, entonces, si se vuelven racionales, pueden volverse peores que antes. Cuanto más te vuelvas racional, peor puedes ser si eliges la dirección incorrecta para aplicar tus habilidades.
Pero no recomendaría cuidar demasiado esa oportunidad. En mi opinión, las personas que hablan de lo ingeniosamente irracional que pueden ser son idiotas. Es difícil encontrar una situación de vida realista, no exagerada, en la que puedas decidir ser irracional, y el resultado de esto aún es desconocido para ti. En la vida real, es mejor decirse la verdad y no ser inteligente.
Es posible que el representante ideal del pensamiento bayesiano sea incompatible con una vida interesante y entretenida. Pero claramente este no es un problema tan grande como nuestra tendencia a la autodestrucción.
X: ¿Cómo difiere su punto de vista sobre la singularidad del de Kurzweil?
Yu:• No creo que la ley de Moore pueda aplicarse a la IA. La IA es un problema de software.
• No creo que el primer intelecto sobrehumano aparezca de la fusión de máquinas con personas. Han pasado cien años desde la llegada de los automóviles, y ahora estamos tratando de hacer un exoesqueleto para un caballo, y un automóvil común aún es más rápido.
• No creo que la primera IA fuerte se base en algoritmos de neurobiología, así como los aviones no se basaron en pájaros.
• No creo que la fusión de nano, info y biotecnologías sea posible, inevitable, bien definida o necesaria.
• Creo que entre 1930 y 1970 hubo más cambios que entre 1970 y 2010.
• Creo que en los países desarrollados la productividad se estanca.
• Creo que la extrapolación de la ley de Moore al progreso tecnológico, que supuestamente predice todo lo que será más inteligente que los humanos después del advenimiento de la IA, es algo muy extraño. Una IA más inteligente arruina todos tus gráficos.
• Algunos analistas, como
Illka Tuomi , creen que la ley de Moore se rompió a principios de la década de 2000. No estoy seguro de que pueda objetar.
• El único umbral tecnológico que me interesa es donde la IA gana la capacidad de mejorar. No tenemos un horario para llegar a este umbral, y no está claro cuál será (aunque no debe exceder en gran medida el nivel de una persona, ya que una persona entiende la informática), por lo que su ofensiva no se puede predecir.
• No creo que el resultado de dicho progreso sea bueno por defecto. Creo que puede hacerse bien, pero será necesario trabajarlo seriamente, y las figuras clave no están interesadas en esto. Decirle a la gente que estamos en una trayectoria natural hacia grandes y maravillosos momentos será una mentira.
• Creo que "singularidad" se ha convertido en una palabra maleta con demasiados significados y detalles incompatibles dentro, así que dejé de usarla.
X: ¿Es probable que te conviertas en un cyborg ultrainteligente?
Yu: La ley de conjunción de probabilidades dice que P (A&B) <= P (A). La probabilidad de la ocurrencia simultánea de los eventos A y B es menor que la probabilidad de la ocurrencia de un evento A. En los experimentos en los que las personas creen que P (A&B)> P (A) para dos eventos A y B, aparece un "
error de conjunción ", por ejemplo, en 1982, expertos del Congreso Internacional de Predicciones asignaron una mayor probabilidad al evento "Rusia invade Polonia y se rompen las relaciones diplomáticas con la URSS" que la probabilidad de un evento separado "ruptura de las relaciones diplomáticas con la URSS", designado por otro grupo. Del mismo modo, otro grupo asignó una mayor probabilidad al evento "Un terremoto en California conduce a una inundación que lleva a miles de víctimas" que otro, la probabilidad del evento "En algún lugar de América del Norte hay una inundación con miles de víctimas". Aunque agregar detalles adicionales a la historia claramente lo hace menos probable, lo hace más creíble. Para mí, entendiendo este hecho, es como un "
puente de burros " para el futurismo serio: la diferencia entre el hecho de que sopesas cuidadosamente cada suposición individual y descubres si puedes apoyar esta aclaración independientemente de todas las demás y que simplemente compones una maravillosa y una historia vibrante
Esto es todo lo que digo en el contexto de responder la pregunta: “¿Por qué agregas a esto un refinamiento como un cyborg? No quiero ser un cyborg ". Es necesario tejer cuidadosamente detalles adicionales a las declaraciones.
X: ¿Tienes alguna posibilidad de inmortalidad?
Yu: ¿Literalmente? La inmortalidad literal es difícil de lograr. Para vivir mucho más que unos pocos billones de años, debe reconsiderar el destino esperado de un universo en expansión. Para vivir más tiempo que los
googolpleks , es necesario que cometamos un error sobre los fundamentos de las leyes físicas, y no solo en los detalles.
Incluso si parte del razonamiento inusual resulta ser cierto y nuestro Universo puede generar universos hijos, esto no nos dará la inmortalidad. Para vivir muchos más años de Googleplex y no repetirlo, necesitará computadoras con más elementos que Google, y esa máquina no encajará en la
esfera de Hubble .
Y googolpleks no es infinito. Parafraseando a Martin Gardner,
el número de Graham sigue siendo bastante pequeño, ya que la mayoría de los números finales son mucho más grandes que él. Si quieres quedarte impresionado, lee sobre
las jerarquías de rápido crecimiento , y el infinito aún será más largo.
Solo teorías antrópicas muy extrañas y aterradoras te permitirán vivir lo suficiente como para ver una parada en la máquina de Turing más antigua con cientos de estados.Sin embargo, no creo que desde un punto de vista emocional me gustaría vivir lo suficiente como para ver que la centésima cifra en el juego " busque a un trabajador castor". De alguna manera puedo empatizar conmigo mismo, que ha vivido dentro de cien años a partir de ahora. Ese futuro puedo empatizar conmigo mismo dentro de otros cien años. Y tal vez en algún lugar de esta secuencia habrá alguien que se enfrente a la perspectiva de dejar de existir, y puede estar muy triste por esto. Pero no estoy seguro de poder imaginar a esta persona. "Quiero vivir otro día. Mañana también querré vivir otro día. Por lo tanto, quiero vivir para siempre, demostrado por la inducción de enteros positivos números ". Incluso mi deseo durante mucho tiempo . De la vida en el universo es físicamente posible - es una abstracción generada por la inducción no puede imaginar sí a través de un billón de años.X:Describí la singularidad como una fantasía escapista y pseudocientífica, que nos distrae del cambio climático, las guerras, la desigualdad y otros problemas graves. ¿Por qué me equivoco?Yu: Porque estás tratando de predecir hechos empíricos a través del psicoanálisis. Nunca funcionaráSupongamos que vivimos para ver el advenimiento de la IA que es lo suficientemente inteligente como para que haga el mismo trabajo de mejorar la IA que las personas. Puede ajustarse, programar, inventar nuevos algoritmos. Para mejorar ¿Qué sucederá después: se volverá más inteligente, verá aún más oportunidades de mejora y alcanzará rápidamente un nivel muy alto? ¿O no pasará nada especial?Puede suceder que (A) la superación personal en un determinado delta haga que la IA sea lo suficientemente inteligente como para que pueda mirar hacia atrás y encontrar una nueva mejora potencial en el tamaño de k * delta, donde k> 1, y esto se repetirá muchas veces para conducir a una rápida superación nivel de superinteligencia. Lo que Irving John Goode llamó la "explosión de inteligencia". O (B), k es menos que la unidad o todas estas mejoras son pequeñas y no conducen a la aparición de superinteligencia, o la superinteligencia es generalmente imposible y, en lugar de una explosión, habrá un cero. ¿Qué es verdad, A o B? Si construyes una IA de cierto nivel e intenta hacerlo, algo sucederá en el mundo real empírico, y este evento estará determinado por hechos relacionados con el panorama de los algoritmos y las mejoras alcanzables.No se puede obtener información confiable sobre este evento a partir del psicoanálisis de personas. Es como tratar de arrancar un automóvil sin combustible, eso es lo que nos dice el teorema de Bayes. Algunas personas siempre serán escapistas, independientemente de los valores reales de las variables ocultas en informática, por lo que observar a algunos escapistas no se puede llamar prueba rigurosa.Esta es una idea errónea sobre la naturaleza de la racionalidad: que es racional creer que "los duendes en los armarios no existen" porque la fe en los duendes de un armario es estúpida, inmadura, obsoleta, y solo los idiotas creen en ella. El verdadero principio de la racionalidad es ir y revisar el armario. Entonces, en aquellos universos donde los duendes viven en armarios, creerás en los duendes, y en los universos donde los duendes no están en los armarios, no creerás en ellos.Es difícil, pero en principio es posible tratar de mirar por la puerta entreabierta y preguntar: "¿Qué sería diferente en el Universo si no fuera posible obtener un buen ingreso de las inversiones cognitivas, es decir, una IA que intenta mejorar no terminaría con una explosión, sino con un cero? ¿Qué otros hechos serían característicos de tal universo?Hay personas que afirman que la IA solo se puede elevar al nivel de una persona, ya que nosotros mismos somos personas y no podemos elevarla más. Me parece que si nuestro universo es así, entonces deberíamos observar una disminución en los ingresos de las inversiones en hardware y software para ajedrez informático que excede el nivel de una persona, lo que en realidad no sucede. Además, la selección natural no podría crear una persona en ese momento, y la madre de Einstein debería haber sido un físico increíble, etc. etc.
Hay personas que sostienen que cuanto más complejo es el algoritmo, más ajustes necesita y que nuestra inteligencia sirve como una especie de limitación para este proceso. Pero esto no está de acuerdo con los registros antropológicos de la inteligencia humana; Las inversiones en ajuste cerebral y mutaciones proporcionan capacidades cognitivas mejoradas. Lo sabemos porque la genética nos dice que las mutaciones con una pequeña respuesta estadística no se arreglan durante la evolución.Y los homínidos no necesitaban un cerebro exponencialmente más grande que los chimpancés. Y la cabeza de John von Neumann no era exponencialmente más grande que la cabeza de la persona promedio.Desde un punto de vista puramente práctico, los axones humanos transmiten información a una velocidad de un millón de veces menos que la velocidad de la luz, e incluso desde el punto de vista de la disipación de calor, cada operación sináptica consume un millón de veces más que la disipación térmica mínima de una operación binaria irreversible a 300 Kelvin, y así sucesivamente. ¿Por qué debemos suponer que el software del cerebro está más cerca del óptimo que el hierro? El privilegio de la inteligencia humana es que es el nivel más pequeño de inteligencia capaz de crear una computadora. Si fuera posible crear una computadora con un nivel inferior de inteligencia, lo discutiríamos en un nivel inferior.Pero este no es un argumento simple, y para una descripción detallada, envío personas a uno de mis viejos trabajos, "La microeconomía de la explosión de inteligencia", que, desafortunadamente, todavía sirve como la mejor fuente de información. Pero son precisamente esas preguntas las que deben formularse para utilizar la evidencia disponible para discutir si veremos una explosión de IA en la que una cierta mejora en las capacidades cognitivas invertidas en la auto-optimización dará un aumento en exceso de esta mejora.En cuanto a las oportunidades y sus precios:puede imaginar un mundo sin una explosión de inteligencia y sin superinteligencia. O un mundo donde los trucos que los expertos en aprendizaje automático utilizarán para controlar la súper IA son adecuados para controlar a las personas y al régimen sobrehumano. O un mundo donde funciona el internalismo moral, así que todas las IA bastante avanzadas son buenas. En tales mundos, nadie necesita todo el trabajo y las preocupaciones del Instituto para la Investigación del Aprendizaje Automático. Y se desperdiciaron varias mosquiteras, y era mejor entregarlas al fondo para combatir la malaria.También puede imaginar un mundo en el que lucha contra la malaria, lucha y mantiene las emisiones de carbono al nivel adecuado, o utiliza soluciones de geoingeniería para neutralizar los errores ya cometidos. Y todo esto resulta inútil, ya que la civilización no puede resolver el problema de la moralidad de la IA, y todos los niños salvados de la malaria con la ayuda de redes crecen solo para que las nanomáquinas los maten en un sueño.Creo que las personas que están tratando de participar en una organización benéfica razonable estarán de acuerdo en que no nos gustaría vivir en ninguno de estos mundos. La única pregunta es cuál es más probable. El principio central de la racionalidad es no rechazar la creencia en los duendes, porque es estúpido y no prestigioso, y no creer en los duendes, porque es saludable y hermoso. El principio central de la racionalidad es qué signos observables y conclusiones lógicas nos ayudarán a elegir uno de estos dos mundos.Creo que el primer mundo es poco probable, y el segundo es probable. Entiendo que tratar de convencer a otros de esto es tratar de nadar contra el flujo de la fe en la normalidad eterna. Cree que solo nuestra civilización a corto plazo, que ha existido durante varias décadas, y solo nuestra especie, que existe solo un momento en las escalas evolutivas y geológicas, tiene sentido y debe existir para siempre. Y aunque creo que el primer mundo es solo un sueño optimista, no creo que debamos ignorar el problema, del cual nos asustaremos en el futuro. La misión del Instituto es realizar investigaciones hoy, que, según las personas que viven después de 30 años, deberían haber comenzado hace 30 años.X: ¿Tu esposa Brijena cree en la singularidad?Brijena: Si alguien me preguntara si creo en una singularidad, levantaría una ceja y les preguntaría si creen en los camiones automáticos. Esta es una pregunta extraña. No sé cuál será la primera flota de camiones automáticos, ni cuánto tiempo les llevará reemplazar el sistema de transporte de carga existente. Y no creo que crea en camiones robóticos, predigo con confianza que el transporte no tripulado reemplazará el transporte moderno con la participación de personas, porque vamos en esta dirección si no sucede nada realmente extraño. Por la misma razón, predigo con confianza una explosión de inteligencia. En otros significados de la palabra "singularidad" no estoy tan seguro.Yu: Brijena dio su respuesta sin ver mis respuestas. Es solo que estamos bien el uno para el otro.X:¿Es posible crear superinteligencia sin entender cómo funciona el cerebro?Yu: En el mismo sentido, puedes hacer aviones sin entender cómo vuela un pájaro. No es necesario ser un experto en aves, pero al mismo tiempo necesita muchos conocimientos para construir un avión, habiendo obtenido lo que, en principio, ya puede comprender cuán rudo se eleva o se repele un pájaro desde el aire. Por lo tanto, estoy escribiendo sobre la racionalidad humana: si vas lo suficientemente lejos en el tema de la inteligencia artificial, no puedes evitar pensar en algunas ideas sobre cómo piensa la gente.X: ¿Qué podría querer la superinteligencia? ¿Tendrán algo como deseo sexual?Yu:Piense en un vasto espacio de posibilidades, en una esfera gigante multidimensional. Este es un espacio de tipos de mente, un conjunto de todos los algoritmos cognitivos posibles. Imagine que en algún lugar en la parte inferior de la esfera hay un pequeño punto que denota a todas las personas que alguna vez han vivido. Este es un punto pequeño, ya que todas las personas tienen aproximadamente el mismo cerebro, con corteza, cerebelo, tálamo, etc. Algunas personas no son como otras, por lo que puede ser un punto puntiagudo, pero los picos estarán en la misma escala que el punto en sí. Independientemente de su neuroatípicidad, no trabajará en otro algoritmo cortical.Preguntar "qué quiere la superinteligencia" es la pregunta equivocada. Las superinteligencias no son una tribu extraña de personas que viven al otro lado del río y tienen costumbres exóticas. AI es simplemente el nombre de todo el espacio de posibilidades fuera de un pequeño punto humano. Con el conocimiento suficiente, puede subir a este espacio de oportunidades y salir de allí una IA que tiene deseos que pueden ser descritos en lenguaje humano por Lista de Deseos, pero no porque sea la Lista de Deseos natural de estos exóticos sobrehumanos, sino porque aisló una parte del espacio de los tipos de mente. .Con respecto a los deseos sexuales: si sabe exactamente lo que está haciendo, ha resuelto el problema principal de construir IA, queriendo de manera estable ciertas cosas mientras mejora, si ha resuelto el problema principal de dirigir las funciones utilitarias de AI a tareas que parecen engañosamente simples para una persona, y Un problema aún más complicado es la construcción de IA utilizando un cierto tipo de arquitectura, en la que importan cosas como los "deseos sexuales" y la "felicidad del sexo", entonces, tal vez, puedas hacer que la IA mire a las personas que están modelando sean sus deseos, extraiga esa parte de ellos con respecto al deseo sexual y haga que la IA lo experimente.Por supuesto, también puede, con buenos conocimientos de biología orgánica y aerodinámica, construir aviones que puedan aparearse con las aves.Pero no creo que los hermanos Wright deberían haber hecho esas cosas al comienzo de sus actividades. Eso no tendría sentido.Parece más razonable resolver el problema de penetrar en el espacio de las mentes y extraer de allí una IA que no quiere desarmarnos en átomos de repuesto.X: Quiero pensar que las criaturas extra-inteligentes profesarán la no violencia, porque entenderán que la violencia es estúpida. ¿Soy ingenuo?Yu: eso creo. David humeLe diría que está cometiendo un error típico al aplicar el predicado de "estupidez" a los valores u operaciones oficiales de un individuo. Las acciones, elecciones, reglas pueden ser estúpidas si tienes alguna preferencia sobre el estado final del mundo. Si usted es una persona con meta-preferencias que no ha calculado completamente, es posible que tenga una plataforma en la que pueda confiar y llamar "estúpido" a algunas especulaciones sobre las preferencias de objetos.Maximizador de grapas [ experimento mental que demuestra cómo la IA hecha sin intención maliciosa puede dañar a la humanidad - aprox. perev.] no comete un error computacional, al elegir aquellos casos de aquellos en los que se obtiene el número máximo de grapas. No está dentro de su plataforma de preferencias, eligiendo acciones erróneas, y no está dentro de su plataforma de meta-preferencias, eligiendo erróneamente preferencias. Calcula la respuesta a otra pregunta, y no a la que te haces, la pregunta "¿Qué debo hacer?" El maximizador de grapas simplemente realiza la acción que lleva a la mayoría de las grapas.Un escenario fatal es cuando la IA no te ama ni te odia, porque estás hecho de átomos que puedes usar para crear otra cosa. Teoría de juegos y problemas de cooperación en el dilema del prisionero.no se manifiesten en todos los casos posibles. Por ejemplo, no aparecen cuando cierto sujeto es mucho más fuerte que tú que puede convertirte en átomos cuando quieres hacer clic en los botones "cooperar" o "cambiar". Y cuando pasamos este umbral, o has resuelto el problema de crear algo que no quiere hacerte daño, o ya has perdido.X: ¿La superinteligencia resolverá el difícil problema de la conciencia ?Yu: Sí, y mirando hacia atrás, la respuesta nos parecerá vergonzosamente simple.X: ¿Las superinteligencias tendrán libre albedrío?Yu: Sí, pero no tendrán la ilusión del libre albedrío.X: ¿Cómo es tu utopía?Yu: Dirigiré a tus lectores a los míos "Secuencias de la teoría del entretenimiento " , ya que aún no he logrado escribir una historia cuya acción se desarrolla en un mundo óptimo entretenido y teórico.