No hay alarma de incendio para inteligencia artificial.

¿Por qué alarmas de incendio?

Se podría decidir que una alarma de incendio debería brindarle evidencia importante de un incendio, lo que le permite cambiar sus planes y abandonar el edificio.

En un experimento clásico realizado por Latane y Darley en 1968, se les pidió a ocho grupos de tres estudiantes cada uno que llenaran un cuestionario, sentados en una habitación que comenzó a llenarse de humo poco después de que comenzara el experimento. Cinco de los ocho grupos no respondieron y no se quejaron del humo, incluso cuando se volvió tan denso que comenzaron a toser. Las acciones posteriores mostraron que un solo estudiante se quejó de fumar en el 75% de los casos. Un estudiante en compañía de otras dos personas a las que se les pidió que no hicieran nada reaccionó al humo solo en el 19% de los casos. Este y otros experimentos han demostrado que en realidad se está produciendo un desprecio pluralista. No queremos parecer alarmismos y tener miedo a una emergencia, por lo que tratamos de parecer tranquilos, por el rabillo del ojo observando cómo se comportan los demás, pero ellos, por supuesto, también tratan de parecer calmados.

Leí una gran cantidad de informes sobre la reproducción de este experimento y sus variaciones, y los resultados fueron evidentes. Me parece que este resultado no está destinado a morir en la crisis de la reproducción, y no he oído hablar de problemas con su reproducción.

Las alarmas contra incendios crean un conocimiento bien conocido de un incendio; después de eso, será socialmente aceptable responder a lo que está sucediendo. Cuando suena la alarma, sabes que todos los demás también saben que hay un incendio, y sabes que no serás deshonrado si sigues la salida.

Las alarmas de incendio no nos dicen que definitivamente hay un incendio. Ni siquiera puedo recordar un caso de mi vida cuando salí del edificio debido a una alarma de incendio, y realmente hubo un incendio. De hecho, una alarma de incendio ya no habla de un incendio, sino de la presencia de humo que sale de debajo de la puerta.

Pero la alarma de incendios informa que ahora es socialmente aceptable responder a un incendio. Ella promete que nadie nos avergonzará por el hecho de que nos dirigimos con calma a la salida del edificio.

Me parece que este es uno de esos casos en los que las personas realmente no entienden en qué creen exactamente, como en el caso de que alguien reclame en voz alta la victoria del equipo de su ciudad en la competencia, pero inmediatamente desaparece, si lo invitas a poner dinero para ganar. No comparten una sensación emocionante conscientemente agradable de gritar por la victoria y una sensación de verdadera expectativa de ganar un equipo.

Creo que cuando las personas miran el humo que sale de debajo de la puerta, creen que su incertidumbre sobre el incendio surge del hecho de que no asignan una probabilidad suficientemente alta a este evento, y que dudan porque que tienen miedo de pasar tiempo y esfuerzo. Pero en este caso, malinterpretan sus sentimientos. En este caso, habrían experimentado las mismas vibraciones al sonido de una alarma de incendio, o incluso vacilarían aún más, porque una alarma de incendio no se correlaciona con el fuego, sino con el humo de debajo de la puerta. De hecho, las fluctuaciones se deben a preocupaciones que otras personas piensan de manera diferente, y no porque no haya un incendio. La falta de voluntad para actuar surge de la falta de voluntad para parecer un tonto, y no de la falta de voluntad para malgastar la fuerza. Por lo tanto, un estudiante en la sala en el 75% de los casos toma algunas medidas y, por lo tanto, las personas no tienen problemas para responder a la evidencia más débil proporcionada por la alarma de incendios.

* * *

De vez en cuando, se nos ofrece posponer la reacción a los problemas relacionados con la inteligencia artificial de propósito general (ION), porque, como se cree, todavía estamos muy lejos de su apariencia, y ahora es simplemente imposible hacer algo productivo con esto.

Algunas personas todavía creen que hoy hay cosas específicas que ya podemos hacer: Soares y Fallenstein (2014/2017); Amodei, Olah, Steinhardt, Christiano, Schulman y Mané (2016); o Taylor, Yudkowsky, LaVictoire y Critch (2016).)

Incluso si estos trabajos no existieran, o si usted, como investigador de IA, los leyó y decidió que esto no tenía sentido, y le gustaría trabajar en este problema, pero no lo sabría, de alguna manera el siguiente paso sabio de su parte fue para sentarse y pasar un par de horas, intentando sinceramente encontrar posibles soluciones. Es aconsejable sin auto-sabotaje, pensamientos de que todavía no se te ocurre nada; en principio, es mucho más conveniente decidir que no puedes hacer nada, porque tienes cosas que te interesan más. Oh bien

Entonces, si la idea de IION parece demasiado lejana y cree que le da derecho a creer que todavía no puede hacer nada productivo al ordenar su trabajo, entonces la siguiente estrategia alternativa se deriva de esto: sentarse y esperar, cuando en el futuro algunos desconocidos hasta que el evento nos dice que el ion se está acercando, y luego entenderemos que podemos comenzar a trabajar en la organización del ion.

Me parece que este es el enfoque equivocado por muchas razones. Y aquí están algunos de ellos.

El primero Como dijo Stuart Russell, si recibió señales de radio desde el espacio, notó una nave espacial en un telescopio y sabe que los extraterrestres aterrizarán en treinta años, todavía comenzará a pensar en ello hoy.

No dirás: "Vamos, será dentro de treinta años, y déjalo". Ciertamente no dirás: "No podemos hacer nada hasta que vuelen más cerca". Seguramente pasará un par de horas, o al menos cinco minutos, haciendo una lluvia de ideas, pensando si puede hacer algo ahora.

Si dices que los extraterrestres llegarán solo después de treinta años, y por lo tanto hoy no tienes nada que hacer ... En tiempos más efectivos, alguien te pediría que proporciones un cronograma de acciones: cuándo y qué hacer, y mucho antes de la llegada. Y si no tuviera ese horario, el interlocutor entendería que no está actuando de acuerdo con la hoja de trabajo de respuestas oportunas, sino que simplemente posterga. De esto, sacaría la conclusión correcta de que probablemente no pensaste lo suficiente sobre lo que puedes hacer hoy.

Usando las palabras de Brian Kaplan [ economista y blogger estadounidense / aprox. perev. ], todos los que creen con calma que "ahora no se puede hacer nada para la preparación" no está configurado correctamente; deberían estar mucho más preocupados por el hecho de que no pueden encontrar ninguna manera de prepararse de alguna manera. ¿O tal vez preguntarle a alguien más si tiene alguna idea sobre esto? Oh bien

El segundo La historia muestra que la gente común, e incluso los científicos que no están incluidos en el grupo clave de investigadores avanzados, e incluso los científicos que están incluidos allí, a menudo creen que los descubrimientos tecnológicos clave no sucederán muchas décadas después, aunque en realidad quedan cinco años antes de ellos.

En 1901, dos años antes de participar en la creación del primer avión más pesado que el aire, Wilbur Wright le dijo a su hermano que pasarían otros cincuenta años antes de los vuelos activos.

En 1939, tres años antes de observar personalmente la primera reacción en cadena nuclear en un grupo de bloques de uranio, Enrico Fermi expresó un 90% de confianza en que el uranio no podría usarse para mantener una reacción en cadena de fisión. Me parece que incluso un año después de esto, es decir, dos años antes del desacoplamiento, Fermi también dijo que si la energía de descomposición es posible, entonces deben pasar otros cincuenta años antes.

Bueno, si no son los hermanos Wright y no Enrico Fermi, se sorprenderán aún más. La mayor parte del mundo ha aprendido que las armas atómicas ya existen y funcionan, solo después de leer los títulos sobre Hiroshima. Cuatro años después del vuelo del volante de los hermanos Wright , todavía había intelectuales respetados que argumentaban que volar más pesado que el aire era imposible, porque el conocimiento se extendió más lentamente [el primer vuelo en un avión se considera el vuelo de Clement Ader , completado en 1890, 13 años antes que los hermanos Wright - entonces estos intelectuales tenían 17 años de retraso / aprox. perev. ]

¿Podemos decir hoy, en retrospectiva, que hubo algunos eventos que marcaron la aproximación de vuelos más pesados ​​que el aire o la energía nuclear? Por supuesto, pero si retrocede en el tiempo, lee los periódicos de esa época y descubre lo que la gente dijo al respecto, queda claro que no sabían que estos eventos eran de alguna manera significativos, o dudaban mucho de su importancia. . Creo que algunos desempeñaron el papel de futuristas entusiastas y proclamaron la aparición inminente de grandes cambios, mientras que otros, el papel de científicos escépticos que intentaron extinguir el entusiasmo de los niños. Y si entre todo este bombo hubiera un predictor que dijera "décadas" cuando realmente tomó décadas, y "5 años" cuando realmente tomó cinco años, bueno, búsquedas exitosas en este ruido. Lo más probable es que estos pronosticadores dijeron "tal vez mañana, o tal vez en decenas de años" en ambos casos, cuando grandes cambios llegaron mañana y cuando llegaron en docenas de años.

Una de las principales razones por las que somos fuertes con una mente atrasada y creemos que el pasado fue más predecible de lo que nadie podría predecir en un momento dado es que, en retrospectiva, sabemos lo que debemos notar y nos enfocamos solo en un pensamiento relacionado con lo que significa exactamente cada una de las pruebas disponibles. Pero si observa lo que la gente decía en ese momento, verá que ni siquiera saben lo que sucederá en tres meses, porque no saben qué eventos en particular fueron significativos.

Puede decir que "quedan 50 años antes de IION", y eso puede ser cierto. De la misma manera, la gente dijo que un vuelo activo ocurrirá no antes de unas pocas décadas, y sucedió unas décadas más tarde. El problema es que toda la evidencia se ve igual para ti si realmente vives en esta historia y no la lees más tarde.

Esto no significa que cada vez que alguien dice "después de cincuenta años", este evento ocurre después de un par de años. Esto significa que una predicción segura de la ocurrencia distante de un evento corresponde al conocimiento sobre tecnología que no cambia hasta que se llega a la vanguardia del desarrollo muy cerca. Es similar a "No sé cómo hacer esto", y a veces dices que el evento sucederá dentro de cincuenta años, y a veces eso en un par de años, y a veces lo dices, mientras el volante de los hermanos Wright vuela en algún lugar allí. donde no puedes verlo.

El tercero El progreso es impulsado por el conocimiento avanzado, no por el promedio.

Si Fermi y Wright no hubieran podido prever los eventos en tres años, imagine lo difícil que fue para todos los demás hacerlo.

Si no está a la vanguardia del conocimiento sobre la implementación de cualquier logro, y se le pone al día sobre lo que está destinado a convertirse en un proyecto líder, no podrá predecir un avance irreversible basado en su conocimiento. A menos que sea capaz de ver brillantemente la perspectiva de una manera que los cazadores y recolectores no necesitaban, y no es capaz de comprender muy bien que otras personas pueden tener esas tecnologías e ideas de las que no tiene idea. Si no compensa conscientemente sus ideas, teniendo en cuenta las lecciones de la historia, entonces está claramente inclinado a creer que deben pasar décadas antes de este evento. Tres meses antes de la construcción de la primera pila de leña de Chicago, Fermi ya no creía que obtener energía nuclear fuera imposible o tuvo que esperar durante décadas; ya estaba al tanto de todo y vio cómo hacerlo. Pero cualquier persona que no estaba al tanto de los eventos probablemente creía que antes de este evento aún quedaban cincuenta años, en ese momento cuando la pila de leña ya estaba silbando en la cancha de squash de la Universidad de Chicago.

Las personas no tienen en cuenta automáticamente el hecho de que el momento del inicio de un gran avance depende de un conocimiento avanzado en esta área. Esta gama incluye personas que saben más que nadie y tienen las mejores ideas; de modo que el conocimiento de todas las demás personas sigue siendo promedio, y el conocimiento promedio no es suficiente para entender cuándo puede ocurrir un avance. Creo que no lo piensan en absoluto, y simplemente hacen una evaluación basada en su propio sentido de complejidad del proyecto. Y si piensan de alguna manera de manera más responsable, están haciendo un trabajo real para corregir sus ideas preconcebidas, entonces nunca he encontrado tal razonamiento en ningún lado.

Para saber que aún faltan decenas de años antes de IION, necesitamos entender IION lo suficientemente bien como para saber qué partes del rompecabezas aún faltan y cuán difícil es obtenerlas; probablemente no tendremos tal conocimiento hasta que se desarrolle el rompecabezas. También significa que para las personas fuera del círculo frontal, el rompecabezas parecerá menos completo de lo que parece en el círculo.

Nuevamente, esto no significa que lo que la gente dice "cincuenta años" es una señal definitiva de que algo está sucediendo en este momento en la cancha de squash. Hablaron de "cincuenta años" y sesenta años atrás. Esto significa que todos los que creen que los eventos tecnológicos pueden predecirse de antemano por personas que no se dedican a informar sobre el progreso de los proyectos principales y que no comparten las mejores ideas sobre cómo lograr el objetivo y cuánto esfuerzo se requiere, no aprenden cuentos Las representaciones erróneas son promovidas por los libros históricos que establecen claramente el camino del progreso y todos esos signos visibles de logro, cuya importancia entendemos solo ahora. A veces es posible predecir las consecuencias de un avance importante inmediatamente después de que haya ocurrido, pero rara vez es posible hacer una predicción precisa del momento del inicio de dicho avance durante períodos de más de uno o dos años. Y si usted es una de esas raras personas que puede predecir tales eventos, incluso si tales personas existen, entonces nadie sabe que necesita escucharlo, ni futuristas entusiastas ni científicos escépticos.

Cuarto. Aparecerán otras herramientas en el futuro con las cuales será posible hacer fácilmente cosas que son difíciles de lograr hoy, o será difícil hacer cosas que hoy son imposibles.

¿Cómo sabemos que IION aparecerá solo en unas pocas décadas? Los artículos populares escritos por gerentes de laboratorios de investigación generalmente brindan tres razones principales:

A) El autor no sabe cómo crear un IION utilizando tecnología moderna. El autor no sabe por dónde empezar.

B) El autor cree que hacer cosas impresionantes accesibles para la IA moderna es terriblemente difícil, tuvo que estudiar la granja desde la GPU durante mucho tiempo, ajustando todos los hiperparámetros. Él cree que las personas subestiman lo difícil que es lograr tales indicadores hoy, y entran en pánico prematuramente, porque cree que cualquiera puede simplemente iniciar Tensorflow y hacer un automóvil robot.

C) El autor pasa mucho tiempo interactuando con los sistemas de IA y, por lo tanto, puede evaluar personalmente cuán estúpidos son y cómo carecen de sentido común.

Ya hemos examinado algunos aspectos del argumento A. Pasemos al argumento B.

Supongamos que digo: "Ahora un estudiante que ha tomado un curso de ciencias de la computación puede hacer todo en una semana que hace N + años, toda la comunidad de investigación podría hacer con la ayuda de redes neuronales". ¿Qué tan grande es el número N?

Varias personas con logros desconocidos me dieron la respuesta a esta pregunta en Twitter, pero cinco fueron la respuesta más popular, y me parece correcta en base a mi propio conocimiento del aprendizaje automático. Por supuesto, este número no puede ser universal, ya que la realidad nunca es tan simple. Si pudiera hacer algo en 2012, hoy puede hacerlo simplemente con la ayuda de GPU modernas, Tensorflow, inicialización de Xavier, normalización por lotes, transformación lineal truncada, estimación de momento adaptativo (Adam), RMSprop o simplemente descenso de gradiente estocástico con inercia Entonces la tecnología moderna se ha vuelto mejor. Por supuesto, hay cosas que hoy son inaccesibles para nosotros usando estos métodos simples, requieren mucho trabajo, pero estas cosas fueron imposibles en 2012.

En el aprendizaje automático, todo está organizado de modo que si puede hacer algo en principio, en unos pocos años puede hacerlo muy fácilmente con la ayuda de herramientas mejoradas en el futuro. Desde este punto de vista, el argumento B "no entiendes lo difícil que es hacer lo que hacemos" es simplemente ilógico.

La declaración B suena similar a la declaración de Rutherford en 1933, cuando llamó a recibir energía de la fisión atómica "un sueño imposible". Si eras un físico nuclear en 1933, tenías que dividir los átomos manualmente bombardeándolos con otras partículas, y ese era un trabajo tedioso. Si alguien hablara de obtener energía de los átomos, podría sentir que está subestimado, que la gente encuentra su trabajo simple.

Pero, por supuesto, este sentimiento siempre estará presente entre los ingenieros de IA en proyectos avanzados serios.No se le pagará mucho dinero por lo que un estudiante puede hacer en una semana (a menos que trabaje para una organización burocrática que no sabe qué es la IA, pero no es Google ni FB). Su experiencia personal siempre dirá que le pagan por meses de duro trabajo. Por lo tanto, no puede usar el cambio en esta experiencia como alarma de incendio.

Las personas que juegan el papel de científicos escépticos estarán de acuerdo en que, teóricamente, nuestras herramientas mejorarán; pero en artículos populares, solo escriben sobre las complejidades de trabajar con las herramientas actuales. Creo que en este modo de pensar, ni siquiera intentan predecir qué herramientas estarán disponibles para ellos en cinco años; No he visto tales declaraciones en mis artículos. Creo que cuando le dicen que IION aparecerá unas décadas más tarde, dan una estimación de cuánto tiempo, desde su punto de vista, llevará crear un IION utilizando las herramientas y el conocimiento de hoy. Por lo tanto, descansan sobre lo difícil que es hurgar en un montón de álgebra lineal hasta que escupe buenas respuestas; Creo que no tienen idea de cuánto puede cambiar este pasatiempo en un período mucho más corto,de cincuenta años Si pensaron seriamente en cómo sus evaluaciones de las tecnologías futuras se distorsionan sobre la base del sentimiento subjetivo actual de complejidad, y trataron de compensar esta distorsión, entonces nunca he encontrado tal razonamiento en ningún lado. Y no he escuchado que tal método de predicción en la historia dé buenos resultados.

Quinta. Bien, seremos extremadamente francos. No creo que la mayor parte de la discusión sobre cuánto tiempo esperar hasta IION (o qué tan cerca esté) surja del uso de modelar el progreso futuro en el aprendizaje automático. No creo que el asunto esté en malos modelos; Creo que el punto es la ausencia de tales modelos.

Una vez asistí a una conferencia en la que estaba lleno de luminarias famosas en el campo de la IA, y la mayoría de las luminarias asintieron y acordaron entre sí en el sentido de que IION todavía estaba muy lejos, con la excepción de dos famosas luminarias de IA que estaban sentadas en silencio. y dejar que otros hablen.

Durante la encuesta, me levanté y dije: “Bueno, nos dijiste que el progreso no será tan rápido. Pero seamos más específicos. "Quiero saber sobre el logro menos impresionante, del cual está seguro de que no será posible en los próximos dos años".

Se hizo el silencio.

Como resultado, dos personas de los oradores se aventuraron a dar respuestas, y hablaron en un tono mucho más cauteloso en comparación con cuando dijeron cuánto tiempo tuvimos que esperar al IION. Llamaron tareas como "El robot quita los platos del lavavajillas y no los rompe" y los esquemas de Vinohrad. Más precisamente, se dijo que "estoy bastante seguro de que de acuerdo con los esquemas de Vinograd, cuyos resultados han estado recientemente en el nivel del 50-60%, no obtendremos resultados cercanos al 80-90% en los próximos dos años, independientemente de herramientas utilizadas por las personas ".

Unos meses después de la conferencia, se produjo un avance inesperado según los esquemas de Vinogorad. El avance no alcanzó el 80%, "aplaude" los intervalos de confianza con un cierto margen de error, pero me parece que el predictor, cuando solo quedaba un año antes del final del tiempo asignado, estaría mucho más nervioso. No recuerdo haber leído sobre este avance, pero me mostraron el trabajo científico que los científicos podían enviar solo 44 días después de esa conferencia, y en el que los resultados se mostraron en un 70%.

Pero ese no es el punto.La conclusión es que hubo silencio después de mi pregunta, y que recibí solo dos respuestas, con voz muy incierta. Cuando pregunté sobre cosas específicas que no se pueden hacer en los próximos dos años, fue entonces cuando me pareció que las luminarias cambiaron al modo de construir un modelo de progreso futuro en el aprendizaje automático, preguntándome qué podrían o no predecir lo que saben. o no lo se. Y, para su crédito, la mayoría de ellos estaban bien versados ​​en su campo para comprender que en realidad es muy difícil predecir los límites futuros de posibilidades en un campo en rápido desarrollo, que nadie sabe qué aparecerá en la revista científica arXiv el próximo mes, y que necesitan dar intervalos de confianza muy amplios con un límite superior muy generoso en cuanto a dónde puede ir el progreso,medido en trabajos con arXiv, en veinticuatro meses.

Además, Demis Hassabis también estuvo en la conferencia [ cofundador de DeepMind, que creó el sistema informático AlphaGo, que derrotó al jugador profesional en marcha - aprox. perev. ], entonces sabían que si llamaban a algo insuficientemente imposible, Demis haría que DeepMind asumiera esta tarea y la resolviera.

El estilo de mi pregunta era muy diferente de las conversaciones en la conferencia y requería un cambio del contexto mental: las luminarias reunidas allí tenían que pedir sus modelos groseros, apenas formados e intuitivos de progreso en el aprendizaje automático, y decidir exactamente qué logros, si los había, su modelo para el desarrollo del campo. barre en un período de dos años. En lugar de, digamos, efusiones verbales socialmente aceptables, diseñadas para amortiguar todo este maldito bombo asociado con IION y ganar un aplauso predecible de la audiencia.

Diré directamente: no creo que las declaraciones confiables sobre pronósticos a largo plazo estén generalmente bien pensadas. Si su modelo tiene una oportunidad increíble para predecir lo que no se puede hacer en los próximos diez años, después de ciento veinte meses de flujo de trabajo con arXiv, entonces definitivamente debería poder hacer predicciones más débiles sobre lo que no se puede hacer en los próximos dos años. En tu cabeza, deberías poder alinear estas predicciones y estar constantemente listo para hacerlas, en lugar de sumergirte en un silencio nervioso después de que te hayan preguntado sobre ellas.

De hecho, el problema de la predicción a dos años es muy complejo, y el problema de la predicción a diez años es ridículamente complejo. El futuro es generalmente difícil de predecir, nuestras habilidades de predicción en un campo en rápido cambio y desarrollo son bastante débiles, y no nos permiten predecir intervalos claros en los que algo no se puede hacer con seguridad.

En 2017, Grace y sus colegas evaluaron las predicciones de 352 personas que hablaron en ICML [Conferencia Internacional sobre Aprendizaje Automático] y NIPS 2015 [Conferencia sobre Sistemas de Procesamiento de Información Nerviosa]. En general, las predicciones del orador se redujeron al hecho de que la afirmación "todas las profesiones pueden ser totalmente automatizadas" (en el sentido de que "para cualquier profesión puede construir una máquina que haga este trabajo mejor y más barato que una persona") no alcanzará el 50% de probabilidad en 121 años . Solo aquí, a los oradores de una muestra aleatoria se les hizo una pregunta ligeramente diferente: "¿cuándo podrán las máquinas autónomas realizar cualquier tarea mejor y más barata que los trabajadores humanos?", En cuyo caso dijeron que con un 50% de posibilidades sería posible después de 44 años.

Esto es lo que sucede cuando le pides a las personas que den una evaluación que no pueden dar, y estas son las declaraciones socialmente aceptables que deberían ser.

* * *

Hablando del hecho de que no hay alarma de incendio para IION, no digo que no haya equivalente al humo que sale de debajo de la puerta.

De hecho, digo que el humo debajo de la puerta siempre será controvertido; no será un indicador de fuego claro, irrefutable y absolutamente preciso; por lo tanto, las alarmas de incendio, que proporcionan conocimiento universal de que sus acciones a partir de este momento se vuelven razonables y socialmente aceptables, nunca funcionarán.

Hay un camino tan viejo: tan pronto como algo es posible, inmediatamente dejan de llamar a la IA. Las personas que trabajan en el campo de la IA pertenecen a los aceleradores [ no en el ámbito políticosentido - aprox. perev. ] y entusiastas de la tecnología, pueden ser llamados miembros del campamento de Kurzweil (no me relaciono con ellos), y a menudo se quejan de que estos son juicios incorrectos, objetivos en retirada.

Este punto de vista no tiene en cuenta el fenómeno real e importante de una actitud sesgada hacia los logros de la IA: si puedes hacer algo impresionante con la IA en 1974, entonces es porque resultó posible engañar de alguna manera a bajo precio, y no porque en 1974 Los logros de IA han sido tan increíbles este año. No sabemos cuánto costo cognitivo se necesita para completar las tareas, y cuán fácil es hacer trampa cuando se completan, por lo que la primera de las tareas "impresionantes" son aquellas en las que cometimos más errores. Hubo un momento en que la gente creía que ganar un campeón mundial de ajedrez requeriría progreso en el campo de ION, y que tal victoria sería una clara señal de progreso en el camino de este progreso. Cuando Deep Blue venció a Kasparov en 1997, en el sentido bayesiano, aprendimos algo sobre el progreso de la IA,pero también aprendí algo sobre la facilidad del ajedrez. Dadas las tecnologías utilizadas para crear Deep Blue, básicamente descubrimos que "es sorprendentemente fácil jugar al ajedrez sin usar tecnologías generalizadas", y no que "nos hemos movido sorprendentemente lejos en el camino hacia IION".

¿Era AlphaGo humo debajo de la puerta, una señal de que IION aparecería dentro de 10 años? La gente solía ir como un ejemplo de lo que sería el "principio del fin".

Estudié el trabajo científico que describe la arquitectura AlphaGo, y se deduce que, más bien, las tecnologías de IA disponibles se acercaron mucho más a lo que esperábamos que una IA generalizada que ganar una oportunidad resultó ser una tarea sorprendentemente simple y directa. Por supuesto, este método no se puede escalar simplemente a IION, pero AlphaGo parece ser el resultado de ideas y tecnologías bastante generalizadas que se han adaptado a un caso especial de jugar en el camino, no como lo fue con Deep Blue. También llegué a la conclusión de que "las posibilidades de aprendizaje generalizadas del algoritmo del cerebro humano no eran tan impresionantes y no son tan difíciles de emular conel descenso de gradiente y el carro de la GPU, como pensé, "dado que dónde y dónde se usa un algoritmo cerebral impresionante, que tiene capacidades de entrenamiento generalizadas y al mismo tiempo se somete a una selección natural, estas son personas jugando"

Quizás si tuviéramos miles de planetas Tierra con una historia similar, recopilaríamos estadísticas y descubriríamos que la computadora que ganó el campeonato de todo el planeta funciona como un signo seguro de la aparición de IION en diez años. Pero no lo se. Como tu Por supuesto, ahora también podemos decir que acabamos de descubrir que el juego de go resultó ser más fácil de jugar con la ayuda de técnicas sencillas de lo que pensábamos, como sucedió a menudo en el pasado. No hay signos de la aparición de IION real, no hay humo debajo de la puerta que nos diga que tenemos un incendio real, y que quedan 10, 5 o 2 años antes de IION. Sin mencionar el hecho de que no hay ninguna señal por la cual sepamos con certeza que todos los demás creerán en ella.

En cualquier caso, muchos científicos líderes en el campo del aprendizaje automático ya han escrito un montón de artículos que enumeran sus criterios de alarma de incendio. Creerán en la inevitabilidad de la aparición de IIONs cuando:

A) Entenderán personalmente cómo crear IIONs basados ​​en herramientas existentes. Siempre argumentan que este no es el caso en este momento para contener a los tontos que creen que no falta mucho antes de IION.

B) Cuando su trabajo personal deja de parecerles demasiado complicado. Esto, desde su punto de vista, no es entendido por todos los plebeyos que creen que IION se acerca, porque nunca tuvieron que quedarse despiertos hasta las dos de la mañana, tratando de estabilizar la red generativa competitiva .

C) Cuando ven un ejemplo de IA que les parece tan inteligente en comparación con los humanos que para ellos será similar a la magia; pero debemos tener en cuenta que saben cómo crear ciertas propiedades en la IA, y esto no les parece mágico; es decir, necesitan una IA que parezca inteligente cuando se comunican con las personas; es decir, ellos, de hecho, ya necesitan un IION listo para usar.

Entonces no habrá alarma de incendio. El punto

Nunca habrá un momento antes del final en el que pueda mirar nerviosamente a su alrededor y comprender que ya puede hablar sobre la inevitabilidad de IION en el marco del conocimiento general de esto, tomar medidas, salir del edificio sin pánico y mantener el orden, para no tener miedo de parecer tonto o cobarde

* * *

Hasta donde puedo evaluar la situación, ahora que ya tenemos AlphaGo y un par de otros disparos de advertencia, y una explosión de esfuerzo en el aprendizaje automático, y una gran cantidad de trabajo científico, es probable que permanezcamos en nuestro estado epistemológico hasta al final

Al decir que permaneceremos en el estado actual casi hasta el final, no quiero decir que sepamos sobre la inevitabilidad de IION, o que en este momento no habrá nuevos avances importantes en el campo de la IA. Es decir, es muy difícil adivinar cuántas ideas nuevas más se necesitarán para crear el IION, o cuánto tiempo nos llevará a que aparezcan estas ideas. Después del próximo avance, todavía no sabremos cuántos avances más se necesitarán, por lo que seguiremos en el mismo estado que antes. Cualesquiera que sean los descubrimientos y logros que surjan más adelante, aún será muy difícil adivinar cuántas ideas más necesitamos, y las estimaciones de tiempo seguirán siendo tan turbias. Quizás el entusiasmo y los fondos para la investigación solo crecerán, y podemos hablar sobre acortar las estimaciones de tiempo; o nos toparemos con otro "invierno de IA",y esto hablará sobre alargar evaluaciones previas; pero cuánto tiempo se requerirá para nosotros, no lo sabremos.

En algún momento, podemos ver una afluencia repentina de trabajos de arXiv, en el que tareas cognitivas muy interesantes, fundamentales y aterradoras se resolverán con mayor velocidad. Como resultado, con la intensificación de este flujo, incluso aquellos que parecen ser escépticos se ponen tan nerviosos que dicen que antes de IION, quizás 15 años ya hayan permanecido, lo más probable, lo más probable. Y hacia el final, los signos pueden volverse tan obvios que las personas deciden que es socialmente aceptable decir que IION puede aparecer en 10 años. Aunque estos signos tendrán que ser muy obvios para superar la barrera social impuesta por las luminarias que evalúan el momento de la llegada de IION a través de sus conocimientos y dificultades personales, así como las sensaciones desagradables históricas de los inviernos de AI, que se produjeron debido a la exageración que los acompaña.

Pero incluso si se vuelve socialmente aceptable decir que IION aparecerá en 15 años, en estos últimos años o meses, creo que aún habrá disenso. Habrá debatidores que, a pesar de resolver problemas con la memoria asociativa y emular la coordinación cerebelosa (o cualquier otra cosa) aún no sabrán cómo crear un IION. Notarán que no hay IA que escriba trabajos científicos sobre ciencias de la computación, o que conduzca conversaciones significativas con personas, y culpe a quienes argumentan como si supieran cómo hacerlo, en situaciones alarmantes. Explicarán que las personas estúpidas no entienden cuántas dificultades y ajustes se requieren para que el sistema actual funcione (aunque los métodos modernos podrán hacer fácilmente todo lo que fue posible en 2017, y cualquier estudiante sabrácómo agitar una red generativa-adversaria estable la primera vez usando el módulo tf.unsupervised en Tensorflow 5.3.1.).

Cuando todas las piezas están listas y dispuestas en sus lugares, y falta una última, accesible en el borde más avanzado del conocimiento y la creatividad del mundo entero, la persona promedio todavía pensará que IION es una tarea terriblemente difícil que se avecina en algún lugar lejano, porque personalmente todavía no sabe cómo construir un sistema IION. Los prestigiosos directores de los grupos de investigación de IA seguirán escribiendo artículos que describan preocupaciones estúpidas sobre la destrucción de la vida en la Tierra y los beneficios futuros que tenemos disponibles a través de la IA, y nos dicen que esta perspectiva no debería distraernos de problemas reales y respetados, como los sistemas de aprobación de crédito que han aprendido reconocer sesgos cognitivos humanos.

Por supuesto, el futuro es muy difícil de predecir en detalle. Es tan complicado que no solo admito que no puedo hacerlo, incluso haré una declaración más fuerte, nadie puede hacer esto. Los eventos pueden desarrollarse de acuerdo con el escenario “flujo de trabajo innovador de arXiv”, pero este es solo un escenario increíblemente específico, que se me ocurrió por ejemplo. No se basa en mi amplia experiencia observando civilizaciones terrestres que desarrollan el IION. Evalúo la probabilidad del escenario "no había señales visibles fuera del proyecto de Manhattan hasta que sucedió Hiroshima", ya que es bastante simple. Y todo lo que es más complicado probablemente resulte ser otra historia con detalles pesados, lo cual será incorrecto.

Pero no importa cuáles sean los detalles, predigo que no habrá una alarma de incendio diferente de la IION real existente y en funcionamiento. No hay señales preliminares libres de errores que todas las personas conozcan y estén de acuerdo, lo que les permitirá actuar sin preocuparse por la posibilidad de que lo estén haciendo prematuramente. La historia de la tecnología generalmente se ha desarrollado de manera bastante diferente, incluso en cuestiones menos complejas, como los vuelos y la física nuclear, sin mencionar casos más complejos, como el nuestro, en los que discuten sobre todos los signos y modelos. Ya sabemos lo suficiente sobre las incertidumbres y la baja calidad de las disputas sobre este tema para afirmar con seguridad que no aparecerán signos socialmente aceptables del enfoque del IION ni 10 años ni 5 o 2 años antes de su aparición.Y si hay un pánico general, sucederá por coincidencia, sobre la base de un mal razonamiento, y no coincidirá con el desarrollo real de los eventos, excepto por casualidad, por ejemplo, debido a una película de Hollywood, y se centrará en peligros relativamente simples.

No es casualidad que nadie haya dado definiciones claras de tal alarma de incendio, y no mostró de manera convincente cuánto tiempo nos quedaba, y qué tipo de proyectos necesitaríamos comenzar después. Si alguien escribe una oración similar, la siguiente escribirá algo completamente diferente. Y ninguno de ellos, muy probablemente, podrá convencerme de que conocen el futuro y el calendario de los próximos eventos, o que han determinado un enfoque razonable para resolver este problema, que (a) vale la pena implementar en principio y (b) no Vale la pena comenzar ahora mismo.

* * *

Me parece que la decisión de posponer todos los asuntos hasta que aparezca una alarma vaga e indefinida en el futuro indeterminado implica un descuido suficiente para que la ley de fallas constantes comience a funcionar.

La ley de fallas constantes sugiere que si su país es lo suficientemente incompetente como para usar contraseñas simples de nueve dígitos para todas las cuentas bancarias y solicitudes de préstamos, entonces su país no es lo suficientemente competente como para ajustar la dirección del desarrollo después de tal desastre, que tiene una base de datos de cientos de millones de contraseñas en el dominio público. Una civilización lo suficientemente competente como para cambiar de rumbo en respuesta a tal incentivo, para reaccionar a ella de la manera que usted quiere que responda, es lo suficientemente competente como para no cometer tal error. Cuando ocurre una falla integral y obvia del sistema en lugar de problemas subyacentes al borde de la competencia, el siguiente incentivo no hará que este sistema cambie repentinamente a una operación inteligente.

La ley del fracaso constante es especialmente importante a tener en cuenta cuando se trabaja con grandes sistemas omnipotentes o personas con una posición alta, a quienes realmente no desea regañar. Es posible que desee decir algo como: "Bueno, ahora el sistema es imperfecto, pero tan pronto como aparezca un estímulo adecuado en el futuro, cambiará dramáticamente, se volverá normal y todo estará en orden". Parece que los sistemas que justifican tal esperanza ya hacen bien la mayoría de las cosas importantes, y carecen de un par de pasos para un trabajo consciente. Y tal esperanza casi nunca se justificará cuando una persona, organización, gobierno o subsistema social se estropee a lo grande.

La miopía que permite ignorar el aterrizaje de extraterrestres después de treinta años ya es lo suficientemente grande como para que las fallas restantes no parezcan inesperadas.

Y hoy, cuando todo esto sucede al mismo tiempo, se puede predecir que el mismo sistema con sus incentivos no dará los resultados correctos, después de haber recibido una señal indefinida de que tal vez los extraterrestres aterrizarán en cinco años. La ley de fallas constantes establece que si las autoridades existentes se equivocan, creyendo que tiene sentido transferir la discusión del riesgo existencial a problemas más reales, desde su punto de vista, como la seguridad de los vehículos robóticos, entonces deberíamos esperar que en el futuro digan todas estas tonterías.

Las personas que cometen una gran cantidad de errores al mismo tiempo no marcan los pensamientos equivocados en sus cabezas como "incorrectos". Incluso con motivación, no pueden cambiar repentinamente al razonamiento y la predicción correctos de futuros pasos. Sí, llevamos a cabo varios experimentos que demuestran que las recompensas monetarias pueden reducir la autoconfianza y las distorsiones políticas, pero a) es una reducción en lugar de una eliminación, b) funciona con recompensas directas y de corto plazo, y no con declaraciones políticas vagas como "en juego" mucho ", y c) esto no significa que el interruptor gire completamente hasta" conducir un razonamiento complejo y correcto ". Si alguien en el cerebro tiene un interruptor que puede activar un razonamiento complejo y correcto, entonces tiene suficiente precisión interna y habilidades parapensar en su mayor parte los pensamientos correctos hoy, y no más tarde, al menos en la medida en que evaluamos y verificamos de manera conservadora las decisiones que podrían matarlo si no se hace bien.

No hay signos, signos, umbrales, después de los cuales las personas pueden despertarse repentinamente y comenzar a hacer todo sistemáticamente correctamente. Las personas que pueden reaccionar de manera tan competente ante cualquier signo, sin mencionar la evidencia no tan ideal y bastante controvertida del inicio de la "campana", probablemente ya hayan calculado el calendario completo del inicio de los eventos. Ya habían imaginado signos futuros, habían avanzado y ya habían reflexionado sobre ideas racionales, como dice Stuart Russell: "Si sabes que los extraterrestres aterrizarán en treinta años, esto ya es un gran problema".

En aquellos días en que la organización, ahora conocida como Machine Intelligence Research Institute (MIRI), tenía dificultades para encontrar fondos, descubrí que las personas que donaron dinero el año pasado tienen más probabilidades de hacerlo este año, y las personas el año pasado quienes planearon donar dinero "el próximo año", y hoy planearán donarlo "el próximo año". Por supuesto, hubo transiciones de cero a uno; todo lo que sucede debe suceder por primera vez. Hubo estudiantes universitarios que dijeron "más tarde", y no dieron nada lo suficiente, y luego consiguieron un buen trabajo y comenzaron a hacer donaciones. Pero también aprendí que, como muchos consuelos baratos y simples, la palabra "más tarde" produce adicción, y que este lujo es inherente tanto a los ricos como a los pobres.

No creo que algo sea diferente con el tema de la regulación de IION. Las personas que están tratando de lidiar con el problema regulatorio tanto como sea posible avanzarán un poco (o mucho) el próximo año para resolver el problema que en el pasado (por supuesto, dados los avances que ocurrieron durante este tiempo). Las personas que quieran posponer el problema más adelante, cuando haya una mejor comprensión de AI y IION, después del progreso en esta área el próximo año, querrán posponer este problema para el futuro, cuando habrá una mejor comprensión de AI y IION.

Algunas personas quieren que exista regulación y, por lo tanto, tratan de comprender cómo es posible forzar un aprendizaje del sistema con refuerzo para determinar de manera confiable la función de utilidad sobre ciertos elementos del modelo de entorno causal. A otros les gusta trabajar en otras cosas, por lo que prefieren decir que hoy no se puede hacer ningún trabajo y no pensar con anticipación un par de horas sobre lo que realmente se puede hacer. Y eso no cambiará mañana, a menos que mañana veamos algunos titulares interesantes, e incluso entonces probablemente no cambiará. El lujo de decir "más tarde" está disponible no solo en ausencia de buenas opciones.

Después de un tiempo, comencé a hablar con los seguidores del altruismo efectivo.en la universidad: “Si quieres ganar más para dar más, entonces dona $ 5 cada tres meses. Pero nunca done la misma cantidad o a la misma organización dos veces seguidas para practicar el hábito de revisar los objetivos y revisar su donación. No inculque la costumbre de decir siempre "más tarde".

De la misma manera, si alguien va a trabajar en la regulación de IION "más tarde", le diré que pase un par de horas cada seis meses para construir el mejor esquema para regular IION en este momento y en acciones útiles en esta dirección. Asumiendo, si es necesario, que IION se puede hacer usando tecnologías que recuerdan a las modernas. Publicar su esquema actual, no lo suficientemente bueno, al menos en Facebook. Y deje que se avergüencen del esquema, que no parece que alguien realmente lo haya pensado durante dos horas tratando de encontrar el mejor enfoque.

Comprenderemos mejor algo relacionado con la IA en el futuro, y algo nos ayudará a ganar confianza en que ciertos métodos de investigación están directamente relacionados con la creación de ION. En el futuro, eventos sociológicos similares a la publicación del libro de Nick Bostrom "Superinteligencia", un tweet de Ilon Mask sobre esto, que lanzó una piedra en la ventana de Overton, o unirse a este evento de una luminaria tan respetada como Stuart Russell. En el futuro, se producirán más eventos similares a la aparición de AlphaGo, que podrán destacar públicamente nuevos avances en el aprendizaje automático. Puede suceder que esto no nos deje en el mismo estado epistemológico que tenemos cuando ya hemos visto AlphaGo y la red generativa competitiva. Puede suceder! No veo cómo, pero el futuro tiene la oportunidad de organizar tales sorpresas.

Pero antes de comenzar a esperar tal sorpresa, debe preguntarse si la incertidumbre en la apariencia del IION es tan incierta. Si le parece que la suposición acerca del 50% de probabilidad de que ocurra el intercambio iónico en N años no es suficiente para actuar, pregúntese cómo se sentiría si creyera que la probabilidad de que ocurra este evento en N años es del 50%, y todo lo demás los habitantes de la tierra también creían en el 50% después de N años, y todos creían que esto era permisible y que era necesario seguir una política P cuando la probabilidad de la aparición de IION después de N años es del 50%. Si tal pensamiento te hace sentir diferente, entonces cualquier incertidumbre asociada con si necesitas hacer P no está relacionada con si tendremos que esperar más de N años para que aparezca el ion.

Y es casi seguro que experimentará esta incertidumbre, sin importar cuánto se acerque la apariencia de IION. No importa cuánto tiempo aparezca el IION, cualquier señal seguramente no conducirá al conocimiento público generalmente reconocido de que el IION tiene una probabilidad del 50% de aparecer después de N años, por lo que no habrá acuerdo de que sea perfectamente aceptable responder a esto, siguiendo la política de P.

Y si todo esto se convierte en conocimiento público, entonces es poco probable que P sea una intervención ignorada, y la regulación de la IA es un problema ignorado; para entonces has esperado demasiado y será demasiado tarde.

Es más probable que no haya conocimiento público, por lo que siempre habrá cierta incertidumbre sobre las acciones necesarias.

Puedes actuar a pesar de esto, y no puedes actuar. En el mejor de los casos, no actuará hasta que sea demasiado tarde para cambiar algo en serio. En el caso promedio, no actuará en absoluto hasta que todo esto haya sucedido realmente.

No creo que sea muy inteligente esperar un milagro epistémico sin nombre para que cambie nuestros sentimientos. Es probable que esté en este estado durante bastante tiempo, incluida esta incertidumbre nerviosa aquí. Si lidias con esta condición, diciendo "más tarde", es poco probable que cualquier procedimiento conduzca a buenos resultados para el planeta Tierra.