El libro "Arquitectos de inteligencia"

imagen La Inteligencia Artificial (IA) se está moviendo rápidamente de la ciencia ficción a la vida cotidiana. Los dispositivos modernos reconocen el habla humana, pueden responder preguntas y realizar traducciones automáticas. En una variedad de áreas, desde conducir un vehículo no tripulado hasta diagnosticar cáncer, se utilizan algoritmos de reconocimiento de objetos basados ​​en IA que son superiores a las capacidades humanas. Las grandes compañías de medios utilizan el periodismo robótico para crear artículos similares a los derechos de autor de los datos recopilados. Obviamente, la IA está lista para convertirse en una tecnología verdaderamente universal, como la electricidad.

¿Qué enfoques y tecnologías se consideran los más prometedores? ¿Qué grandes descubrimientos son posibles en los próximos años? ¿Es posible crear una máquina verdaderamente pensante o IA comparable a la humana, y qué tan pronto? ¿Qué riesgos y amenazas están asociados con la IA y cómo evitarlos? ¿La IA causará caos en la economía y el mercado laboral? ¿Las máquinas superinteligentes se saldrán del control humano y se convertirán en una amenaza real?

Por supuesto, es imposible predecir el futuro. Sin embargo, los expertos saben más que nadie sobre el estado actual de la tecnología, así como sobre las innovaciones en el futuro cercano. Tendrá reuniones brillantes con personas tan reconocidas como R. Kurzweil, D. Hassabis, J. Hinton, R. Brooks y muchos otros.

Yan Lekun


VICEPRESIDENTE Y FUNDADOR DEL LABORATORIO DE INVESTIGACIÓN DE AI EN FACEBOOK (FERIA), PROFESOR DE CIENCIAS INFORMÁTICAS EN LA UNIVERSIDAD DE NUEVA YORK

Junto con Jeffrey Hinton y Joshua Benjio, Ian Lekun es parte de un grupo de investigadores cuyos esfuerzos y perseverancia han llevado a la revolución actual en relación con las redes neuronales y el aprendizaje profundo. Mientras trabajaba en Bell Labs, inventó las redes neuronales convolucionales. Recibió un diploma de ingeniero eléctrico en París de ESIEE, y un doctorado en ciencias de la computación de la Universidad de Pierre y Marie Curie. Después de graduarse, trabajó en el Laboratorio Jeffrey Hinton de la Universidad de Toronto.

Martin Ford: ¿ La explosión de interés en el aprendizaje profundo en los últimos 10 años es una consecuencia de la mejora simultánea de las redes neuronales, el aumento de la potencia de las computadoras y la cantidad de datos disponibles?

Yang Lekun: Sí, pero el proceso fue más deliberado. Apareció en 1986–87. El algoritmo de retropropagación permitió entrenar redes neuronales multicapa. Esto causó una ola de interés que duró hasta 1995. En 2003, Jeffrey Hinton, Joshua Benggio y yo ideamos un plan para renovar el interés de la comunidad en estos métodos porque confiaban en su inminente victoria. Entonces podemos decir que hubo una conspiración deliberada.

M.F .: ¿Ya entendiste todas las perspectivas? La IA y el aprendizaje profundo ahora se consideran sinónimos.

I. L .: Sí y no. Sabíamos que los métodos formarían la base de la visión por computadora, el reconocimiento de voz y posiblemente un par de otras cosas, pero nadie esperaba que se extendieran a la comprensión del lenguaje natural, la robótica, el análisis de imágenes médicas e incluso contribuyeran a la aparición de vehículos no tripulados. A principios de la década de 1990. Pensé que el movimiento hacia estas cosas sería más suave y aparecerían un poco antes. Estábamos esperando la revolución que sucedió alrededor de 2013.

M.F .: ¿Y cómo surgió su interés en la IA y el aprendizaje automático?

Y. L .: Desde la infancia me interesaron la ciencia, la tecnología y los problemas globales sobre el origen de la vida, la inteligencia, el origen de la humanidad. La idea de IA me cautivó. Pero en la década de 1960–70. nadie hizo esto en Francia, así que después de la escuela fui a estudiar como ingeniero.

En 1980, me gustó mucho el libro sobre la filosofía del lenguaje y el aprendizaje: el debate entre Jean Piaget y Noam Chomsky ("Lenguaje y aprendizaje: una discusión entre Jean Piaget y Noam Chomsky"), en el que el creador de la teoría del desarrollo cognitivo y el lingüista discutieron la naturaleza y la educación. , así como la aparición del lenguaje y la inteligencia.

Del lado de Piaget, el profesor del MIT Seymour Peypert habló sobre los orígenes del aprendizaje automático a fines de la década de 1960. en realidad contribuyó al cese del trabajo con redes neuronales. Y ahora, después de 10 años, ensalzó el llamado perceptrón, un modelo muy simple de aprendizaje automático que apareció en la década de 1950. y en el que trabajó en la década de 1960. Entonces, por primera vez, conocí el concepto de aprendizaje automático y quedé absolutamente fascinado. La capacidad de aprender, consideraba una parte integral de la inteligencia.

Como estudiante, leí todo lo que pude encontrar sobre aprendizaje automático e hice varios proyectos sobre este tema. Resultó que en Occidente nadie trabaja con redes neuronales. Algunos investigadores japoneses trabajaron en lo que más tarde se conoció como este término. En nuestro país, este tema no era de interés para nadie, en parte debido a lo que apareció a fines de la década de 1960. libros de Peypert y Minsky.

Comencé una investigación independiente y en 1987 defendí mi disertación doctoral Modeles connexionnistes de l'apprentissage ("Modelos de aprendizaje conexionista"). Mi gerente Maurice Milgram no se ocupó de este tema y me dijo directamente que podría convertirse oficialmente en mi consultor, pero que no podía ayudarme técnicamente.

A principios de 1980 Descubrí una comunidad de personas que trabajaban en redes neuronales y las contacté. Como resultado, en paralelo con David Rumelhart y Jeffrey Hinton, descubrí el método de propagación inversa del error.

M.F .: Es decir, a principios de los años ochenta. En Canadá, ¿se han realizado numerosos estudios en esta área?

Y. L .: No, todo sucedió en los Estados Unidos. En Canadá, tales estudios aún no se realizaron. A principios de 1980 Jeffrey Hinton era un empleado de la Universidad de California, San Diego, donde trabajó con psicólogos cognitivos como David Rumelhart y James McClelland. Como resultado, apareció un libro explicando la psicología con la ayuda de redes neuronales simples y modelos de computadora. Jeffrey luego se convirtió en profesor asistente en la Universidad Carnegie Mellon. Solo se mudó a Toronto en 1987. Luego me mudé a Toronto y trabajé en su laboratorio durante un año.

M.F .: a principios de los años ochenta. Era estudiante de informática y no recuerdo que las redes neuronales se usaran en algún lugar. Ahora la situación ha cambiado dramáticamente.

Y. L .: Las redes neuronales no solo están al margen de la ciencia. En la década de 1970 y principios de los ochenta. en realidad fueron anatematizados. Los artículos fueron rechazados por una mención de las redes neuronales.

El conocido artículo Optimal Perceptual Inference, publicado en 1983 por Jeffrey Hinton y Terry Seinowski. Para describir en él uno de los primeros modelos de aprendizaje profundo y red neuronal, utilizaron palabras de código, incluso en el nombre.

M.F .: Usted es conocido como el autor de una red neuronal convolucional. Por favor explique de qué se trata?

Y. L .: Inicialmente, esta red neuronal fue optimizada para el reconocimiento de objetos en imágenes. Pero resultó que se puede aplicar a una amplia gama de tareas, como el reconocimiento de voz y la traducción automática. La idea de su creación fue servida por las características de la corteza visual del cerebro de animales y humanos, estudiadas en los años cincuenta y sesenta. David Hubel y Thorsten Wiesel, que luego recibió el Premio Nobel de neurobiología.

La red convolucional es una forma especial de conectar neuronas que no son una copia exacta de las neuronas biológicas. En la primera capa, la capa de convolución, cada neurona está asociada con un pequeño número de píxeles de imagen y calcula la suma ponderada de sus datos de entrada. Durante el entrenamiento, los pesos cambian. Grupos de neuronas ven pequeñas áreas de la imagen. Si una neurona detecta una característica específica en un área, otra neurona detectará exactamente la misma característica en el área adyacente y todas las demás neuronas en las áreas restantes de la imagen. La operación matemática que las neuronas realizan juntas se llama convolución discreta. De ahí el nombre.

Luego viene la capa no lineal, donde cada neurona se activa o desactiva, dependiendo de si la suma ponderada calculada por la capa de convolución resultó ser mayor o menor que el umbral especificado. Finalmente, la tercera capa realiza una operación de disminución de muestras para asegurarse de que un ligero sesgo o deformación de la imagen de entrada no cambie en gran medida la salida. Esto proporciona independencia de las deformaciones de la imagen de entrada.

De hecho, una red convolucional es una pila organizada a partir de capas de convolución, no linealidad y submuestreo. Cuando se pliegan, aparecen neuronas que reconocen los objetos. Por ejemplo, una neurona que se activa cuando el caballo está en la imagen, otra neurona para automóviles, una tercera para personas, etc., para todas las categorías que necesita.

Además, lo que hace la red neuronal está determinado por la fuerza de las conexiones entre las neuronas, es decir, los pesos. Y estos pesos no están programados, sino que son el resultado del entrenamiento.

La imagen del caballo se muestra en la red y, si no responde "caballo", se le informará que esto está mal y se le solicitará la respuesta correcta. Después de eso, utilizando el algoritmo de propagación de error de retorno, la red ajusta los pesos de todas las conexiones para que la próxima vez que se muestre la misma imagen, el resultado esté más cerca del deseado. Al mismo tiempo, debes mostrarle miles de imágenes.

M. F .: ¿Es esto enseñar con un maestro? Según tengo entendido, ahora este es el enfoque dominante.

Y. L .: Exactamente. Casi todas las aplicaciones modernas de aprendizaje profundo utilizan la formación del profesorado. La magia es que la red entrenada en su mayor parte da las respuestas correctas incluso para imágenes que no se habían mostrado antes. Pero necesita una gran cantidad de ejemplos.

M.F .: ¿Y qué se puede esperar en el futuro? ¿Será posible enseñar un auto de niño, que solo necesita mostrar un gato una vez y nombrarlo?

I. L .: En realidad, no tienes toda la razón. Los primeros entrenamientos convolucionales realmente tienen lugar en millones de imágenes de varias categorías. Y luego, si necesita agregar una nueva categoría, por ejemplo, enseñar a una computadora a reconocer gatos, unas pocas muestras son suficientes. Después de todo, la red ya está entrenada para reconocer objetos de casi cualquier tipo. Las adiciones al entrenamiento se relacionan con un par de capas superiores.

MF: Ya se parece a la forma en que estudian los niños.

Y. L .: No, desafortunadamente, esto no es para nada así. Los niños obtienen la mayor parte de la información antes de que alguien les diga: "Este es un gato". En los primeros meses de vida, los niños aprenden sin una pista sobre el idioma. Reconocen la estructura del mundo simplemente observando el mundo e interactuando un poco con él. Esta forma de acumular conocimiento no está disponible para las máquinas. Cómo llamarlo no está claro. Algunos usan el término provocativo "enseñanza sin maestros". Esto a veces se llama entrenamiento anticipatorio o inductivo. Yo lo llamo autoestudio. Cuando se entrena este tipo, no se trata de prepararse para realizar una tarea, simplemente se trata de observar el mundo y cómo funciona.

M.F .: ¿El aprendizaje reforzado entra en esta categoría?

Y. L .: No, esta es una categoría completamente diferente. De hecho, hay tres categorías principales: aprendizaje reforzado, capacitación docente y autoaprendizaje.

El entrenamiento con refuerzo se lleva a cabo mediante prueba y error y funciona bien para juegos en los que puedes hacer tantos intentos como quieras. El buen rendimiento de AlphaGo se logró después de que la máquina jugó más juegos que toda la humanidad en los últimos tres mil años. Para los problemas del mundo real, este enfoque no es práctico.

Una persona puede aprender a conducir un automóvil en 15 horas de entrenamiento sin chocar contra nada. Si utiliza los métodos existentes de entrenamiento con refuerzos, el automóvil, para aprender a conducir sin conductor, tendrá que caerse de un precipicio 10 mil veces antes de que ella comprenda cómo evitarlo.

M.F .: Me parece que este es un argumento a favor del modelado.

Y. L .: Más bien, es una confirmación de que el tipo de entrenamiento que usan las personas es muy diferente del aprendizaje reforzado. Esto es similar al entrenamiento de refuerzo basado en modelos. Después de todo, una persona que conduce un automóvil por primera vez tiene un modelo del mundo y puede predecir las consecuencias de sus acciones. Cómo hacer que la máquina estudie de forma independiente los modelos pronósticos es el principal problema sin resolver.

M.F .: ¿De esto se trata tu trabajo con Facebook?

I. L .: Sí, esta es una de las cosas en las que estamos trabajando. También entrenamos la máquina para observar diferentes fuentes de datos. Estamos construyendo un modelo del mundo, esperando el reflejo del sentido común en él, para que luego pueda usarse como pronóstico.

M.F .: Algunas personas piensan que el aprendizaje profundo por sí solo no es suficiente, y en las redes debería haber inicialmente una estructura responsable de la inteligencia. Y parece estar convencido de que la inteligencia puede emerger orgánicamente de redes neuronales relativamente universales.

Y. L .: Exageras. Todos están de acuerdo con la necesidad de la estructura; la pregunta es cómo debería verse. Y hablando de personas que creen que debería haber estructuras que proporcionen un pensamiento lógico y la capacidad de argumentar, probablemente se refiera a Gary Marcus y, posiblemente, a Oren Etzioni. Discutimos con Gary sobre este tema esta mañana. Su opinión no es bien recibida en la comunidad, porque, sin hacer la más mínima contribución al aprendizaje profundo, escribió críticamente al respecto. Oren trabajó en esta área durante algún tiempo y al mismo tiempo habla mucho más suave.

De hecho, la idea de redes convolucionales surgió como un intento de agregar estructura a las redes neuronales. La pregunta es: ¿qué permite a la máquina manipular caracteres o, por ejemplo, corresponder a las características jerárquicas del lenguaje?

Muchos de mis colegas, incluidos Jeffrey Hinton y Joshua Benggio, están de acuerdo en que tarde o temprano podemos prescindir de las estructuras. Pueden ser útiles a corto plazo, porque todavía no se ha inventado una forma de autoaprendizaje. Este punto se puede eludir vinculando todo a la arquitectura. Pero la microestructura de la corteza, tanto visual como prefrontal, parece completamente homogénea.

M.F .: ¿Utiliza el cerebro algo similar al método de propagación de errores?

I. L .: Esto es desconocido. Puede resultar que esta no es la propagación inversa en la forma como la conocemos, sino una forma similar de aproximación de la estimación del gradiente. Joshua Benggio ha trabajado en formas biológicamente plausibles de estimación de gradiente. Existe la posibilidad de que el cerebro calcule el gradiente de cualquier función objetivo.

M.F .: ¿En qué otras cosas importantes se está trabajando en Facebook?

Y. L .: Nos dedicamos a una variedad de investigaciones básicas, así como a problemas de aprendizaje automático, por lo tanto, nos ocupamos principalmente de la matemática aplicada y la optimización. Se está trabajando en el aprendizaje reforzado y los llamados patrones generativos, que son una forma de autoaprendizaje o aprendizaje anticipado.

MF: ¿Facebook desarrolla sistemas que pueden mantener una conversación?

Y. L .: He enumerado los temas de investigación fundamentales anteriores, pero también hay muchas áreas de su aplicación. Facebook está desarrollando activamente desarrollos en el campo de la visión por computadora, y se puede argumentar que tenemos el mejor grupo de investigación del mundo. Trabajamos mucho en el procesamiento de textos en un lenguaje natural. Esto incluye traducción, generalización, categorización (averiguar qué tema se está discutiendo) y sistemas de diálogo para asistentes virtuales, sistemas de preguntas y respuestas, etc.

M.F .: ¿Crees que algún día habrá una IA que pueda pasar la prueba de Turing?

I. L .: En algún momento esto sucederá, pero no considero que la prueba de Turing sea un buen criterio: es fácil de engañar y está algo desactualizado. Muchos olvidan o se niegan a creer que el lenguaje es un fenómeno secundario en relación con la inteligencia.

»Se puede encontrar más información sobre el libro en el sitio web del editor
» Contenidos
» Extracto

Cupón de 25% de descuento para vendedores ambulantes - Intelligence Architects

Tras el pago de la versión en papel del libro, se envía un libro electrónico por correo electrónico.

Source: https://habr.com/ru/post/476466/


All Articles