Sobre el autor Richard Sutton es profesor de informática en la Universidad de Alberta. Es considerado uno de los fundadores de los métodos modernos de enseñanza computacional con refuerzo.Según el resultado de 70 años de investigación en IA, la lección principal es que los métodos computacionales generales son, en última instancia, los más efectivos. Y por un amplio margen. Por supuesto, la razón es la ley de Moore, o más bien, la disminución exponencial en el costo de la informática.
La mayoría de los estudios de IA han sugerido que el agente tiene acceso a recursos informáticos en curso. En este caso, la única forma de aumentar la productividad es utilizar el conocimiento humano. Pero un proyecto de investigación típico es de corta duración, y después de unos años, el rendimiento de la computadora aumenta inevitablemente.
En un esfuerzo por mejorar a corto plazo, los investigadores están tratando de aplicar el conocimiento humano en el área temática, pero a la larga solo importa el poder de la informática. Estas dos tendencias no deben contradecirse, pero en la práctica se contradicen. El tiempo que se pasa en una dirección es tiempo perdido para otra. Hay obligaciones psicológicas para invertir en un enfoque u otro. Y la implementación del conocimiento en el área temática tiende a complicar el sistema de tal manera que es menos adecuado para usar métodos computacionales generales. Ha habido muchos ejemplos en los que los investigadores aprendieron esta amarga lección demasiado tarde, y es útil considerar algunos de los más famosos.
En el ajedrez informático, el sistema que derrotó al campeón mundial Kasparov en 1997 se basó en una búsqueda profunda de opciones. En ese momento, la mayoría de los investigadores de ajedrez informático observaron estos métodos con alarma porque aplicaron una comprensión humana del área temática: la estructura especial de un juego de ajedrez. Cuando un enfoque más simple basado en la búsqueda con hardware y software especializado resultó ser significativamente más efectivo, estos investigadores se negaron a admitir la derrota. Dijeron que el método de fuerza bruta puede haber funcionado una vez, pero no es una estrategia general. En cualquier caso, la gente
no juega al ajedrez así. Estos investigadores querían métodos ganadores basados en una comprensión humana del juego, pero estaban decepcionados.
Una situación similar existe en los estudios del juego de go, solo con un retraso de 20 años. Los enormes esfuerzos iniciales tenían como objetivo evitar la búsqueda y utilizar el conocimiento del sujeto humano o las características del juego, pero todos estos esfuerzos fueron inútiles cuando se aplicó efectivamente una búsqueda profunda de opciones con cálculos paralelos masivos. Resultó que el autoestudio también era importante para dominar la función del valor, como en muchos otros juegos e incluso en el ajedrez, aunque esta función no jugó un papel importante en el programa de 1997, que ganó por primera vez al campeón mundial. Aprender en un juego con uno mismo y aprender en general es similar a la búsqueda en el sentido de que permiten el uso de la computación paralela masiva. La búsqueda y la capacitación son las aplicaciones más importantes de la potencia informática en la investigación de IA. Al igual que en el ajedrez informático, en el desarrollo de un programa para el juego de go, los investigadores primero se concentraron en aplicar una comprensión humana del área temática (que requería menos búsqueda), y mucho después tuvieron un gran éxito cuando aplicaron la búsqueda y la capacitación.
En la década de 1970, DARPA celebró un concurso de sistemas de reconocimiento de voz. Los competidores propusieron muchos métodos especiales que utilizaban el conocimiento del área temática: conocimiento de palabras, fonemas, tracto de voz humana, etc. Por otro lado, se introdujeron nuevos métodos que eran de naturaleza más estadística. Hicieron muchos más cálculos basados en modelos ocultos de Markov (HMM). Y nuevamente, los métodos estadísticos triunfaron sobre los métodos basados en el conocimiento del dominio. Esto ha llevado a cambios significativos en todo el procesamiento del lenguaje natural. Gradualmente, con los años, las estadísticas y los cálculos se han vuelto dominantes en esta área. El reciente aumento en el aprendizaje profundo en el reconocimiento de voz es el paso final en esa dirección. Los métodos de aprendizaje profundo dependen aún menos del conocimiento humano y usan aún más cómputo junto con el aprendizaje en grandes conjuntos de datos. Esto ha mejorado enormemente los sistemas de reconocimiento de voz. Al igual que en los juegos, los investigadores siempre han tratado de crear sistemas que funcionen según el modelo de sus propias mentes: intentaron transferir su conocimiento del área temática a sus sistemas. Pero en última instancia, resultó ser contraproducente y fue una gran pérdida de tiempo cuando la ley de Moore hizo disponibles cálculos masivos y se desarrollaron herramientas para su uso efectivo.
En visión artificial, una imagen similar. Los primeros métodos consideraban la visión como una búsqueda de los límites de los objetos, cilindros generalizados o en términos de signos SIFT. Pero hoy todo esto se descarta. Las redes neuronales modernas de aprendizaje profundo utilizan solo los conceptos de convolución y algunos invariantes, mientras funcionan mucho mejor.
Esta es una gran lección. En la industria en su conjunto, aún no lo hemos entendido completamente, ya que seguimos cometiendo los mismos errores. Para contrarrestar esto de manera efectiva, debe comprender qué hace que estos errores sean atractivos. Tenemos que aprender una amarga lección: construir un modelo de la mente humana no funciona a largo plazo. La amarga lección se basa en varias observaciones históricas:
- Los investigadores a menudo intentaron integrar su conocimiento en los agentes de IA.
- Siempre ayuda a corto plazo y satisface personalmente al investigador, pero
- A la larga, este enfoque se basa en el techo e incluso ralentiza el progreso.
- El progreso revolucionario en última instancia proviene del enfoque opuesto, basado en cálculos masivos a través de la búsqueda y la capacitación.
El éxito final está coloreado por la amargura y, a menudo, no se acepta completamente, porque es una victoria sobre un enfoque atractivo y centrado en la persona.
Se debe aprender una lección de esta amarga experiencia: se debe reconocer el enorme poder de los métodos comunes que continúan escalando con el aumento de la potencia informática, incluso cuando se requieren grandes cantidades de cálculo. La búsqueda y el entrenamiento parecen ser infinitamente escalables.
El segundo punto general que se extrae de la amarga lección es que el pensamiento humano real es extremadamente, irrevocablemente difícil. Deberíamos dejar de tratar de encontrar una manera simple de presentar los contenidos de la mente como modelos simples de espacio, objetos o múltiples agentes. Todo esto es parte de un mundo externo internamente complejo. Esto no se puede modelar porque la complejidad es infinita. En cambio, deberían desarrollarse meta-métodos que puedan encontrar y capturar esta complejidad arbitraria. Para estos métodos, es importante que puedan encontrar buenas aproximaciones, pero esta búsqueda la llevan a cabo los propios métodos, y no nosotros. Necesitamos agentes de IA que puedan realizar investigaciones por sí mismos y no utilizar el conocimiento que hemos descubierto. La construcción del sistema de inteligencia artificial sobre el conocimiento humano solo complica su entrenamiento.