El desarrollo de sistemas complejos de inteligencia artificial en el laboratorio es una tarea difícil. Pero, ¿qué sucede cuando tales sistemas ingresan al mundo real y comienzan a interactuar con personas reales? Esto es lo que los investigadores están tratando de resolver, incluido el Dr. Fernando Díaz, director de investigación senior en Microsoft Research Montreal. Hoy, el Dr. Díaz compartirá sus pensamientos y responderá nuestras preguntas sobre la inteligencia artificial y su impacto en la sociedad.
Junto con sus colegas, Fernando está tratando de comprender cómo los sistemas de IA afectan a la sociedad, ingresan al mundo real y cómo hacer frente a las consecuencias.
También hablará sobre cómo la tecnología puede dar forma a los gustos musicales y explicará por qué es tan importante hoy educar a los estudiantes en informática, no solo algoritmos, sino también principios éticos.
La entrevista
Cuando comienzo un experimento, me pregunto: ¿qué experimentos de usuarios se consideran éticos y cuáles no? ¿En qué medida deben estar informadas las personas de que se han convertido en participantes de un experimento? ¿Cómo reconocer y eliminar los datos de sesgo utilizados por las tecnologías de aprendizaje automático? Me viene a la mente primero. En los años siguientes, surgirán muchas otras preguntas, por ejemplo, cómo desarrollar sistemas de IA de tal manera que demuestren respeto por los usuarios.
Estás escuchando el podcast de Microsoft Research. Aquí le presentamos la investigación tecnológica avanzada y los científicos que la respaldan. Soy el anfitrión de la Gretchen Huizinga.
El desarrollo de sistemas complejos de inteligencia artificial en el laboratorio es una tarea difícil. Pero, ¿qué sucede cuando tales sistemas ingresan al mundo real y comienzan a interactuar con personas reales? Esto es lo que investigadores como el Dr. Fernando Díaz, director senior de investigación de Microsoft Research Montreal, están tratando de resolver. Junto con sus colegas, Fernando está tratando de comprender cómo los sistemas de IA afectan a la sociedad, ingresan al mundo real y cómo hacer frente a las consecuencias.
Hoy, el Dr. Díaz compartirá sus pensamientos y responderá nuestras preguntas sobre la inteligencia artificial y su impacto en la sociedad. También hablará sobre cómo la tecnología puede dar forma a los gustos musicales y explicará por qué es tan importante hoy educar a los estudiantes en informática, no solo algoritmos, sino también principios éticos. Acerca de esto y mucho más: en la nueva versión del podcast de Microsoft Research.
Fernando Díaz, bienvenido al podcast.Gracias
Usted es Director de Investigación Senior en Microsoft Research Montreal y trabaja en el campo de la inteligencia artificial, búsqueda y recuperación de información. Pero también aprende los principios de equidad, responsabilidad, transparencia y ética (equidad, responsabilidad, transparencia y ética, FATE). Es decir, hablando en general (llegaremos a detalles más adelante): ¿qué te hace despertar por la mañana? ¿Qué preguntas serias estás buscando respuestas, qué problemas importantes quieres resolver?Muchos de los sistemas que estamos creando son muy exitosos. Búsqueda de información, búsqueda web, visión por computadora: todas estas tecnologías se han desarrollado durante muchos años. Hoy están llenando activamente el mercado masivo, y la gente comienza a usarlos todos los días. Sin embargo, algunos especialistas de TI no pensaron como debían pensar al diseñar estas tecnologías: en qué contexto social se utilizarán.
Y en este caso, solo estoy tratando de entender qué prerrequisitos sociales existían para crear estos sistemas, cómo el contexto social dentro del cual trabajan afecta no solo a nuestros indicadores, por ejemplo, la precisión y la integridad de los datos devueltos, sino también a la sociedad en general . Me parece que este problema está a la vanguardia para los profesionales de TI, ya que muchas de estas tecnologías, desarrolladas de forma aislada, recién ahora están comenzando a ingresar al mercado.
Entonces, usted es un especialista en TI, ha investigado algoritmos para obtener información, aprendizaje automático y métodos estadísticos. Sin embargo, recientemente ha estado interesado en la interacción de las tecnologías de inteligencia artificial con la sociedad, en particular, las consecuencias de su amplia distribución o, como algunos dicen, su publicación. ¿Por qué te interesa ahora? ¿Qué te está molestando? ¿Qué despertó su interés en esta área?Gran pregunta Primero, por supuesto, entré en la magistratura, obtuve un título. Estudié todos estos sistemas, por así decirlo, en un nivel abstracto, experimenté con datos estáticos obtenidos sin conexión. Poco después de graduarme, terminé en el laboratorio de investigación industrial. Aquí trabajé con trabajadores de producción, nos dedicamos a la implementación práctica de las tecnologías que estudié en la universidad.
Y luego comencé a comprender: cuando escalamos estos algoritmos y los proporcionamos a usuarios reales, la mayoría de los supuestos básicos presentados en el laboratorio son completamente inaplicables en realidad. Para mí fue una especie de verificación final de toda mi investigación, un retorno a los principios básicos y un intento de comprender cuál es el problema, cómo puedo evaluar con precisión los resultados y lograr indicadores específicos.
Es decir, ya ha trabajado en Microsoft Research, luego se fue de allí y luego regresó nuevamente. Empezaste en Nueva York y ahora te has mudado a Montreal. ¿Por qué has vuelto?Después de la universidad, comencé a trabajar en investigación en Montreal y, por varias razones, me vi obligado a irme de allí. Pero, viviendo allí, me di cuenta de que en esta ciudad, como en Canadá en general, la tradición de la investigación en el campo de las TI y el aprendizaje automático es bastante fuerte. Y en el fondo siempre quise volver aquí para participar en este trabajo. Y cuando tuve la oportunidad de regresar al laboratorio de Microsoft Research en Montreal, con gusto lo aproveché. Especialmente cuando considera que el laboratorio está completamente involucrado en el desarrollo de la inteligencia artificial. En Montreal, se realizó una investigación muy activa en esta área, y quería ser parte de todo esto, para hacer mi contribución.
Digamos algunas palabras sobre Montreal. Esta ciudad se ha convertido en una verdadera Meca en todo lo relacionado con la inteligencia artificial, y el laboratorio SMR Montreal tiene una tarea muy específica: enseñar a las máquinas a leer, pensar y comunicarse de la misma manera que las personas. Cuéntanos qué tan lejos has recorrido este camino y cómo tu propia investigación se correlaciona con el trabajo del laboratorio de Montreal.Creo que se creó un laboratorio especial dedicado al estudio de la IA porque había muchas preguntas sobre el desarrollo de tales sistemas, y todavía no han encontrado respuestas. Y creo que esto requiere lejos no solo especialistas en el procesamiento de lenguajes naturales, no solo especialistas en aprendizaje interactivo o en aprendizaje estimulante. De hecho, todos deberían trabajar en estrecha colaboración. Y me parece que esto es lo que hace que nuestro laboratorio sea verdaderamente único.
Mi tarea hoy es ir al laboratorio, si es posible, comunicarme con especialistas y decirles cómo pueden comportarse estos sistemas cuando las personas reales comienzan a interactuar con ellos. Como dije antes, tales sistemas son bastante fáciles de desarrollar aislados de la realidad, aislados. Pero cuando comienza su implementación práctica, resulta que se hicieron demasiados supuestos durante los experimentos. Ahora estoy formando un equipo cuya tarea es anticipar la aparición de tales preguntas, optimizar el desarrollo del sistema, aumentar su estabilidad en términos de, por ejemplo, diferencias entre los grupos de la población con los que interactuamos, o variaciones dentro de la base de conocimiento de la que extraigo información.
¿Qué equipo quieres formar?Estoy tratando de crear una especie de "hermana" para el grupo FATE que organizamos en Nueva York hace varios años. Nos centraremos en las consecuencias sociales de integrar la inteligencia artificial en la sociedad. Nuestro equipo incluirá especialistas no solo en el campo de TI, sino también en disciplinas relacionadas, por ejemplo, en sociología. Para que los profesionales de TI comprendan mejor las consecuencias para la sociedad, necesitamos sociólogos expertos, antropólogos, etc. Podrán contar muchas cosas útiles sobre cosas que aún no hemos evaluado o tomado en cuenta.
Sí, hablemos de esto con más detalle. La aplicación de los principios FATE en diversas investigaciones en el campo de la inteligencia artificial y el aprendizaje automático es de suma importancia hoy en día. Como dijiste, la razón es que no todos los temas polémicos pueden estudiarse adecuadamente en el laboratorio. Junto con el resultado planificado, pueden surgir consecuencias completamente inesperadas e impactantes para las personas. Entonces, los investigadores de esta comunidad tienen diferentes especializaciones y educación. ¿Cuál es la contribución de cada uno de los expertos cuando se trata de los principios de honestidad, responsabilidad, transparencia y ética?Sí, los sociólogos entienden mucho mejor los diversos aspectos de la aplicación de la tecnología en general, conocen las posibles consecuencias positivas y negativas, cómo reaccionan las personas ante esas u otras herramientas que ofrecemos. Los especialistas con educación legal podrán comentar sobre los antecedentes políticos de las tecnologías individuales que se están desarrollando y nos ayudarán a comprender mejor el concepto de "honestidad", por ejemplo.
Los profesionales de TI, a su vez, comprenden mejor la esencia de los sistemas que se están desarrollando, son capaces de traducir conceptos como "honestidad" en un concepto viable e incorporarlo al sistema. Sin embargo, la presencia de puntos de vista muy diferentes sobre el mismo problema es simplemente necesaria para diseñar sistemas de manera más eficiente.
Volvamos a lo que ha hecho en el pasado y a lo que continúa trabajando ahora: acceso a sistemas de información, motores de búsqueda y obtención de información. En el documento que ha escrito, habla sobre la existencia de una cierta brecha entre el estudio de dichos sistemas y su implementación práctica, pero al mismo tiempo hace una declaración provocativa de que las instituciones educativas enfrentarán mejor algunos problemas que los especialistas técnicos de la industria. ¿Cuáles son estos problemas y por qué piensas eso?Veamos la situación en el campo de la investigación sobre el acceso a la información. Hay científicos de instituciones educativas que han hecho mucho por el bien de la sociedad, pero hoy en día muchos estudios, por ejemplo en el campo de la búsqueda en la web, son realizados por grandes gigantes de búsqueda que tienen datos, información del usuario, etc. Y los científicos en la mayoría de los casos no tienen acceso a dichos datos, una plataforma para realizar experimentos. Por lo tanto, las oportunidades de investigación son claramente desiguales.
Y en mi artículo escribí que el personal científico de las instituciones educativas no tiene una gran cantidad de datos, pero tienen la capacidad de atraer a diversos especialistas, lo que los gigantes de la búsqueda no pueden hacer. La universidad cuenta con sociólogos y expertos en otras ciencias. Hay profesores de disciplinas económicas. Todos estos posibles "socios" de investigación ayudarán a analizar el problema de manera más amplia, a estudiarlo desde varios puntos de vista, en lugar de encontrarse con el único al que se adhiere el gigante de la búsqueda.
Creo que crear conjuntos de datos es solo una de las estrategias. Otro enfoque, o tipo de plataforma científica, inaccesible para las instituciones educativas, son los experimentos. Puedo hacer pruebas A / B. Puede configurar experimentos controlados con una gran muestra de usuarios, que no está disponible en el conjunto de datos.
Si es verdad.Y, sin embargo, me parece que vale la pena explorar cómo realmente brindamos a las instituciones educativas acceso a nuestros recursos para llevar a cabo tales experimentos controlados.
InteresanteTodo esto sucedió de manera caótica, al azar, y me parece que eso es exactamente lo que nosotros, los investigadores de la industria, debemos pensar: cómo hacer que el acceso a esas oportunidades sea más fácil y más conveniente.
Entonces, volvamos a los datos. Digamos algunas palabras sobre ellos. Los expertos en aprendizaje automático acordaron que simplemente "big data" no es suficiente, específicamente digo "big data" entre comillas. Entre otras cosas, se requieren datos objetivos y de alta calidad. Sabemos que todos estos grandes conjuntos de datos carecen de cierto grado de objetividad.
Y tenemos que arreglarlo. Hoy en día, se habla mucho sobre cómo aumentar la objetividad de los datos mediante, por ejemplo, auditorías de motores de búsqueda, algoritmos para garantizar la igualdad y similares. Como hacerloUna de las razones de nuestra preocupación por el sesgo de los datos: un modelo capacitado sobre la base de estos datos estará sesgado durante la implementación. Es decir, lo más importante es poder determinar cómo funciona la inteligencia objetivamente artificial. Y si actúa sesgado, debe volver y volver a entrenar el algoritmo o agregarle restricciones que no le permitirán tomar sesgo de los datos. Mi trabajo de hoy se centra principalmente en la evaluación y la medición.
Queremos comprender a los usuarios que acceden al sistema, comprender lo que necesitan y evaluar, de manera objetiva o sesgada, el sistema funciona teniendo en cuenta quiénes son estos usuarios, a qué grupo de población pertenecen. Esto requiere una rica experiencia adquirida por especialistas en la obtención de información que, desde el comienzo de dicha investigación en los años 50 del siglo XX, lograron pensar en todos los algoritmos de estimación y medición. Esto es lo que le permite encontrar un equilibrio natural entre auditoría, evaluación y obtención de información.
Como hemos dicho, el sesgo es una palabra de moda entre los investigadores en el campo del procesamiento y análisis de datos y la inteligencia artificial. Sin embargo, usted dice que además del sesgo, hay otros problemas de naturaleza social que deben abordarse. ¿Cuáles son estos problemas y cómo puede ayudar la investigación a resolverlos?Sí, realmente creo que el sesgo es un problema muy importante, pero ¿por qué incluso hablé sobre el contexto social del uso de la inteligencia artificial? Porque creo que el sesgo es solo uno de los problemas sociales que podemos identificar. Por supuesto, hay otros. Obviamente, uno de ellos está relacionado con la transparencia. ¿Cómo puedo hacer que las decisiones tomadas por el algoritmo sean transparentes para los usuarios, hacerles sentir que pueden controlar la situación, participar en el trabajo del algoritmo?
El segundo problema es el trasfondo cultural de los algoritmos. Todo esto sucede en el contexto de, digamos, la selección de recomendaciones para películas o música. Por ejemplo, estoy creando un gran sistema para seleccionar recomendaciones de música para los usuarios. ¿Cuáles serán las consecuencias del despliegue de este algoritmo para la cultura, si sé, por ejemplo, que al agregar artistas individuales a la recomendación, es posible formar los gustos musicales de alguien de cierta manera? ¿Qué significará crear o mantener una cultura a largo plazo?
Hay otro aspecto de este problema: los algoritmos para seleccionar recomendaciones de música pueden tener un impacto significativo en los autores o artistas. Como profesional de TI, puedo decir que este es el mejor algoritmo para seleccionar recomendaciones de música. Y lo voy a llevar al mercado. Pero los profesionales de TI no pensamos en absoluto en cómo este algoritmo afectaría a los autores. Para mí personalmente, esto es especialmente importante.
¿Cómo vas a realizar estudios que tengan en cuenta todo esto?Volvamos al ejemplo con la selección de recomendaciones musicales. Imagina que estás en contacto cercano con los músicos y entiendes perfectamente lo importante que es para ellos. ¿Qué será para ellos saber que están excluidos del sistema? ¿Cómo es sentir que su vida se rige por un sistema de selección de recomendaciones y que no pueden influir en ella? Como especialista en TI, solo necesito sentarme en una mesa con sociólogos y antropólogos, especialistas en medios de comunicación, para comprender mejor qué es un grupo tan importante de la población como músicos.
Y luego yo, un profesional de TI, puedo sentarme y pensar en cómo crear un algoritmo que satisfaga las necesidades de los oyentes y los músicos. Ahora me parece que tal formulación suena demasiado simplista. Es por eso que quiero que un especialista en otras disciplinas me diga: "Fernando, ya sabes, no pensaste en esto, esto y aquello".
Dada la naturaleza de su investigación y los resultados, ¿puede decirnos de qué tenemos que preocuparnos? ¿Hay cosas que te impiden dormir profundamente?Personalmente, me preocupa el hecho de que muchas de las tecnologías desarrolladas en nuestra comunidad de investigación salen al mundo y se lanzan a la circulación masiva en cuestión de días o semanas. Y esto lo hacen personas que no realizaron ningún experimento. No hay nada malo con la "ciencia abierta", pero creo que deberíamos aprender más y comprender mejor las consecuencias de aplicar los algoritmos antes de implementarlos en algún lugar. Y me molesta que rápidamente lancemos más y más algoritmos nuevos, sin apreciar y entender completamente sus consecuencias.
Microsoft Research Lab es conocido por su estrecha colaboración con instituciones educativas. Y sé que prestas mucha atención a la educación. Hablemos de lo que le sucede a la educación en términos de principios FATE: honestidad, responsabilidad, transparencia y ética. Cuéntanos cómo ves el futuro de los programas educativos en esta área.Sabes, cuando ingresé a la magistratura ... o incluso antes, mientras estudiaba en la facultad de TI, prácticamente no nos enseñaron los principios de la ética y no hablamos sobre las consecuencias para la sociedad de las tecnologías que estamos desarrollando. , , , . , . , .
-, , , , , . , , . , - , . - , , . , , , .
— — . , , , , .
: « , : , — ? , ? , ?». . , , .
, , « ». , , , , . , , . , , . , .Si , , , , , . , , -. . , , .
, : ? : , , , , . , ?, , … , , . , , . , , , , .
, , . , , , , , — . .
, , , (FATE) IT, .
- .
12 AI-Community «
». .
-, , , « » .
, !