O desenvolvimento de sistemas complexos de inteligência artificial em laboratório é uma tarefa difícil. Mas o que acontece quando esses sistemas entram no mundo real e começam a interagir com pessoas reais? É isso que os pesquisadores estão tentando descobrir, incluindo o Dr. Fernando Diaz, diretor sênior de pesquisa da Microsoft Research Montreal. Hoje, o Dr. Diaz compartilhará seus pensamentos e responderá às nossas perguntas sobre inteligência artificial e seu impacto na sociedade.
Juntamente com colegas, Fernando está tentando entender como os sistemas de IA afetam a sociedade, entrando no mundo real e como lidar com as consequências.
Ele também falará sobre como a tecnologia pode moldar os gostos musicais e explicará por que hoje é tão importante educar os estudantes em ciência da computação, não apenas algoritmos, mas também princípios éticos.
A entrevista
Quando inicio um experimento, pergunto-me: quais experimentos de usuários são considerados éticos e quais não são? Quão amplamente as pessoas precisam ser informadas de que se tornaram participantes de um experimento? Como reconhecer e eliminar dados tendenciosos usados pelas tecnologias de aprendizado de máquina? Isso vem à mente primeiro. Nos anos seguintes, muitas outras questões surgirão, por exemplo, como desenvolver sistemas de IA de maneira a demonstrar respeito pelos usuários.
Você está ouvindo o Microsoft Research Podcast. Aqui, apresentamos a você a pesquisa em tecnologia avançada e os cientistas por trás dela. Eu sou o anfitrião da Gretchen Huizinga.
O desenvolvimento de sistemas complexos de inteligência artificial em laboratório é uma tarefa difícil. Mas o que acontece quando esses sistemas entram no mundo real e começam a interagir com pessoas reais? É isso que pesquisadores como o Dr. Fernando Diaz, diretor sênior de pesquisa da Microsoft Research Montreal, estão tentando descobrir. Juntamente com os colegas, Fernando está tentando entender como os sistemas de IA afetam a sociedade, entrando no mundo real e como lidar com as consequências.
Hoje, o Dr. Diaz compartilhará seus pensamentos e responderá às nossas perguntas sobre inteligência artificial e seu impacto na sociedade. Ele também falará sobre como a tecnologia pode moldar os gostos musicais e explicará por que hoje é tão importante educar os estudantes em ciência da computação, não apenas algoritmos, mas também princípios éticos. Sobre isso e muito mais - na nova versão do podcast da Microsoft Research.
Fernando Diaz, bem-vindo ao podcast.Obrigada
Você é diretor sênior de pesquisa da Microsoft Research Montreal e trabalha no campo da inteligência artificial, pesquisa e recuperação de informações. Mas você também aprende os princípios de justiça, responsabilidade, transparência e ética (justiça, responsabilidade, transparência e ética, FATE). Ou seja, falando em geral (veremos detalhes mais adiante): o que faz você acordar de manhã? Para quais perguntas sérias você procura respostas, quais problemas importantes você deseja resolver?Muitos dos sistemas que estamos criando são muito bem-sucedidos. Pesquisa de informações, pesquisa na web, visão computacional - todas essas tecnologias foram desenvolvidas ao longo de muitos anos. Hoje eles estão preenchendo ativamente o mercado de massa e as pessoas começam a usá-lo todos os dias. No entanto, alguns especialistas em TI não pensaram como deveriam ao projetar essas tecnologias: em que contexto social elas serão usadas.
E, neste caso, estou apenas tentando entender quais pré-requisitos sociais existiam para criar esses sistemas, como o contexto social no qual eles trabalham afeta não apenas nossos indicadores, por exemplo, a precisão e a integridade dos dados retornados, mas também para a sociedade como um todo . Parece-me que esta questão está na vanguarda dos profissionais de TI, uma vez que muitas dessas tecnologias, desenvolvidas isoladamente, só agora estão começando a entrar no mercado.
Portanto, você é um especialista em TI e pesquisou algoritmos para obter informações, aprendizado de máquina e métodos estatísticos. No entanto, recentemente você se interessou pela interação de tecnologias de inteligência artificial com a sociedade, em particular as consequências de sua ampla distribuição ou, como alguns dizem, de sua publicação. Por que você está interessado nisso agora? O que está incomodando você? O que despertou seu interesse nessa área?Ótima pergunta. Primeiro, é claro, entrei na magistratura, me formei. Estudei todos esses sistemas, por assim dizer, em um nível abstrato, experimentei dados estáticos obtidos offline. Logo após a formatura, acabei no laboratório de pesquisa industrial. Aqui trabalhei com trabalhadores da produção, estávamos envolvidos na implementação prática das tecnologias que estudei na universidade.
E então comecei a entender: quando dimensionamos esses algoritmos e os fornecemos a usuários reais, a maioria das suposições básicas apresentadas em laboratório é completamente inaplicável na realidade. Para mim, foi uma espécie de verificação final de todas as minhas pesquisas, um retorno aos princípios básicos e uma tentativa de entender qual é o problema, como posso avaliar com precisão os resultados e alcançar indicadores específicos.
Ou seja, você já trabalhou no Microsoft Research, saiu de lá e voltou novamente. Você começou em Nova York e agora se mudou para Montreal. Por que você voltou?Após a universidade, comecei a pesquisar em Montreal e, por várias razões, fui forçado a sair de lá. Mas, morando lá, percebi que nesta cidade - como no Canadá como um todo - a tradição de pesquisa no campo de TI e aprendizado de máquina é bastante forte. E no fundo, eu sempre quis voltar aqui para participar deste trabalho. E quando tive a oportunidade de retornar ao laboratório de Pesquisa da Microsoft em Montreal, aproveitei com prazer. Especialmente quando você considera que o laboratório está totalmente engajado no desenvolvimento da inteligência artificial. Em Montreal, foram realizadas pesquisas muito ativas nessa área, e eu queria fazer parte de tudo isso, para dar minha contribuição.
Digamos algumas palavras sobre Montreal. Essa cidade se tornou uma verdadeira Meca em tudo relacionado à inteligência artificial, e o laboratório SMR Montreal tem uma tarefa muito específica - ensinar máquinas a ler, pensar e se comunicar da mesma maneira que as pessoas. Conte-nos o quão longe você percorreu esse caminho e como sua própria pesquisa se correlaciona com o trabalho do laboratório de Montreal.Eu acho que um laboratório especial dedicado ao estudo da IA foi criado porque havia muitas perguntas sobre o desenvolvimento de tais sistemas, e eles ainda não encontraram respostas. E acho que isso exige muito, não apenas especialistas no processamento de linguagens naturais, não apenas especialistas em aprendizado interativo ou em estimular o aprendizado. De fato, todos eles devem trabalhar juntos. E parece-me que é isso que torna nosso laboratório verdadeiramente único.
Hoje, minha tarefa é ir ao laboratório, se possível, comunicar-me com especialistas e dizer-lhes como esses sistemas podem se comportar quando pessoas reais começam a interagir com eles. Como eu disse anteriormente, esses sistemas são razoavelmente fáceis de desenvolver isolados da realidade, isolados. Mas quando a implementação prática começa, verifica-se que muitas suposições foram feitas durante os experimentos. Agora estou formando uma equipe cuja tarefa é antecipar o surgimento de tais questões, otimizar o desenvolvimento do sistema, aumentar sua estabilidade em termos de, digamos, diferenças entre os grupos da população com os quais interagimos, ou variações na base de conhecimento a partir da qual extraí informações.
Qual time você deseja formar?Estou tentando criar uma espécie de "irmã" para o grupo FATE que organizamos em Nova York há vários anos. Vamos nos concentrar nas consequências sociais da integração da inteligência artificial na sociedade. Nossa equipe incluirá especialistas não apenas na área de TI, mas também em disciplinas relacionadas, por exemplo, em sociologia. Para que os profissionais de TI entendam melhor as consequências para a sociedade, precisamos de sociólogos, antropólogos e assim por diante. Eles serão capazes de contar muitas coisas úteis sobre coisas que ainda não avaliamos ou levamos em consideração.
Sim, vamos falar sobre isso com mais detalhes. A aplicação dos princípios FATE em várias pesquisas no campo da inteligência artificial e aprendizado de máquina é de suma importância hoje. Como você disse, o motivo é que nem todas as questões controversas podem ser adequadamente estudadas em laboratório. Juntamente com o resultado planejado, podem surgir conseqüências completamente inesperadas e chocantes para as pessoas. Portanto, os pesquisadores dessa comunidade têm especialização e educação diferentes. Qual é a contribuição de cada um dos especialistas no que diz respeito aos princípios de honestidade, responsabilidade, transparência e ética?Sim, os sociólogos entendem muito melhor os vários aspectos da aplicação da tecnologia em geral, conhecem as possíveis consequências positivas e negativas, sobre como as pessoas reagem a essas ou outras ferramentas que oferecemos. Especialistas com formação jurídica poderão comentar sobre os antecedentes políticos das tecnologias individuais em desenvolvimento e nos ajudarão a entender melhor o conceito de “honestidade”, por exemplo.
Os profissionais de TI, por sua vez, entendem melhor a essência dos sistemas que estão sendo desenvolvidos, são capazes de traduzir conceitos como "honestidade" em um conceito viável e incorporá-lo ao sistema. No entanto, a presença de pontos de vista muito diferentes no mesmo problema é simplesmente necessária para projetar sistemas com mais eficiência.
Vamos voltar ao que você fez no passado e no que continua trabalhando agora: acesso a sistemas de informação, mecanismos de busca e obtenção de informações. No documento que você escreveu, você fala sobre a existência de uma certa lacuna entre o estudo desses sistemas e sua implementação prática, mas, ao mesmo tempo, faz uma afirmação provocadora de que as instituições educacionais enfrentarão melhor alguns problemas do que os especialistas técnicos do setor. Quais são esses problemas e por que você acha isso?Vejamos a situação no campo da pesquisa sobre acesso à informação. Existem cientistas de instituições de ensino que fizeram muito pelo bem da sociedade, mas hoje muitos estudos, digamos no campo da pesquisa na web, são realizados por grandes gigantes da pesquisa que têm dados, informações do usuário e assim por diante. E na maioria dos casos, os cientistas não têm acesso a esses dados, uma plataforma para a realização de experimentos. Portanto, as oportunidades de pesquisa são claramente desiguais.
E, no meu artigo, escrevi que a equipe científica das instituições de ensino não possui uma grande quantidade de dados, mas tem a capacidade de atrair diversos especialistas, o que os gigantes da pesquisa não podem fazer. A universidade possui sociólogos e especialistas em outras ciências. Existem professores de disciplinas econômicas. Todos esses “parceiros” em potencial de pesquisa ajudarão a analisar o problema de maneira mais ampla, estudando-o sob vários pontos de vista, em vez de encontrar o único que o gigante das buscas adere.
Eu acho que construir conjuntos de dados é apenas uma das estratégias. Outra abordagem, ou tipo de plataforma científica, inacessível para instituições de ensino, são os experimentos. Eu posso fazer testes A / B. Você pode configurar experimentos controlados envolvendo uma grande amostra de usuários, que não está disponível no conjunto de dados.
Sim, é verdade.E, no entanto, parece-me que vale a pena explorar como realmente fornecemos às instituições educacionais acesso aos nossos recursos para a realização de tais experimentos controlados.
Interessante.Tudo isso aconteceu caoticamente, a esmo, e parece-me que é exatamente isso que nós, pesquisadores do setor, precisamos pensar: como tornar o acesso a essas oportunidades mais fácil e conveniente.
Então, vamos voltar aos dados. Vamos dizer algumas palavras sobre eles. Os especialistas em aprendizado de máquina concordaram que simplesmente “big data” não é suficiente - eu digo especificamente “big data” entre aspas. Entre outras coisas, são necessários dados objetivos e de alta qualidade. Sabemos que todos esses grandes conjuntos de dados carecem de algum grau de objetividade.
E precisamos consertar isso. Hoje, fala-se muito sobre como aumentar a objetividade dos dados por meio de, por exemplo, auditorias nos mecanismos de pesquisa, algoritmos para garantir a igualdade e similares. Como fazer isso?Uma das razões de nossa preocupação com o viés de dados: um modelo treinado com base nesses dados será tendencioso durante a implantação. Ou seja, o mais importante é poder determinar como a inteligência artificial objetiva funciona. E se ele age de forma tendenciosa, é necessário voltar e treinar novamente o algoritmo ou adicionar restrições que não permitirão que você incline os dados. Meu trabalho hoje está focado principalmente em avaliação e medição.
Queremos entender os usuários que acessam o sistema, entender o que eles precisam e avaliar objetivamente ou tendenciosamente o sistema que opera, levando em consideração quem são esses usuários e a qual grupo populacional eles pertencem. Isso requer uma rica experiência adquirida por especialistas na obtenção de informações que, desde o início de tais pesquisas nos anos 50 do século XX, conseguiram pensar em todos os algoritmos de estimativa e medição. É isso que permite encontrar um equilíbrio natural entre auditoria, avaliação e obtenção de informações.
Como já dissemos, o viés é um pouco da palavra da moda entre os pesquisadores da área de processamento e análise de dados e inteligência artificial. No entanto, você diz que, além do viés, há outros problemas de natureza social que precisam ser abordados. Quais são esses problemas e como a pesquisa pode ajudá-los a resolvê-los?Sim, eu realmente acho que o viés é um problema muito importante, mas por que eu falei sobre o contexto social do uso da inteligência artificial? Porque acredito que o viés é apenas um dos problemas sociais que podemos identificar. Claro, existem outros. Obviamente, um deles está relacionado à transparência. Como posso tornar as decisões tomadas pelo algoritmo transparentes para os usuários, permitir que eles sintam que podem controlar a situação, participar do trabalho do algoritmo?
O segundo problema é o contexto cultural dos algoritmos. Tudo isso acontece no contexto, digamos, da seleção de recomendações para filmes ou música. Por exemplo, estou criando um sistema grande para selecionar recomendações de música para os usuários. Quais serão as consequências da implantação desse algoritmo para a cultura, se eu souber, por exemplo, que ao adicionar artistas individuais à recomendação, é possível formar os gostos musicais de alguém de uma certa maneira? O que significa criar ou manter uma cultura a longo prazo?
Há outro aspecto desse problema: algoritmos para selecionar recomendações de música podem ter um impacto significativo nos autores ou nos artistas. Como profissional de TI, posso dizer que esse é o melhor algoritmo para selecionar recomendações de músicas. E eu vou trazê-lo ao mercado. Mas nós, profissionais de TI, não pensamos em como esse algoritmo afetaria os autores. Para mim, pessoalmente, isso é especialmente importante.
Como então você vai conduzir estudos que levarão tudo isso em conta?Vamos voltar ao exemplo com a seleção de recomendações musicais. Imagine que você está em contato próximo com os músicos e entende perfeitamente como isso é importante para eles. O que será que eles saibam que estão excluídos do sistema? Como é sentir que a vida deles é governada por um sistema de seleção de recomendações, e eles absolutamente não podem influenciá-lo? Como especialista em TI, só preciso me sentar à mesa com sociólogos e antropólogos, especialistas em mídia de massa, a fim de entender melhor o que um grupo tão significativo da população como músicos é.
E então eu, um profissional de TI, posso me sentar e pensar em como criar um algoritmo que satisfaça as necessidades de ouvintes e músicos. Agora me parece que essa formulação parece simplista demais. É por isso que quero que um especialista em outras disciplinas me diga: "Fernando, você sabe, você não pensou sobre isso, isto e aquilo".
Dada a natureza de sua pesquisa e os resultados, você pode nos dizer com o que devemos nos preocupar? Existem coisas que o impedem de dormir profundamente?Pessoalmente, estou preocupado com o fato de muitas das tecnologias desenvolvidas em nossa comunidade de pesquisa se espalharem pelo mundo e serem lançadas em circulação em massa em questão de dias ou semanas. E isso é feito por pessoas que não realizaram nenhum experimento. Não há nada errado com a "ciência aberta", mas acho que devemos aprender mais e entender melhor as consequências da aplicação dos algoritmos antes de implementá-los em algum lugar. E me incomoda o fato de lançarmos rapidamente mais e mais novos algoritmos, sem apreciar e entender completamente suas conseqüências.
O Microsoft Research Lab é conhecido por sua estreita colaboração com instituições de ensino. E eu sei que você presta muita atenção à educação. Vamos falar sobre o que acontece com a educação em termos dos princípios do FATE - honestidade, responsabilidade, transparência e ética. Conte-nos como você vê o futuro dos programas educacionais nessa área.Sabe, quando eu já entrei na magistratura ... ou ainda mais cedo, enquanto estudava no departamento de TI, praticamente não aprendemos os princípios da ética e não falamos sobre as consequências para a sociedade das tecnologias que estamos desenvolvendo. , , , . , . , .
-, , , , , . , , . , - , . - , , . , , , .
— — . , , , , .
: « , : , — ? , ? , ?». . , , .
, , « ». , , , , . , , . , , . , .Sim , , , , , . , , -. . , , .
, : ? : , , , , . , ?, , … , , . , , . , , , , .
, , . , , , , , — . .
, , , (FATE) IT, .
- .
12 AI-Community «
». .
-, , , « » .
, !