Le développement de systèmes complexes d'intelligence artificielle en laboratoire est une tâche difficile. Mais que se passe-t-il lorsque de tels systèmes entrent dans le monde réel et commencent à interagir avec de vraies personnes? C'est ce que les chercheurs tentent de comprendre, y compris le Dr Fernando Diaz, directeur de recherche principal chez Microsoft Research Montréal. Aujourd'hui, le Dr Diaz partagera ses réflexions et répondra à nos questions sur l'intelligence artificielle et son impact sur la société.
Avec ses collègues, Fernando essaie de comprendre comment les systèmes d'IA affectent la société, entrer dans le monde réel et comment faire face aux conséquences.
Il expliquera également comment la technologie peut façonner les goûts musicaux et expliquera pourquoi il est si important aujourd'hui d'éduquer les étudiants en informatique, non seulement en algorithmes, mais aussi en principes éthiques.
L'entretien
Lorsque je démarre une expérience, je me demande: quelles expériences utilisateur sont considérées comme éthiques et lesquelles ne le sont pas? Dans quelle mesure les gens doivent-ils être informés qu'ils sont devenus des participants à une expérience? Comment reconnaître et éliminer les données de biais utilisées par les technologies d'apprentissage automatique? Cela me vient à l'esprit en premier. Au cours des années suivantes, de nombreuses autres questions se poseront, par exemple, comment développer des systèmes d'IA de manière à faire preuve de respect envers les utilisateurs.
Vous écoutez le podcast Microsoft Research. Ici, nous vous présentons la recherche technologique avancée et les scientifiques qui la soutiennent. Je suis l'hôte de la Gretchen Huizinga.
Le développement de systèmes complexes d'intelligence artificielle en laboratoire est une tâche difficile. Mais que se passe-t-il lorsque de tels systèmes entrent dans le monde réel et commencent à interagir avec de vraies personnes? C'est ce que des chercheurs comme le Dr Fernando Diaz, directeur de recherche principal chez Microsoft Research Montréal, tentent de comprendre. Avec ses collègues, Fernando essaie de comprendre comment les systèmes d'IA affectent la société, entrer dans le monde réel et comment faire face aux conséquences.
Aujourd'hui, le Dr Diaz partagera ses réflexions et répondra à nos questions sur l'intelligence artificielle et son impact sur la société. Il expliquera également comment la technologie peut façonner les goûts musicaux et expliquera pourquoi il est si important aujourd'hui d'éduquer les étudiants en informatique, non seulement en algorithmes, mais aussi en principes éthiques. À ce sujet et bien plus encore - dans la nouvelle version du podcast Microsoft Research.
Fernando Diaz, bienvenue dans le podcast.Je vous remercie
Vous êtes directeur de recherche principal chez Microsoft Research Montréal et travaillez dans le domaine de l'intelligence artificielle, de la recherche et de la récupération d'informations. Mais vous apprenez également les principes d'équité, de responsabilité, de transparence et d'éthique (équité, responsabilité, transparence et éthique, FATE). C'est-à-dire, parler en général (nous reviendrons sur les détails plus tard): qu'est-ce qui vous fait vous réveiller le matin? À quelles questions sérieuses cherchez-vous des réponses, à quels problèmes importants voulez-vous résoudre?Bon nombre des systèmes que nous créons sont très efficaces. Recherche d'informations, recherche sur le Web, vision par ordinateur - toutes ces technologies ont été développées au fil des ans. Aujourd'hui, ils remplissent activement le marché de masse et les gens commencent à les utiliser tous les jours. Cependant, certains informaticiens n'ont pas réfléchi comme ils le devraient lors de la conception de ces technologies: dans quel contexte social elles seront utilisées.
Et dans ce cas, j'essaie simplement de comprendre quelles conditions sociales existaient pour créer ces systèmes, comment le contexte social dans lequel ils fonctionnent affecte non seulement nos indicateurs, par exemple, l'exactitude et l'exhaustivité des données retournées, mais aussi la société dans son ensemble . Il me semble que cette question est au premier plan pour les professionnels de l'informatique, car nombre de ces technologies, développées isolément, commencent à peine à entrer sur le marché.
Vous êtes donc un informaticien, vous avez recherché des algorithmes pour obtenir des informations, du machine learning et des méthodes statistiques. Cependant, vous vous êtes récemment intéressé à l'interaction des technologies de l'intelligence artificielle avec la société, en particulier aux conséquences de leur large diffusion ou, comme certains le disent, à leur publication. Pourquoi ça vous intéresse en ce moment? Qu'est-ce qui vous dérange? Qu'est-ce qui a suscité votre intérêt dans ce domaine?Grande question. Tout d'abord, bien sûr, je suis entré à la magistrature, j'ai obtenu un diplôme. J'ai étudié tous ces systèmes, pour ainsi dire, à un niveau abstrait, expérimenté avec des données statiques obtenues hors ligne. Peu de temps après l'obtention du diplôme, je me suis retrouvé dans le laboratoire de recherche industrielle. Ici, j'ai travaillé avec des travailleurs de la production, nous étions engagés dans la mise en œuvre pratique des technologies que j'ai étudiées à l'université.
Et puis j'ai commencé à comprendre: lorsque nous dimensionnons ces algorithmes et les fournissons à de vrais utilisateurs, la plupart des hypothèses de base avancées dans le laboratoire sont complètement inapplicables dans la réalité. Pour moi, c'était une sorte de vérification finale de toutes mes recherches, un retour aux principes de base et une tentative de comprendre quel est le problème, comment je peux évaluer avec précision les résultats et atteindre des indicateurs spécifiques.
Autrement dit, vous avez déjà travaillé dans Microsoft Research, puis vous êtes parti là-bas, puis vous êtes revenu. Vous avez commencé à New York et maintenant vous avez déménagé à Montréal. Pourquoi reviens-tu?Après l'université, j'ai commencé des travaux de recherche à Montréal et, pour un certain nombre de raisons, j'ai été forcé de partir là-bas. Mais, vivant là-bas, j'ai réalisé que dans cette ville - comme au Canada dans son ensemble - la tradition de la recherche dans le domaine de l'informatique et de l'apprentissage automatique est assez forte. Et au fond, j'ai toujours voulu revenir ici pour participer à ce travail. Et quand j'ai eu l'occasion de retourner au laboratoire Microsoft Research de Montréal, j'en ai volontiers profité. Surtout quand on considère que le laboratoire est pleinement engagé dans le développement de l'intelligence artificielle. À Montréal, une recherche très active a été menée dans ce domaine, et je voulais en faire partie, apporter ma contribution.
Disons quelques mots sur Montréal. Cette ville est devenue une véritable Mecque dans tout ce qui touche à l'intelligence artificielle, et le laboratoire SMR Montréal a une tâche bien précise - apprendre aux machines à lire, à penser et à communiquer de la même manière que les gens. Parlez-nous de votre cheminement et de la corrélation entre vos propres recherches et les travaux du laboratoire de Montréal.Je pense qu'un laboratoire spécial dédié à l'étude de l'IA a été créé car il y avait beaucoup de questions concernant le développement de tels systèmes, et ils n'ont toujours pas trouvé de réponses. Et je pense que cela nécessite loin non seulement des spécialistes du traitement des langues naturelles, pas seulement des spécialistes de l'apprentissage interactif ou de la stimulation de l'apprentissage. En fait, ils devraient tous travailler en étroite collaboration. Et il me semble que c'est ce qui rend notre laboratoire vraiment unique.
Ma tâche aujourd'hui est de venir au laboratoire, si possible, de communiquer avec des spécialistes et de leur dire comment ces systèmes peuvent se comporter lorsque de vraies personnes commencent à interagir avec eux. Comme je l'ai dit plus tôt, de tels systèmes sont assez faciles à développer isolément de la réalité, isolément. Mais lorsque leur mise en œuvre pratique commence, il s'avère que trop d'hypothèses ont été faites lors des expériences. Maintenant, je forme une équipe dont la tâche est d'anticiper l'apparition de telles questions, d'optimiser le développement du système, d'augmenter sa stabilité dans le contexte, par exemple, des différences entre les groupes de personnes avec lesquelles nous interagissons, ou des variations au sein de la base de connaissances dont je tire des informations.
Quelle équipe souhaitez-vous former?J'essaie de créer une sorte de «sœur» du groupe FATE que nous avons organisé à New York il y a plusieurs années. Nous nous concentrerons sur les conséquences sociales de l'intégration de l'intelligence artificielle dans la société. Notre équipe comprendra des spécialistes non seulement dans le domaine des TI, mais aussi dans des disciplines connexes, par exemple, en sociologie. Pour que les informaticiens comprennent mieux les conséquences pour la société, nous avons besoin de sociologues experts, d'anthropologues, etc. Ils pourront dire beaucoup de choses utiles sur des choses que nous n'avons pas encore évaluées ou prises en compte.
Oui, parlons-en plus en détail. L'application des principes FATE dans diverses recherches dans le domaine de l'intelligence artificielle et de l'apprentissage automatique revêt aujourd'hui une importance capitale. Comme vous l'avez dit, la raison en est que toutes les questions litigieuses ne peuvent pas être correctement étudiées en laboratoire. Avec le résultat escompté, des conséquences complètement inattendues et choquantes peuvent survenir. Ainsi, les chercheurs de cette communauté ont une spécialisation et une éducation différentes. Quelle est la contribution de chacun des experts en matière de principes d'honnêteté, de responsabilité, de transparence et d'éthique?Oui, les sociologues comprennent beaucoup mieux les divers aspects de l'application de la technologie en général, ils connaissent les conséquences positives et négatives possibles, la façon dont les gens réagissent à ces outils ou à d'autres que nous proposons. Les spécialistes ayant une formation juridique pourront commenter le contexte politique des technologies individuelles en cours de développement et nous aideront à mieux comprendre le concept d '«honnêteté», par exemple.
Les professionnels de l'informatique, à leur tour, comprennent mieux l'essence des systèmes en cours de développement, sont capables de traduire des concepts tels que «l'honnêteté» en un concept viable et de l'intégrer dans le système. Cependant, la présence de points de vue très différents sur le même problème est simplement nécessaire pour concevoir des systèmes plus efficacement.
Revenons à ce que vous avez fait dans le passé et à ce sur quoi vous continuez à travailler maintenant: l'accès aux systèmes d'information, aux moteurs de recherche et l'obtention d'informations. Dans le document que vous avez écrit, vous parlez de l'existence d'un certain décalage entre l'étude de tels systèmes et leur mise en œuvre pratique, mais en même temps, vous déclarez de manière provocatrice que les établissements d'enseignement résoudront mieux certains problèmes que les spécialistes techniques de l'industrie. Quels sont ces problèmes et pourquoi pensez-vous que oui?Regardons la situation dans le domaine de la recherche sur l'accès à l'information. Il existe des scientifiques d'établissements d'enseignement qui ont fait beaucoup pour le bien de la société, mais aujourd'hui, de nombreuses études, par exemple dans le domaine de la recherche sur le Web, sont menées par de grands géants de la recherche qui disposent de données, d'informations sur les utilisateurs, etc. Et les scientifiques, dans la plupart des cas, n'ont pas accès à ces données, une plate-forme pour mener des expériences. Par conséquent, les opportunités de recherche sont clairement inégales.
Et dans mon article, j'ai écrit que le personnel scientifique des établissements d'enseignement ne dispose pas d'une grande quantité de données, mais qu'il a la capacité d'attirer divers spécialistes, ce que les géants de la recherche ne peuvent pas faire. L'université compte des sociologues et des experts en autres sciences. Il y a des professeurs de disciplines économiques. Tous ces «partenaires» de recherche potentiels permettront de mieux appréhender le problème, de l'étudier sous différents angles, au lieu de tomber sur celui et le seul auquel le géant de la recherche adhère.
Je pense que la création d'ensembles de données n'est qu'une des stratégies. Une autre approche, ou type de plateforme scientifique, inaccessible aux établissements d'enseignement, est l'expérimentation. Je peux faire des tests A / B. Vous pouvez configurer des expériences contrôlées impliquant un large échantillon d'utilisateurs, qui ne sont pas disponibles dans l'ensemble de données.
Oui c'est vrai.Et pourtant, il me semble qu'il vaut la peine d'explorer comment nous offrons aux établissements d'enseignement un accès à nos ressources pour mener de telles expériences contrôlées.
Intéressant.Tout cela s'est passé de manière chaotique, au hasard, et il me semble que c'est exactement ce à quoi nous, les chercheurs de l'industrie, devons penser: comment rendre l'accès à ces opportunités plus facile et plus pratique.
Revenons donc aux données. Disons quelques mots à leur sujet. Les experts en apprentissage automatique ont convenu que simplement «big data» ne suffit pas - je dis spécifiquement «big data» entre guillemets. Entre autres choses, des données objectives et de haute qualité sont nécessaires. Nous savons que tous ces ensembles de données volumineuses manquent d'un certain degré d'objectivité.
Et nous devons y remédier. Aujourd'hui, il y a beaucoup de discussions sur la façon d'augmenter l'objectivité des données à travers, par exemple, des audits de moteurs de recherche, des algorithmes pour garantir l'égalité, etc. Comment faireL'une des raisons de notre inquiétude concernant le biais des données: un modèle formé sur la base de ces données sera biaisé lors du déploiement. Autrement dit, la chose la plus importante est de pouvoir déterminer le fonctionnement objectif de l'intelligence artificielle. Et s'il agit de manière biaisée, vous devez revenir en arrière et recycler l'algorithme ou y ajouter des restrictions qui ne vous permettront pas de prendre le biais des données. Aujourd'hui, mon travail est principalement axé sur l'évaluation et la mesure.
Nous voulons comprendre les utilisateurs accédant au système, comprendre ce dont ils ont besoin et évaluer, objectivement ou de manière biaisée, le système fonctionne en tenant compte de qui sont ces utilisateurs, à quel groupe de population ils appartiennent. Cela nécessite une riche expérience acquise par des spécialistes de l'obtention d'informations qui, depuis le début de ces recherches dans les années 50 du 20e siècle, ont réussi à réfléchir à tous les algorithmes d'estimation et de mesure. C'est ce qui vous permet de trouver un équilibre naturel entre audit, évaluation et obtention d'informations.
Comme nous l'avons dit, le biais est un peu un mot à la mode chez les chercheurs dans le domaine du traitement et de l'analyse des données et de l'intelligence artificielle. Cependant, vous dites qu'en plus des préjugés, il y a d'autres problèmes de nature sociale qui doivent être résolus. Quels sont ces problèmes et comment la recherche peut-elle les résoudre?Oui, je pense vraiment que le biais est un problème très important, mais pourquoi ai-je même parlé du contexte social de l'utilisation de l'intelligence artificielle? Parce que je crois que le biais n'est qu'un des problèmes sociaux que nous pouvons identifier. Bien sûr, il y en a d'autres. De toute évidence, l'un d'eux est lié à la transparence. Comment puis-je rendre les décisions prises par l'algorithme transparentes pour les utilisateurs, leur faire sentir qu'ils peuvent contrôler la situation, participer au travail de l'algorithme?
Le deuxième problème est le contexte culturel des algorithmes. Tout cela se passe dans le contexte, disons, de la sélection de recommandations pour les films ou la musique. Par exemple, je crée un grand système de sélection des recommandations musicales pour les utilisateurs. Quelles seront les conséquences du déploiement de cet algorithme pour la culture, si je sais, par exemple, qu'en ajoutant des artistes individuels à la recommandation, il est possible de former les goûts musicaux de quelqu'un d'une certaine manière? Que signifiera la création ou le maintien d'une culture à long terme?
Il existe un autre aspect de ce problème: les algorithmes de sélection des recommandations de musique peuvent avoir un impact significatif sur les auteurs ou les interprètes eux-mêmes. En tant que professionnel de l'informatique, je peux dire que c'est le meilleur algorithme pour sélectionner les recommandations musicales. Et je vais le mettre sur le marché. Mais nous, les professionnels de l'informatique, ne pensions pas du tout à la manière dont cet algorithme affecterait les auteurs. Pour moi personnellement, c'est particulièrement important.
Comment allez-vous alors mener des études qui tiendront compte de tout cela?Revenons à l'exemple avec la sélection des recommandations musicales. Imaginez que vous êtes en contact étroit avec les musiciens et comprenez parfaitement à quel point cela est important pour eux. Qu'est-ce que ce sera pour eux de savoir qu'ils sont exclus du système? Comment est-ce de ressentir que leur vie est régie par un système de sélection des recommandations et qu'ils ne peuvent absolument pas l'influencer? En tant que spécialiste des technologies de l'information, il me suffit de m'asseoir à une table avec des sociologues et des anthropologues, spécialistes des médias de masse, afin de mieux comprendre ce qu'est un groupe aussi important de la population que les musiciens.
Et puis moi, un professionnel de l'informatique, je peux m'asseoir et réfléchir à la façon de créer un algorithme qui satisfera les besoins des auditeurs et des musiciens. Il me semble maintenant qu'une telle formulation semble trop simpliste. C’est pourquoi je veux qu’un spécialiste d’autres disciplines me dise: "Fernando, tu sais, tu n’as pas pensé à ceci, ceci et cela."
Compte tenu de la nature de vos recherches et des résultats, pouvez-vous nous dire de quoi nous devons nous soucier? Y a-t-il des choses qui vous empêchent de dormir profondément?Personnellement, je suis préoccupé par le fait que de nombreuses technologies développées dans notre communauté de recherche sortent dans le monde et sont mises en circulation de masse en quelques jours ou semaines. Et cela est fait par des gens qui eux-mêmes n'ont mené aucune expérience. Il n'y a rien de mal à la «science ouverte», mais je pense que nous devrions en apprendre davantage et mieux comprendre les conséquences de l'application des algorithmes avant de les mettre en œuvre quelque part. Et cela me dérange que nous publions très rapidement de plus en plus de nouveaux algorithmes, sans apprécier et comprendre pleinement leurs conséquences.
Microsoft Research Lab est connu pour sa collaboration étroite avec les établissements d'enseignement. Et je sais que vous portez une grande attention à l'éducation. Parlons de ce qui arrive à l'éducation en termes de principes FATE - honnêteté, responsabilité, transparence et éthique. Dites-nous comment vous voyez l'avenir des programmes éducatifs dans ce domaine.Vous savez, quand je suis entré à la magistrature ... ou même plus tôt, alors que j'étudiais à la faculté informatique, on ne nous enseignait pratiquement pas les principes de l'éthique et ne parlions pas des conséquences pour la société des technologies que nous développons. , , , . , . , .
-, , , , , . , , . , - , . - , , . , , , .
— — . , , , , .
: « , : , — ? , ? , ?». . , , .
, , « ». , , , , . , , . , , . , .Oui , , , , , . , , -. . , , .
, : ? : , , , , . , ?, , … , , . , , . , , , , .
, , . , , , , , — . .
, , , (FATE) IT, .
- .
12 AI-Community «
». .
-, , , « » .
, !