Le sujet de l'analyse des données et de la science des données se développe à un rythme étonnant ces jours-ci. Afin de comprendre la pertinence de leurs méthodes et approches, il est nécessaire de se tenir au courant du travail des collègues, et c'est lors des conférences qu'il est possible d'obtenir des informations sur les tendances modernes. Malheureusement, tous les événements ne peuvent pas être visités, donc les articles sur les conférences passées intéressent les spécialistes qui n'ont pas trouvé le temps et l'opportunité d'une présence personnelle. Nous sommes heureux de vous présenter une traduction de l'article de
Chip Huyen sur la conférence
ICLR 2019 sur les tendances et approches de pointe dans le domaine de la science des données.
Learning Representations est un ensemble de méthodes, de techniques et d'approches qui détectent automatiquement les représentations nécessaires pour identifier les caractéristiques des données brutes. Les soumissions d'apprentissage remplacent l'invention manuelle des fonctionnalités et vous permettent à la fois d'étudier les propriétés clés des objets en fonction de leurs attributs et de les utiliser pour résoudre des problèmes spécifiques.
L'article donne un aperçu subjectif d'un certain nombre de problèmes de l'industrie. Cependant, on espère que même un examen subjectif fournira suffisamment de matière à réflexion à un spécialiste intéressé. De plus, nous discuterons des points suivants:
- Les méthodes artificielles pour corriger la composition socio-démographique de la conférence évoquent une gamme de sentiments dans la communauté: de l'indignation agressive à l'ignorance lâche. Le choix du comportement optimal dans un tel environnement serait une tâche intéressante pour un spécialiste de la théorie des jeux.
- Les travaux dans les domaines de l'apprentissage de la représentation et de l'apprentissage par transfert gagnent en popularité et suscitent un intérêt actif de la communauté.
- Les réseaux de neurones récursifs continuent de perdre de leur popularité auprès des chercheurs, mais dans la pratique, ils ne seront pas éliminés prochainement.
- Le domaine des GAN continue de se développer rapidement, bien que tous les chercheurs n'apprécient pas ce fait. Le potentiel des GAN ne fait que se révéler et un certain nombre de travaux intéressants dans ce sens sont à prévoir dans un avenir proche.
- L'apprentissage renforcé continue d'exciter l'esprit des chercheurs, restant le sujet le plus populaire de la conférence. Les spécialistes se rapprochent de la possibilité d'appliquer les méthodes RL à des tâches réelles, ce qui fait tellement défaut aux adhérents dans ce domaine.
- Étonnamment, récemment, il y a eu peu d'intérêt pour les utilisations biologiques et génétiques de l'apprentissage automatique. Une bonne opportunité s'ouvre pour les chercheurs à la recherche d'un sujet de croissance future.
- Les articles généralement acceptés et les articles sur les méthodes rétro parviennent toujours à la conférence, cependant, la concurrence entre eux est plus élevée et les chercheurs doivent faire plus d'efforts pour obtenir des résultats intéressants que dans des directions plus à la mode et populaires. À l'époque, pensez au fait que les matériaux pour l'application de l'apprentissage automatique classique sont épuisés.
Un examen détaillé de la conférence de Chip Hyun peut être trouvé ci-dessous.
1. Inclusion
Les organisateurs de la [
Conférence internationale sur les représentations d'apprentissage 2019 - Ed.] Ont souligné l'importance de l'inclusivité dans le domaine de l'intelligence artificielle. Les deux premiers discours d'ouverture - une allocution d'ouverture d'Alexander Rush et de la
conférencière invitée Cynthia Dvork - ont été consacrés à la justice et à l'égalité.
Quelques statistiques troublantes de l'ICLR 2019:
- femmes 8,6% seulement des orateurs et 15% des participants,
- 2/3 de tous les chercheurs LGBTQ + ne révèlent pas leur propre orientation au travail,
- les 8 conférenciers invités sont tous des représentants de la race caucasienne.
Malheureusement [de l'auteur féminin], la plupart des chercheurs en intelligence artificielle ne s'intéressent pas du tout à la question de l'égalité. Si les séminaires sur d'autres sujets étaient bondés, alors
l'atelier sur l'IA pour le bien social était assez vide jusqu'à ce que Yoshua Benjio apparaisse . Au cours des nombreuses conversations que j'ai eues à l'ICLR, personne n'a mentionné la «diversité». Un cas a fait exception: j'ai été invité à un événement technique inadapté, ce qui m'a beaucoup surpris, et mon bon ami a répondu: "Une petite réponse insultante: vous avez été invitée parce que vous êtes une femme."
La raison de la situation observée est que le thème de la diversité n'est pas «technique» et n'aidera donc pas à promouvoir une carrière scientifique. Une autre raison est le rejet de la propagande sociale et publique. Un de mes amis m'a conseillé une fois de ne pas faire attention au mec qui m'a traîné dans une conversation de groupe, car "il aime se moquer des gens qui parlent d'égalité et de diversité." J'ai des amis qui n'aiment pas discuter de la diversité sur Internet car ils ne veulent pas être "associés à ce sujet".
2. Apprentissage par représentation et apprentissage par transfert
L'objectif principal de l'apprentissage de la représentation non supervisée est de détecter des traits dans des données non allouées qui sont utiles pour une utilisation dans des tâches ultérieures. Dans le domaine du traitement du langage naturel, la formation à la performance se fait souvent par le biais de la modélisation du langage. Les représentations résultantes sont ensuite utilisées pour des tâches telles que l'analyse des sentiments, la reconnaissance des noms et la traduction automatique.
Certaines des études de performance des non-enseignants les plus intéressantes de l’année dernière commencent par
ELMo (Peters et al.) ,
ULMFiT (Howard et al.) ,
GPT OpenAI (Radford et al.) ,
BERT. (Devlin et al.) Et, bien sûr, le très dangereux
GPT-2 (Radford et al.) .
Le GPT-2 complet a été présenté à l'ICLR, et c'est incroyable. Vous pouvez saisir une esquisse arbitraire du début du texte et le modèle écrira le reste de l'article. Un modèle peut écrire des articles d'actualité, des fanfictions, des articles scientifiques, voire des définitions de mots fictifs. Jusqu'à présent, le résultat ne semble toujours pas humain, mais l'équipe travaille dur sur le GPT-3. J'ai hâte de voir les capacités du nouveau modèle.
L'approche d'apprentissage par transfert a été principalement adoptée par la communauté des spécialistes de la vision par ordinateur. Cependant, la formation sur le modèle de classification d'images ImageNet se déroule toujours en mode de formation des enseignants. La question qui peut être constamment entendue par les représentants des deux communautés est: "Comment utiliserions-nous la formation de présentation non-enseignant pour travailler avec des images?"
Bien que la plupart des laboratoires de recherche bien connus travaillent déjà sur cette tâche, un seul article,
«Mise à jour des règles de méta-apprentissage pour l'enseignement des soumissions de non-enseignants» (Metz et al.) , A été présenté à l'ICLR
. Au lieu de mettre à jour les poids, l'algorithme met à jour la règle d'apprentissage. Les vues obtenues à partir de la règle d'apprentissage sont ensuite affichées sur un petit échantillon de données marquées dans le mode de classification d'image. Les chercheurs ont pu trouver des règles d'apprentissage qui leur ont permis d'atteindre une précision de plus de 70% sur MNIST et Fashion MNIST.
Les auteurs ont découvert une
partie du code , mais pas tout, car "il est lié à l'informatique". Le cycle externe nécessite environ 100 000 étapes de formation et 200 heures sur 256 processeurs.
J'ai le sentiment que dans un proche avenir, nous verrons beaucoup plus de telles œuvres. Il est possible d'utiliser l'enseignement sans professeur dans des tâches telles que
le codage automatique, la prédiction de rotation d'image (le
document Gidaris et al. A été un succès sur ICLR 2018), la prévision de la prochaine image dans une vidéo, etc.
3. Retro ML
Les idées en machine learning sont comme la mode: elles sont cycliques. Regarder une séance d'affiches maintenant, c'est comme se promener dans un musée historique. Même le débat tant attendu à l'ICLR s'est terminé avec le débat qui a abouti à la question «priors vs structure», qui ramène
la discussion de Yann LeKun et Christopher Manning l'année dernière et ressemble au débat séculaire entre les défenseurs de la théorie bayésienne et ceux de l'approche Freventy (fréquence) des probabilités.
Le projet «Grounded Language Learning and Understanding» au MIT Media Lab a été interrompu en 2001, mais cette année, Grounded Language Learning a présenté deux travaux enveloppés dans la couverture de «l'apprentissage par renforcement».
- DOM-Q-NET: Grounded RL on Structured Language (Jia et al.) - Algorithme RL pour naviguer dans les pages Web en cliquant sur les liens et en remplissant les champs, tandis que le but de la navigation est exprimé en langage naturel.
- BabyAI: une plate-forme pour étudier l'efficacité de l'échantillon de l'apprentissage des langues à la terre (Chevalier-Boisvert et al.) Est une plate-forme compatible avec OpenAI Gym avec un agent de robot créé par l'homme qui imite un enseignant humain aidant les agents à apprendre un langage synthétique.
Mes réflexions sur ces deux articles ont été parfaitement résumées par AnonReviewer4:
«... les méthodes proposées ici sont très similaires aux méthodes qui ont longtemps été considérées dans la littérature sur l'analyse sémantique. Seul ce travail cite des articles sur le RL profond. Je pense qu'il serait très utile pour les auteurs de se familiariser avec cette littérature. Je pense que la communauté de l'analyse sémantique bénéficiera également de cela ... Mais ces deux communautés, apparemment, ont peu de contact l'une avec l'autre, bien que dans certains cas, elles travaillent sur des problèmes très similaires. "
DFA (Deterministic Finite Automata) a également trouvé sa place dans le monde du deep learning cette année dans deux articles:
- Représenter les langages formels: une comparaison entre les automates finis et les réseaux de neurones récurrents (Mikhalenko et al.),
- Apprendre les représentations des états finis des réseaux politiques récurrents (Koul et al.) .
La motivation principale des deux travaux est la suivante: en relation avec l'immense espace d'états cachés dans les RNN, est-il possible de réduire le nombre d'états au dernier? Je suis sceptique quant au fait que le DFA sera capable de représenter efficacement le RNN dans les problèmes de langue, mais j'aime l'idée d'enseigner le RNN pendant la formation, puis de le convertir en DFA pour des conclusions logiques, comme présenté dans un article de Koul et al. Les représentations finales finales ne nécessitent que trois états de mémoire discrets et 10 observations pour jouer au pong. DFA aide également à interpréter RNN.
4. Le RNN perd de sa popularité auprès des chercheurs
Lorsque l'on considère le calendrier de croissance des articles sur divers sujets en 2019 par rapport à 2018, il apparaît clairement que RNN se caractérise par la plus forte baisse. Cela n'est pas surprenant, car même si l'utilisation des RNN est intuitive pour les types de données série, ils souffrent d'un sérieux défaut: ils ne peuvent pas être parallélisés. Par conséquent, il est impossible de profiter du facteur le plus important qui stimule les progrès de la recherche depuis 2012: la puissance de calcul. Les RNN n'ont jamais été populaires en CV ou RL, et pour la PNL, ils sont remplacés par des architectures basées sur l'attention.
Est-ce à dire que RNN est mort? En fait, non. Article "Neurones ordonnés: intégration des structures arborescentes dans les réseaux de neurones récurrents"
(Shen et al.). a reçu l'un des prix les plus élevés cette année. En plus de cela et des deux articles sur les automates mentionnés ci-dessus, neuf autres articles RNN ont été examinés cette année, dont la plupart approfondissent les fondements mathématiques plutôt que d'ouvrir de nouvelles possibilités.
Les RNN restent pleins de vie et sont des moteurs de l'industrie, en particulier pour les entreprises traitant des séries chronologiques telles que les sociétés de négoce. Malheureusement, les sociétés de négoce ne publient généralement pas les détails de leur travail. Même si les RNN ne sont pas très attractifs pour les chercheurs en ce moment, ils peuvent regagner leur popularité à l'avenir.
5. Les GAN sont toujours au top
Malgré le fait que le thème du GAN dans l'échelle relative par rapport à l'année précédente montre une croissance négative, dans l'échelle absolue, le nombre d'œuvres est passé de ~ 70 à ~ 100.
Ian Goodfellow a parlé du GAN et était constamment entouré de fans. Le dernier jour, il a dû retourner son badge afin que les gens ne puissent pas voir son nom.
Toute la première session d'affiches a été consacrée au GAN. Il existe de nouvelles architectures GAN, des améliorations de l'ancienne architecture GAN, l'analyse GAN, des applications GAN de la génération d'images à la génération de texte et à la synthèse audio. Il y a PATE-GAN, GANSynth, ProbGAN, InstaGAN, RelGAN, MisGAN, SPIGAN, LayoutGAN, KnockoffGAN, etc. et je n'ai aucune idée de ce que cela signifie. Malheureusement,
Andrew Brock a appelé son modèle géant BigGAN, pas giGANtic :)
La session d'affiches a montré à quel point la communauté est biaisée en ce qui concerne le GAN. Certains des commentaires que j'ai entendus de la part des opposants au GAN ressemblaient à ceci: "Je ne peux pas attendre que tout ce battage médiatique avec le GAN se calme", "Quand quelqu'un mentionne le terme" contradictoire ", mon cerveau s'arrête." À mon avis, ils sont tout simplement envieux.
6. Absence de sujets biologiques dans une étude approfondie
Compte tenu de la grande excitation provoquée par le public en déterminant la séquence des gènes dans l'ADN, ainsi que l'apparition d'enfants modifiés utilisant la technologie CRISPR, [il était] surprenant pour moi qu'il n'y ait pas eu d'augmentation des travaux sur l'utilisation de l'apprentissage en profondeur en biologie sur l'ICLR. Il y avait six articles sur le sujet.
Deux sur des questions d'architecture empruntées à la biologie:
- Les algorithmes d'apprentissage biologiquement plausibles peuvent évoluer vers de grands ensembles de données (Xiao et al.),
- Une théorie unifiée des premières représentations visuelles de la rétine au cortex à travers des CNN profonds à contrainte anatomique (Lindsey et al.).
Un travail
sur la formation en conception d'ARN (Runge et al.) .
Trois tâches de manipulation des protéines:
- Localisation de protéines au niveau humain avec des réseaux de neurones convolutifs (Rumetshofer et al.),
- Apprentissage de la structure des protéines avec un simulateur différenciable (Ingraham et al.),
- Apprentissage des plongements de séquences protéiques en utilisant les informations de la structure (Bepler et al.).
Il n'y avait pas d'articles sur le thème des génomes et aucun séminaire n'a été organisé. Aussi triste que cela puisse paraître, cependant, de grandes opportunités s'ouvrent pour les chercheurs en éducation profonde en biologie et les biologistes en éducation profonde.
Un fait:
Jack Lindsay, le premier auteur de l'article ci-dessus sur les empreintes digitales, n'est pas encore diplômé du Stanford College.
7. L'apprentissage renforcé reste le sujet le plus populaire.
Les articles présentés à la conférence démontrent que la communauté RL est en train de passer de méthodes sans modèle à des algorithmes basés sur des modèles avec des algorithmes d'échantillonnage et de méta-apprentissage efficaces. Ce changement est probablement dû aux résultats extrêmement élevés sur les repères Mujoco établis par
TD3 (Fujimoto et al., 2018) et
SAC (Haarnoja et al., 2018) , ainsi que sur l'espace d'opérations discrètes à Atari fixé par
R2D2 (Kapturowski et al. , ICLR 2019) .
Dans le processus de formation, les algorithmes basés sur des modèles utilisent les données disponibles pour obtenir un modèle environnemental et l'utiliser pour planifier les stratégies des agents dans cet environnement ou pour générer de nouvelles données. Les algorithmes basés sur des modèles ont finalement atteint la précision asymptotique de leurs homologues sans modèle, en utilisant 10 à 100 fois moins de données
(MB-MPO (Rothfuss et al.) ). Le nouvel avantage rend les méthodes basées sur des modèles adaptées à des tâches d'une réelle complexité. Si après la formation, le simulateur de l'environnement présente des défauts, ce qui est très probable, alors ses lacunes peuvent être compensées en utilisant des modèles plus complexes, tels que l'ensemble des simulateurs
(Rajeswaran et al.) . Une autre façon d'utiliser RL pour résoudre des problèmes d'un niveau de complexité réel consiste à permettre au simulateur de prendre en charge des schémas de randomisation complexes. La stratégie obtenue sur une variété de simulateurs environnementaux peut considérer le monde réel comme «une autre randomisation» et peut réussir des tâches d'un niveau de complexité réel
(OpenAI) .
Les algorithmes de méta-apprentissage qui vous permettent d'obtenir un transfert d'apprentissage rapide vers de nouvelles tâches ont également été améliorés à la fois en termes de performances et en termes d'efficacité de l'échantillon (
ProMP (Rothfuss et al.) ,
PEARL (Rakelly et al.) ). Ces améliorations nous ont rapprochés du «moment ImageNet pour RL», dans lequel nous pouvons utiliser des stratégies de décision apprises à partir d'autres tâches, au lieu de les former à partir de zéro (ce qui est impossible pour des tâches complexes).
Une partie impressionnante du travail accepté, ainsi qu'un séminaire sur la structure et la probabilité a priori en RL, ont été consacrés à l'intégration des connaissances environnementales dans les algorithmes d'apprentissage. Si l'une des principales forces des premiers algorithmes RL profonds était la généralisation (par exemple, DQN utilise la même architecture pour tous les jeux Atari, ne sachant rien d'un jeu particulier), de nouveaux algorithmes utilisent désormais l'intégration de connaissances a priori pour résoudre des problèmes plus complexes. tâches. Par exemple, dans le
Transporter Network (Jakab et al.), Un agent utilise des connaissances a priori pour mener des travaux d'exploration plus informatifs.
En résumé, nous pouvons dire qu'au cours des 5 dernières années, la communauté RL a développé de nombreux outils efficaces pour résoudre les problèmes de la formation de renforcement en mode sans modèle. Il est maintenant temps de proposer des algorithmes plus transportables et plus efficaces pour appliquer RL aux tâches du monde réel.
Un des faits: Sergey Levin est probablement la personne qui a le plus travaillé sur la CIST cette année, en particulier, 15 de ses articles ont été acceptés pour publication.
8. Les articles courants disparaissent rapidement à l'arrière-plan
Lorsque j'ai demandé au célèbre chercheur ce qu'il pensait du travail accepté cette année, il a ri: "La plupart d'entre eux seront oubliés dès la fin de la conférence." Dans un domaine en évolution rapide tel que l'apprentissage automatique, les résultats sont réfutés en semaines, voire en jours. Sans surprise, la plupart des articles acceptés sont déjà dépassés au moment de la soumission. Par exemple, selon Borealis AI pour l'ICLR 2018, «
sept articles sur huit sur la défense contre les attaques antagonistes ont été réfutés avant même le début de l'ICLR . Cela montre que les méthodes heuristiques sans aucune base théorique sont loin d'être aussi fiables qu'elles le paraissent. "
J'ai souvent entendu des commentaires au cours de la conférence, notant la contribution tangible du hasard à la décision d'accepter / rejeter un travail. Je ne citerai pas d'articles spécifiques, cependant, certains des articles les plus discutés et les plus cités au cours des dernières années ont été rejetés par les conférences lors du premier message. Cependant, bon nombre des articles acceptés seront pertinents pendant des années, sans même être cités.
En tant que personne faisant des recherches dans ce domaine, je rencontre souvent une crise existentielle. Quelle que soit l'idée qui me vienne, il semble que quelqu'un d'autre le réalise déjà, mieux et plus rapidement. Quel est l'intérêt de publier un article si personne n'en a jamais besoin?
Conclusion
Bien sûr, il y a encore des tendances que je voudrais aborder.
- Optimisation et régularisation: le débat d'Adam contre SGD se poursuit. De nombreuses nouvelles méthodes ont été proposées, et certaines d'entre elles sont assez excitantes. Il semble qu'aujourd'hui chaque laboratoire développe son propre optimiseur - même notre équipe travaille sur un nouvel optimiseur, qui devrait sortir prochainement.
- : , - . , , . , , GAN , .
, . ,
(55 ) . ICLR 2019 , , .
ICLR. , , , . . NeurIPS , : « , , ».
, , — , . , , . , . 10 10, [ICLR — .].
- , , , , . « » (Oleksii Hrinchuk)
.
CleverDATA , , . . Data Science , , . , , - , !