Les réseaux de neurones ont appris à juger un livre par couverture

L'expression persistante «ne juge pas un livre par sa couverture» met en garde contre l'évaluation de quelque chose ou de quelqu'un par leur seule apparence. Mais quand le lecteur voit le livre, cela arrive tout de même: la connaissance commence généralement par une couverture. C'est elle qui laisse la première impression du contenu et commence à dessiner l'histoire dans l'esprit d'une personne. Les bonnes couvertures sont juste faites pour être jugées.

Les gens font un excellent travail de définition d'un genre en jetant à peine un coup d'œil à la conception visuelle d'un livre. Convenez que choisir un livre de cuisine, une biographie ou un guide juste en regardant la couverture est assez facile. Une question intéressante se pose alors: l'intelligence artificielle peut-elle tout aussi bien juger un livre par sa couverture qu'une personne?

Des scientifiques de l'Université de Kyushu au Japon ont tenté d' obtenir une réponse . Ils se mettent devant un réseau neuronal convolutif ( CNN) la tâche d'étudier les couvertures de livres et de déterminer la catégorie à laquelle elles se rapportent. La méthode de formation s'est avérée assez simple: les chercheurs ont téléchargé plus de 13,5 mille couvertures sur Amazon.com avec le titre, le nom de l'auteur et le genre du livre. En plus de définir une catégorie, cet ensemble de données peut être utile à l'avenir pour entraîner les réseaux de neurones à reconnaître et à analyser les polices et à résoudre d'autres problèmes de conception. Dans leur expérience, les scientifiques ont utilisé uniquement les genres, en rejetant toutes les autres données de l'ensemble. Réseau de neurones compris dans 20 genres possibles. Si le livre a été répété dans plusieurs catégories à la fois, les scientifiques ont simplement indiqué la toute première.



L'équipe de recherche a ensuite utilisé 80% de l'ensemble de données pour former le réseau neuronal à reconnaître le genre en fonction de l'image de couverture. Le réseau neuronal qu'ils ont utilisé dans leur expérience se composait de quatre couches, dans chacune desquelles il y avait 512 neurones. Ensemble, ils ont appris à déterminer la corrélation entre la conception de la couverture et le genre. Un autre 10% de l'ensemble de données est allé vérifier le réseau. Au stade final, les 10% restants ont été utilisés pour déterminer dans quelle mesure le réseau peut classer les images inconnues.

Le résultat était assez intéressant. L'algorithme a correctement déterminé les trois genres les plus fréquemment rencontrés dans 40% des cas. Avec tous les autres genres, la précision était d'environ 20%. C'est bien mieux qu'un simple accident. Le fonctionnement relativement correct du réseau de neurones montre que la classification des livres par couvertures est une tâche réelle, quoique difficile.

Certains genres se sont révélés plus faciles à reconnaître que d'autres. Par exemple, les livres de voyage ou les livres sur les ordinateurs et la technologie sont relativement faciles à définir, car les concepteurs utilisent généralement des images de couverture de signification similaire. De plus, les scientifiques ont découvert que le réseau neuronal reconnaissait facilement les livres de cuisine si des photos étaient utilisées dans leur conception.



Cependant, le réseau de neurones a commencé à douter qu'il valait la peine d'apparaître sur la couverture d'une photographie d'un cuisinier ou d'autres objets indirectement liés à la cuisine.

Les biographies et les mémoires ont également causé des difficultés dans le réseau neuronal: très souvent, ces livres ont été envoyés dans la catégorie historique. Fait intéressant, pour beaucoup de ces livres, c'est l'histoire qui s'est avérée être le genre secondaire sur Amazon.com. Par conséquent, on ne peut pas dire que l'algorithme était faux à 100%.



CNN a également confondu les livres pour enfants avec les bandes dessinées et les romans graphiques, ainsi que les livres médicaux avec les manuels de mathématiques. Cela n'est pas surprenant, étant donné certaines similitudes entre ces catégories. Le réseau s'est également trompé avec des livres de droit et de religion qui étaient différents dans leur essence, mais de conception similaire. Habituellement, leurs couvertures sont faites en une seule couleur sans aucun dessin ou avec des images abstraites.

Les travaux présentés par les scientifiques japonais présentent un inconvénient majeur. Ils n'ont pas comparé les performances de leur réseau neuronal avec la capacité d'une personne à identifier les genres par couverture. Ce serait une expérience intéressante, qui serait facile à organiser en externalisant les plateformes en ligne. Et tant que cette expérience n'aura pas été réalisée, nous ne saurons pas si l'intelligence artificielle s'en sort mieux qu'une personne. Mais malgré cette omission ennuyeuse, peu importe la façon dont nous pouvons définir les genres par la couverture, les voitures pourront un jour le faire plus rapidement. Ce n'est qu'une question de temps.

Cependant, le résultat de cette étude est remarquable. Il peut aider les concepteurs à améliorer leurs compétences en matière de couvertures de livres. Vous pouvez aller encore plus loin et enseigner la technique de conception de couvertures sans intervention humaine. À l'avenir, cela peut signifier que la création d'une couverture par une personne est une autre tâche qui ira aux archives historiques.

La conception graphique est devenue un objet d'apprentissage automatique relativement récemment. L'expérience la plus célèbre dans l'application pratique des réseaux de neurones est associée, tout d'abord, à la reconnaissance du style artistique des auteurs de tableaux célèbres et à son transfert ultérieurà d'autres images. Les chercheurs de l'Université de Kyushu ont poursuivi un objectif similaire, mais sont allés un peu plus loin: ils ont essayé de révéler la signification cachée derrière le style de conception. Si nous parlons de classification, il y a déjà eu des tentatives pour enseigner aux réseaux de neurones à trier la musique , les images , les textes par genre.

Les travaux scientifiques sont publiés sur arXiv.org ( ArXiv: 1610.09204 [cs.CV])

Source: https://habr.com/ru/post/fr398965/