As redes neurais aprenderam a julgar um livro pela capa

A expressão persistente “não julgue um livro pela capa” adverte contra a avaliação de algo ou alguém apenas pela aparência. Mas quando o leitor vê o livro, acontece o mesmo: o conhecimento geralmente começa com uma capa. É ela quem deixa a primeira impressão do conteúdo e começa a desenhar a história na mente de uma pessoa. Boas capas são feitas apenas para serem julgadas.

As pessoas fazem um ótimo trabalho ao definir um gênero, mal olhando para o design visual de um livro. Concorde que a escolha de um livro de receitas, biografia ou guia apenas olhando a capa é bastante fácil. Surge então uma questão interessante: a inteligência artificial pode julgar com sucesso um livro pela capa como uma pessoa?

Cientistas da Universidade Kyushu, no Japão, tentaram obter uma resposta . Eles colocaram na frente de uma rede neural convolucional ( CNN) a tarefa de estudar as capas dos livros e determinar a categoria a que eles se relacionam. O método de treinamento acabou sendo bastante simples: os pesquisadores baixaram mais de 13,5 mil capas da Amazon.com, juntamente com o título, o nome do autor e o gênero do livro. Além de definir uma categoria, esse conjunto de dados pode ser útil no futuro para treinar redes neurais no reconhecimento e análise de fontes e resolução de outros problemas de design. Em seu experimento, os cientistas usaram apenas gêneros, descartando todos os outros dados do conjunto. Rede neural compreendida em 20 possíveis gêneros. Se o livro foi repetido em várias categorias ao mesmo tempo, os cientistas simplesmente indicaram o primeiro.



A equipe de pesquisa usou 80% dos dados para treinar a rede neural a reconhecer o gênero com base na imagem da capa. A rede neural que eles usaram em seu experimento consistia em quatro camadas, em cada uma das quais havia 512 neurônios. Juntos, eles aprenderam a determinar a correlação entre o design da capa e o gênero. Outros 10% do conjunto de dados foram para verificar a rede. Na fase final, os 10% restantes foram usados ​​para determinar quão bem a rede pode classificar imagens desconhecidas.

O resultado foi bastante interessante. O algoritmo determinou corretamente os três gêneros mais frequentemente encontrados em 40% dos casos. Com todos os outros gêneros, a precisão foi de cerca de 20%. Isso é muito melhor do que apenas um acidente. A operação relativamente correta da rede neural mostra que a classificação de livros por capas é uma tarefa real, embora difícil.

Alguns gêneros se mostraram mais fáceis de reconhecer do que outros. Por exemplo, livros de viagem ou livros sobre computadores e tecnologia são relativamente fáceis de definir, pois os designers geralmente usam imagens de capa com significado semelhante. Além disso, os cientistas descobriram que a rede neural reconhecia facilmente os livros de receitas se as fotos fossem usadas em seu design.



No entanto, a rede neural começou a duvidar se valia a pena aparecer na capa de uma fotografia de uma cozinheira ou em outros objetos indiretamente relacionados à culinária.

Biografias e memórias também causaram dificuldades na rede neural: muitas vezes esses livros eram enviados para a categoria histórica. Curiosamente, para muitos desses livros, foi a história que acabou sendo o gênero secundário na Amazon.com. Portanto, não se pode dizer que o algoritmo estava 100% errado.



A CNN também confundiu livros infantis com quadrinhos e romances gráficos, além de livros médicos com livros didáticos de matemática. Isso não é surpreendente, dadas as certas semelhanças entre essas categorias. A rede também se confundia com livros de direito e religião que eram diferentes em essência, mas similares em design. Geralmente, as capas são feitas em uma cor, sem desenhos, ou com imagens abstratas.

O trabalho apresentado por cientistas japoneses tem uma desvantagem significativa. Eles não compararam o desempenho de sua rede neural com a capacidade de uma pessoa de identificar gêneros de capa. Seria um experimento interessante, fácil de organizar por meio de plataformas online de crowdsourcing. E até que esse experimento seja realizado, não saberemos se a inteligência artificial lida melhor com a tarefa do que uma pessoa. Mas, apesar dessa omissão irritante, não importa quão bem possamos definir os gêneros de capa, os carros um dia conseguirão fazê-lo mais rapidamente. É apenas uma questão de tempo.

No entanto, o resultado deste estudo é digno de nota. Pode ajudar os designers a melhorar suas habilidades quando se trata de capas de livros. Você pode ir ainda mais longe e ensinar a técnica de criar capas sem intervenção humana. No futuro, isso pode significar que criar um design de capa por uma pessoa é outra tarefa que irá para os arquivos de histórico.

O design gráfico tornou-se um objeto de aprendizado de máquina relativamente recentemente. A experiência mais famosa na aplicação prática de redes neurais está associada, em primeiro lugar, ao reconhecimento do estilo artístico de autores famosos de pinturas e sua posterior transferênciapara outras imagens. Pesquisadores da Universidade Kyushu perseguiram um objetivo semelhante, mas foram um pouco mais longe: tentaram revelar o significado oculto por trás do estilo de design. Se falamos de classificação, já houve tentativas de ensinar redes neurais a classificar músicas , imagens , textos por gênero.

O trabalho científico está publicado no arXiv.org ( ArXiv: 1610.09204 [cs.CV])

Source: https://habr.com/ru/post/pt398965/