Um pesquisador de aprendizado de máquina do Instituto de Tecnologia da Virgínia propôs uma maneira de revisar artigos científicos usando a IA, avaliando a aparência de texto e gráficos em um documento. Seus métodos para avaliar a “completude” do trabalho científico serão suficientes para acelerar o processo de revisão por pares independente?
No campo do aprendizado de máquina, há uma avalanche de pesquisas. O engenheiro do Google Cliff Young comparou essa situação com
a lei de Moore , adaptada para publicações sobre o tema da IA - o número de trabalhos acadêmicos sobre esse tópico que aparecem no site arXiv dobra a cada 18 meses.
E essa situação cria problemas ao revisar trabalhos - pesquisadores experientes no campo da IA simplesmente não são suficientes para ler cuidadosamente cada novo trabalho. Os cientistas podem confiar à AI a aceitação ou rejeição de trabalhos?
Essa questão interessante é levantada por um
relatório recentemente publicado no site arXiv; Autor do trabalho, Jia-Bin Huang, pesquisadora de aprendizado de máquina, chamou de "Deep Work Gestalt".
Juan usou uma rede neural convolucional, uma ferramenta comum de aprendizado de máquina usada para reconhecimento de imagens, para filtrar 5.000 trabalhos publicados desde 2013. Juan escreve que, de acordo com apenas uma aparência do trabalho - uma mistura de texto e imagens - sua rede neural pode distinguir um trabalho “bom” digno de inclusão em arquivos científicos com uma precisão de 92%.
Para os pesquisadores, isso significa que, na aparência do documento, algumas coisas desempenham o papel mais importante: figuras brilhantes na primeira página do trabalho de pesquisa e preenchimento de todas as páginas com texto, para que não haja espaço vazio no final da última página.
A rede neural convolucional de Juan digere milhares de artigos científicos aprovados e não aprovados, criando um "mapa de calor" de pontos fortes e fracos. Os maiores erros dos trabalhos que não passaram na seleção: a falta de imagens coloridas e um espaço vazio no final da última página.
Juan baseia seu trabalho em outro trabalho de 2010, de autoria de Carven von Bearnensquash, da Universidade de Phoenix. O trabalho não usou treinamento aprofundado, a tecnologia tradicional de visão computacional, para encontrar uma maneira de "avaliar rapidamente a aparência geral" do trabalho e para concluir se vale a pena aprovar o trabalho.
Usando essa idéia, Juan forneceu ao computador 5618 obras, aceitas em duas grandes conferências sobre visão computacional, CVPR e ICCV, nos últimos cinco anos. Juan também coletou trabalhos apresentados em oficinas de conferências, que tiveram o papel de trabalhos rejeitados - uma vez que não há acesso a trabalhos rejeitados em conferências.
Juan treinou a rede para associar o trabalho passado e não passado ao resultado binário de "bom" e "ruim", a fim de isolar deles sinais de "completude" ou gestalt. Gestalt é um todo que excede o tamanho da soma de suas partes. Isso é o que o pioneiro do aprendizado de máquina Terry Seinowski chamou de “percepção organizada universal”, algo mais significativo do que as colinas e desfiladeiros da área nas proximidades de você.
A rede treinada foi testada em um subconjunto dos trabalhos que nunca havia visto antes. O treinamento equilibrou os falsos positivos - trabalho aceito que valia a pena rejeitar - com falsas negações, trabalho rejeitado que valia a pena aceitar.
Ao limitar o número de trabalhos "bons", mas rejeitados, 0,4% - ou seja, apenas 4 trabalhos - a rede conseguiu rejeitar corretamente metade dos trabalhos "ruins", que precisavam ser rejeitados.
O autor chegou a pensar em alimentar seu próprio trabalho de sua própria rede neural. Como resultado, a rede neural a rejeitou: “Aplicamos um classificador treinado a este trabalho. Nossa rede previu impiedosamente que, com uma probabilidade de 97%, este trabalho deve ser rejeitado sem uma revisão independente. ”
Com relação a esses requisitos cosméticos - belas fotos no artigo - Juan não descreve apenas os resultados do trabalho. Ele também oferece um código que permite criar um trabalho bonito. Ele alimenta o "bom" trabalho no banco de dados de treinamento da rede competitiva-generativa, que pode criar um novo plano, aprendendo com exemplos.
Juan também oferece um terceiro componente, “refazendo” o trabalho rejeitado para um aceitável, “automaticamente dando conselhos sobre o que precisa ser alterado no trabalho recebido”, por exemplo, “adicione uma imagem para atrair atenção e uma imagem na última página”.
Juan sugere que esse processo de aprovação de trabalho poderia ser um "pré-filtro" para aliviar a carga dos revisores, pois ele pode ver milhares de trabalhos em alguns segundos. E, no entanto, "é improvável que esse classificador seja usado em uma conferência real", conclui o autor.
Uma das limitações do trabalho que pode afetar seu uso é que, mesmo que a aparência do trabalho, sua gestalt visual, corresponda a resultados históricos, isso não garante a existência de valor real no trabalho.
Segundo Juan, "ignorando o conteúdo da obra, podemos injustamente rejeitar trabalhos com bom material e design visual ruim, ou aceitar trabalhos sem valor que pareçam bons".