Un investigador de aprendizaje autom谩tico del Instituto de Tecnolog铆a de Virginia ha propuesto una forma de revisar art铆culos cient铆ficos utilizando IA, evaluando la aparici贸n de texto y gr谩ficos en un documento. 驴Ser谩n suficientes sus m茅todos para evaluar la "integridad" del trabajo cient铆fico para acelerar el proceso de revisi贸n por pares independientes?
En el campo del aprendizaje autom谩tico, hay una avalancha de investigaci贸n. El ingeniero de Google Cliff Young compar贸 esta situaci贸n con
la ley de Moore , adaptada para publicaciones sobre el tema de IA: la cantidad de art铆culos acad茅micos sobre este tema que aparecen en el sitio web de arXiv se duplica cada 18 meses.
Y esta situaci贸n crea problemas al revisar trabajos: los investigadores experimentados en el campo de la IA simplemente no son suficientes para leer cuidadosamente cada nuevo trabajo. 驴Pueden los cient铆ficos confiar a AI que acepte o rechace trabajos?
Esta interesante pregunta es planteada por un
informe publicado recientemente en el sitio web arXiv; autor del trabajo, el investigador de aprendizaje autom谩tico Jia-Bin Huang lo llam贸 "Deep Work Gestalt".
Juan utiliz贸 una red neuronal convolucional, una herramienta com煤n de aprendizaje autom谩tico utilizada para el reconocimiento de im谩genes, para examinar 5.000 obras publicadas desde 2013. Juan escribe que seg煤n una sola aparici贸n del trabajo, una mezcla de texto e im谩genes, su red neuronal puede distinguir el "buen" trabajo digno de inclusi贸n en archivos cient铆ficos con una precisi贸n del 92%.
Para los investigadores, esto significa que en la apariencia de su documento, un par de cosas juegan el papel m谩s importante: im谩genes brillantes en la portada del trabajo de investigaci贸n y llenar todas las p谩ginas con texto, de modo que no haya un espacio vac铆o al final de la 煤ltima p谩gina.
La red neuronal convolucional de Juan digiere miles de art铆culos cient铆ficos aprobados y no aprobados, creando un "mapa de calor" de fortalezas y debilidades. Los mayores errores de los trabajos que no pasaron la selecci贸n: la falta de im谩genes en color y un espacio vac铆o al final de la 煤ltima p谩gina.
Juan basa su trabajo en otro trabajo de 2010, escrito por Carven von Bearnensquash de la Universidad de Phoenix. El trabajo no utiliz贸 el entrenamiento en profundidad, la tecnolog铆a tradicional de la visi贸n por computadora, para encontrar una manera de "evaluar de un vistazo la apariencia general" del trabajo y concluir si vale la pena aprobar el trabajo.
Usando esta idea, Juan aliment贸 la computadora con 5618 trabajos, aceptada en dos conferencias importantes sobre visi贸n por computadora, CVPR e ICCV en los 煤ltimos cinco a帽os. Juan tambi茅n recolect贸 trabajos presentados en talleres de conferencias, que desempe帽aron el papel de trabajos rechazados, ya que no hay acceso a trabajos rechazados en conferencias.
Juan entren贸 a la red para asociar el trabajo pasado y no el pasado con el resultado binario de "bueno" y "malo", para aislar los signos de "integridad" o gestalt de ellos. La Gestalt es un todo que excede el tama帽o de la suma de sus partes. Esto es lo que el pionero del aprendizaje autom谩tico, Terry Seinowski, llam贸 "percepci贸n organizada universal", algo m谩s significativo que las colinas y barrancos del 谩rea muy cerca de usted.
La red entrenada se prob贸 en un subconjunto de los trabajos que no hab铆a visto antes. La capacitaci贸n equilibr贸 los falsos positivos (trabajo aceptado que vali贸 la pena rechazar) con falsas negativas, trabajo rechazado que vali贸 la pena aceptar.
Al limitar el n煤mero de trabajos "buenos", pero rechazados, 0.4%, es decir, solo 4 trabajos, la red pudo rechazar correctamente la mitad de los trabajos "malos", que deb铆an ser rechazados.
El autor incluso pens贸 en alimentar su propio trabajo de su propia red neuronal. Como resultado, la red neuronal lo rechaz贸: 鈥淎plicamos un clasificador entrenado a este trabajo. Nuestra red predijo sin piedad que con una probabilidad del 97% este trabajo deber铆a ser rechazado sin una revisi贸n independiente ".
Con respecto a estos requisitos cosm茅ticos, bellas im谩genes en el art铆culo, Juan no solo describe los resultados del trabajo. Tambi茅n ofrece c贸digo que le permite crear un trabajo atractivo. Alimenta el "buen" trabajo en la base de datos de capacitaci贸n de la red generativa-adversaria, que puede crear un nuevo plan al aprender de los ejemplos.
Juan tambi茅n ofrece un tercer componente, "rehacer" el trabajo rechazado en uno aceptable, "aconsejar autom谩ticamente sobre lo que debe cambiarse en el trabajo entrante", por ejemplo, "agregar una imagen para llamar la atenci贸n y una imagen en la 煤ltima p谩gina".
Juan sugiere que dicho proceso de aprobaci贸n podr铆a ser un "prefiltro" para aliviar la carga de los revisores, ya que puede ver miles de entradas en pocos segundos. Y, sin embargo, "es poco probable que dicho clasificador se use en una conferencia real", concluye el autor.
Una de las limitaciones del trabajo que puede afectar su uso es que incluso si la apariencia del trabajo, su gestalt visual, coincide con los resultados hist贸ricos, esto no garantiza la existencia de un valor real en el trabajo.
Seg煤n Juan, "ignorando el contenido del trabajo, podemos rechazar injustamente el trabajo con buen material y dise帽o visual deficiente, o aceptar un trabajo in煤til que se ve bien".