人工智能研究人员可以委托他进行工作测试吗?

弗吉尼亚理工学院的机器学习研究人员提出了一种使用AI审阅科学论文,评估文档中文本和图形外观的方法。 他评估科学工作“完整性”的方法是否足以加快独立同行评审的过程?

在机器学习领域,有大量的研究。 Google Cliff Young的工程师将这种情况与摩尔定律进行了比较,该定律适用于有关AI主题的出版物-arXiv网站上出现的有关该主题的学术论文每18个月翻一番。

这种情况在审查作品时会产生问题-人工智能领域经验丰富的研究人员根本不足以仔细阅读每份新作品。 科学家可以委托AI接受或拒绝工作吗?

最近在arXiv网站上发布的一份报告提出了这个有趣的问题。 该书的作者,机器学习研究员黄嘉斌将其称为“深度工作格式塔”。

Juan使用卷积神经网络(一种用于图像识别的通用机器学习工具)筛选了2013年以来出版的5,000篇作品。 胡安写道,仅根据作品的一种外观(文字和图像的混合体),他的神经网络就可以以92%的准确度区分出值得列入科学档案的“良好”作品。

对于研究人员而言,这意味着在其文档的外观中,以下几项功能起着最重要的作用:研究论文首页上的明亮图片和文本填充所有页面,因此最后一页的末尾没有空白。


Juan的卷积神经网络消化了成千上万份已获批准和未获批准的科学论文,从而创建了长处和短处的“热点图”。 未能通过选拔的作品最大的错误:缺少彩色图片,最后一页末尾有空白。

Juan的工作基于凤凰城大学的Carven von Bearnensquash于2010年创作的另一篇作品。 该工作没有使用计算机视觉的传统技术即深度培训来寻找一种“一目了然地评估工作总体外观”并得出是否值得批准该工作的方法。

根据这个想法,Juan为过去五年两次计算机视觉重大会议CVPR和ICCV上拍摄的5618计算机作品提供了支持。 胡安还收集了在会议研讨会上展示的作品,这些作品起到了被拒绝作品的作用-因为无法获得会议拒绝的作品。

Juan培训了网络,将过去而不是过去的工作与“好”和“坏”的二元结果联系起来,以便从中分离出“完整”或格式塔的迹象。 格式塔是一个整体,超过其各个部分的总和。 这就是机器学习先驱Terry Seinowski所说的“普遍有组织的感知”,这比您附近地区的丘陵和沟壑更有意义。

然后,对经过训练的网络进行了以前从未见过的一部分工作的测试。 培训将误报(接受的工作值得拒绝)与错误的否认(拒绝的工作值得接受)之间取得了平衡。

通过将“好”但被拒绝的作业数量限制为0.4%(即只有4个作业),网络可以正确地拒绝需要拒绝的“坏”工作的一半。

作者甚至想到了用自己的神经网络来充实自己的作品。 结果,神经网络拒绝了它:“我们将训练有素的分类器应用于这项工作。 我们的网络无情地预测,这项工作有97%的可能性应该在没有独立审查的情况下被拒绝。”

关于这些装饰性要求(文章中的精美图片),胡安(Juan)不仅描述了工作成果。 他还提供允许您创建美观作品的代码。 他将“良好”的工作输入到生成竞争网络的培训数据库中,该数据库可以从示例中学习来制定新的计划。

Juan还提供了第三部分,即“将拒绝的作品重新制作”为可以接受的作品,“自动对即将到来的作品中需要更改的内容提供建议”,例如,“添加一张图片以吸引注意,最后一张图片”。

胡安(Juan)认为,这样的工作批准流程可以作为减轻筛选人员负担的“预过滤器”,因为他可以在几秒钟内查看数千个工作。 作者总结说:“然而,这样的分类器不太可能在真正的会议上使用。”

可能影响其使用的作品的局限性之一是,即使作品的外观(其视觉格式像)与历史结果相匹配,也不能保证作品中存在真实价值。

据胡安说,“如果忽略作品的内容,我们可能会不公正地拒绝具有优质材料和视觉设计不佳的作品,或者接受看起来毫无价值的毫无价值的作品。”

Source: https://habr.com/ru/post/zh-CN436036/


All Articles