Nature：同行评审屡遭毒喷，中国欲启用AI系统解决问题

来源：新智元

【新智元导读】近日，各大顶会评审风波不断，可谓民意汹涌。Nature发表文章称，我国国家自然科学基金委员会正在利用AI来选择匹配评审人。那么这套系统是否能够做到省时省力又无偏见呢？让我们来一探究竟。

同行评审饱受争议，要不试试AI？

最近，人工智能顶会IJCAI 19遭众多网友猛烈抨击：审稿不专业、学生审稿、review寥寥几句、打分看心情。被网友评价为“审稿宇宙最烂”。

微博用户评论

连大会程序主席Sarit Kraus也被迫站出来作解释：

那么，为什么不试试AI呢？

文章地址：

https://www.nature.com/articles/d41586-019-01517-8

昨日，Nature发表文章称，中国国家自然科学基金委员会(NSFC)正在建立一个更加复杂的系统，该系统将利用自然语言处理技术抓取在线科学文献数据库和科学家的个人网页，收集潜在评审人员的出版物或研究项目的详细信息。

国家自然科学基金委负责人李静海表示，该系统将使用文本的语义分析来比较资助申请和潜在评审人信息，并确定最佳匹配。

这个工具可以选择研究人员来审查资助申请，让这个过程更有效、更快、更公平。一些研究人员表示，NSFC采用的方法是世界领先的，但其他人对AI能否改善这一过程持怀疑态度。

上个月在杭州召开的学术交流会议上，国家自然科学基金前负责人杨卫介绍了试点数据。该工具的试用版本从去年获批资助项目的近44000个专家组中各选择至少1位专家，每个专家组由3~7人组成。杨卫说，该系统已经减少了行政人员寻找评审专家的时间。他说，今年也将采用类似的方法来选择评审专家。

节省时间

欧洲最大的基础研究机构法国国家科学研究中心国际合作部主任Patrick Nédellec说，中国国家自然科学基金委员会已经成为改革资助审查程序的全球领导者。Nedellec在去年9月的一次会议上讨论了国家自然科学基金的改革计划，他说，因为申请基金的数量不断增加，NSFC已经被迫进行了创新。

“压力如此之大，中国别无选择，只能寻找最好的办法，”他表示。

在过去的五年里，国家自然科学基金收到的申请数量以每年约10%的速度增长。2018年，该机构评审了22.5万份资助申请，几乎是美国国家科学基金会收到的6倍。李静海说，国家自然科学基金委正在努力处理申请并寻找合适的评审人员。“挑战在于没有足够的人手，”他表示：“AI会解决这个问题。”

减少偏见

李静海还希望这个工具能够减少审稿人评审时的偏见。他说，在中国，科学家们可能为他们的项目找关系。“评审中的一个问题是，人们可能走关系。AI是不会被行贿收买的，”李静海说。

在其他一些国家，申请者可以推荐由哪位专家审查他们的提案，这也是一个问题。例如，瑞士国家科学基金会发现，由申请者推荐的评审员比由基金会选择的评审员更有可能支持这个项目。

国家自然科学基金委的试点AI系统目前仅适用于中文网站，但李静海希望它将来也能够抓取英文网站。

维也纳理工大学的科学政策顾问Manfred Horvat表示：“国家自然科学基金委的改革计划雄心勃勃、具有前瞻性和全面性。”Horvat去年9月也听过李静海的演讲。

其他国家也在效仿中国。上个月，挪威研究委员会开始使用自然语言处理技术，将大约3000份研究提案分组，并将它们与最佳评审小组进行匹配。

在接受《国家科学评论》((National Science Review，NSR)专访时，李静海院士表示：

在其他国家有一些智能系统的雏形，但还没有过一个完整的系统。比如在一些期刊的投审稿系统中，已经可以通过关键词匹配来判断特定的专家是否适合审稿，也可以提供审稿人的既往评审数据。

而我们希望能做得更多更好更严格。将要建成的系统可以对评审人的既往研究工作、发表过的文章等进行分析，通过语义理解比对，与基金申请书进行匹配，找到在专业上合适的专家，同时结合信誉数据，遴选出最适合的评审人。

评审人的选择在基金评审中举足轻重，是世界各国科学基金资助机构共同关心的问题。现在，申请人常常不信任机器的选择，而单纯依靠人为选择也同样可能影响公正性。我们希望能够利用更先进的人工智能技术，真正解决这个问题。这方面还需要凝聚科技界全体的智慧。

高质量的同行评审是学术出版的基础，证明研究假设、方法和结论的有效性、严谨性和正确性。出版商和审稿人面临的挑战是，在不断增加的稿件提交面前，要保持严格的质量标准。

Frontiers(《前沿》系列期刊)在2018年推出下一代通常评审AIRA，试图解决日益增长的稿件提交量，并更有效地保护稿件和同行评审质量。

Frontiers声称，AIRA使用内部自定义算法，同时使用iThenticate（CrossRef首创并与iParadigms公司共同开发出一个全新的，用于帮助学术出版者验证出版文档原创性的工具）和Ada（一款文字检查工具）。所有这些都经过Frontiers的10年同行评审经验的培训和严格测试，并完全融入Frontiers的协作评审论坛和内部流程。

AIRA能够通过分析稿件质量、解释和传达审核流程，以及提供建议和识别潜在审稿人，为编辑、审稿人和内部团队提供协助，并将通过持续学习不断优化。

上述功能已集成到Frontiers Review Forum和内部工作流程中，简化了投稿人在Frontiers的发布流程。

Frontiers首席执行官兼联合创始人Kamila Markram：“技术不能取代人，而是帮助人们能够以更有效的方式做出编辑决策。AIRA可以让我们的编辑、审稿人和内部团队专注于在正确的时间做对的事并做出关键决策。这加快了审查过程并缩短了发布时间，同时确保了最高质量的控制。“

AI致力于两项关键同行评审任务

AIRA目前致力于两项关键的同行评审任务：质量控制和评审员识别。其算法可根据一系列质量测量，快速准确地评估提交的稿件，包括文本重叠；语言、人体图像的存在以及其他道德因素。

达到既定质量门槛的人员，将被传递给编辑；而任何有潜在问题的人员都会被标记，并交由Frontiers的研究诚信和审查运营团队以进行进一步调查，并且在解决之前暂停一些审核工作。

AIRA的算法还根据专业知识和可用性，来识别潜在的审阅者，并检查编辑、审阅者和作者之间是否存在潜在的利益冲突。

Frontiers的质量和道德高级经理MarieSoulière说：“它不仅标记有潜在问题的稿件，还会告诉我们需要手动检查的内容，从而减少了审查疲劳并使审查更加准确。AIRA还能够提醒一些人工难以完成的检查任务，例如抄袭。“

但并非所有人都支持AI用在评审过程中。

英国剑桥RAND Europe研究机构的科学政策专家Susan Guthrie指出，加拿大卫生研究院在使用一种用于评审人员选择的算法时就遇到了重大挑战。

这个机构于2016年聘请了RAND Europe公司对同行评审的研究进行meta分析。而得出的结论有时可谓是大跌眼镜：算法有时会选择存在利益冲突、不适合或者没有资格的审稿人。独立专家小组的结论是：

威斯康辛州麦迪逊市教育分析公司的政策研究员Elizabeth Pier认为，人工智能无法消除选择偏见。

她担心人工智能系统最终会复制人类判断中根深蒂固的偏见，而不是避免它们。她建议国家自然科学基金委员会应该做一项研究，将人工智能选择的审稿人与人类选择的审稿人进行比较。李静海对此表示，一旦系统建立并运行起来，自然科学基金委可能会考虑这一点。

李静海计划在未来五年推出其他工具，使拨款系统更加公平， 其中包括一个奖励系统，奖励研究人员进行良好、公平和及时的审查。他说，信用体系的理念是鼓励审稿人认真对待这份工作并保持专业度。

斯坦福大学的统计学家John Ioannidis对国家自然科学基金委员会在绘制提案时使用客观、数据驱动的工具来选择评审者的努力表示赞赏。但他认为，目前很难评估评审者是否做出了正确的决定。Ioannidis说，一个想法可能需要几十年的时间才能被鉴定是“伟大的”或是“无用的”。

但是李静海已经做好了准备，他说：“这项任务不容易实现，需要在长期的学习和测试过程中不断改进。”

那么亲爱的读者，你赞同利用AI来辅助同行评审吗？

参考链接：

https://www.nature.com/articles/d41586-019-01517-8

https://blog.frontiersin.org/2018/12/14/artificial-intelligence-peer-review-assistant-aira/