Nature:21篇NS正刊,可重复的仅57%!17篇癌症生物学高引论文,可重复的仅29.4%

科技工作者之家 2021-09-20

论文多到看不过来,结论“可靠性”令人担忧

导读:调查显示:17篇癌症生物学高被引文章,可重复的仅5篇,占比29.4%;在《Science》和《Nature》中发表的21篇社会科学文章的重复成功率在57%到67%之间。为此Nature杂志发文,呼吁“Reproducibility: expect less of the scientific paper”。并配了一副漫画如下,太生动了,科研人员论文看不过了,并为论文重复不出来而苦恼。Nature这篇文章来得太及时了!

呼吁少发论文,注重结论“可重复性”

近年来,科学论文的可重复性受到越来越多的关注。可重复性是指他人能够用作者提供的方案和材料将研究结果重现出来,这是科学研究最重要的基础。可重复性需要作者对研究的相关过程、研究对象和统计分析方法提供详细的描述,否则将会其他学者重复实验带来极大的困难。

据调查,癌症生物学迄今为止仅成功复制了17篇高引用文章中的5篇,并且在《Science》和《Nature》中遴选21篇社会科学文章,重复的成功率在57%到67%之间。面对这种现状,来自巴西的科学家近日在《Nature》发文呼吁:期望少发论文,多注重科学研究的可重复性。

论文再现性成本高

20年来,虽然生命科学领域高影响力期刊中的数据量翻了一番,但并不能保证论文的可复制性。许多人呼吁改善这种情况,提议的措施包括增加样本量、预注册协议和使用更严格的统计分析以及在方法和模型中引入异质性来评估稳健性。如果发现科学中的每篇论文都采用这种思维方式,那么一篇典型的备受瞩目的文章可能很容易花费整整十年的工作时间和巨额预算。要解决这个问题,不能急于求而成,而需要一个稳扎稳打、循序渐进的过程,逐渐让世界各地的研究人员强烈意识到研究论文可重复性的意义。

一个循序渐进的过程

研究表明,统计能力和个别实验报告的质量都不会随着期刊影响力的增加提高。而且大量实验数据很可能会降低审稿人审查证据的能力。对于科学领域的一流文章,通常有三个主要期望:第一,报告探索性研究的原始发现;其次,通过使用不同方法的进一步实验,确认它们代表了稳健的现象;最后,提出解释结果的理论机制。这些代表了科学过程的不同方面,并且不必一次全部实现。事实上,试图在五页纸中满足所有三个期望可能会导致无法很好地满足其中任何一个期望。将探索性和验证性研究强加于单一出版物可能会破坏两者,要么扼杀前者,要么破坏后者。如果期望每个出版物的结果在其他环境、模型或人群中都适用,那么重现性危机似乎不可避免。与其要求每位作者进行十年的验证性实验,不如通过其他机制更好地服务于科学事业,以提升研究论文的可重复性。

通往可重复科学的途径

针对如何评估研究论文结果的可靠性,一种选择是综合已发表的文献,利用不同研究小组的研究结果。大多数临床指南已经发生了这种情况,这些指南通常来自对现有证据的荟萃分析。然而,这种方法因主要研究中的发表偏倚和不完整报告而受到损害。因此,通过这种方法评估可靠性仍然需要解决普遍存在的问题。另一种可能更好的方法是组织专门设计用于评估稳健性和普遍性的验证性实验。几十年来,制药行业一直在管理多中心临床试验。联盟致力于汇集来自不同人群遗传流行病样本,以提高统计能力。学术心理学实验室已经联合起来进行社区工作。神经科学领域的倡议包括国际脑实验室、人类连接组计划和ENIGMA联盟。

明确分工,促进合作

有作者认为,初步结果的探索性研究应该与评估它们的验证性项目明确地分开。它们之间的独立性可以让科学家有更大的自由来探索假设,同时在对假设进行测试时保持严谨性并防止偏见。大规模的验证性科学需要为研究人员提供培训、资助和奖励,以专注于管理合作、参与大型实验和合成数据。更好的机制可能是建立正式系统来管理由机构或资助者驱动的合作项目。这种合作已经存在于特定领域,例如美国国家老龄化研究所、美国国防高级研究计划局 (DARPA) 和德国联邦教育和研究部的努力。

改变我们的期望

与其期望每篇论文都会建立可靠的现象,不如改进对初步发现的系统确认。要做到这一点,生物医学科学界需要确信一些资源应该转移到更大的项目上。资助者和机构必须更积极地协调科学劳动力以选择和解决关键研究问题,而不是在相互竞争的实验室之间分散资源。将可重复性的负担从个体研究人员转移到有组织的社区,最终可以提高被认为是科学事实的标准,也可能对科学的公众传播产生有益的影响。

名称:材料科学前沿

ID:MaterialFrontiers

立志打造材料领域有特色的新媒体

投稿、荐稿、爆料:editor@polysci.cn

来源:MaterialFrontiers 材料科学前沿

原文链接:http://mp.weixin.qq.com/s?__biz=MzI1NDc0NTY4OA==&mid=2247501491&idx=1&sn=7266a3d541dd2685342108101e6d2a72

版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

电话:(010)86409582

邮箱:kejie@scimall.org.cn