社科论文重现试验结果不尽如人意

科技工作者之家 2018-08-31

20188292333356110.jpg

2013年,当时还是美国纽约市新学院研究生的社会心理学家David Kidd了解到,他作为第一作者的首篇论文通过了同行评审并且将在《科学》杂志发表。如今,这篇表明阅读文学小说可改善人们凭直觉知道其他人心理状态能力的论文再次接受评审,但结果不尽如人意。这是被质疑的8项研究之一。这项努力旨在重现2010~2015年发表于《科学》和《自然》杂志的所有21篇实验社会科学论文。

这项被称为“社会科学重现项目”的努力,是位于弗吉尼亚州的非营利性机构——开放科学中心(COS)和相隔遥远的合作者为检查科学文献质量而推出的最新举措。和此前类似项目一样,最新努力发现,很大一部分已发表研究在第二次开展时都无法获得相同的结果。不过,这一次,开展重现工作的5个独立研究团队努力以最大的善意“对待”这些研究。他们通过招募平均5倍于初始研究的参与者,增加研究的统计功效。“这是非常大的努力。”弗吉尼亚大学心理学家Brian Nosek表示。Nosek是COS的共同成立者,其实验室开展了最新重现工作中的5项研究。

这或许有助于解释为何新项目成功重现了62%的试验。而COS和合作者在2015年发布的一项结果显示,对3本心理学期刊中的论文进行的更大规模研究只重现了39%的试验。一个审查经济学研究的类似项目在2016年报告称,其重现了61%的试验。

这项日前发表于《自然—人类行为学》的发现似乎同这样一种断言相左,即重视突破性或者意外结果的高影响力期刊和更专业的期刊相比重现性更差。但加州大学圣地亚哥分校认知心理学家Hal Pashler提醒说,各项目之间重现比率的不同可能并不具备统计学上的显著性。62%这一数据“毫无疑问同该领域存在问题的结论相符”。Pashler表示,“但因为标准发生变化就得出62%这一数据听上去是可笑的。”

来源:中国科学报