【委员观点】新时代呼唤科研评价新思路

来源：CAA混合智能专委会

点击上方“CAA混合智能专委会”可以订阅哦

导言：近日，教育部、科技部印发《关于规范高等学校SCI论文相关指标使用，树立正确评价导向的若干意见》，明确抵制SCI至上的做法，积极探索建立科学的评价体系。意见发布之后，引起学界的热烈讨论，那么什么样的新评价体系可以更好地促进中国实实在在科研成果的产生，切实提升我国科研核心竞争力呢？

习近平总书记多次指出“一花独放不是春，百花齐放春满园”。科学研究也是如此，我们需要给各类人才有用武之地。新时代要求科技工作者进一步弘扬科学家精神，要有更高更宏伟的追求目标：追求顶天立地的卓越科研成果，以带动我国核心科技竞争力实实在在的提高，为中华民族的伟大复兴和人类文明的发展做出更大贡献。在此大背景下，我们混合智能专委会召开了新时代科研评价工作的大讨论，希望汇聚专家智慧，为更科学合理的科研评价体系做点力所能及的工作。

近日，教育部、科技部印发《关于规范高等学校SCI论文相关指标使用，树立正确评价导向的若干意见》，明确对“SCI至上”说不，积极探索建立科学的评价体系。《意见》要点有：分类评价，代表作制度，同行评价，应用研究和技术创新，实现产业化的实际效果和实际贡献等。

这说明我国科研评价进入了一个新的发展阶段：从SCI论文一家独大，到理论研究、核心技术、实际应用等综合考虑的科学合理的分类评价。文件有具体实施意见十条，考虑细致，切实可行。一言以蔽之，我认为其核心精神是：要有实实在在的科研成果，要能切实提高我国科研的核心竞争力。

科研成果不仅仅是SCI论文，还有核心技术、实际应用和产业化等等。论文也不仅仅是SCI论文，也包括中文期刊论文。代表作制度对高水平有原创有影响力的SCI论文还是欢迎的，对一些无关痛痒、修修补补的灌水SCI论文要大胆说不。对能转化、能应用的专利和软件等，能推动产业化发展的核心技术要加大支持力度。

近年来，在对SCI论文高度重视的政策刺激下（“职称，学位，头衔，奖励”四管齐下），我国的SCI论文总数“芝麻开花节节高”。从1999年到2019，20年来，我国SCI论文总数快速增加了约26倍，从年发表2万篇到52万篇，世界占比从约3%快速攀升到约22%。目前，我国SCI论文总数已经达到约美国的80%，稳居世界第二已持续11年了，远远超越世界第三。照此速度发展下去，再有几年时间，我国就很可能取代美国成为世界第一大SCI论文发表国。虽然，近20年来，我国科研实力有了明显提升，但是还没有达到如此快的速度。也就是说，我国SCI论文的增长率远超经济和科技发展速率，具有明显的水分。

与此同时，中国科研人员从不会写SCI论文到很能写SCI论文，从不懂SCI论文写作技巧到善于利用SCI写作套路。有些高手一年SCI论文的奖励要远远超过其工资收入，“书中自有黄金屋”不是虚言啊。近几年的“双一流”刺激的ESI排名更是如此, 我国ESI排名曲线上升得更陡峭，让其他国家的科研人员目瞪口呆。在很多学科的ESI排名，不少高校已经做到了：“拳打哈佛麻省，脚踢牛津剑桥”。作为科研人员，我们在不断攀升的SCI和ESI排名中感到信心满满，醉在其中，难以自拔。学术圈的SCI论文快速增长就像娱乐圈拍的肥皂电视剧越来越多，而令人震撼的电影大片却越来越少。

在发表SCI论文为核心的指挥棒下，我国SCI论文数据很漂亮，曲线很完美，奖励很丰厚。于是，大部分科研人员尤其是容易误导研究生们认为：搞科研就是看论文，做科研就是写论文，出成果就是发论文。长此以往，核心技术没人关心，实际难题无人问津，实实在在的科技核心竞争力却难以提高。所以，这次政策调整很重要、很关键、很及时。希望我国尽快建立科学合理的科研评价体系，使得大量的科研投入能换来科技核心竞争力实实在在的提高，而不仅仅只是交出SCI论文总数和引用次数快速增长的漂亮曲线。

抗疫当前，是写病毒分析的SCI论文重要，还是拿出治疗肺炎的良药救人重要？这是不言而喻的。我国人才众多，既要有部分的擅长SCI论文的理论研究人才，更要有大量解决实际难题的实干专家。破除SCI至上，就是表明这两类专家没有高低贵贱之分，只有任务分工不同，紧密协作才能创造更大价值。新冠病毒基因测序和病因分析的理论研究，对于治疗方案和疫苗研发的也有直接的作用。有相信此意见实施后，我国科研队伍将实现“一枝独秀不是春，百花齐放春满园 ”，理论研究，核心技术和实际应用等方面的人才均有用武之地，形成“百舸争流千帆竞， 乘风破浪正远航”的大好局面。

两部推出的纲领性文件有征求社会意见的意味，我就借此话题说一下自己的思考，提点建议。

堵不如疏，最好是潜移默化地逐步引导正确的学术风气。其实，市场本身具备很强的自平衡、自净化能力，可能本无需过于担忧。经济学原理的最根本原则，就是物以稀为贵。我们可以回顾一下10~15年前的科技界，跟现在做一下比对。以前，SCI是高端的代名词；现在，SCI往往只算个最低水准。以前，以发表SCI论文篇数论定个人学术水平的高低，发10篇就名校教授，100篇就国奖院士；现在，发表论文篇数太多非但不会让人觉得学术水平高，反而容易招致反感。风气和观念的进步还是非常明显的！这就是市场机制的强大力量，不需要太多行政力量的干预。

似乎不必断然取消一切论文奖励。科技工作者发表论文起码总体现了一定的职务工作量吧？指导学生发表论文总属于有价值的教学成果吧？随着论文越来越多，期刊档次越来越高，单位自然而然会提高奖励门槛，降低奖励数额。市场，本会随着供求关系变化自我调节的。

本来高水平大学就几乎没有论文奖励，越是层次低平台弱的大学，奖励标准越高。这就是人才市场的一种自平衡机制。奖金能吸引一些相对较优秀的人才去层次偏低平台偏弱的大学效力。可以想见，如果一刀切取消奖金，低水平大学对人才的吸引力将会降低，导致不同大学之间的差距越来越大。其实，只需设置个奖励上限即可有效防止灌水行为。

一定要避免否定一切量化指标的作用。科技要走向世界。先国际接轨，努力实现科技进步，最后在我国成为科技强国的前提下，再通过更优化更科学的评价体系引导全世界的科技发展，这应该是我们的目标。现有的量化评价体系是国际通用的，在很多情况下仍具有一定的辅助参考价值。目前发达国家基础研究领域都很重视论文，在科技评价时也会参考一些指标，如他引次数、影响因子、H指数等。在越来越密切的国际合作和交流过程中，这些都是无法绕开的。

专家评审，这种模式一直都有个缺陷，不是说一定会徇私舞弊，而是人的主观判断难免容易产生较大的误差。古代的科举考试发展到明清，用僵化的八股文，饱受社会公众诟病。八股文之弊，管理部门肯定知道，但仍坚持采用，实出于无奈！八股文的形式限定十分严格，这就近似于一种客观题，从而最大限度地排除了考官主观判断的误差干扰，结果的稳定性好。

事实上，人们的隐忧并非空穴来风，潜在问题的苗头已在新文件中显现。“卓越期刊提升计划”本是一个资助期刊发展的项目而已，有几年的执行期，到期还需要接受考核。但现在有异化为期刊“帽子”的趋势。“卓越期刊提升计划”是专家评审出来的。确定在评审的时候没有参考任何现有的量化指标？确定评定结果一定比SCI分区更优越更合理？

----复旦大学   张军平

2019年初，中国科学院院士、清华大学原副校长施一公在全国政协十三届一次会议上说道“我以前曾经预测，中国会在2020年论文数超过美国，没想到我们提前完成了”。

确实，从论文发表数量来看，我国已经跃居世界第二、仅次于欧盟的位置 [1]，如图1。在国际顶尖期刊上发表论文数也已经居世界第四位[2]。

图1：中国论文数量比较 （网图）[1]

这说明我国在科研整体实力上有了明显的提升，主要原因是目前在科研一线的中青年老师，在科研能力、论文写作能力、指导学生的能力等多方面都有了质的飞跃。而且，搜索国际前沿论文的途径也较以往有了非常大的便捷。另外，在计算机领域，由于代码共享方式的盛行，也让学科间、学校间在切入研究方向上差异变小、事半功倍。这使得我国的科研队伍能在快速地了解国内外动向的同时，也能迅速实现复制、比较和改进。

但我们在原创性这块还存在比较大的差距，创新力仍有待改善。以人工智能领域为例，近年来主流技术以深度学习为主。尽管在论文发表总量上，我国毫不输于其它国家。但是，在深度学习必需的硬件环境上，我们仍严重依赖于目前还无法国产化的GPU显卡；在软件平台上，依赖于PyTorch、Tensorflow等国外软件；在深度学习的核心算法上，国内提出的关键算法相对较少，多是在国外团队设计的相关算法上的小修小改。

抛开学科、领域的差异，“原创能力弱”的原因很多。基础教育中过分重视分数、填鸭式教育强度过大，导致学生对科研的热情被提前燃尽，后继乏力是一个原因。这需要花时间找到更合理又不失公平的基础教育“减负”平衡点才行，需要“长治”。

国内对科研考核评估的指标制定也是重要原因之一。从总体来看，近年来国内对硕士、博士研究生毕业、教师职称晋升在论文上的指标要求相对十年前是高了不少。这也很正常，毕竟我们科研水平整体提长了，十五年前在国内权威期刊发篇论文就能评上教授，现在在SCI一区期刊上发个三五篇在复旦大学这样的学校晋升的机会也不见得大。

但是，这种考核制度是否有利于原创性高的研究呢？

一、限时考核

对于研究生来说，这种考核从某种意义来看，是限时的，即必须在学业完成前获得达标的论文数量才行。不仅如此，多数学校在研究生评奖学金时，会按论文的档次和数量来评分；老师在晋升职称时，也是如此；各种人才的评选、奖项的评选都看。因此，研究生可能在入学后，就会有个小算盘计算如何能尽早完成这个限时指标。结果，就会优先选择那些不需要花太多时间、不用太依赖于扎实的基础理论、容易快速出成果的研究方向。虽然这并没什么不好，因为现在很多企业是看研究生的论文数量来定年薪的。

但如果博士生的人生目标想以科学研究为主，希望形成原创性高的科研成果，那么就应该在博士期间多花时间打好理论基础、完善论文写作水平、选题时谨慎考虑好可持续性。理论基础可以保证在未来研究方向产生大的变化时，不容易被抛弃，也是形成原创性成果的必要条件之一；论文写作水平可以提升其指导学生的能力；而谨慎选题需要一定时间的探索，持续性则应该能保证其在毕业后三至五年内，在其研究方向上产生有影响力的工作，并能得到学术圈同行的广泛认可。这三项都需要花时间，并非短时就能见效。但一旦以限时指标来考核，三者都很可能被舍弃。结果，在这种环境下，原创性高的成果就很容易被扼杀在摇篮里了。

二、不鼓励原创的论文发表和评审机制

那么，追求发表高档次论文就不利于原创性成果吗？当然不是，它是重要途径之一。但从当前国内外研究的发展趋势来看，这一途径正在变窄，影响力也在逐渐减弱。

再以人工智能及相关领域为例，计算机视觉顶级会议CVPR2018(IEEEConference on Computer Vision and Pattern Recognition)接收论文数量超过1500篇，而人工智能顶级会议AAAI(American Association ofArtificial Intelligence) 2019接收论文数量超过1000篇。据报道，现阶段每20分钟就产出一篇机器学习方向的论文。试想下，如果想了解这些会议的全貌，单纯读个论文目录都可能得花大半天时间，哪还有多少读者真心愿意再仔细去读论文呢？后果就是，这些会议中的很大一部分会议除了作者本人读过外，有可能就3个评审仔细读过了。这导致原创性的研究成果变得不太那么容易被传播，并形成影响力。

另外，发表任何一篇论文都是需要时间的。论文中的方法提出和改进、实验和比较、写作和逻辑，再加上评审评阅论文时主观性带来的偶然性，就有可能导致好的论文容易被拒。尤其在现今相对规范的科研环境下，原创性高的研究事实上更容易被拒绝而非接受。还是以人工智能领域为例，如果一项原创性非常高的工作投某个相关领域的会议，评审通常会希望至少看到两个要点：1）完整的综述。但如果这项工作本身是个新的切入点，很可能做个完整的综述就比较困难。这极容易让评审抓住辫子，说其对相关领域近三年工作不了解而拒稿。2）全面的实验比较。这一点对于原创性的工作也是同样痛苦。因为作者可能是从某种实际应用中，根据发现的新问题提出的方案，但不一定能在现有的研究方法中找到对应的已有成果来进行比较。此时，评审会很自然地以没有看到充分比较，缺乏可信度而拒稿。相比较而言，反而那些原创性低、可能只是一两个小改进，但实验充分且综述完整、论文写作规范的研究，更容易引起评审的好感而被接收。所以，当前的论文发表和评审模式从某种意义上来说，是不利于原创性成果的发表的。

三、重视新时代的传播模式

我们不妨审视下国内外近四十年科研走过的道路。早些年，互联网没流行时，国内外均是通过纸质期刊来了解研究动向，而国内能购买期刊的学校非常之少，这个阶段我国处于资料缺乏阶段，也不太清楚国际前沿的状态。而国外通过会议进行的交流则比国内相对便利不少。绝大多数国内科研工作者处在无从下手的时期。随着互联网的出现，学术论文的购买，国内的实力开始缓步前进。过了二十世纪，进入二十一世纪了，随着海外人才的引进、中青年老师的水平的逐年提高，国内在论文发表方面已经完全摸清了门道。比如模式识别领域曾经极难发表论文的IEEE Transactions on Pattern Analysis and Machine Intelligence，现在国内学者一年发七八篇也并不罕见了。

然而，这种“摸清”并没有对原创性工作产生太明显的改善，更多的是数量的快速提升。这也是国内现在在提倡清理“四唯”的原因之一。

要改变这一局面，我想可以考虑以下四点：1）不宜采用或降低限时考核论文的标准。因为它压缩了科研工作者能形成原创性成果所需的时间。比如博士生毕业指标上，是否可以像中科院数学所一样，只考查学生的毕业论文呢？其它论文发表情况仅作为参考、而非必要条件呢？当然论文的减负，只对学生减负是不可行的。因为这个压力会向后送，到导师、到学院、学校。所以，需要全方面的减负才有可能。2）不宜限定发表论文的档次，鼓励科研工作者多利用网络媒体来传播成果，形成影响力。我们得看到， 纸质媒体正在快速地让位于网络媒体已是不争的事实，最近不少纸质媒体杂志的关停和自媒体的兴起便是佐证。国内在互联网、手机支付方面也全面超过了美国。在网络如此发达的前提下，再强调SCI、ESI这类靠“统计”数量的传统指标来衡量论文水平和影响力并非完全与时俱进，也不那么“前沿”。更何况这些指标能涵盖的范围本来就有限，对网络的传播更是丝毫未曾考虑。同时，对于科研工作者来说，传统的期刊发表方式是否仍有必要成为唯一途径也值得商榷。在公开的、有知名度的网络文献数据库或科学网上发表成果，是否可以算数或提倡？如果算，我们怎么评估它的影响力和原创性？3）以国内现在在国际上的论文发表情况来看，我们似乎可以不再过多依赖于某些不利于国人的科研尤其是原创性科研的评价标准。不妨另起炉灶，自建一套更符合现今时代的科研评估体系，以保证有更多原创性的成果的产生。4）规范国内期刊和在线文献数据库或科学网的论文评审流程，比如公开评审意见、在评价时对国内部分期刊给予更高的权值，并在各级学校进行适当的投稿鼓励和支持。另外，既然我国的论文发表数量排名这么高，那至少也说明国内高水平评审人员的数量也不低。只要让他们能对中文论文的评审像国际标准看齐，论文的质量也会上升。这样，会有助于那些原创能力强、但英语写作能力偏弱的国内科研人员有更多的“发声”机会，也有助于提升国内科研论文相关的刊物和网络媒体的总体水平。5）如果担心水军影响公信力，我相信现有的技术手段是完全可以解决这一问题的，比如某歌星的打榜不也被itune发现而从榜单消失了吗？在科研方面，我们不妨把水军的打榜和过度评价视为一种学术不端，以此来提升网络评价的质量。

总之，如果希望提高国内的原创力水平，论文减负首当其冲！假以时日，原创性的成果就会越来越多。

CAA混合智能专委会