科技计划评估理论研究回顾与展望

科技工作者之家 2020-07-08

来源:创新研究

摘要:不断丰富科技计划评估理论体系、优化科技计划评估实践活动对完善科技创新治理体系有着重要的意义。本文对当前国际评估界常用的政府绩效评估理论、“市场失灵”理论、第四代评估理论、系统论、“事实-价值”相关结合理论进行了全面评述,提出了未来科技计划评估理论两种态势:一是新一轮科技革命的爆发将引起评估理论研究使用多元化、复合化,二是评估理论研究与使用将更加注重工具理性与价值理性的统一。在上述基础上,建议我国当前需要发展具有中国特色的科技计划评估理论,该理论应具备以下特点:一是适宜于我国科技创新治理特点需要;二是正确处理好效率与公平公正的关系;三是注重事实与价值相统一;四是能够广泛富有中国特色社会主义文化基因。

党的十九届四中全会提出要加快和完善科技创新治理体系,科技计划评估作为科技创新治理体系的重要政策工具之一,不断丰富科技计划评估理论体系、优化完善科技计划评估实践活动有着重要的意义。从现有文献来看,多数研究集中在国外评估案例介绍和现有所开展的评估案例总结方面,如学者张逸雯等专门针对欧、美、日等发达地区或国家科技评估体系与实践进行综述;在评估基础理论研究方面略显欠缺。迟婧茹等曾通过以评估和科技评估领域的国际知名学术期刊为载体分析发现,我国评估界在中国特色评估理论和共性议题方面研究较为欠缺。因此,加强对科技计划评估理论的梳理研究显得尤为必要。本文通过对当前国际评估界常用的政府绩效评估理论、“市场失灵”理论、第四代评估理论、系统论、“事实-价值”相关结合理论进行综合回顾与分析,结合当前科技创新活动发展态势,对科技计划评估理论进行展望,以期对科技计划评估活动发展提供参考。

1科技计划评估发展回顾

20世纪20年代,美国国会成立国会咨询服务部(Congressional Research Service,CRS),该部门主要任务就是直接针对国会各委员会和议员提出的与科技相关的问题进行研究、分析和评估,其中与科技相关问题的研究、分析和评估即可认为是科技评估的雏形。从西方国家近100年的评估历史看,其评估活动经历了强调“经济、效率”和“质量、服务”两个阶段。1979年,英国首相撒切尔夫人发起反对浪费和低效益的运动为标志的“新公共管理运动”开始兴起,西方国家政府开始树立成本意识,评估开始成为政府科技计划管理的重要手段之一;该阶段评估活动的典型特征是追求以效率为导向,注重测量目标的实现,其典型代表为英国的雷纳评审、阿尔维计划执行评估等;1993年,美国总统克林顿掀起了“重塑政府”运动,开启了以“顾客满意”,注重质量、服务为导向的评估活动新时代;该时期的评估活动主要从政府系统外部出发,以“顾客”视角对政府开展的相关活动进行评价,美国国家绩效评估委员会还专门出版了《顾客至上:服务美国民众的标准》,各政府部门开始逐步开展顾客至上的评价的活动,在美国的网络和信息技术研发计划(Networking and Information Technology Research and Development,NITRD)、纳米科技计划(National Nanotechnology Initiative,NNI)、技术创新计划(Technology Innovation Program,TIP)等科技计划评估活动均不同程度地注重质量和服务理念;经过20余年的发展,注重质量与服务的政府评价理念在西方国家全面铺开,评估在美国、英国、法国、日本等西方世界也已成为系统化、常态化的科技计划管理手段。

我国自1994年起科技管理部门开始对科技计划进行评估,并于1997年成立科技部科技评估中心,从事科技评估理论研究与实践等工作。近十几年来,我国在科技评估实践方面做出了不懈的努力,先后开展了“八五”计划评估、科技攻关计划评估、国家高技术研究发展计划(“863计划”)评估、国家重点基础研究发展计划(“973计划”)评估、国家重点新产品计划评估、国家科技重大专项年度监督评估、“十五”国际科技合作计划绩效评估、国家自然科学基金25年资助与管理绩效国际评估和国家科技重大专项中期评估,评估类型主要有年度监测评估、专题评估和综合评估;与此同时,我国在评估制度建设方面也取得了有效进展。2000年科学技术部发布《科技评估管理暂行办法》(国科发计字〔2000〕588号),对评估类型和范围、组织管理、评估机构及人员、评估程序等相关问题予以规定;2003年,科学技术部、教育部、中国科学院、中国工程院和国家自然科学基金委员会联合发布《关于改进科学技术评价工作的决定》(国科发基字〔2003〕142号),对科技评估的重要性、评估指标体系制定等方面予以规定;2014年,国务院发布《关于改进加强中央财政科研部项目和资金管理的若干意见》(国发〔2014〕11号)中指出:“建立各类科技计划(专项、基金等)的绩效评估、动态调整和终止机制”。2016年,科技部印发《科技监督和评估体系建设工作方案》(国科发政〔2016〕79号),提出要加强对科技计划绩效评估,实现“有决策、有选择就要有评估,有授权、有委托就要有监管”。科技评估已成为我国深化科技管理体制改革、建设创新型国家的重要组成部分。

丰富的评估实践活动开展为评估理论研究提供了肥沃的土壤。纵观科技评估将近100年的发展历史,科技计划评估理论研究主要有5种路径:政府绩效评估理论、“市场失灵”理论、第四代评估理论、系统论、“事实-价值”相关结合理论。除此以外,还有学者也借鉴其它相关理论也对评估活动展开了研究工作。如学者Leon等运用博弈论对公共政策评估展开了研究等。笔者限于精力和知识局限性,本文重点针对主流的5种科技计划评估理论进行回顾分析与展望。

2科技计划评估理论研究现状
2.1 基于政府绩效评估理论

该理论重点围绕科技计划的投入、活动、产出、成效、影响5个环节,从经济性、效率性和效益性(Efficacy,Efficiency,Effectiveness,3E)3个方面衡量公共绩效。

政府绩效评估理论成功吸取了新公共管理学、制度经济学、战略管理学等诸多学科的精髓,其中新制度经济学中的公共选择理论、委托代理理论和交易成本理论对其影响最为深远。从现有研究文献及世界各国评估实践来看,基于政府绩效评估理论的研究及实践最为广泛。我国科技界在“3E”理论基础上,结合“变革理论模型”明确了科技计划绩效评估中应关注的“相关性”“效率”“效果”“影响”和“可持续性”5项评估准则,该模型在我国863计划、国家重点基础研究发展计划(973计划)等历次国家科技计划评估中都得以运用。日本第3期《科学技术基本计划》评估活动也基于政府绩效评估理论开展,从目标实现、实施进展、产出与成效、国际比较四个角度,开发出了272项指标,对第3期《科学基本计划》进行全面的检视;欧盟“地平线2020”计划中期评估活动也根据这一理论从需求、目标、投入、活动、产出、成效、影响7个方面进行评估。

这种以“效率”为核心的评估理论在公共科技领域使用,对提高财政科技资金使用效率固然有重大的作用,但如果仅仅单一使用该理论则具有一定的风险性:一是容易产生“效率为先”的理性主义倾向;针对公共科技政策而言,效率本身并不是目标,而是帮助我们达到政策目标的手段。追求“效率”固然能够加快科研成果产出的速度,但并一定能提高水平和质量,这样就容易走入“只求数量不求质量”的极端,引起“垃圾论文”“垃圾专利”等当前备受诟病的问题;二是科技成果产出和价值的显现往往具有一定的滞后性,比较难以衡量,容易引起评估结论的质疑;三是公共科技领域的“投入”多从经济角度进行衡量,但是“产出”即科技成果并不能仅仅从经济角度衡量,它需要从科学技术、社会、政治和经济等多角度进行价值衡量,如此针对“投入”和“产出”进行对比是一个很大的挑战,也引起了诸如当前社会上所普遍反映的“科技评价一刀切”等问题。

2.2 基于“市场失灵”理论

该理论认为应该注重科技计划“一项政策的出台是否合理,政府干预是否有效,就看它能不能解决市场机制在某些领域的失灵问题,能不能弥补‘看不见的手’固有的缺陷”因此,科技计划的绩效应当是科技计划对市场的干预效果以及科技计划设立的恰当性。

市场失灵理论主要从边际效用价值论和一般均衡理论发展而来,在科技计划评估活动中,该理论还与熊皮特创新理论相结合,以便更好诠释技术创新市场也存在失灵。该理论在科技计划评估方面的运用,典型的如菲利普•夏皮拉针对美国制造业扩展伙伴计划(Manufacturing Extension Partnership,MEP)的评估研究,首先基于“市场失灵”理论对该计划干预的理由进行研究,然后通过多种绩效测度策略和评估方法进行评估,从而全面评估该计划干预的效果;Barry等也提出科技政策应当具备弥补“市场失灵”的公共价值,评估时应关注这一点;谈毅等从创新市场失效与政府干预科技研发活动的合理性进行论述,认为科技计划绩效评价是手段,不是目的,其用意在于科技计划的运作绩效,并据此产生类似于市场机制的制约能力。Masaru等也基于这一理论针对日本公共财政支持的50个项目展开评估。

随着科技计划功能由以往的“弥补市场缺陷”逐步转变为“创建新兴市场”,基于市场失灵理论开展评估活动将会显得片面。在科技创新领域,“市场失灵”理论的应用场景主要是政府通过投入支持具有“公共物品”特征项目(如基础研究等)的方式来干预和修复市场;但当需要科技计划来动态创建和塑造市场时,它就没有那么有用了。如有学者所提出的“使命驱动型创新”,强调政府应对社会重大挑战,对创新的作用不仅仅是修复市场失灵,而是要创造市场或新的机会,如生物医药、纳米技术、人工智能等新兴产业,包括我国、美国、日本、英国等多数国家政府更多的是发挥了“企业家”作用,大规模的直接投资运用新兴技术并直接生产,塑造新的市场。因此,在这类重塑市场的科技计划评估中,基于“市场失灵”理论开展则显得有些片面。

2.3 基于第四代评估理论

该理论主要以响应利益相关者的主张、焦虑和争议作为组织评估焦点,从各利益相关方对被评估对象的“共同建构”角度衡量其绩效。第四代评估理论以全新的哲学范式和建构主义方法理论为科技计划评估提供了新的路径,具有其“合理内核”:一是重视评估活动中利益相关者的重要性,为评估活动提供了一个新的视角;二是切中了实证主义传统的弊端,认识到对自然科学方法的过分依赖所产生的过度使用定量分析工具(如政府绩效评估理论的“投入—产出”分析法)、评估客体被孤立等不利结果;三是让评估者、评估对象和相关者共同参与评估,并关注弱势群体,给予表述意见的机会,进而达成共识。

第四代评估理论由美国学者古巴和林肯于1989年提出,两位学者按照时间顺序将前人的评估理论研究划分为三代,即“测量时代”“描述时代”和“判断时代”。他们认为前三代评估存在“管理主义倾向”太浓、忽视“价值的多元化”、过分强调“科学实证主义”的方法等弊端,于是便提出了第四代评估理论。从现有文献来看,第四代评估理论在教育领域的评估活动中直接运用较为广泛,在科技领域仅见文雯等运用该理论对研究生项目进行实证研究,但以该理论为基础的利益相关者分析法在科技计划评估中广泛运用,如学者Zaheer、Laxmi等在科技计划评估研究过程中都不同程度采用了利益相关者分析法。同时,许多学者也致力于运用第四代评估理论解决当前公共政策评估存在的不足。如谢小燕等针对新公共管理主义评估所带来的“过度依赖评估技术”“工业理性策略凸显”等问题,运用“第四代评估”理论提出了相关破解路径。

第四代评估理论以建构主义哲学为基础,强调知识和人的认识具有相对性,如果在开展评估活动中忽视其客观性与绝对性,就容易陷入相对主义和主观唯心主义认识论的误区;与此同时,第四评估理论所倡导的“回应—协商—共识”的方法,难以实现。一方面评估过程需要大量的时间和投入,另一方面选择利益相关者并让其“自然状态”下进行协商,是一个很大的挑战。

2.4 基于系统论

该理论通常认为评估的目的是为了让被评对象达到最佳有序状态,而将被评对象视为一项系统,其最佳状态即成为耗散结构。因此,在评估实践中,一般首先分析评估对象成为耗散结构所需具备的条件,针对所需条件设计评估指标体系,从而评估被评对象与耗散结构之间的差距。

系统论自1937年贝塔朗菲提出以来,经哈肯、普利高津等人的不断完善发展,已经成为研究复杂事物的有效工具,对科技计划评估活动有着重大的指导作用。在理论运用方面,如曹杨、王雪青根据耗散结构的4个形成条件,将资源型城市创新体系作为复杂系统设计了新的评价指标体系,并运用网络分析法(Analytic Network Process,ANP)建立了评价指标体模型,展开了实证研究;程书雅从区域创新系统的耗散性结构出发,将区域的耗散性结构特征转化成元素指标融入到区域创新能力评价指标体系之中,以青岛市作为样本进行了实证研究。同时,也有部分学者将“科技评估活动”自身看作是一个系统,运用系统论对科技活动本身进行分析,并构建相应的评估指标体系;如翟亚宁等运用耗散结构理论对科技评估活动进行了分析研究,曲久龙运用系统论、认识论等对科技计划项目评估活动进行了分析研究,在此基础上构建了吉林省高新技术领域科技攻关计划评估指标体系并进行了实证研究。

需要特别指出的是,在科技计划评估过程中,如何有效确定科技计划的有序与无序、以及如何判定科技计划的开放程度,是评估实践过程的难点。

2.5 基于“事实—价值”相结合理论

该理论主要基于事实维度(公共科技政策结果的有效性)和价值维度(公共政策价值的合理性)2个维度对被评对象展开研究,并设置相应的评估指标体系。

基于“事实—价值”相结合的理论,发端于休谟提出的人类知识可划分为“事实”与“价值”两面。在最早的公共政策评估研究中,认为政策科学的哲学基础建立在理性实证主义之上,政策分析要坚持科学的方法论,其代表人物有拉斯韦尔等。到20世纪60年代初期,哲学家开始纷纷挑战实证主义,公共政策领域也掀起一场对政策分析数量化的批评运动;以威廉•N•邓恩、弗兰克•费希尔(Frank Fischer)、保罗•狄辛等为代表的复合理性、多元理性在政策科学中逐渐赢得人们的赞同;其中费希尔运用批判性复合主义方法,提出将事实与价值结合起来的“实证辩论”评估框架,为验证经验主义与规范政策判断提供多重方法论。在理论运用方面,如王再进等通过梳理国际学界针对公共政策评估标准的分类,提出了公共政策评估的事实标准和价值标准二维分法,并以此为基础设计了国家中长期规划纲要配套政策评估指标体系。王少等学者遵循该研究路径指出,科技评估分事实和价值两个维度,目前我国普遍忽视价值层面的伦理评估。

该理论指导评估实践,往往需要评估工作者过硬的专业素养,存在一定的难度。这是因为科技计划作为公共科技政策的一种类型,其评估的实质是通过对科技计划实施的客观事实进行分析,然后进行价值判断;从哲学视角上讲,价值判断往往与公平、正义、平等、效率、效益等复杂因素交织在一起,这就造成了评估实践的难度。

3科技计划评估理论发展特点与趋势
3.1 新一轮科技革命的爆发将引起评估理论研究使用多元化、复合化

当前,世界正处于新一轮科技革命和产业变革的历史交汇期,科学技术的外部功能特别是生产力功能将愈发凸显,科技政策将演化为创新政策,科技部门将转换为经济部门 ,这也将为科技计划评估带来新的挑战。

一是评估对象将复杂化,一项评估实践活动往往需要按照评估需求,综合多元使用不同的评估理论。随着新一轮科技革命的不断深入推进,科技计划的相关项目将涉及多学科、多技术领域,科技计划实施所涉及的主体也将更加多样化(政府、企业、高校、社会公众等),科技计划的功能将集科学功能、技术功能、经济功能、社会功能和文化功能于一体。在这种评估对象复杂化的形势下,往往需要综合多元使用不同的评估理论。如2019年的欧盟地平线2020年计划中期评估,虽然以“政府绩效评估理论”为基础理论,构建“投入—产出”绩效分析模型,但也同时关注计划设立的恰当性、各利益相关方的态度等等;

二是评估需求将多元化,也必将使评估理论研究呈现多元化、复合化特点。准确研判科技创新竞争态势并辅以适当的科学决策是当前及未来一段时间的发展重点,这也将加剧科技计划评估需求由原来的证明科技计划合法性和应对问责,转变为增进理解并为未来政策提供启示,也势必将引起科技计划评估相关理论与管理学、运筹学、技术经济学等其它学科融合发展,从而呈现出理论研究多元化、复合化特点。

3.2 科技计划评估理论研究与使用将更加注重工具理性与价值理性的统一

注重工具理性与价值理性的统一是逻辑的必然、时代的选择。一方面从理论自身发展角度讲,脱离了工具理性谈价值判断将是空中楼阁,忽视价值理性过分注重工具理性则会造成目标短视、社会畸形发展。传统的政府绩效评估理论是推崇工具理性的代表,以追求效率为目标;第四代评估理论是价值理性的代表,以建构人们对评估对象的认知、价值判断为目标。政府绩效评估理论因“效率至上”引起的一系列问题原因在于部分相关利益者群体参与评估不够,各方利益相关者针对“公共科技活动的产出如何衡量”“评估如何更好为科技创新服务”等关键问题没有达成共识;而第四代评估理论恰恰以让以科技工作者为代表的评估利益相关者各方都参与到评估活动中,充分对科技活动、科技管理的特点进行全面认识,让各方达成共识,形成评估结果。与此同时,两者理论的有效结合也能够有效规避单纯使用第四代评估陷入主观唯心主义误区的风险;另一方面从时代发展需求讲,工具理性与价值理性的统一是提高科技创新治理能力的应然呈现。习近平总书记曾鲜明地提出“要把满足人民对美好生活的向往作为科技创新的落脚点”,这进一步明确了新时期科技创新活动的价值追求;在上述价值追求的指导下,运用大数据、人工智能、移动互联网等现代化手段,不断优化完善科技计划评估手段,将成为未来的主流研究方向之一。

4对我国科技评估理论发展应用的启示与建议

理论来源于实践并服务于实践,现实环境的变化将为科技计划评估理论提出新的课题。党的十八大以来,我们国家在推动建设世界科技强国建设方面采取了一系列科技创新治理举措,这将为科技计划评估实践活动提出了新的挑战,也势必将为科技计划评估理论研究提出新的命题。在这种形势下,尤其需要开展研究中国特色的科技计划评估理论。

中国特色的科技计划评估理论应具备以下特征:一是能够适宜于我国科技创新治理特点需要,如新型举国体制等;二是能够正确处理好科技计划评估中效率与公平公正的关系,便于指导大规模科技计划评估实践开展;三是注重事实与价值相统一,在运用大数据、人工智能等手段对事实全量分析基础上,能够全面呈现科技计划的科学价值、技术价值、经济价值、文化价值和社会价值;四是该理论富有中国特色社会主义文化基因,在国际学术界能够彰显中国智慧。

来源:naiscast 创新研究

原文链接:http://mp.weixin.qq.com/s?__biz=MzAxMjY2OTkxOA==&mid=2652024689&idx=2&sn=d3f623965cdae0eccf883909d565f9e8&chksm=804849c0b73fc0d67aa6174270fd2ad2d2b94050475bba0f67db11b719601f8704bbbe7578d4&scene=27#wechat_redirect

版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

电话:(010)86409582

邮箱:kejie@scimall.org.cn

科技 相关性分析 市场失灵

推荐资讯