竞争情报 ---我们的研究

美国国家科学基金会项目评估方式概述

供稿人:赵晓勤  供稿时间:2019-6-11   关键字:基础研究  项目评估  美国国家科学基金会  NSF  
一、评估依据

美国政府绩效法(GPRA)要求各联邦机构在每年向国会提交的年度预算和绩效报告中,提供有关项目计划产出(outputs)和成效(Outcomes)的信息。GPRA将项目计划实施所产生的可直接观察到的产物,如出版物、毕业生等称之为产出,而将其中期和长期的效果,如生产知识、改善国民健康和加强国家安全等称之为成效。与产出和成效相对应的是投入(Inputs),如研究人员的知识、使用的设备、仪器、设施以及其他支撑条件等。

美国国家科学基金会(NSF)根据GPRA的法定要求,在每年向国会递交的经费预算及年度绩效报告中,均包括有关R&D活动和管理层面绩效评估结果以及下年度绩效目标的内容。在NSF的有关文件和报告中,绩效目标的设立和评估是一项重要的内容。但对于基础研究, 如何建立科学、合理的绩效评估指标体系,科学地开展绩效评估工作,对于已有50 年工作实践的NSF,也是一个需要经历多年不断摸索的过程。

GPRA实施以后,NSF的基础研究评估出现了较大的转变,不再对单个资助项目的结果进行评估,而是对组成某一计划的一类项目乃至对本机构某一方面特定任务的诸多计划开展评估,以展示其整体绩效水平。另外,由于基础研究绩效表现出的长期性和间接性,NSF对基础研究绩效进行评估时,不仅要看到其直接产出,还将其放在科学研究—教科书—实际应用的进程中进行跟踪评估,此举有利于揭示基础研究长远、潜在的影响力。可以通过列举一些突出的或典型的研究成果,也可以设计一个描述性的案例,说明通过科学研究、知识的增长最终导致实际的应用,从而对国家目标做出贡献。

NSF所有下属的科学局和其它机构都必须评估其预算中所列举的计划实施的结果,并形成各科学局的绩效报告,此报告与外部专家委员会(COV)、咨询委员会(AC)的评估报告一起提交到综合活动办公室,这些报告的内容还将被整合成NSF的总绩效报告,提请NSF主任办公室和NSF的理事会(国家科学理事会)审议,批准后方能提交到国会、审计总署(GAO)和管理预算署(OMB)。NSF对基础研究绩效评估主要采用以定性评估为主,并辅以定量评估的方法。

二、定性评估(同行评议)

NSF关于同行评议的原则性意见主要集中于三个方面,即评估应与资助机构的主要任务目标紧密结合、注重项目计划是否在科学知识的前沿开展工作,以及评估工作的可靠性和公正性。

NSF认为,正是因为缺乏度量手段目前往往采用同行评议进行价值评议以提供有关绩效的重要信息。这类评议通常着眼于项目计划层次。因为各个有关机构正在按照GPRA的要求发展各自的评估方法,专家评议的方式如何设计和组织尚需进一步探讨。评估小组可以集中对一个机构的主要项目计划或一组相关的项目计划进行评估(覆盖期5年左右)。NSF 还认为,科学评估的可靠性和有效性完全取决于它们是如何组织的以及评估人的组成。一个评估小组必须具有与被评项目计划相称的能力,其成员必须是受人敬重和客观的, 如不会因为评估小组的结论可能影响今后对自己有关研究工作的资助而影响其评估意见。只有在这种情况下, 评估意见才是可靠的。为确信评估小组成员判断的客观性,原则上应主要考虑来自那些未受被评项目计划资助或介入遴选资助项目过程的研究人员的意见。

一个评估小组应该对被评项目计划是否在科学知识的前沿开展工作进行评估。此外,项目管理人员还可以尝试对项目计划对提高其他有关潜在能力的贡献进行评估,如对保持高素质科学研究人员就业的贡献、保证设备、仪器的运转以支持前沿科学研究的贡献等。项目计划的实施对向某项特定任务提供知识基础的贡献以及对实现国家目标的贡献也可列在其中。

三、定量评估

1、论文发表数

NSF 认为,论文发表本身意味着科学研究的发现向公众领域的转移,在经同行评议的杂志上发表的论文表示了对其所含信息的正面科学评估。虽然当论文发表数与其他一系列指标相结合并进行分析时,可提供有用的信息,但其单独使用或在缺少有关绩效的其他方面的足够信息时,得到的将是一种不完整的或不准确的描述。例如不同学科论文发表率的不同可能只反映其发表论文习性倾向的差别、最小可发表单元的定义和合作模式等的差别,而不是真正知识产出率的差别。此外,仅仅采用论文发表数作为绩效指标可能影响论文发表的模式和发表率――刺激人们热衷于产生更多的论文而不是发现新的知识。

这个定量指标作为一种直接可观察的产出, 论文数易于检索和统计。

2、论文被引用数

NSF认为,与论文发表数一样, 在进行绩效评估时, 对论文被引用数的使用和解释也应该谨慎。有些情况下,高的被引用数可能意味着负面的评估( 如有争议的冷聚变结果),小团体之间或螺旋循环式的引用也说明不了科学本身。在不同的学科领域间引用率也不同。在许多领域,实验工作的引用率通常比理论工作高。有时方法学的论文常常获得极高的引用率,结果使引用率过低估计科学认识上的进展,过高估计纯粹的实验活动。此外,有些以著书为主要产出形式的领域(如一些社会科学),被引用数是一种不公正的价值评估,因为SCI仅仅收录杂志的参考文献。

3、专利数

NSF认为,专利数、新的器件、计算机程序和其他发明的数量并不能说明一项科研项目是否在知识前沿进行世界水平的研究。但一些任务导向的机构可以据此了解项目计划与机构任务间的联系。如果专利数等用来评估基础研究项目,应该与其他信息结合在一起, 作为更完整、更详尽的评估系统的一部分。在利用专利数时应充分认识其局限性。尤其是对基础研究而言, 其专利数和发明活动的其他指标一般要低。

专利数等数量少,其年度变化是不稳定的。在一个短短的项目评估报告中将发明活动的度量指标纳入为数不多的综合性指标中对基础研究将是一种危险的做法。因此,对这些数量小变化大的指标,可以采用滚动的3年平均值来加以处理。

四、其他评估要素

1、国际地位

保持科学知识前沿的领先地位是美国投资科学的战略要素。就各个研究机构而言, 评估准则是该机构是否在科学知识的前沿进行研究。NSF认为,虽然已有一些数据和方法对各个国家的研究活动及其总体产出进行国际比较,但国际研究比较的方法仍不成熟。国际地位的评估并不仅着眼于单纯的数字排序, 对领先地位的兴趣注意在于要使美国的研究和教育计划在与其他国家的科学家的竞争和合作中进行。

2、对未来利益的贡献

决策者和政策制定者有时需要知道,如果对某方面的一系列研究进行投资,未来的期望是什么?NSF认为,还没有一种方法能度量科学研究给未来带来的利益。其部分原因至少是因为未来的模式和科学研究影响的进程是未知的。因此,并不试图去发展某种度量对未来利益贡献的手段。就基础研究而言, 与对已实施完成的项目计划带来的回报进行评估不同,由于“未来的模式和科学研究影响的进程是未知的”,预测尚未实施的项目计划将给未来带来的回报是不现实的。

3、对政府目标的贡献

NSF充分重视一个项目计划实施对政府其他目标可能的贡献。这种贡献是与项目绩效相关的,不管它们是否是项目的预定目标之一,都可以纳人项目绩效报告中。对这类贡献的度量一直在进行尝试,如一项研究项目实施结果做出的其他贡献,包括人力资源和基础设施的发展、不同学科间和不同部门间合作关系的建立、在科研活动或非正式科学教育活动中参与的大学生数目等。

研究活动的产出有些可以从发表的报告中获得,有些可以从项目负责人的项目总结报告中获得。如果数据是从个别的项目负责人和项目官员获得,必须在机构的层次上对其进行整合并纳人报告。同时也需要指出,并不是所有的项目计划都需要对实现一个机构的所有目标有贡献。明确这一点在管理上是有益的,这将有助于保证研究人员有进行创新研究所需的灵活性。

可见,NSF对基础研究的绩效,不仅从直接产出、从量化的统计数据,而且从更广泛、更长远的角度,在科学发展的长期进程中进行跟踪评估。

 

参考文献

[1] 沈新尹。关于对美国国家科学基金会基础研究绩效评价若干方法的思考。中国科学基金,2001,(5):313-316。

[2] Cozzens Susan E. Assessing federally-supported academic research in the United States. Research Evaluation, 2000, 9(1): 5-10.

[3] Van Raan A F. Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises. Scientometrics, 1996, 36(3): 397 -420.

[4] 美国国家研究委员会,美国国家科学基金会。科学质量的评估。国家自然科学基金委员会,1994。


万方数字化期刊中相关文章
我国光电子de原始创新与基础研究
作者:汪东芳|卫平|
刊名:中国高新区
年:2002
卷:
期:11
摘要:
鼠疫疫苗的相关基础研究
作者:杨瑞馥|
刊名:生命科学
年:2007
卷:19
期:6
摘要:

注册成为正式用户,登陆后,获得更多阅读功能与服务!
转载本文需经本平台书面授权,并注明出处:上海情报服务平台www.istis.sh.cn
了解更多信息,请联系我们

§ 请为这篇文章打分(5分为最好)