英国高等教育机构科研评估机制及其启示

高等教育机构是国家创新体系的重要组成部分，其科研能力是推动国家科技创新的重要引擎。

英国卓越研究框架（Research Excellence Framework，REF）是英国用于评估高等教育机构研究能力的系统，因其决定英国政府每年对高等教育机构的公共研究经费分配而受到高度重视，由英国4个高等教育资助机构——英格兰研究署（RE）、苏格兰资助委员会（SFC）、威尔士高等教育资助委员会（HEFCW）和北爱尔兰经济部（DfE）联合开展评估。

REF第一次评估结果于2014年发布，受新冠疫情影响，第二次评估——REF 2021的结果延期1年于2022年5月12日正式发布，与上次评估时隔8年。

1 英国卓越研究框架概况

REF的前身是科研评估（Research Assessment Exercise，RAE）机制，由英国4家高等教育基金会约每3~7年对英国高等教育机构研究水平进行一次评估，1986—2008年共发布6份报告。为进一步增强科研评价机制对高水平科学研究的导向作用，并引导大学研究更好地服务于国家经济社会发展，英国政府从2008年开始对RAE进行全面改革，并于2014年正式以REF取代RAE。

REF作为对高等教育机构研究质量的独立评估，其评估结果具有重要作用和意义，主要为英国每年约20亿英镑用于支持大学的公共研究经费分配提供依据；证明公共研究投资效益并提供问责制；提供科研水平基准信息，建立声誉标准，供高等教育界和公众参考。此外，评估结果还为有关国家研究重点的战略决策提供信息，反映学科发展趋势，吸引更多科研人员和研究生到英国从事科学研究。

2 英国卓越研究框架评估机制

2.1

数据和材料提交

REF 2021收到由157所英国高等教育机构提交的涵盖所有研究学科的34个评估单元（UOA）的共1878份材料，包括76132名全时当量（FTE）研究人员。REF 2021要求高等教育机构提交所有承担研究工作的人员名单，并可以选择如何将其工作人员映射到基本学科评估单元中。工作人员是否有资格提交材料要根据合同状态确定，即要求从事教学和研究或仅从事研究的工作人员的工作时间应相当于全时人员的20%及以上。

2.2

评估指标

REF 2021对高等教育机构科研“整体质量”（Overall quality）的评估主要依靠3个基本指标，分别是研究产出（Output）、研究影响（Impact）和研究环境（Environment），所占权重分别为60%、25%和15%。高等教育机构向评估单元提交的每份文件都包含与这3个要素相关的标准信息。

2.2.1 研究产出

研究产出是指已发表或公开可用的研究产品，包括书籍、专著、期刊文章、表演、展览，以及其他实践研究成果、软件、专利、会议记录、翻译、数字和视觉媒体等多种形式。高等教育机构须提交的研究成果数量等于其提交的FTE人员数量的2.5倍，每个研究人员提交的文件中必须包含至少1项且不超过5项研究成果。为满足提交所需的产出总数，高等教育机构还可以提交符合条件的、受雇于该机构的前工作人员已公开的成果。REF 2021共收到185594份成果，并根据原创性、重要性和严谨性3个标准进行评估。

2.2.2 研究影响

研究影响是指对经济、社会、文化、公共政策或服务、健康、环境、生活质量的影响、改变或受益，超出学术界范围。高等教育机构被要求提交影响案例研究，证明其研究已经产生超越学术界的广泛影响。影响案例研究根据影响范围和重要性2个标准进行评估。高等教育机构须提交的影响案例研究的数量，应基于该机构提交的FTE人员数量，至少需要提交2个影响案例研究。共有6781个影响案例研究提交给REF 2021。

2.2.3 研究环境

研究环境是指支持和影响研究的环境，即科研环境，包含科研人员自身水平、设备仪器硬实力、团队文化、工作氛围、项目监管和资金管理等，根据活力和可持续性2个标准进行评估。高等教育机构必须提交有关环境的叙述性证据，以证明科研环境支持研究活动开展并在该机构内产生影响，以及博士学位授予数量、科研收入和实物所得的数据。环境试点小组对高等教育机构环境声明进行独立评估。此外，作为制度环境评估试点的一部分，还要求高等教育机构提交制度层面的声明，作为评估信息和背景，但不进行评分。

2.3

评估改进

在REF 2014基础上，REF 2021的评估框架进行了重大改进，依据是尼古拉斯·斯特恩勋爵（Lord Nicholas Stern）2016年领导的针对REF 2014评估的独立审查意见。本次改进体现在对大学所有学科的研究质量进行全面评估，为公共研究投资提供问责制，并展示该投资的好处。主要表现在以下五个方面。

• 一是与REF 2014有选择地提交研究人员名单相比，REF 2021要求高等教育机构提交所有承担研究工作的人员名单。提交的研究人员数量达到76132名，较REF 2014的52000名增加了46%。因此，REF 2021更能反映英国的整体研究实力。

• 二是REF 2014要求所有人员都必须有4项科研产出，REF 2021对此更为灵活，每人可以选择提交1~5项研究成果。

• 三是在REF 2021中，高等教育机构能够提交前工作人员的研究产出，前提是该成果首次公开，且此人员曾受雇于该机构。

• 四是“研究产出”指标权重从REF 2014的65%下调至REF 2021的60%，“研究影响”指标权重则从20%提高到25%。REF 2021仅根据提交的案例进行研究影响评估，而将有关科研环境的信息纳入环境声明。

• 五是对REF 2014少数学科评估单元的数量和构成进行了更改。

此外，斯特恩的独立审查意见强调了“跨学科研究在解决全球社会、经济、生态和政治挑战所带来的复杂问题和研究问题方面的重要作用”。REF 2021的基本原则之一是将包括跨学科合作研究在内的所有类型研究和所有形式研究成果，都在公平和平等的基础上进行评估，采取的措施包括：每个专家小组内至少有两名指定成员监督和参与对该UOA中提交的跨学科研究评估，发挥特定作用以确保其公平评估；为了更好地识别跨学科研究，在提交系统中保留研究产出的“跨学科标识符”，但非必填字段；同时，“研究环境”指标中设有关于高等教育机构的组织结构中支持跨学科研究的独立板块。如果高等教育机构没有这样的部分，则需要提供明确说明。

2.4

评估过程

REF评估是一个专家评审过程，在4个主要小组（Main Panels）指导下，由专家小组（Expert Sub-panels）对34个基于学科的UOA中提交的科研成果进行评估。REF 2021专家小组由英国和全球130所大学的900名学术成员（包括38名国际成员）和不同领域的220名研究用户组成，根据产出、影响、环境这3个不同指标对每一份提交材料进行评估。主要小组的成员由英国4个资助机构任命，负责监督评估，确保评估标准的一致性，并签署专家小组推荐的结果。每个主要小组均包括国际成员，以保证评估标准的国际基准。

34个学科评估专家小组对各高等教育机构提交的科研成果按质量高低分为5个等级（0~4星）。其中：

• 4星为“世界领先”（World-leading）；

• 3星为“国际优秀”（Internationally Excellent）；

• 2星为“国际认可”（Recognised Internationally）；

• 1星为“国内认可”（Recognised Nationally）；

• “低于国内认可的标准”的为U（Unclassified）。

3 卓越研究框架主要评估结果

REF 2021的结果提供了在英国高等教育界产生的世界领先研究的全国性图景。该报告对当前英国高等教育的整体质量评估结果为：4星占41%、3星占43%、2星占14%、1星占2%。2014年报告评估结果为：4星占30%、3星占46%、2星占20%、1星占3%。结果表明，英国大学整体学术表现出色，REF 2021评估周期（2014—2020年）内英国产生的高质量研究成果数量持续增加，其中超过80%是“世界领先”或“国际优秀”；3/4的大学有超过15%的研究活动被认为世界领先；英国4个地区高等教育机构的卓越表现分布良好。

在成果产出方面

157家英国高等教育机构提交了185594项研究成果，36%的产出被评为世界领先（4星），47%国际优秀（3星），15%获得国际认可（2星），2%获得国内认可（1星）。处于职业早期、因家庭需要休假或其他可能涉及研究不平等问题的研究人员完成的研究成果，在评估中获得了同样高的评价。

在研究影响方面

案例研究反映了英国大学广泛与公共、私营、第三部门组织及公众合作，继续以极高的水平产生影响，带来不同的利益。约50%的案例研究被评为影响突出（4星），约38%被认为非常可观（3星），约11%被认为相当可观（2星），约2%被适度认可（1星）。

在科研环境方面

专家小组的评估显示，50%的研究人员在有利于产出世界一流研究成果并产生显著影响的环境（4星）中工作，另有37%在有助于产生国际优秀质量研究并产生巨大影响的机构中工作。2013—2020年，共计产生了460亿英镑的研究收入，授予16.2万个研究学位。

值得关注的是，质量导向是REF评价体系的核心价值取向。REF 2021规定每位参与评估的科研人员至多提供5篇代表作，限定参评成果数量旨在引导科研人员要保证成果质量而不要追求成果数量。REF的评估周期跨度也较长（一般为6年），以使科研人员有足够时间创造高质量成果。由于REF的最终评估结果不仅直接决定各大学获得国家科研经费的数额，更关乎各大学和教师的学术声誉，因此这种评估机制对科研人员创造高质量成果具有重要的导向作用。

REF侧重评估高等教育机构的学术和研究水准，主要针对具体的学术研究方向，以学科为单元进行科研质量评估。虽然REF只发布学科评估结果，及不同评分等级的比例，但可基于相关REF数据，对英国大学进行综合科研实力的排名，常见排名方式有2种——平均绩点排名和科研实力排名。平均绩点是衡量研究总体或平均质量的指标，计算方法是将每个主要小组评估结果的百分比乘其评级，加起来除以100，该方法并不考虑提交的FTE人员数量。科研实力的计算方法则是FTE人员数量乘平均绩点，可给出规模和质量的衡量标准。

根据平均绩点排名，前10名的是帝国理工学院、癌症研究所、剑桥大学和伦敦政治经济学院（并列第3）、布里斯托大学、伦敦大学学院、牛津大学、曼彻斯特大学、伦敦国王学院，以及约克大学和伦敦卫生与热带研究学院（并列第10）。按科研实力排名前10位的是牛津大学、伦敦大学学院、剑桥大学、爱丁堡大学、曼彻斯特大学、伦敦国王学院、帝国理工学院、布里斯托大学、诺丁汉大学和利兹大学。

REF 2021评估结果显示，牛津大学、剑桥大学、伦敦大学学院等英国传统经费大头因相关院系被评为“世界领先”的比例很高，可能获得政府研究资助的最大份额。但总体来看，其领先院系比例占比有所下降。中小型大学的学科质量正在崛起，有望在研究经费池中分得更大的“蛋糕”。

4 经验启示

REF 2021的优化与创新表明英国科研评估体系正朝着更加规范化与科学化的方向发展，为我国科研评估在机制完善、指标设计、评估结果应用等方面提供了可借鉴的经验。

一是全国范围内的大规模科研评价需要自上而下高度统筹

对卓越研究的认可对于激励科学发现、培养科技人才、确保研究创新惠及社会等方面至关重要。从RAE到REF的变革可以看出，英国政府高度重视科研评价体系建设与改革完善，不仅将其作为分配公共科研资金的重要依据，也是决策者、投资者更清楚地了解英国大学、学科优势所在的详实“地图”。REF由4家高等教育资助机构联合开展，统筹协调4个地区内的所有大学参与，确保了评估的权威性和指导性作用。

二是评估指标设置更加注重科学研究的社会效益

对科学研究所产生的社会价值与影响进行评价，正在成为科研评价机制改革的新趋势。REF的评估指标设置对英国大学科研的“指挥棒”作用明显，研究影响的权重由2014年的20%提升至25%，使大学更加专注于高质量研究，更加强调科研成果“溢出”学术界之外的社会效益与社会影响。REF的科研影响评估在“非学术影响”评价方面的创新做法，可为改进和完善我国高校的社会服务与贡献评价体系提供借鉴经验。

三是加大科研评估成果的应用

REF评估的周期一般为6~7年，其结果不仅决定了政府在此期间对高等教育机构的科研资金投入分配，而且是英国高等教育机构科研水平的有力证明。政府部门、科研资助机构、大学、科研机构、产业界对REF评估结果的看重和使用，促进REF评估体系不断朝着更科学合理、公平公开的方向改进。REF每次评估过程都广泛动员各方力量参与，反过来增强其结果的权威性和可参考性，在英国本土和全球产生较大影响力。

四是重视组织开展“对评估的评估”

英国2016年开展的对REF 2014的独立审查，成为推动REF 2021改进的直接依据。随着REF 2021结果的出炉，英国高等教育资助机构之一——英格兰研究署宣布委托3位资深专家领导专家小组，于2022年5月至9月对科研评估指标在研究管理和评估中的作用进行快速审查，就支持负责任的研究评估和指标使用向政府部门和高等教育资助机构提供最新建议。这种跟进评估的方式不仅能够及时获取相关方对评估过程和结果的反馈，而且可以发现评估体系的不足之处和改进方向，并在下一个评估周期中做适当调整。

五是跨学科研究的识别和评估仍需加强

跨学科研究成为当前科研成果产生的新模式。为保证跨学科研究评估的公平性、科学性与规范性，势必要建立起一套适应跨学科研究成果多样性与复杂性的评估机制。REF 2021根据跨学科研究咨询小组的建议，在评估模块设计、专家小组成员等方面做了改进，但通过提交的材料识别跨学科研究的方式方面仍与实际需求存在相当大的差距，在评估体系内部建立起一套适用于跨学科研究成果的评估机制还有一段路要走。

作者：刘娅，科学技术部

本文转载自微信公众号中国科技人才杂志

| | | | | | | | | | | | | | | |更多精彩敬请期待

投稿邮箱： nais-research@cnais.org.cn