卫生健康领域落实科技评价改革的方法探讨

目的：围绕实现高水平科技自立自强的发展要求，探讨提出卫生健康领域落实科技评价改革的适应性方法。

方法：采用理论研究、政策分析的方法总结梳理科技评价改革要求，采用与典型国家主要科技评价进行对比分析的方法，探讨提出卫生健康领域科技评价的方法框架。

结果：研究提出了包括“进行成果分类、确定评价方法、明确价值判断、遴选评价内容、应用评价结果”五个步骤的卫生健康科技评价方法框架。

结论：卫生健康科技评价改革的落实，除建立评价方法框架外，应推动在评价主体、评价方式方法、价值导向、评价目的等多方面形成共识性评价生态。

科技评价改革的难点在于落实落地。当前我国科技评价处于调整价值导向、落实评价实践、重塑评价生态的新时期、新阶段。党的二十大提出“到二〇三五年，实现高水平科技自立自强，建成科技强国”的发展目标。我国科技评价距离发挥“风向标、牵引力”作用仍有较大差距，主要存在如下方面问题：（1）牵引实现高水平科技自立自强的科技评价价值导向和方法体系尚未确立；（2）建制化的科技评价牵引力不足，评价实践缺乏权威引导；（3）评价改革在行业/领域中难以落地，科技评价对管理的支撑不足。

科技评价贯穿我国科技体制改革和科技政策、科技管理发展的全过程。党的二十大报告提出了“深化科技评价改革，形成支持全面创新的基础制度”的战略部署，随着科技评价逐渐成为科技管理、资源配置的重要抓手，亟需建立与当前发展阶段的形势和目标相适应的科技评价体系，在行业、领域内建立可落实落地的、符合领域行业特点的评价方法框架。本研究探索提出卫生健康领域科技评价方法框架。

1 我国科技评现况与改革要求

当前我国科技评价体系、评价方法不符合实现高水平科技自立自强的发展目标与科技评价改革要求。

1.1 以科技论文、研发资金为核心的评价体系

20世纪90年代以来，科技论文和研发资金逐渐成为科技评价的核心，在随后的较长时间支撑了科技、教育、人事管理部门的评价和管理工作，推动形成了相对共识的评价生态。

基于论文数量及期刊影响因子的科技评价对于提升我国科研产出数量、推动国际学术交流起到重要推动作用，但同时也导致了唯期刊、唯论文的“单一、粗放”的评价生态以及低水平、重复性学术研究：（1）论文是主要的科技成果载体，其主要目标是基于同行评议的学术交流，而非权威学术验证；（2）期刊影响因子是期刊论文的传播指标，与研究热度、公众关注度关系密切，本身并不能反应研究的质量、价值；（3）以论文数量和期刊影响因子为核心的评价体系和激励机制无法牵引原创性、有价值的科学研究，可导致资源的过度集中，错误引导了研发方向，造成资源浪费。《中国科技论文统计报告》显示2022年我国各学科最具影响力期刊论文数量、国际期刊论文数量及被引次数均居世界首位，应尽快转向对“原创性、有价值”的论文内容评价。

基于获得财政研发经费的科技评价极大程度激励了研发机构、科研人员获取国家财政经费的愿望和诉求，也大幅拉升了财政研发支出。目前我国研发经费投入已达高位。根据2024年美国《科学与工程指标》数据显示，自2009年以来我国研发经费投入量已稳居世界第二，与美国差距已从2009年占美国研发支出的45%升高至2021年占美国研发支出的85%；据《2022年全国科技经费投入统计公报》显示，2022年我国全社会研究与试验发展（R&D）经费达到3.09万亿，比2021年增长10.4%，R&D经费投入强度达到2.5%。我国研发经费数已达高位并且增加研发投入已成为共识的情况下，以经费数量为导向的科技评价,所导致的资源过度集中、绩效降低，不利于科研生态活跃度和多样性提升等方面问题凸显，应尽快转向提高经费“绩效”的价值导向。

1.2 科技评价改革发展的要求

当前我国正处于深入落实科技评价改革要求，建立与科技强国目标相适应的科技评价体系。根据《国家中长期科学和技术发展规划纲要（2006—2020年）》（2006年）、《国家创新驱动发展战略纲要》（2016年）以及党的二十大报告（2022年）对于科技创新“三步走战略”的部署，目前我们处于推动实现高水平科技自立自强，进入创新型国家前列，建成科技强国的重要阶段，亟需提升科技创新的水平、质量，推动科技创新从量的积累向质的飞跃：（1）开展具有原创突破的基础研究；（2）可支撑经济社会发展，解决“卡脖子”问题的应用研究、技术开发；（3）高绩效的研发活动，即单位数量资源投入产出更具价值的成果。

习近平总书记对科技评价改革的价值导向、评价内容、评价方法做出了明确指示。习近平总书记在2021年“全国科技创新大会、中国科学院第十八次院士大会和中国工程院第十三次院士大会、中国科学技术协会第九次全国代表大会”上强调“坚持质量、绩效、贡献为核心的评价导向，全面准确反映成果创新水平、转化应用绩效和对经济社会发展的实际贡献”；在2016年的“全国科技创新大会、两院院士大会、中国科协第九次全国代表大会”上指出“建立以科技创新质量、贡献、绩效为导向的分类评价体系，正确评价科技创新成果的科学价值、技术价值、经济价值、社会价值与文化价值”；为科技评价改革提出了明确的价值导向（质量、绩效、贡献）、评价方法（分类评价）、评价内容（科学价值、技术价值、经济价值、社会价值与文化价值）。

中共中央、国务院、科技部等相关部门从“破唯”（唯论文、唯帽子、唯职称、唯学历、唯奖项）、“提质”、“减量”等多方面推动了科技评价改革落实，先后发布了《关于深化项目评审、人才评价、机构评估改革的意见》（中共中央国务院，2018年）《开展清理“唯论文、唯职称、唯学历、唯奖项”专项行动》（科技部等五部门，2018年）《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》（科技部，2020年）、《关于破除科技评价中“唯论文”不良导向的若干措施》（科技部，2020年）《关于完善科技成果评价机制的指导意见》（国务院，2021年）《关于分类推进人才评价机制改革的指导意见》（中共中央 国务院，2022年）等系列政策，并陆续推动了科研机构（2017年启动）、科技成果（2021年启动）、科技人才（2022年启动）等评价改革试点工作。总体上，我国科技评价改革仍未较好落实落地，在行业特色比较典型的领域，如何评价仍需探索。

2 卫生健康领域科技评价的发展

2.1 科技评价改革尚未在卫生健康领域落实落地

2021年中央经济工作会明确提出“科技政策要扎实落地”的要求，推动宏观科技评价政策在卫生健康领域扎实落地，是下一步科技评价工作的重点。长期以来卫生健康科技评价主要由科技部、教育部、中组部等相关部门的评价体系所主导，行业、领域内的科技评价主要由部分科研单位或公司的研究性排行榜主导，如中国医学科学院的中国医院科技量值（STEM）、健康界中国研究型医院评选等，亟需行业主管部门在科技评价中发挥主导和权威引导作用（表1所示）。

表1 我国卫生健康领域主要科技评价的特点分析

当前我国卫生健康领域科技评价所选择的指标依赖于投入（人、财、物）、产出（论文、专利、标准、指南等）等方面指标的正向加合，存在如下方面问题：（1）是围绕论文数量、期刊影响因子、经费数量加合的评价，未能反应原创性、创新性、对经济社会发展的贡献等“质量、贡献”价值导向以及“低投入、高产出”的“绩效”价值导向；（2）以数量、体量为价值导向的评价实践导致了资源的过度集中、错配以及资源效率的降低，并对于整个科研生态的多样性、繁荣度带来负面影响；（3）对于创新环境的评价多倾向于平台、基地、资源等“物质”指标，而对于“科学精神”“风清气正”“安心致研”“多样活跃”的创新生态、科研环境评价较少，不利于原创性创新成果的出现；（4）按照学科、领域分类的评价法仍较为粗放，应进一步按照研发活动分类，如OECD《Frascati Manual 2015》《Oslo Manual 2018》提出采用“基础研究、应用研究和试验开发”对研发活动进行分类。随着科技评价逐渐成为科技资源分配、研发投资的、奖励激励的依据，卫生健康领域科技评价的进一步发展是下一步支撑行业科技管理的重要抓手。

2.2 国际典型健康科技评价的方法特征

欧美日等国家的科技评价主要是财政出资方（政府或者国会）对其资助的科技项目、科技计划的绩效评价，有较为完善的制度体系、评价体系和方法体系，多起源于上世纪60年代以后，是资源分配、科技管理和问责监督的重要支撑，较为典型的如英国大学评估框架（Research Excellence Framework, REF)、英国国家卫生研究院研究评估框架(National Institute of Health Research Dashboard, NIHRD)、美国国会医学项目评价框架（The Congressionally Directed Medical Research Programs, CDMRP）美国科技再投资评价框架（Science and Technology for America’s Re-investment: Measuring the Effects of Research on Innovation, Competitiveness and Science, STAR METRICS）、澳大利亚卓越研究评价框架（Excellence in Research for Australia, ERA）、加拿大健康科学院回报评价框架（Canadian Academy of Health Science Payback Framework，CAHSPF）、加拿大健康科学院评价框架（Canadian Academy of Health Science, CAHS)、日本学术评估和大学评估框架（National Institute for Academic Degrees and University Evaluation, NIAD-UE)等，其中CDMRP、NIHRD、CAHSPF等是主要围绕健康科技构建的评价框架，具有较好的参考价值。国外典型科技评价主要有如下方面特点（表2所示）：

表2 国内、国外典型科技评价的特点分析

（1）旨在引导高质量研究

英国大学评估框架(REF)是较为典型的引导高质量研究的评价框架，其围绕研究质量（research quality）、研究影响力（impact）和环境活跃性（vitality）开展评价：①研究质量（权重65%）主要围绕研究的原创性（originality）、重要性（significance）和严谨性（rigor）评价；②研究的影响力（权重20-25%）主要围绕研究对于经济、社会、文化、公共政策、公共服务、健康、环境等方面的影响进行评价，如对于健康科技的影响评价是评价新的诊疗技术所产生的健康影响、对医药工业的发展以及劳动力效率提升等方面的影响；③研究环境的活力（权重15%）围绕支持高质量的创新环境，评价环境的活跃度和持续性。

（2）具有较为完善的逻辑框架

以英国国家卫生研究院NIHRD评估框架为例，其构建了较为完善的逻辑框架，广泛的用于英国政府卫生健康系统的项目、机构、人员、设施等方面评价。该评价框架主要包括四个环节，分别为投入（Inputs）、过程(Process)、产出（Outputs）、结果（Outcomes）。与之相类似的逻辑框架应用极为广泛，英国大学评价框架REF、加拿大健康科学院评价框架CAHSPF包含上述四个环节，澳大利亚ERA和美国STAR METRICS评价框架主要围绕投入、产出两个环节，欧洲Productive Interactions框架聚焦产出、结果两个环节。

（3）按照研究类型、成果类型进行分类评价

加拿大健康科学院评价框架CAHSPF是较为典型的按照研究类型和成果（outcome）类型构建的分类评价方法框架，有如下方面特点：①对于健康科技研发活动进行分类，分为生物医学（biomedical）基础研究、临床（clinical）研究、健康服务（health service）研究、人群健康（population health）研究等方面；②按照不同研究产出的影响（impact）进行分类评价，分为提升认知、提升能力、政策决策、产品开发、健康受益、经济社会价值等方面。

美国国防部(DoD)资助开展的国会指导的医学研究计划(CDMRP)是除NIH以外第二大医学研究资助主体。CDMRP对医学研究构建了一套包括研究成果类型、研究所处阶段的分类评价体系，①对于成果类型的分类，分为分子生物、药物、临床和公共卫生研究（观察研究）、临床和公共卫生干预研究、资源类研究（动物模型、数据资源、生物资源、方法论资源等）五类；②对于所成果处于的阶段分类，分为发现阶段、开发阶段（化合物、分子合成以及细胞实验测试阶段）、动物有效性、人体有效性等不同阶段。

（4）以定性评价为主、量化指标为辅

从评价方法上，用于科技评价的方法主要有逻辑框架（Logic models）、文献计量学方法（Bibliometrics）、调查法（Surveys）、案例研究（Case studies）、经济学分析（Economic analysis）、同行评议（Peer review）、数据挖掘（Data mining）、访谈（Interviews）资料审查（Document review）实地调研（Site visits）等方法。总体上，典型科技评价框架在方法上主要有如下方面特点：①是以逻辑框架为主线，集合多样评价方法；②是以定性评价为主，量化指标评价为辅，其中文献计量和数据挖掘方法多为辅助性支撑；③围绕产出（output）的评价以定量法为主，而围绕成果（outcome）、影响（impact）的评价多以调研、同行评议等定性评价方法为主。

（5）科技评价遵循的共性原则

科技评价遵循若干共性原则：①围绕研发活动产出及影响力的评价要充分考虑时滞期，如Morris认为从论文发表到对公众健康影响的显现约有17年的时滞期，在研发活动评价框架中，采用短期和长期指标相结合原则，对于健康水平、经济效益等长期指标评价通常给出4-8年的时滞期，以形成较为充分的共识；②虽然量化指标评价具有低成本的优势，但绝大多数评价都以定性评价为主，以文献计量、数据挖掘为代表的量化评价并不是评价方法的主流；③对于科技评价活动进行经费支持，如英国卓越研究框架REF2008年的评审费用约6000万英镑，占其所支撑配置的60亿英镑研究经费的比例为1%；④评价的目的是为了促进更好的发展，而不是用来排名，应严格避免评价框架可能带来的不当激励。

（6）近些年学界围绕科技评价的倡议

当前科技评价的原则、方法亟需更新、与时俱进。2022年Nature发表评论《科研评价需要与时俱进》（Research evaluation needs to change with the times）提出，当前科技评价落后于科技发展需求，必须关注科研文化的变化并重视新的科研产出，以评价促进科研诚信、科研多样性的发展。为尽快扭转科技评价的不当引导，近些年学术界、学术组织等围绕引导高质量的研究、分类评价等方面，积极推动了科技评价导向的转变。如《旧金山研究评估宣言》（2013年）围绕论文评价提出：合理评价期刊论文，减少、停止宣传期刊影响因子；鼓励基于论文内容的研究评价，而非基于期刊的评价；研究评价应包括数据集、对政策和生产实践的影响等更广泛的评价指标；对不同论文类型和不同领域要进行分类对比。《莱顿研究指标宣言》（2015年）围绕量化评价提出：量化指标仅可作为定性评价的参考和支撑，量化评价应当用于支持而非取代专家的定性评审；对个人研究的评价应基于其成果的综合定性评价。《香港研究人员评估原则》（2020年）围绕推动高质量、可重复的研究实践提出：倡导稳健、严谨、透明的科研实践，倡导严谨、可重复、有价值、多样性的研究实践；奖励开放科学实践，推动研究方法、数据和材料的公开；进行分类评价，按照创造新的想法、测试新的想法、重复关键发现、综述、开发和验证新的工具/措施/方法等方面进行分类。

3 卫生健康科技评价方法框架

构建具有健康科技研究特点的卫生健康科技评价方法框架，全面落实国家科技评价改革要求、改革理念，实现对高水平、高质量研究的牵引和引导，提高资源配置绩效。本研究提出以“代表性成果”为核心卫生健康科技评价方法框架（五步骤）（图1所示）。

（1）进行成果分类。

对评价对象、研发活动所产生的代表性成果（achievements）进行分类是进行科技评价的第一步。卫生健康领域研发活动所产生的成果主要分为：①新现象、新机制、新靶点发现等基础研究成果；②可直接用于临床诊、防、治或进行卫生政策、公共健康政策转化的应用基础、应用研究类成果；③可直接用于药品、医疗设备等新产品生产、商业化的试验开发类研究成果。

（2）确定评价方法。

坚持采用以定性评价为主、指标量化为支撑的评价方法，对于不同类型的代表性成果采用不同的方法。①对于基础研究成果，应充分考虑成果共识的时滞期，基于相对广泛共识对新发现、新理论进行学术共识性的评价；②对于应用基础研究、应用研究成果按照下游评价的方法开展评价，其中应用研究应以临床诊疗、疾病防治、公共健康策略等方面应用价值进行评价，而应用基础研究应以转化为应用研究的情况进行评价；③技术创新、试验开发类成果应以牵引医药新产品上市、获得广泛市场竞争力等方面进行评价。

（3）明确价值判断。

坚持质量、贡献、绩效的价值导向。在成果质量判断方面，基础研究成果应强调原创性，应用研究成果应重点强调其首创性；在成果贡献判断方面，围绕研究成果对于经济（医药工业、健康服务业）、社会（疾病诊疗、公共健康）的直接贡献进行分析，重点是判断研究成果与其相关的经济社会结果、影响力与之间的关联性；对于成果绩效判断方面，围绕单位人、财、物的投入所产生的研究成果的数量、价值进行分析，应强调以相对少的投入获得更多、更具价值的成果。

（4）遴选评价内容。

以五元价值为评价内容。围绕代表性成果的科学价值、技术价值、经济价值、社会价值、文化价值进行评价。①基础研究成果重点评价其科学价值，围绕新发现、新理论、新机制的科学价值进行评价；②对于应用研究、应用基础研究、技术创新类成果，应重点评价其技术价值，即对于诊疗质量、效率提升情况或对于医药工业生产效率提升的情况；③成果的社会价值判断是其对于患者健康、人群健康的贡献，以及对于健康政策、举措等方面的转化；④成果的经济价值的判断是指其对于提高医药新产品上市、商业价值、市场占有率的贡献作用；⑤成果的文化价值判断是指其对于科学文化、医学文化繁荣的促进作用。

（5）应用评价结果。

评价结果的应用是促进更好的发展和建设，对于评价结果的应用和解释应保持谨慎的态度，一般不用于粗放的排名，而主要用于支撑管理、优化建设和资源配置，以及引导有价值的科研实践，以及围绕提升创新能力和国际竞争力提出完善、优化建设的措施。评价结果多以定性的评价结论、优化建议为主要形式，尽量避免“排名”式评价结果的不当引导。

图1卫生健康科技评价方法框架

4 讨论与结论

本研究围绕推动科技评价改革在卫生健康领域落实落地探讨提出了具有可行性的方法框架，相比较于依赖若干量化指标的既有评价方法，围绕“代表性成果”建立的方法框架，可为推动卫生健康科技评价价值导向、评价内容、评价应用等多方面转变，推动实现从“指标评价”向“研究内容评价”转变提供理论支撑。

相比指标量化评价，本研究所提出的评价方法存在评价主观性较大、质控和规范较难等方面局限性，在使用和落实落地中应建立与之相匹配的评价机制：（1）确保科技评价由无利益相关方实施；（2）充分考虑科研成果价值沉淀的时滞期，确保评价结果有广泛、充分的共识；（3）建立公开透明的评价过程，对于支撑代表性成果评价的相关量化数据应充分公开、广泛共识。

另一方面，实现科技评价改革要求在卫生健康领域中落实落地还需逐渐推动形成良性评价生态、评价环境：（1）政府部门应作为评价主体，牵引科技评价价值导向，卫生健康委在卫生健康领域科技评价中补位，推动权威的领域科技评价实践；（2）卫生健康领域科技评价应首先要区分科研、临床、教学活动，其次是按研发活动、成果类型进行分类评价；（3）应增加提名式评价、跟踪式评价，减少申报式、推荐式评价；（4）以良性评价生态应牵引多样化、高质量、原创性、诚信研究的科研生态；（5）避免因科技评价导致的资源过度集中，开展促发展式科技评价，牵引开展高质量、高水平、多元化的医学研究。

本研究围绕实现高水平科技自立自强、建设世界科技强国发展阶段对科技评价改革的新要求，结合卫生健康科技创新特点，提出了卫生健康科技评价的方法框架，并对配套落实的评价机制、评价生态进行了探讨，以期为推动科技评价改革在卫生健康领域落实落地提供理论参考。

本文来源于《中华医学科研管理杂志》2024年8月。胡志民，北京协和医学院卫生健康管理政策学院研究员；谢宇，中国医院协会副研究员；成晴，北京协和医学院卫生健康管理政策学院硕士研究生；贾晓峰，国家卫生健康委卫生发展研究中心副研究员，科技政策研究室负责人。文章观点不代表主办机构立场。

◆ ◆ ◆

编辑邮箱：sciencepie@126.com