国家自然科学基金委发文讨论同行评议与项目遴选标准

内容来源：时代学者整理自中国科学基金（仅转载，不代表本号观点）

2024年，国自然医学科学部在中国科学基金发表了一篇题为《国家自然科学基金面上项目的遴选标准及其规范化探讨》的文章，其中详细讨论了基金项目中同行评议意见（文字评述和评议结论）与遴选项目关系，时代学者摘录部分内容如下：

基金项目的同行评议意见包括文字评述和评议结论两个组成部分。文字评述是评审专家依据自然科学基金委针对不同项目类别设置的评审标准所提供的文字意见，主要从项目的科学性、创新性和可行性等方面进行专业评价，这既是提供给项目管理者做科学决策的重要参考,也是申请者接受管理机构对其申请做出最终决策的专业解释,同时也是申请者了解同行对自己所开展研究的专业评价的最好途径。评议结论是评审专家在基于对所评议项目文字评述基础上对项目的科学价值的最终表态，也是管理者做出科学决策的重要依据。基金项目同行评议意见中的评议结论包括项目的“综合评价”(分优、良、中、差四档)和“资助意见”(分优先资助、可资助、不予资助三档)两个方面。项目管理者遴选项目时虽会全面考虑同行评议中所提供的各种信息,但主要还是基于同行评议中的评议结论。不同科学部或学科间的遴选项目的做法存在差异：有的依据“综合评价”，有的依据“资助意见”，有的依据对“综合评价”赋值后换算而来的“平均分”,有的依据对“综合评价”和“资助意见”同时赋值后得到的“平均分”。遴选标准的差异是否会影响项目的遴选结果,或者说在项目遴选环节是否因此而产生不公正,是一个值得深入探讨的问题。采用定性的评议结论“综合评价”或“资助意见”为标准进行项目遴选,汇总各项目不同评审专家给出的评议结论所形成的评议结果，在不同的项目之间不容易进行比较，即使评议结果相同也并不意味着项目间的优秀程度相同;同样地，即使评议结果不同也并不意味着项目间的优秀程度如同评议结果体现出来那样存在那么大差异。原则上，评审专家的文字评述与评议结论之间理应具有逻辑上的一致性，但由于评审专家在评议标准把握尺度上存在的差异,可能会导致评审专家给出的文字评述与评议结论之间，存在逻辑上不一致的现象。

自然科学基金委的评审系统中已将“综合评价”为“A(优)”与“资助意见”的“A(优先资助)”相关联,“综合评价”为“B(良)”与“资助意见”的“A(优先资助)”或“B(可资助)”相关联,“综合评价”为“C(中)”或“D(差)”与“资助意见”的“C(不资助)”相关联。即便如此，评议结论“综合评价”与“资助意见”之间依然存在不一致,所有这些不一致现象无疑将给管理者遴选项目带来困惑。

目前自然科学基金委主要有三种遴选项目的方式：“方式一”以“资助意见”为主，同时参考“综合评价”和文字评述；“方式二”对“综合评价”赋值，同时参考“资助意见”和文字评述；“方式三”对“资助意见”与“综合评价”均赋值，同时参考文字评述。

本文针对医学科学部3个学科2021年共受理的3400份面上项目被遴选上会的结果进行统计分析。每项面上项目均送审3位函评专家，项目的“综合评价”分四档，即a(优)、b(良)、c(中)和d(差)，“资助意见”分三档，即A(优先资助)、B(可资助)和C(不予资助)。学科采用“方式一”进行项目遴选。我们将通过“方式一”所得到的遴选结果按其它两种遴选方式进行排列,考察“方式一”项目遴选结果在另两种遴选方式中发生的改变,以了解遴选方式对项目命运带来的可能影响。

方式一：

项目遴选过程中只以“资助意见”为唯一遴选标准而不参考“综合评价”和文字评述,显然不够全面和公平,因为“资助意见”为AAC和ABC的项目中有部分项目的文字评述甚至好于获得全部同意资助的项目。“资助意见”为BBB、AAC和ABC的项目,在不同学科被遴选上会的概率相差较大,虽说这与学科推荐上会的百分率(自然科学基金委一般建议为资助指标的130%~160%之间)有关，但是,由于项目管理者在遴选项目时需要考虑的因素较多,因此,在把握遴选标准尺度方面存在差异是必然的。

方式二：

由于“项目平均分”、“综合评价”和“资助意见”不能一一对应,项目管理者遴选项目时不得不既要考虑项目的平均分,也要考虑项目的“资助意见”“综合评价”和“文字评述”,这必然导致因项目遴选者不同而对项目遴选结果产生差异,或许这是遴选过程不规范的主要原因。表2表明,具有相同“平均分”对应不同“综合评价”的项目之间,项目被推荐上会的百分率存在差异,甚至“平均分”与“综合评价”均相同但对应不同“资助意见”的项目之间,项目被推荐上会的百分率也存在差异。此外,在不同的学科领域之间,相同的“平均分”项目被推荐上会的百分率存在较大差异,这与“方式一”中的项目遴选情况类似。

方式三：

在平均分相同而“综合评价”不同的项目间,项目被推荐上会的百分率存在差异;在平均分与“资助意见”均相同而“综合评价”不同的项目间,项目被推荐上会的百分率存在差异。在不同的学科领域间,部分相同的平均分项目被推荐上会的百分率存在较大差异,这与项目遴选“方式二”中情况相同。

对“资助意见”的两种不同赋值方式在项目遴选时并未产生太大的差异,具有较多的分数档赋值方式可能会给项目管理者遴选项目带来一些方便。

由于同一学科领域同一项目类别往往受理项目数量较大,且汇总后的评议结果种类或平均分档有限,因此必然有许多项目汇总后的评议结果相同或平均分相同,无论采用哪一种项目遴选方式,要想从众多评议结果相同的项目中遴选出优秀的项目,需要同时考虑除遴选的主要标准外 的其它方面。除“平均分”外,“资助意见”“综合评价”和文字评述均属于定性评议,项目管理者遴选项目时无论采用“方式一”“方式二”或“方式三”,都必须同时考虑多个定性评议结论,遴选结果会因项目遴选方式不同而不同,也会因遴选项目的管理者不同而不同,这说明项目遴选过程中存在不规范问题。要实现项目遴选的规范化,项目的遴选标准应具有唯一性,即不能同时存在两个或以上的标准。目前的平均分、“综合评价”和“资助意见”都是遴选标准,且以其中某一个为主要遴选标准所产生的遴选结果间存在差异,因此统一项目遴选标准十分必要。