网易首页 > 网易号 > 正文 申请入驻

你的论文有novelty吗?复旦搞了个顶会论文查新系统

0
分享至



ICLR 2026 的 Rebuttal 结束了。当 OpenReview 上的喧嚣散去,我们发现,作者与审稿人之间漫长的拉锯战,最终往往只剩下一个核心分歧:「这个想法,以前真的没人做过吗?」

Novelty(创新性)是学术评审中被高度关注的指标之一, 但其评估在实践中仍高度依赖评审者的经验判断与检索覆盖。随 arXiv 文献数量的快速增长,仅靠人工检索与记忆来追溯相关研究工作,已难以满足高效的评审需求。



针对这一挑战,复旦大学 NLP 研究团队与其此前孵化的学术搜索平台 WisPaper 展开合作,共同研发了 OpenNovelty——一个基于大语言模型、强调证据与可验证性的自动化新颖性分析系统。



  • 论文标题:OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
  • 论文链接:https://arxiv.org/abs/2601.01576
  • Github 链接:https://github.com/january-blue/OpenNovelty
  • HuggingFace:https://huggingface.co/papers/2601.01576

核心设计

OpenNovelty 的根本原则很简单:任何关于「该论文创新性不足」的判断,都必须附带可追溯的真实证据,这些证据必须来自于已发表的文献,并且能精确定位到原文具体段落。若系统未能找到相关证据,则如实说明「未发现支持该判断的证据」。

与传统查重仅关注文字表层重叠不同,OpenNovelty 试图解决语义层面的重复。 系统会对投稿进行结构化抽取,将作者表述转写为更便于检索与对比的学术概念短句,自动提取出论文的一个核心任务(Core Task)和若干具体贡献(Contributions)。

此外,系统还采用了「查询扩展(Query Expansion)」机制,针对提取出的每条信息,生成多个语义等价的变体,在 WisPaper 的索引库中进行地毯式检索,防止单一表述带来的检索遗漏。

四步分析流程:

从论文提交到生成

可验证的新颖性评估报告

第一步:核心信息提取

系统从论文的标题、摘要和引言,精准地提取出两类信息:

  • 核心任务:论文拟解决的核心学术问题(例如:「基于多轮强化学习的 LLM 智能体长周期决策训练」);
  • 贡献声明:作者明确宣称的创新点,如新方法、框架、算法或理论形式化(例如:「一个支持多种强化学习算法的统一训练框架」)。



第二步:相关文献检索与筛选

基于提取的信息,系统自动生成一组学术搜索语句(包括同义词及变体表达,避免因措辞差异而遗漏相关文献),然后利用 WisPaper 学术引擎展开地毯式搜索。

初步检索可能召回数百至上千篇潜在相关论文,随后通过去重、时间过滤与筛除弱相关性文献等步骤,最终形成约 60–80 篇用于后续分析的候选论文集合。



第三步:层次化分析与证据比对

这是系统的核心分析环节。系统会基于核心任务召回的候选论文构建层次化 taxonomy(树状分类体系),以呈现目标论文在相关研究脉络中的位置。提供目标论文在候选研究脉络中的相对定位,供评审者快速浏览。

针对每条贡献声明,系统会在贡献召回的候选论文集合中进行逐篇对比,并尝试给出可核验的对应证据片段。比对的结果有如下三种:

  • 能反驳(can_refute):找到已发表的论文具有相似贡献,必须附带双方论文的原文摘录作为证据。



  • 无法反驳(cannot_refute):在当前检索范围内,未发现可质疑该创新贡献的文献。
  • 存疑(unclear):信息不足,无法判断。

关键在于:如果系统做出「能反驳」的判断,但其提供的证据(即摘录段落)无法在原论文中找到或匹配度过低,该判断会自动降级为「无法反驳」。

第四步:「新颖性调查报告」生成

系统整合前三阶段结果,生成包含以下模块的评估报告:

  • 论文的核心任务
  • 研究领域的分类体系
  • 每条创新声明的比对结果和证据
  • 综合的「新颖性评估」叙述

对于系统给出的关键判断,报告会尽量提供可追溯的候选文献与可核验的原文证据位置,便于评审者快速定位与人工复查。



系统部署与公开验证

截止到 1 月 16 日,团队已经在系统上分析了 1360 篇投稿,并且把所有生成的新颖性报告公开发布在其官方网站。任何人都可以查阅系统对某篇投稿的分析结果、检索到的相关文献以及判断依据。

团队计划进一步将分析规模扩展至 2000+ 篇投稿,此外,还将持续优化系统,计划将其应用于其他 AI 顶级会议,并对所收集的报告和评审证据进行深入分析。

OpenNovelty 的影响

对审稿人而言:它是一个辅助工具而非替代。系统可以帮助评审者梳理文献脉络,快速掌握一篇论文在领域中的位置,从而将更多精力集中于更需要人类专业判断的关键环节,如研究意义、方法严谨性等问题。

对论文作者而言:它可作为投稿前的自查工具。如果研究具备实质创新性,系统可以提供相关证据;如果漏引了重要文献,系统亦能指出问题。

对学术界而言:该系统提供了一种“可验证的新颖性评估”工程路径——用检索到的真实文献与贡献级证据对比来约束结论输出,让判断能够被追溯与复核,而不是停留在模型的无证据生成。推动 AI 成为负责人的知识引证者,而非不可靠的内容生成器。

仍需人类判断

团队在论文里也明确指出了系统的局限性:

  • 难以理解复杂的数学公式和图表——如果一篇论文的核心创新藏在一个复杂的方程式里,系统可能会错过;
  • 只能搜到被索引过的论文,可能错过未被收录的小众期刊或非英语出版物;
  • 「无法反驳」仅表示在「检索范围内未找到」,并不等于「确实不存在」。

因此,团队一再强调:这是辅助工具,而非决策主体。最终的学术判断,仍然要由人类审稿人完成。

结语

OpenNovelty 的出现带有某种实验性的克制。它并非试图取代现有的同行评审体系,而是作为一套第三方审计系统介入。在 Rebuttal 结束后的最终决策阶段,它负责清洗迷雾,向 AC 展示那些被淹没的证据,而将最终的价值判断权留给人类。

目前,ICLR 2026 的部分论文查新报告已在 OpenNovelty 官网开放查阅。对于即将在明年继续冲击顶会的科研人员来说,这或许是一个审视自己工作的新鲜视角。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
小红书不惯毛病

小红书不惯毛病

虎嗅APP
2026-01-20 19:02:17
U23越南0-3不敌国足!赛后越南队主帅:中国足球进步明显

U23越南0-3不敌国足!赛后越南队主帅:中国足球进步明显

极目新闻
2026-01-21 08:32:07
杨尚昆问周总理:小平自称参加过遵义会议,此事确否,是何职务?

杨尚昆问周总理:小平自称参加过遵义会议,此事确否,是何职务?

南书房
2026-01-21 08:20:09
“计划有变,准备争冠!”曾经连续5届小组淘汰,这回“第四档”冲进决赛

“计划有变,准备争冠!”曾经连续5届小组淘汰,这回“第四档”冲进决赛

环球网资讯
2026-01-21 07:29:08
3-0!中国U23踢疯了:一战碾碎越南,4大纪录诞生,决赛死磕日本

3-0!中国U23踢疯了:一战碾碎越南,4大纪录诞生,决赛死磕日本

万花筒体育球球
2026-01-21 01:51:37
日本政坛巨震!166票封喉,公明党倒戈,高市时代终结,中方回应

日本政坛巨震!166票封喉,公明党倒戈,高市时代终结,中方回应

策略述
2026-01-20 13:30:26
牢A非常过分!对于留学生陪读母亲和女留学生的描述,震碎三观…

牢A非常过分!对于留学生陪读母亲和女留学生的描述,震碎三观…

火山诗话
2026-01-21 06:23:26
跌破800万!现在生孩子,未来一定上大学、还是本科!你考虑生吗?

跌破800万!现在生孩子,未来一定上大学、还是本科!你考虑生吗?

小e教育
2026-01-20 18:52:18
经纪人公布梁小龙死因,离世前几小时状态已不好,发病后撑7小时

经纪人公布梁小龙死因,离世前几小时状态已不好,发病后撑7小时

古希腊掌管月桂的神
2026-01-19 10:22:41
国际足联倒逼没法躲!面对仅15万人口的库拉索队,打烊快一年的国足怎么破

国际足联倒逼没法躲!面对仅15万人口的库拉索队,打烊快一年的国足怎么破

上观新闻
2026-01-21 09:38:06
女人这两件事,99%不会告诉男人,100%的男人都不知道

女人这两件事,99%不会告诉男人,100%的男人都不知道

青苹果sht
2026-01-20 05:45:59
要夺冠?!U23国足三球大胜越南晋级亚洲杯决赛,球迷提前“过年”了!

要夺冠?!U23国足三球大胜越南晋级亚洲杯决赛,球迷提前“过年”了!

上观新闻
2026-01-21 04:40:03
欧冠16强首队诞生!热苏斯双响,阿森纳3-1国米破魔咒造队史纪录

欧冠16强首队诞生!热苏斯双响,阿森纳3-1国米破魔咒造队史纪录

钉钉陌上花开
2026-01-21 05:54:13
李亚鹏房东最新言论炸懵全网,一切都反转了!

李亚鹏房东最新言论炸懵全网,一切都反转了!

互联网品牌官
2026-01-20 14:56:01
1996年, 施瓦辛格在家中无事,和35岁200斤女佣发生不当关系

1996年, 施瓦辛格在家中无事,和35岁200斤女佣发生不当关系

南权先生
2026-01-20 15:49:53
港警严阵以待!新义安创办人之子出殡,江湖大佬都来了...

港警严阵以待!新义安创办人之子出殡,江湖大佬都来了...

港港地
2026-01-20 10:42:45
胆真大!国足2-0后河内街头民众一片死寂 中国球迷怒吼:再叫啊

胆真大!国足2-0后河内街头民众一片死寂 中国球迷怒吼:再叫啊

风过乡
2026-01-21 07:54:13
继提议给格陵兰岛民众发钱后,特朗普又提“新办法”:波多黎各式自治邦?

继提议给格陵兰岛民众发钱后,特朗普又提“新办法”:波多黎各式自治邦?

红星新闻
2026-01-20 15:54:21
韩红去上海买眼镜,被店员2次提醒价格闹笑话,网友:对自己真抠

韩红去上海买眼镜,被店员2次提醒价格闹笑话,网友:对自己真抠

冷紫葉
2026-01-20 00:57:00
力推都没用?吴京《镖人》遭抵制,摇头晃脑的他们有很大责任

力推都没用?吴京《镖人》遭抵制,摇头晃脑的他们有很大责任

白面书誏
2026-01-20 13:53:46
2026-01-21 10:39:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
12157文章数 142547关注度
往期回顾 全部

教育要闻

青春榜样来到身边!“青春大讲堂”系列丛书签赠会成功举办

头条要闻

外交部副部长孙卫东:中方绝不允许家门口生战、生乱

头条要闻

外交部副部长孙卫东:中方绝不允许家门口生战、生乱

体育要闻

如果NBA只剩下最后一个传统中锋

娱乐要闻

网红版闫学晶!600万粉博主阿爆翻车

财经要闻

拆解涉税黑中介虚开套路

科技要闻

中芯国际等巨头集体提价,8英寸芯片最高涨20%

汽车要闻

奇瑞张贵兵:墨甲不做秀技术的企业 只做痛点终结者

态度原创

艺术
房产
教育
公开课
军事航空

艺术要闻

一百多年前的中国,太雄伟震撼了!

房产要闻

中旅・三亚蓝湾发布会揭秘自贸港好房子高阶形态

教育要闻

2026考研报名343万,国考370万,考公升考研降,一降一升说明什么

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

德军13人前脚刚走 荷兰2名军人也撤离格陵兰岛

无障碍浏览 进入关怀版