复旦大学OpenNovelty：让AI成为学术论文同行评议的"火眼金睛"

这项由复旦大学张明、谭克新等十多位研究者组成的团队完成的研究成果于2026年1月发表在arXiv预印本平台（编号：arXiv:2601.01576v1），研究团队还与WisPaper.AI公司和克莱蒙特·麦肯纳学院合作。感兴趣的读者可以通过这个编号查询完整论文。

学术界正面临着一场"数量爆炸"危机。每年仅在人工智能领域，就有数万篇新论文涌现，而顶级会议的投稿数量不断创下历史新高。这给学术同行评议系统带来了前所未有的压力。评审专家们需要在有限的时间内评估大量论文，其中最关键的一个问题就是：这篇论文的贡献真的新颖吗？是否存在之前的研究已经做过类似工作？

就像在浩瀚的图书馆中寻找一本特定书籍的所有相关资料一样，评审专家需要在成千上万的已发表论文中找到与当前论文相关的所有研究。这个任务既耗时又容易遗漏关键信息。更糟糕的是，一些评审专家可能因为时间不够或精力不足，没有进行充分的文献调研，甚至有人开始使用AI生成评审意见而不进行适当验证。

复旦大学的这个研究团队意识到了这个问题的严重性，他们开发了一个名为OpenNovelty的系统，就像给评审专家配备了一个超级助手。这个助手不仅能够快速搜索相关文献，还能够深入分析每一个研究贡献的新颖性，最重要的是，它提供的每一个判断都有确凿的证据支持，可以被验证和追溯。

OpenNovelty的核心理念是"让新颖性变得可验证"。传统的AI评审系统经常会"编造"一些并不存在的参考文献，或者仅仅基于论文的标题和摘要进行浅层比较。而OpenNovelty则坚持从真实存在的论文中寻找证据，并且会逐字逐句地比较具体内容，确保每一个评判都有扎实的依据。

研究团队已经将这个系统应用到了500多篇2026年ICLR会议的高质量投稿论文上，所有的分析报告都在他们的网站上公开发布。初步分析显示，这个系统确实能够发现一些作者可能忽略的相关研究工作。他们计划将分析范围扩展到超过2000篇投稿论文。

一、系统如何像侦探一样工作

OpenNovelty的工作方式就像一个经验丰富的侦探在破案。当它接到一篇新论文时，首先要做的是"摸清案情"——理解这篇论文到底在研究什么问题，声称做出了哪些贡献。

这个"理解"过程远比想象中复杂。就像侦探需要从案发现场的各种线索中提取关键信息一样，OpenNovelty需要从论文的标题、摘要、引言和结论中准确识别出核心任务和具体贡献。它不会被论文中提到的具体模型名称或技术细节所迷惑，而是会抽象出更本质的研究问题。

比如，如果一篇论文提出了一个叫做"SuperFastNet"的新模型来加速图像识别，OpenNovelty不会简单地搜索"SuperFastNet"这个名字（因为这是作者新创造的），而是会理解这篇论文的本质是在研究"加速深度学习模型推理"这个更广泛的问题。

接下来，系统会像侦探收集证人证言一样，为每个研究贡献生成多个不同表述的搜索查询。这是因为学术界对同一个概念可能有不同的表达方式，就像同一个事件的不同目击者可能用不同的词汇来描述。比如，"强化学习"也可能被称为"增强学习"，"多轮对话"也可能被表述为"多回合交互"。

二、在学术海洋中精准打捞相关研究

有了明确的搜索目标后，OpenNovelty开始了第二阶段的工作——在浩瀚的学术文献海洋中寻找相关研究。这个过程就像在大海中撒网捕鱼，需要既有足够大的覆盖范围，又要能够筛选出高质量的"鱼"。

系统采用了一种"广撒网，细筛选"的策略。它首先会使用语义搜索引擎WisPaper来搜索相关论文，通常每篇待评估论文会产生6到12个不同的搜索查询，每个查询可能返回数百到数千篇相关论文。这就像用多张不同网眼大小的渔网在不同海域捕鱼，确保不会遗漏任何重要的研究。

然后开始了层层筛选的过程。首先，系统会根据搜索引擎的质量评分筛选出最相关的论文，通常会过滤掉约70-80%的结果。接着，它会去除重复的论文（同一篇论文可能在多个搜索查询中被找到）。

特别有趣的是，系统还会进行"时间过滤"，确保只比较那些发表时间早于待评估论文的研究。这就像审案时只考虑案发之前的证据一样，确保新颖性比较的公平性。最终，系统会为每篇论文的核心任务保留最多50篇相关论文，为每个具体贡献保留最多10篇相关论文。

三、构建学术研究的"家族谱系图"

第三阶段是OpenNovelty最具创新性的部分——构建一个层次化的研究分类体系，就像绘制一个学术研究的"家族谱系图"。这个步骤对于理解一篇论文在整个研究领域中的位置至关重要。

传统的论文聚类方法通常基于数学距离来分组，但这往往产生缺乏语义意义的分类。OpenNovelty则采用了更智能的方法，它会分析每篇相关论文的研究方法、解决的问题和应用场景，然后构建一个有意义的层次结构。

这个分类体系通常有3到5层深度。根部代表整个研究领域，中间层代表主要的方法论或主题分类，而叶子节点包含2到7篇语义相似的论文。每个分类节点都有清晰的定义，说明包含哪些类型的研究，排除哪些类型的研究。

比如，在"大语言模型训练加速"这个研究领域中，可能会有"硬件优化方法"、"算法优化方法"、"数据优化方法"等主要分支，而"算法优化方法"下面又可能细分为"模型剪枝技术"、"知识蒸馏技术"等更具体的子类。

这种分类不仅帮助系统理解待评估论文在学术谱系中的确切位置，还能识别出它的"近亲"——那些研究方向最相似的论文。这些"近亲"论文将成为后续新颖性分析的重点对象。

四、逐字逐句的"证据链"分析

OpenNovelty的第四个阶段是最关键的——进行详细的证据分析。这个过程就像法庭上的举证环节，每一个关于新颖性的判断都必须有确凿的文本证据支持。

系统会将待评估论文的每个贡献与相关论文进行逐一对比。这不是简单的标题或摘要比较，而是深入到论文全文的详细分析。对每个贡献，系统会给出三种可能的判断：可以反驳（can_refute）、无法反驳（cannot_refute）或不确定（unclear）。

当系统判断某个贡献"可以反驳"时，它必须提供具体的证据对。每个证据对包含两段引文：一段来自待评估论文（展示作者声称的贡献），另一段来自已发表论文（展示类似的先前工作）。系统还会解释这两段引文为什么支持"缺乏新颖性"的判断。

最重要的是，所有的引文都会通过算法验证，确保它们确实存在于原文中，而且没有被篡改或编造。如果系统无法在原文中找到声称的引文，那么相关的反驳判断会被自动降级为"无法反驳"。这种严格的验证机制防止了AI系统"编造证据"的问题。

当系统判断某个贡献"无法反驳"时，它会简要说明为什么相关论文不能挑战该贡献的新颖性。比如，可能是因为研究的应用场景不同，或者解决的具体问题有本质区别。

五、自动识别可能的抄袭行为

除了新颖性分析外，OpenNovelty还具备检测文本相似度的能力，能够发现潜在的抄袭或未注明的重复使用。这个功能就像给每篇论文配备了一个"查重检测器"。

系统会扫描待评估论文和相关论文之间是否存在大段相似的文本。它不仅能检测逐字逐句的复制（直接抄袭），还能识别改写但保持相同含义的段落（改写抄袭）。当发现连续30个词以上的高度相似文本时，系统会将其标记为可疑片段。

每个检测到的相似片段都会经过严格验证，确保报告的文本确实存在于两篇论文中。系统会标明相似片段在两篇论文中的具体位置，并提供简要的相似性解释。但是，系统不会做出最终的抄袭判断，而是将这些发现提供给人工评审员，因为高度相似的文本可能有合理的解释（比如作者发表了同一工作的扩展版本）。

六、生成全面的评估报告

OpenNovelty的最后一个阶段是生成一份详细、易读的评估报告。这份报告就像一份专业的调研报告，不仅包含具体的分析结果，还提供了丰富的背景信息和证据支持。

报告包含七个主要模块。首先是待评估论文的基本信息，包括标题、作者、摘要等。接下来是核心任务调研部分，展示了系统构建的研究分类体系和对整个研究领域的概览，这帮助评审员理解论文在学术谱系中的位置。

贡献分析部分是报告的核心，它详细展示了每个声称贡献的新颖性评估结果。对于每个"可以反驳"的判断，报告会展示具体的证据对和解释。对于"无法反驳"的判断，报告会说明相关研究与待评估贡献之间的区别。

核心任务比较部分分析了待评估论文与其"近亲"论文之间的区别和联系。文本相似度分析部分（如果有发现）会列出检测到的相似片段。参考文献部分提供了统一的引文索引，方便验证。最后是元数据部分，记录了分析的时间、使用的系统版本等技术信息。

所有的报告都可以生成Markdown和PDF两种格式，并且在研究团队的网站上公开发布，确保完全的透明性和可追溯性。

七、系统的设计智慧和实现挑战

OpenNovelty的设计体现了研究团队的深思熟虑。他们面临的一个核心挑战是如何在保证准确性的同时实现大规模自动化处理。

在信息提取方面，系统采用了"零样本"学习策略，即不依赖预先标注的示例来训练模型。这种方法虽然在某些情况下可能不如有监督学习精确，但它避免了模型对特定示例风格的过度依赖，能够更好地泛化到不同研究领域的论文。

在论文检索方面，系统优先考虑语义相关性而非引用数量或期刊声望。这是一个明智的选择，因为引用数量往往与论文的发表时间相关，会系统性地偏向较老的论文，而新发表的相关研究可能引用数很少但对新颖性评估极其重要。

系统还实现了多层容错机制。当某个查询失败时，系统不会停止整个分析流程，而是继续处理其他查询，并在最终报告中标注部分结果可能不完整。当语言模型生成的分类体系不符合逻辑要求时，系统会自动尝试修复，或者在修复失败时标记需要人工审查。

研究团队特别强调了"证据优先"的设计理念。与许多依赖语言模型内在知识的系统不同，OpenNovelty坚持所有判断都必须基于检索到的真实论文。这大大降低了AI"幻觉"（生成虚假信息）的风险，但也增加了系统的复杂性。

八、系统的局限性和改进空间

研究团队非常诚实地承认了OpenNovelty目前存在的局限性。这些局限性主要体现在内容分析能力、检索范围和系统依赖性三个方面。

在内容分析方面，系统目前无法很好地处理数学公式和图表内容。PDF文本提取过程往往会将复杂的数学公式转换成乱码或碎片化的文本，导致系统无法准确理解那些主要贡献体现在数学创新上的论文。同样，对于那些主要通过图表、架构图或算法流程图展示贡献的论文，系统也可能遗漏关键信息。

检索范围的限制是另一个重要问题。系统的分析质量完全依赖于WisPaper搜索引擎的覆盖范围。那些没有被索引的论文，比如非常新的预印本、非英语论文或某些专业领域的论文，都不会被纳入分析范围。这意味着"无法反驳"的判断只能理解为"在检索范围内没有发现挑战该贡献的证据"，而不是"该贡献在整个学术界都是新颖的"。

系统还存在"流水线依赖"问题。由于分析过程分为四个阶段，前一阶段的错误会传播到后续阶段。如果系统在第一阶段错误地理解了论文的核心贡献，那么后续的所有分析都可能偏离正轨。虽然系统通过查询扩展和广泛检索来缓解这个问题，但系统性的理解错误仍然无法完全避免。

语言模型生成的分类体系也可能存在不稳定性。由于语言模型的随机性，同一篇论文在多次运行中可能会被分类到不同的类别中，这可能影响后续比较分析的结果。虽然系统实现了验证和修复机制，但分类的主观性仍然是一个固有挑战。

九、对学术评议未来的深远影响

OpenNovelty的出现可能会对学术同行评议产生深远影响。这个系统代表了AI辅助学术评议的一个重要发展方向，但同时也引发了一些值得深思的问题。

从积极的角度来看，OpenNovelty可以显著提高评审效率和质量。评审专家不再需要花费大量时间进行基础的文献调研，而可以将更多精力投入到对研究方法合理性、实验设计严谨性、结果解释准确性等更需要专业判断的方面。系统提供的详细证据链也可以帮助评审专家做出更有依据的判断。

对于作者来说，这个系统实际上是一个有用的自查工具。在提交论文之前，作者可以使用类似系统检查自己的工作是否遗漏了重要的相关研究，从而提高论文质量。系统的透明性也意味着作者可以清楚地看到评审过程的依据，减少评审过程中的信息不对称。

但是，这种自动化分析也带来了新的挑战。过度依赖系统分析可能导致评审专家失去独立思考和批判性分析的能力。更重要的是，新颖性只是学术价值的一个维度，一篇论文即使在技术上不是完全新颖的，也可能因为其应用价值、理论意义或实验设计而具有重要价值。

研究团队特别强调，OpenNovelty的定位是"助手"而非"替代品"。它的目标是为人类评审专家提供更好的工具和信息，而不是取代人类的判断。系统的每个判断都有明确的证据支持，评审专家可以（也应该）质疑和验证这些判断。

十、技术实现的精巧设计

从技术角度来看，OpenNovelty的实现体现了多项精巧的工程设计。系统使用了Claude Sonnet 4.5语言模型进行各种分析任务，但针对不同任务采用了不同的温度参数设置。对于需要确定性输出的任务（如信息提取），系统使用较低的温度（0.0-0.1）；对于需要一定创造性的任务（如语义变体生成），则使用较高的温度（0.2）。

在处理大规模并发请求时，系统实现了智能的负载平衡和错误恢复机制。当某个查询因为网络问题或API限制失败时，系统会自动重试，并在多次失败后优雅地降级，确保整个分析流程不会因为局部错误而中断。

证据验证算法是系统的一个技术亮点。它不是简单的字符串匹配，而是基于token级别的序列对齐算法。这个算法能够处理文本中的轻微差异（如标点符号、空格变化），但同时保持对内容准确性的严格要求。当一个引文的置信度分数低于0.6时，相关的反驳判断会被自动降级，这个阈值是经过仔细调试的结果。

系统的模块化设计也很值得称道。四个阶段相对独立，每个阶段都有清晰的输入输出接口。这不仅便于调试和维护，也为未来的改进留下了空间。比如，如果未来有更好的搜索引擎或分类算法，可以相对容易地替换相应模块而不影响其他部分。

说到底，OpenNovelty代表了AI技术在学术领域应用的一个重要里程碑。它不是要取代人类学者的创造性思维，而是要帮助学术界更好地管理和利用不断增长的知识体系。

归根结底，学术研究的本质是人类对未知世界的探索，这种探索需要的不仅仅是技术工具，更需要好奇心、创造力和批判性思维。OpenNovelty这样的系统可以帮助研究者更有效地站在前人的肩膀上，但如何攀登知识的高峰，仍然需要人类智慧的指引。

随着AI技术的不断发展，我们可能会看到更多类似的学术辅助工具。这些工具的出现不应该让我们感到威胁，而应该看作是解放人类创造力的机会。当繁重的文献调研、格式检查、基础分析等工作可以由AI完成时，研究者就可以将更多时间投入到真正的创新思考中。

这项研究也提醒我们思考一个更深层的问题：在AI时代，学术评议应该如何演进？传统的同行评议制度建立在信息稀缺的时代，而现在我们面临的是信息过载。OpenNovelty提供了一种可能的解决方案，但它肯定不是唯一的答案。学术界需要在保持研究质量和促进创新之间找到新的平衡点。

对于普通读者来说，这项研究的意义可能远超学术界本身。它展示了AI如何能够处理复杂的知识管理任务，这种能力在许多其他领域都有潜在应用。从企业的专利分析到政府的政策研究，从医学的文献综述到法律的案例分析，类似的技术都可能发挥重要作用。

最终，OpenNovelty的价值不仅在于它提供的具体功能，更在于它代表的一种理念：让AI成为人类智慧的放大器，而不是替代品。在这个AI与人类协作的时代，这样的理念显得尤为重要。

Q&A

Q1：OpenNovelty是如何确保分析结果准确可信的？

A：OpenNovelty通过严格的证据验证机制确保准确性。系统的每个新颖性判断都必须基于从真实论文中提取的具体文本证据，所有引文都会通过算法验证确实存在于原文中。如果系统无法验证某个证据引文，相关的反驳判断会被自动降级为"无法反驳"。这种"证据优先"的设计有效避免了AI生成虚假信息的问题。

Q2：OpenNovelty会完全取代人工论文评审吗？

A：不会。研究团队明确将OpenNovelty定位为评审专家的"助手"而非"替代品"。系统主要负责基础的文献调研和新颖性分析，帮助评审专家节省时间，但对研究方法合理性、实验设计严谨性、结果解释准确性等需要专业判断的方面，仍需要人类专家来评估。系统提供透明的证据链，评审专家可以验证和质疑系统的每个判断。

Q3：普通研究者能使用OpenNovelty来检查自己的论文吗？

A：目前研究团队已经将系统应用到500多篇ICLR 2026会议投稿论文的分析中，所有报告都在其网站公开发布。虽然论文中没有明确说明普通用户的使用方式，但这种透明的分析报告实际上为作者提供了有价值的参考，帮助他们在投稿前了解自己工作的新颖性情况和可能遗漏的相关研究。