达姆施塔特工业大学发布SCICOQA数据集

科学研究的世界里，有一个令人头疼的问题：科学家们在论文中描述的方法，和他们实际写的代码，有时候就像两个完全不同的故事。这就好比你按照菜谱做菜，结果发现厨师实际用的食材和步骤完全不一样——最终做出来的菜当然也就不对味了。

这项由德国达姆施塔特工业大学普适知识处理实验室和国家应用网络安全研究中心ATHENE联合开展的研究，发表于2026年1月，创建了一个名为SCICOQA的特殊数据集，专门用来检测科学论文和对应代码之间的不一致问题。感兴趣的读者可以通过arXiv:2601.12910v1查询完整论文。

想象一下，你是一位美食评论家，需要验证一个厨师的食谱是否真实可靠。你不仅要看他写的食谱，还要进入厨房观察他的实际操作。如果发现食谱上写着"加入两勺盐"，但厨师实际加的是糖，那这个食谱显然就有问题了。SCICOQA做的就是这样的工作——它专门找出科学论文这本"食谱"和实际代码这个"厨房操作"之间的差异。

当今科学界面临着严重的"复现危机"。许多研究声称有了重大发现，但其他科学家按照论文描述去重复实验时，却得不到同样的结果。这种情况就像按照网红博主的教程做手工，结果做出来的东西完全不是那么回事。问题的根源往往在于论文描述和实际实现之间存在细微但关键的差异。这些差异可能看似微不足道，但就像烹饪中盐和糖的区别，能够完全改变最终结果。

传统的同行评议过程虽然能发现论文中的一些问题，但很少有审稿人会深入检查代码实现是否与论文描述完全一致。这就像食品监管员只看食谱，不进厨房检查实际操作一样。随着科学研究的规模不断扩大，以及人工智能开始参与科研过程，这种人工审查变得越来越不现实。因此，自动化的质量保证工具变得至关重要。

SCICOQA数据集就是为了解决这个问题而生。它收集了611个真实的论文-代码不一致案例，就像建立了一个"错误博物馆"，展示各种可能出现的问题。这些案例来源于两个主要渠道：GitHub上的问题报告和专门的科研复现论文。前者就像顾客在餐厅发现菜品与菜单描述不符时的投诉，后者则像专业美食评论家撰写的详细检验报告。

研究团队发现，论文-代码不一致主要分为三种类型。第一种是"差异型"，就像食谱说用橄榄油，但厨师实际用的是花生油——方法本质不同。第二种是"论文遗漏型"，代码中有一些重要步骤，但论文里没有提到，就像厨师实际操作中有一个关键的腌制环节，但食谱里完全没写。第三种是"代码遗漏型"，论文里描述了某个步骤，但代码中却没有实现，就像食谱写着要撒胡椒粉，但厨师实际操作时忘记了这一步。

为了让这个"错误博物馆"更加丰富多样，研究团队不仅收集了真实案例，还开发了一套生成模拟案例的方法。这就像厨师培训学校会故意制造各种错误情况来训练学员识别问题的能力一样。他们使用先进的AI模型来修改现有的代码，人为制造出与论文描述不一致的情况，从而大幅扩展了数据集的规模和多样性。

最终形成的SCICOQA数据集包含了计算机科学、物理学、定量生物学、数学等多个学科领域的案例。这就像建立了一个涵盖中餐、西餐、日料等各种菜系的"错误菜谱"数据库。数据集中有81个来自真实情况的案例，530个通过模拟生成的案例，为研究和开发自动检测工具提供了丰富的素材。

一、现实中的"论文-代码侦探"工作

在科学研究的日常工作中，论文和代码的不一致问题就像隐藏在平静水面下的暗礁，看似无害，实际上却可能导致整个研究船只触礁。研究团队通过深入分析发现，这些问题的出现有着复杂的原因和多样的表现形式。

从GitHub问题报告中收集的案例就像来自真实用户的第一手投诉。研究人员系统性地搜索了2020年到2025年间发布的与学术论文相关的代码仓库，找到了1890个这样的项目，包含超过10000个问题报告。这个过程就像在浩如烟海的客户反馈中寻找真正有价值的质量问题报告。他们使用AI模型初步筛选出232个可能涉及论文-代码不一致的候选案例，然后通过人工验证，最终确认了59个真实有效的不一致案例。

这些真实案例读起来就像侦探小说中的线索。比如有用户发现，某篇论文声称使用L2范数进行归一化，但代码中实际实现的是L1范数，这种差异虽然看起来只是数学公式上的细微变化，但对最终结果的影响却可能是巨大的。还有案例显示，论文中描述了一个三层的神经网络结构，但代码中却默认启用了批归一化层，而论文对此只字未提。这就像建筑设计图纸上没有标注的隐藏支撑结构，虽然不影响房子的外观，但对结构稳定性至关重要。

另一个重要的数据来源是科研复现论文，这些就像专业的第三方检验报告。研究团队收集了来自机器学习复现挑战赛、SIGIR和ECIR等知名会议复现专题的171篇复现研究。这些论文的作者就像专业的"科研质检员"，他们会仔细比较原始研究的声称和实际表现，在这个过程中经常发现论文描述与代码实现之间的不一致之处。

从这些复现研究中提取出的不一致案例往往更加深入和详细。比如，有复现研究发现某个联邦学习算法的论文声称每个客户端会执行多次本地更新，但实际代码中却只执行一次更新就立即停止，相关的累积梯度计算代码甚至被注释掉了。这种发现就像发现了一个表面上声称营业24小时的餐厅，实际上晚上10点就关门了一样。

为了确保数据质量，研究团队采用了严格的验证流程。每个候选案例都要经过人工审查，确保它确实构成了论文描述与代码实现之间的有意义的不一致。然后再使用GPT-5进行二次验证，确保这种不一致在给定的原始论文和代码情况下确实存在。这个双重验证过程就像食品安全检查，既有人工品尝，也有仪器检测，确保每个问题都货真价实。

在处理这些真实案例的过程中，研究团队还发现了一些有趣的规律。GitHub问题报告中的不一致案例更容易被发现和修复，因为用户在使用代码时会直接遇到问题。而复现研究中发现的问题往往更加隐蔽和复杂，需要深入的专业知识才能识别。这就像餐厅里明显的菜品错误顾客一眼就能发现，但食材采购和处理流程中的问题则需要专业厨师才能察觉。

这些真实案例构成了SCICOQA数据集的核心部分，它们不仅提供了检验自动化工具性能的黄金标准，更重要的是展示了现实科研环境中论文-代码不一致问题的真实面貌和复杂性。

二、构建"人工错误"的艺术

仅仅依靠从现实中收集的案例还不够，就像训练一个优秀的质检员，不能只让他看到过去发生的问题，还需要让他见识各种可能出现的潜在错误。因此，研究团队开发了一套巧妙的方法来人工制造论文-代码不一致的案例，这个过程就像在完美的画作上故意制造一些瑕疵，用来训练艺术品鉴定师的眼力。

这个人工生成过程的精妙之处在于它的真实性和多样性。研究人员首先从GitHub上选择了204个高质量的科研代码仓库，这些仓库都有对应的学术论文，而且使用宽松的开源许可证，允许重新分发。选择过程就像挑选食材，既要保证新鲜度，也要确保来源合法。

生成不一致案例的过程堪称一门艺术。研究团队使用GPT-5这样的先进AI模型，让它同时阅读论文和代码，然后对代码进行精心设计的修改，制造出与论文描述不符的情况。这个过程必须非常谨慎，修改要足够小巧，不会破坏代码的基本功能，但又要足够重要，能够影响科学结论的有效性。

举个具体例子来说明这种巧妙的修改。假设原始论文描述了一个图像分类算法，声称使用平方误差作为损失函数。生成过程可能会将代码中的损失函数悄悄替换为交叉熵损失，这种修改在表面上看起来微不足道，代码依然能够正常运行，但实际上已经改变了算法的核心行为。这就像在糕点配方中将白糖替换为红糖，外人可能注意不到，但最终产品的味道和特性会发生明显变化。

为了确保生成的不一致案例具有真实性，研究团队制定了严格的标准。每个修改都必须满足几个关键条件：首先，修改必须是"小而精"的，只能影响少数几行代码或一个短函数，但不能是大规模的重构。其次，修改必须与论文中描述的核心科学思想直接相关，不能是无关紧要的技术细节。第三，修改不能是明显的程序错误或bug，因为这种错误通过代码审查就能发现，不需要对比论文。最后，修改后的代码不能包含暴露修改痕迹的注释或明显标记。

这个生成过程产生了530个人工制造的不一致案例，覆盖了计算机科学之外的多个学科领域，包括电气工程、物理学、统计学、定量生物学和数学。这种多学科覆盖就像建立了一个包含各种菜系的"错误菜谱"数据库，每种菜系都有其特定的易错点和质量标准。

研究团队还对这些人工案例进行了细致的分析，发现它们在复杂性和多样性方面与真实案例高度相似。大多数修改只涉及单个文件，平均添加2.31行代码，删除3.17行代码，修改的代码片段数量很少。这些数字表明，生成的不一致案例确实遵循了"小而精"的设计原则。

更重要的是，通过计算修改前后代码的相似性，研究团队发现整体代码块的相似性高达74%，而仅针对修改部分的相似性为50%。这意味着修改确实是对现有代码的细微调整，而不是完全重写，这正是现实中论文-代码不一致问题的典型特征。

这种人工生成的方法不仅大大扩展了数据集的规模，更重要的是它能够持续产生新的、未被现有AI模型见过的案例。这就像拥有了一个永不枯竭的"质检题库"，可以不断用来测试和改进自动化检测工具的性能，确保它们能够应对各种新出现的不一致问题。

三、数据集的丰富内涵解析

SCICOQA数据集就像一个精心策划的博物馆展览，每个案例都有其独特的故事和教育意义。研究团队对这611个论文-代码不一致案例进行了深入的分类和分析，揭示了科研过程中这类问题的复杂面貌和内在规律。

从学科分布来看，这个数据集呈现出有趣的多样性特征。真实案例主要集中在计算机科学领域，特别是人工智能及其子领域如机器学习、计算机视觉和自然语言处理。这种分布反映了这些快速发展的领域中代码复现的重要性和挑战性。而人工生成的案例则更加均匀地分布在各个计算科学领域，包括电气工程与系统科学、物理学、统计学、定量生物学和数学，就像在各个学科的花园中都种下了"检测种子"。

按照不一致类型来分析，数据集展现了三种主要的问题模式。"差异型"不一致是最常见的，占真实案例的53%，人工案例的80%。这类问题就像厨师明明按照食谱做菜，但在关键环节使用了不同的方法或材料。比如论文声称使用批量归一化，但代码实际实现的是层归一化，虽然都是归一化技术，但效果和适用场景完全不同。

"论文遗漏型"问题在真实案例中也比较常见，这类情况下代码包含了论文中没有提及的重要组件。这就像一道菜的实际制作过程中有一个关键的调味步骤，但食谱里完全没有记录。一个典型例子是论文描述了一个简单的三层神经网络，但代码中默认启用了dropout和批量归一化等正则化技术，这些技术对模型性能有重要影响，但论文中只字未提。

"代码遗漏型"问题相对较少，但同样重要。这种情况下，论文详细描述了某个方法或步骤，但代码实现中却遗漏了相关功能。这就像食谱上明明写着要加胡椒粉调味，但厨师在实际操作中忘记了这一步。

从影响的具体技术层面来看，研究团队定义了六个主要类别。算法类别的不一致涉及核心逻辑、操作步骤或处理流程的差异，是最常见的问题类型，在真实数据和人工数据中都占据重要比例。模型类别的不一致涉及神经网络架构或参数初始化的差异，在人工案例中特别常见。损失函数类别的不一致在真实案例中占据很大比例，反映了这个看似简单但实际上至关重要的组件经常出现描述与实现不符的问题。

评估类别的不一致涉及模型评估方法、指标计算或评估脚本的差异。数据类别的不一致涉及数据集使用、预处理、增强或过滤方面的差异。训练类别的不一致涉及学习过程、调度策略或优化方法的差异。每种类别都有其特定的常见问题模式和检测难点。

从数据规模的角度来看，SCICOQA数据集在挑战性方面表现突出。论文的中位数长度为14350个词汇标记，代码库为38978个标记，合并后的总长度中位数达到57008个标记。更令人印象深刻的是，266个论文中有70个在与代码合并后超过了100000个标记的长度。这种超长输入对现有AI模型的长上下文处理能力提出了严峻挑战，就像要求一个阅读者同时记住一本厚厚的教科书和一套复杂的操作手册，然后找出两者之间的细微差异。

编程语言分布方面，Python在真实数据中占绝对主导地位，这反映了机器学习和人工智能领域对Python的偏好。除了Python，数据集还包含C/C++、MATLAB、CUDA、Java、Scala、Julia、R等多种编程语言的代码，为检测工具的跨语言适应性提供了测试平台。

论文发表时间的分布也很有意义，从2020年到2025年的案例都有包含，其中2025年的案例特别值得关注，因为这些案例可以被视为"未受污染"的测试数据，不太可能出现在现有AI模型的训练数据中。这就像拥有了一批"全新题目"来测试学生的真实水平，而不是让他们做练习过的习题。

这种全面而深入的数据分析不仅展示了SCICOQA数据集的丰富性和代表性，更重要的是为理解和解决科研中的论文-代码不一致问题提供了重要洞察。每个维度的分析都像显微镜下的不同视角，帮助我们更清楚地看到问题的全貌和复杂性。

四、AI模型的"质检员"考试成绩单

当SCICOQA数据集准备就绪后，研究团队面临的下一个关键问题是：现有的人工智能模型能够胜任这种复杂的质量检测任务吗？为了回答这个问题，他们设计了一场规模庞大的"AI质检员考试"，测试了21个不同的大语言模型，包括商业模型和开源模型、推理特化模型、指令调优模型以及代码专用模型等各种类型。

这场考试的设计颇为巧妙。研究团队将论文和代码同时提供给AI模型，要求它们找出两者之间的不一致之处。这就像让一个质检员同时检查产品说明书和实际产品，找出所有不匹配的地方。模型需要仔细阅读可能长达数万字的论文，理解复杂的科学概念，然后分析包含数千行代码的程序，最后识别出隐藏在其中的细微差异。

为了确保评估的准确性，研究团队采用了一个有趣的评估方法。他们使用另一个AI模型（GPT-OSS 20B）作为"评判员"，来判断被测试模型的回答是否正确。这种做法就像请一位经验丰富的老师来批改学生的考试答卷。为了验证这种评估方法的可靠性，研究团队还进行了人工标注验证，结果显示AI评判员与人类专家的一致性达到了87.5%，证明了评估方法的有效性。

考试成绩揭示了一个令人深思的现实：即使是最先进的AI模型，在这项任务上的表现也远非完美。排名第一的GPT-5模型在真实案例上的召回率只有45.7%，这意味着它只能找出不到一半的真实问题。虽然在人工生成的案例上表现更好，达到了70.4%的召回率，但整体水平仍然有很大改进空间。

这种表现就像一个刚毕业的质检员，虽然经过了严格训练，但面对复杂的实际情况时仍然会遗漏许多问题。其他模型的表现更是参差不齐，大多数开源模型的召回率都在30%以下，这意味着它们会遗漏超过70%的真实问题。

更有意思的是，研究团队发现了一个强烈的相关性：模型在真实案例和人工案例上的表现高度相关（相关系数高达0.94）。这个发现证实了人工生成案例的有效性，它们确实能够作为真实问题的可靠替代品来测试和改进AI模型。

从不同类型的不一致来看，AI模型表现出明显的偏好和弱点。"代码遗漏型"问题最容易被发现，因为这类问题有明确的论文描述作为参考标准。"差异型"问题的检测难度适中，因为模型可以直接比较论文描述和代码实现的不同。但"论文遗漏型"问题最具挑战性，因为模型需要判断代码中的额外功能是否属于合理的工程实践，还是应该在论文中明确提及的重要组件。

数据来源也影响了检测难度。来自GitHub问题的不一致案例相对容易检测，因为这些问题通常比较直接明显，主要包含差异型（68%）和代码遗漏型（21.6%）问题。而来自复现研究的案例则更加困难，因为其中50%属于论文遗漏型问题，需要更深入的领域知识和判断力。

输入长度对模型性能的影响也很显著。研究团队将数据按照输入长度分为五个等级，发现了一个一致的模式：输入越长，模型表现越差。这种现象就像让一个人在越来越嘈杂的环境中寻找特定的声音，干扰信息的增加会显著影响准确性。对于超过130K标记的超长输入，即使是最好的模型性能也会明显下降。

论文发表年份的分析揭示了一个关键问题：数据污染的影响。大多数模型在处理2025年发表的"新鲜"论文时表现明显下降，这说明它们在训练过程中可能已经"见过"较早的论文和代码，从而获得了不公平的优势。只有训练数据截止到2025年1月的Gemini 2.5系列模型在最新数据上保持了相对稳定的性能。

为了进一步验证任务的多模态特性，研究团队还进行了一个有趣的对照实验：只提供代码而不提供论文，看模型能否仅凭代码检测出问题。结果显示，所有模型的性能都显著下降，平均下降了19.4个百分点。这证明了论文信息对于检测不一致问题的重要性，也验证了这确实是一个需要跨模态推理的复杂任务。

在代码专用模型方面，研究团队发现了一个意外结果：GPT-5 Codex虽然在代码生成任务上表现优秀，但在这个任务上却不如通用的GPT-5和GPT-5 Mini模型。研究人员推测，这可能是因为论文-代码不一致检测不仅需要代码理解能力，更需要科学概念理解和跨模态推理能力，而这些恰恰是通用模型的强项。

这些实验结果描绘出了一幅复杂的画面：虽然现有的AI模型在许多任务上表现出色，但面对科研质量保证这样的专业挑战时，仍然存在明显的局限性。这就像训练有素的工匠面对全新的工艺挑战，需要时间学习和适应才能达到专业水准。

五、深入挖掘：模型表现的细节分析

为了更深入地理解AI模型在论文-代码不一致检测任务上的表现，研究团队进行了一系列细致的补充分析，这些分析就像用放大镜检查钟表的每个齿轮，揭示了许多有趣的细节和规律。

编程语言对模型性能的影响呈现出令人惊讶的模式。虽然Python在数据集中占绝对主导地位，但模型在不同编程语言上的表现差异很大。最有趣的发现是MATLAB成为了一个"正面异常值"，顶级模型如GPT-5和GPT-5 Mini在MATLAB代码上的召回率达到了90%，显著高于它们在Python上的表现。研究人员推测，这可能是因为MATLAB的数学语法与科学论文中的数学表达更加接近，使得模型更容易发现两者之间的对应关系和差异。

相比之下，系统级编程语言如C/C++和CUDA的检测效果普遍较差且不稳定。这种现象就像让一个习惯了阅读文学作品的读者去检查技术手册，不同类型的"文本"需要不同的理解方式。Python作为一种高级语言，其语法更接近自然语言，而C/C++等底层语言的抽象程度较低，需要更多的技术背景知识才能准确理解。

在非Python语言的表现方面，不同模型展现出了明显的稳健性差异。Gemini 2.5 Pro和Flash模型在非Python语言上的性能下降最为严重，分别下降了10.2%和11.6%。而GPT-5或GPT-OSS 20B等模型则表现出更好的跨语言适应性，性能差异较小。这种差异就像不同的翻译员对方言的适应能力不同，有些人只擅长标准语言，而有些人能够灵活应对各种变体。

为了验证模型回答的准确性，研究团队还进行了一次详细的精确度分析。他们选择了12篇自然语言处理领域的论文，分析了GPT-5、Gemini 2.5 Pro和GPT-OSS 20B三个顶级模型产生的所有预测结果，包括那些没有匹配到标准答案的预测。这个过程就像仔细检查学生考试中的每一个答案，不仅看对错，还要分析错误的原因。

分析结果显示，Gemini 2.5 Pro表现出了最高的精确度，达到92.9%，其错误主要来自OCR处理过程中的遗漏和论文中的模糊表述。GPT-5的精确度为81.4%，主要错误源于对论文内容的误解或对第三方库函数功能的错误假设。GPT-OSS 20B的精确度最低，为67.2%，经常出现代码逻辑理解错误，比如无法正确对应论文和代码中使用不同名称的相同变量，或者误解条件执行路径。

更有价值的发现是，这些模型识别出了许多原始标注中遗漏的真实不一致问题。当研究团队将原始标注与模型发现的有效问题合并后，得到了67个不同的论文-代码不一致案例，比原始标注多出了许多。这说明即使表现最好的模型，其召回率仍然有限（43%-60%），但它们确实能够发现人类专家可能遗漏的问题。

上下文长度分析揭示了另一个重要模式。研究团队发现，模型在处理不同学科领域时的表现差异，部分可以用输入长度来解释。计算机科学领域的代码仓库通常比其他学科更大更复杂，中位数长度为50K标记，而非计算机科学领域的代码库中位数只有28K标记。这种差异就像在不同规模的图书馆中查找特定信息，馆藏越丰富，查找难度往往越大。

发表年份分析进一步证实了数据污染问题的严重性。除了训练数据截止较晚的Gemini 2.5系列，几乎所有模型在处理2025年发表的论文时性能都显著下降。这种现象就像学生在面对练习册中的熟悉题目和全新考题时的表现差异。这一发现强调了持续更新测试数据集的重要性，以确保模型评估的公正性。

仅代码输入的对比实验揭示了任务的真正复杂性。当移除论文信息后，所有模型的性能都大幅下降，真实数据上平均下降19.4个百分点，合成数据上下降15.1个百分点。有趣的是，合成数据上的性能下降相对较小，这可能是因为合成案例的生成过程使得某些模式可以仅从代码中识别出来。

这种全方位的性能分析描绘出了一幅细致入微的画面：现有AI模型虽然在许多任务上表现出色，但在论文-代码不一致检测这样的专业任务上仍然面临多维度的挑战。不同的编程语言、输入长度、发表时间、数据来源都会影响模型的表现，这些发现为未来改进模型性能提供了重要的方向指引。

结论

说到底，SCICOQA数据集的诞生标志着科学研究质量保证进入了一个新的阶段。这项研究就像为科研界配备了一面"照妖镜"，能够照出那些隐藏在表面一致性背后的真实问题。虽然目前最先进的AI模型只能发现不到一半的真实不一致问题，但这个数据集为改进和发展更强大的自动化质量检测工具奠定了坚实基础。

这个"错误博物馆"不仅收录了来自真实科研环境的611个珍贵案例，更重要的是它建立了一套完整的问题分类体系和评估标准。从GitHub问题报告中挖掘的用户抱怨，到专业复现研究中发现的深层次问题，再到人工智能生成的多样化测试案例，每一个组成部分都像拼图的一块，共同构成了完整的质量检测挑战图景。

当前AI模型在这项任务上的表现就像刚毕业的质检实习生，虽然经过了大量训练，但面对复杂的实际情况时仍然显得力不从心。特别是那些需要深度专业判断的"论文遗漏型"问题，以及超长文档中的细微差异检测，都暴露了现有技术的局限性。然而，这些局限性也指明了未来发展的方向。

研究结果的意义远超过一个简单的性能评估。SCICOQA数据集揭示了科学研究中一个普遍存在却长期被忽视的问题：论文描述与实际实现之间的不一致可能比我们想象的更加普遍和复杂。这种不一致不仅影响研究的可复现性，更可能导致科学结论的偏差和误导。

随着人工智能开始承担越来越多的科研任务，从文献综述到实验设计，从代码生成到论文撰写，确保AI系统产出的一致性和可靠性变得至关重要。SCICOQA提供的基准测试就像为这些"AI科学家"设立了一道必须通过的质量关卡。

数据集的跨学科特性也意味着它的价值不仅限于计算机科学领域。物理学、生物学、数学等各个学科都可能面临类似的论文-代码不一致问题，而这个数据集为开发通用的质量检测工具提供了宝贵的训练材料。

展望未来，SCICOQA数据集可能会催生新一代的科研辅助工具。这些工具不仅能够帮助研究人员在论文发表前自查问题，还能够协助同行评议过程，减轻审稿人的工作负担，提高科研质量。更长远来看，它们可能成为科研诚信体系的重要组成部分，就像学术不端检测系统一样，为维护科学研究的质量和可信度发挥重要作用。

当然，这项研究也提醒我们，完全依赖自动化工具进行质量检测仍然为时过早。目前最好的模型尚不能替代人类专家的判断，而应该作为辅助工具来提高检测效率和准确性。真正的解决方案可能需要将AI能力与人类专业知识相结合，形成人机协作的质量保证体系。

SCICOQA数据集的开放发布也体现了开放科学的重要理念。通过将这个宝贵的资源免费提供给全球研究社区，研究团队为推动整个领域的发展做出了重要贡献。这种做法就像在科研界播下了改进种子，期待在世界各地开花结果，最终惠及整个科学研究生态系统。

归根结底，这项研究提醒我们，在追求科学发现的道路上，保持严谨和诚实永远是最重要的品质。无论技术如何进步，确保研究结果的真实性和可靠性都应该是每一位科研工作者的基本职责。SCICOQA数据集为我们提供了更好的工具来履行这一职责，但真正的改变还需要整个科研社区的共同努力。

Q&A

Q1：SCICOQA数据集包含什么内容？

A：SCICOQA是专门检测科学论文与对应代码不一致问题的数据集，包含611个案例，其中81个来自GitHub问题报告和科研复现论文的真实案例，530个通过AI生成的人工案例。数据集覆盖计算机科学、物理学、生物学、数学等多个学科领域，每个案例都标注了不一致的具体类型和影响范围。

Q2：现在的AI模型能准确检测论文代码不一致问题吗？

A：目前还不能。研究测试了21个先进AI模型，表现最好的GPT-5在真实案例上的召回率只有45.7%，意味着超过一半的问题会被遗漏。其他模型表现更差，大多数开源模型召回率不到30%。因此现阶段AI模型只能作为辅助工具，不能完全替代人类专家的判断。

Q3：为什么论文和代码会出现不一致问题？

A：主要有三种原因：一是作者在写论文时为了简洁清晰而省略了一些实现细节，二是在代码开发过程中进行了改进但没有同步更新论文，三是论文作者和代码实现者不是同一人造成的沟通偏差。这些不一致虽然看似微小，但可能严重影响研究结果的可复现性和科学结论的准确性。