阿布扎比研究院突破：识别大模型JavaScript代码特征

这项由阿布扎比科技创新研究院的诺贝特·提汉伊领导的国际研究团队完成，研究发表于2025年10月，论文编号为arXiv:2510.10493v1。团队成员来自阿布扎比科技创新研究院、阿联酋大学、匈牙利布达佩斯罗兰大学以及挪威奥斯陆大学。对这项研究感兴趣的读者可以通过该论文编号查询完整研究内容。

当你看到一段JavaScript代码时，你能猜出它是哪个AI写的吗？这听起来像科幻小说，但阿布扎比科技创新研究院的研究团队却做到了。他们发现，就像每个人的笔迹都有独特特征一样，不同的大语言模型在编写代码时也会留下属于自己的"指纹"。

这个发现意义重大。随着AI生成的代码在软件开发中越来越普遍，识别代码作者已经不再是简单的"人类还是AI"问题，而是变成了"哪个AI写的"这样更精细的挑战。研究团队创建了一个包含25万个JavaScript程序样本的庞大数据集，涵盖了20个不同的大语言模型。更令人惊讶的是，他们开发的识别系统在区分5个不同GPT家族模型时达到了95.8%的准确率，即使代码经过混淆处理，准确率仍能保持在88%以上。

这项研究不仅是学术界的突破，更具有重要的现实意义。在网络安全领域，能够准确识别恶意代码的AI来源；在学术诚信方面，可以检测学生是否使用AI完成编程作业；在软件取证中，帮助追踪代码的真实来源。研究团队已经将完整数据集和训练工具开源，为整个研究社区提供了宝贵资源。

一、如何给AI代码做"亲子鉴定"

要理解这项研究，首先需要明白什么是代码"指纹识别"。正如法医可以通过指纹确定嫌疑人身份一样，研究团队发现每个大语言模型在编写代码时都有独特的"行文风格"。

传统的AI检测通常只能区分"人类写的"还是"AI写的"，就像只能判断一篇文章是手写还是打字。但这项研究更进一步，不仅能识别出是AI写的，还能准确说出是哪个具体的AI模型写的，就像不仅能识别是打字的，还能准确判断是用的苹果键盘还是微软键盘。

研究团队面临的挑战是巨大的。JavaScript是一种非常灵活的编程语言，同样的功能可以用无数种不同的方式实现。更复杂的是，许多大语言模型都是用相似的代码库训练的，它们的"基因"有重叠。但就像同卵双胞胎虽然DNA相似但仍有细微差别一样，研究团队发现即使是同一家族的AI模型，比如GPT-4和GPT-4的精简版，在代码编写上仍有可识别的差异。

这种差异来自哪里呢？每个AI模型在最终训练阶段都会经过独特的"个性化调教"过程。就像同一个厨师用同样的食材，但因为调料习惯不同，做出的菜品味道会有细微差别。GPT-4可能更喜欢使用某种特定的函数命名方式，而Claude则倾向于使用不同的代码结构组织逻辑。这些看似微不足道的差异，在大量样本中会形成明显的模式。

二、构建史上最大JavaScript"DNA数据库"

为了训练能够识别不同AI的"侦探系统"，研究团队首先需要收集大量的"证据"。他们设计了250个复杂的后端Node.js编程任务，这些任务涵盖了真实软件开发中的各种场景，从创建JWT验证服务到构建URL缩短器，每个任务都包含数十个子功能。

这就像要训练一个能识别不同画家风格的AI系统，你需要收集大量不同画家的作品作为训练素材。研究团队让每个AI模型针对同一个任务编写10个不同版本的解决方案，最终收集了5万个原始JavaScript程序。

但故事还没结束。为了测试识别系统在各种"伪装"情况下的表现，研究团队对每个代码样本进行了多种变换处理。他们创建了压缩版本（去掉所有空格和注释，就像把一本书压缩成电报）、混淆版本（把变量名都改成无意义的字母组合，就像用暗号重写代码）、以及去混淆版本（尝试恢复被混淆代码的可读性）。

经过这些处理，原本的5万个代码样本扩展到了25万个，形成了迄今为止最大规模的AI生成JavaScript代码数据集。这个数据集不仅规模庞大，质量也很高——每个代码样本都经过了语法检查，确保能够正常运行。

研究团队还贴心地提供了两种额外的代码表示形式：抽象语法树（AST）和JavaScript中间表示（JSIR）。如果把普通代码比作一篇文章，那么AST就像是文章的大纲结构图，而JSIR则像是文章的逻辑流程图。这些不同的表示方式帮助研究人员从多个角度分析代码特征。

三、三种"侦探"方法的较量

有了丰富的数据，接下来就是训练能够识别不同AI"指纹"的系统。研究团队尝试了三大类方法，就像派出三组不同专长的侦探来破案。

第一组是传统机器学习"侦探"，包括随机森林、XGBoost、逻辑回归等经典算法。这些算法就像经验丰富的老侦探，虽然方法传统，但胜在快速高效。他们先将代码转换成数字特征向量（就像把指纹转换成特征点坐标），然后根据这些特征进行分类判断。这类方法的优点是训练速度快，结果容易解释，但在处理复杂模式时略显吃力。

第二组是基于Transformer的"新生代侦探"，包括BERT、CodeBERT和Longformer等深度学习模型。这些模型就像拥有超强记忆力和模式识别能力的年轻侦探，能够理解代码的上下文关系和深层语义。CodeBERT专门针对代码进行了预训练，就像一个专门研究代码的语言学家，对编程语言的"语法"和"习语"有深入理解。

第三组是研究团队的"王牌侦探"——定制版CodeT5-JSA。这个模型基于77万参数的CodeT5模型改进而来，研究团队移除了原本用于代码生成的解码器部分，专门强化了分类识别能力。就像给一个多面手侦探进行专业化训练，让他专门负责身份识别工作。

在实际测试中，这三组侦探的表现差异明显。传统机器学习方法虽然速度快，但准确率相对较低，在20类识别任务中只能达到75%左右的准确率。基于Transformer的方法表现更好，其中CodeBERT在20类任务中达到了85%的准确率。而定制版CodeT5-JSA表现最为出色，在5类识别中达到95.8%的准确率，20类识别也能保持88.5%的高准确率。

四、即使"化妆"也难逃法眼

最令人惊讶的发现是，即使代码经过各种"伪装"处理，识别系统仍能保持较高的准确率。研究团队测试了几种常见的代码变换：压缩处理（去掉空格和注释）、标识符混淆（把有意义的变量名改成随机字母）、以及复杂的代码混淆技术。

结果表明，这些表面的"化妆术"并不能有效掩盖AI模型的内在特征。在压缩代码上，识别准确率只下降了约4%；在混淆代码上，准确率下降约2%；即使是经过复杂混淆的代码，准确率仍能保持在85%以上。

这个现象就像指纹识别一样——即使你戴上手套或者涂抹护手霜，指纹的基本纹理特征仍然存在。代码的表面特征（如变量命名、注释风格）可能会改变，但深层的结构模式（如逻辑组织方式、控制流结构、数据处理习惯）很难完全消除。

研究团队进一步分析发现，不同AI模型的差异主要体现在三个方面：语法匹配（代码的结构相似性）、数据流匹配（变量依赖关系的相似性）、以及词汇匹配（标识符和关键字的使用习惯）。其中，数据流匹配提供了最强的区分信号，这说明不同AI在处理数据依赖关系时有着根本性的差异。

有趣的是，即使是同一家族的AI模型（比如GPT-4和GPT-4 mini），它们在代码风格上仍然存在可识别的差异。研究团队分析认为，这可能源于不同模型在最终训练阶段使用了不同的数据集和调优策略。

五、从5个到20个：规模化识别的挑战

研究团队系统测试了不同规模识别任务的难度。从区分5个不同家族的AI模型，到区分同一家族内的5个模型，再到同时区分10个甚至20个不同模型，每一步都是新的挑战。

在最简单的5类不同家族识别任务中（比如区分GPT、Claude、Gemini等），BERT就能达到97.9%的准确率。这就像区分不同国家的菜系风格，意大利菜和中餐的差异非常明显。

但当任务变成区分同一家族内的不同模型时，难度显著增加。比如区分GPT-4、GPT-4o、GPT-4o-mini这些"近亲"模型，准确率下降到90.2%。这就像要区分同一地区不同师傅做的川菜，虽然都是川菜，但每个师傅的手法仍有细微差别。

当识别范围扩大到10个模型时，最佳系统仍能保持94.6%的准确率。而在最具挑战性的20类识别任务中，CodeT5-JSA仍然达到了88.5%的准确率，这个表现超越了所有传统方法和其他深度学习模型。

研究团队通过混淆矩阵分析发现，错误识别主要发生在关系最密切的模型之间。比如GPT-4o和GPT-4o-mini之间的误判率相对较高，而结构差异较大的模型之间很少发生误判。这符合直觉——越相似的东西越难区分。

六、揭秘AI代码的"深层密码"

为了理解识别系统究竟抓住了什么特征，研究团队进行了深入的相似性分析。他们使用CodeBLEU评分系统，从三个维度分析代码相似性：词汇匹配（表面特征）、语法匹配（结构特征）、和数据流匹配（语义特征）。

结果显示，数据流相似性提供了最强的区分信号。同一模型生成的代码在数据处理和变量依赖关系上高度相似（中位数相似度0.40），而不同模型之间的差异显著（中位数相似度0.19）。这个0.21的差异看似不大，但在大量样本中足以形成稳定的识别模式。

这个发现颠覆了人们对代码风格的传统认知。过去，研究者往往关注表面特征，比如变量命名习惯、缩进风格、注释方式等。但这项研究证明，真正的"指纹"隐藏在更深层的逻辑结构中——AI模型如何组织数据流、如何处理变量依赖、如何构建控制流程。

这就像音乐识别一样。虽然同一首歌可以用不同乐器演奏、不同音调演唱，但其基本的旋律结构和节奏模式是不变的。同样，虽然代码的表面形式可以改变，但其内在的逻辑组织方式却带着AI模型训练的"烙印"。

语法相似性的区分能力相对较弱，这并不是因为它不重要，而是因为结构模式在不同任务间相对稳定。所有AI模型都需要遵循JavaScript的基本语法规则，所以在这个维度上的差异相对较小。

七、验证系统的可靠性

为了确保研究结果的可靠性，研究团队设计了一个巧妙的交叉验证实验。他们的训练数据全部来自OpenRouter.ai平台，为了排除平台本身可能添加的"水印"或特殊标记，他们专门创建了一个包含500个全新任务的测试集，这些代码直接从OpenAI官方API获取，与训练数据完全独立。

在这个"盲测"中，训练好的识别系统仍然保持了高准确率，准确率仅下降1-2%。这个结果证实了系统识别的确实是AI模型本身的特征，而不是数据来源平台的特殊标记。

这个验证过程就像药物临床试验的双盲测试。如果一个药物只在特定实验室条件下有效，那它的实用价值就会大打折扣。同样，如果识别系统只对特定来源的代码有效，那它在真实应用中就会遇到困难。这项测试证明了系统的泛化能力。

研究团队还测试了代码长度分布的影响。他们发现，大部分代码样本的长度在合理范围内（75%的样本少于1024个token），这意味着现有的模型架构能够有效处理大部分真实场景。对于极长的代码，系统性能会有所下降，但仍在可接受范围内。

八、技术细节与创新点

在技术实现上，研究团队做出了几个关键的创新。首先是对CodeT5模型的改进。原始的CodeT5是一个编码器-解码器结构，既能理解代码也能生成代码。研究团队移除了解码器部分，专门强化编码器的分类能力，就像把一个多功能工具改造成专业的精密仪器。

分类头的设计也经过了精心优化。在简单的5类识别任务中，使用线性层→GELU激活→Dropout→线性层的结构就足够了。但在更复杂的10类和20类任务中，研究团队发现这种结构的性能开始下降。经过大量实验，他们发现使用Dropout→线性层→Tanh激活→Dropout→线性层的新结构，在20类去混淆任务中将准确率从72%提升到了79.94%。

计算资源的优化也值得关注。完整的32位浮点训练需要958分钟，但切换到16位bfloat16格式后，训练时间缩短到111分钟，准确率只下降1-3%。这种优化使得研究方法更具实用性，降低了复制研究的门槛。

在数据预处理上，研究团队使用了TF-IDF向量化，词汇表限制在400个最重要的词汇。这种做法既保证了计算效率，又确保了重要特征不会被噪音掩盖。批处理大小和梯度累积策略也根据不同模型的内存需求进行了优化。

九、现实应用与社会影响

这项研究的现实意义远超学术价值。在网络安全领域，当发现恶意代码时，能够识别其AI来源有助于追踪攻击者的工具选择和技术水平。不同的AI模型可能有不同的安全漏洞模式，识别模型来源有助于预测潜在的攻击向量。

在教育领域，随着AI工具在编程教学中的普及，区分学生原创代码和AI辅助代码变得越来越重要。传统的查重系统主要针对人类作品，对AI生成内容的识别能力有限。这项研究提供的技术可以帮助教育者更好地评估学生的真实编程能力。

在软件开发行业，代码来源的识别对知识产权保护具有重要意义。当AI生成的代码在商业项目中使用时，了解其具体来源有助于评估潜在的法律风险和许可证合规性。

但这项技术也带来了一些伦理考虑。过度的代码监控可能会影响开发者的创作自由，如何在技术能力和隐私保护之间找到平衡是一个需要深入思考的问题。研究团队在论文中也提到了这些担忧，呼吁在应用这项技术时需要制定相应的伦理准则。

随着AI技术的快速发展，模型的"指纹"特征可能会发生变化。研究团队指出，未来需要持续更新识别系统，以适应AI模型的进化。同时，也可能出现专门设计的"反识别"技术，试图模糊或伪造AI模型的特征签名。

十、开源贡献与研究影响

研究团队的开源贡献是这项工作的另一个重要价值。他们不仅公开了包含25万代码样本的LLM-NodeJS数据集，还提供了完整的训练脚本和Google Colab笔记本，让其他研究者可以轻松复现和扩展这项工作。

数据集的多样性使其不仅适用于代码归属研究，还可以支持其他相关研究，比如代码质量评估、AI生成代码的安全性分析、不同AI模型的编程能力比较等。AST和JSIR表示形式的提供进一步扩展了数据集的应用范围。

这种开放的研究态度在AI领域尤为可贵。许多重要的AI研究受限于数据和计算资源的限制，难以被广泛复现和验证。这项研究的开源发布降低了后续研究的门槛，有可能催生更多相关的研究工作。

研究团队还提供了详细的实验复现指南，包括硬件配置建议、超参数设置、以及常见问题的解决方案。这种细致的文档工作体现了严谨的科学态度，有助于确保研究结果的可重复性。

说到底，这项来自阿布扎比科技创新研究院的研究为我们揭示了AI代码世界的一个重要秘密：每个AI模型都有自己独特的"数字指纹"。这个发现不仅在技术上具有突破性，更在实践中具有广泛的应用前景。从网络安全到教育评估，从知识产权保护到软件取证，这项技术都可能发挥重要作用。

研究结果表明，即使AI模型使用相似的训练数据，它们在代码生成上仍保持着独特的风格特征。更令人惊讶的是，这些特征即使在代码经过混淆处理后仍然可以被识别出来，说明AI的"个性"深深烙印在其逻辑思维方式中，而不仅仅是表面的编码习惯。

这项研究还揭示了一个有趣的现象：随着AI技术的发展，我们面临的问题已经从"这是不是AI写的"演变成了"这是哪个AI写的"。这种变化反映了AI技术的成熟和多样化，也预示着未来我们需要更精细的工具来管理和理解AI生成的内容。

研究团队的开源贡献使得这项技术能够被广泛应用和改进，这对整个AI研究社区来说都是宝贵的资源。随着越来越多的代码由AI生成，这种识别技术将在维护代码质量、确保学术诚信、保护知识产权等方面发挥越来越重要的作用。

当然，这项技术也提醒我们需要思考AI时代的新伦理问题：如何在技术监管和创作自由之间找到平衡，如何确保这种强大的识别能力不被滥用。这些问题的答案需要技术专家、政策制定者和社会各界的共同探索。

对于想要深入了解这项研究的读者，可以通过论文编号arXiv:2510.10493v1查阅完整的研究报告，其中包含了详细的技术实现、实验数据和分析结果。

Q&A

Q1：大语言模型生成的JavaScript代码真的有独特指纹吗？

A：是的，研究发现每个大语言模型在编写JavaScript代码时都会留下独特的"指纹"特征。这些特征不仅体现在表面的编码风格上，更深层地反映在代码的逻辑结构、数据流组织和控制流程中。即使是同一家族的模型（如GPT-4和GPT-4 mini）也存在可识别的差异，研究团队的识别系统在5类识别中达到了95.8%的准确率。

Q2：代码混淆或压缩后还能识别出AI模型来源吗？

A：可以，这是研究中最令人惊讶的发现之一。即使代码经过压缩（去除空格和注释）、标识符混淆（改变变量名）或复杂混淆处理，识别准确率仍能保持在85%以上。这说明AI模型的特征主要存在于深层的逻辑结构中，而不是表面的命名习惯或格式风格，这些深层特征很难通过简单的代码变换完全消除。

Q3：这项代码归属识别技术有什么实际用途？

A：这项技术在多个领域都有重要应用价值。在网络安全方面，可以帮助识别恶意代码的AI来源，追踪攻击者工具；在教育领域，可以检测学生作业中的AI辅助痕迹，维护学术诚信；在软件开发中，有助于知识产权保护和许可证合规性评估；在法律取证中，可以为代码来源提供技术证据。研究团队已将完整数据集和工具开源，便于实际应用和进一步研究。