网易首页 > 网易号 > 正文 申请入驻

刚刚,AI科学家Zochi在ACL「博士毕业」,Beta测试今日上线

0
分享至

机器之心报道

编辑:+0

又有一个 AI Scientist 的论文通过了顶会同行评审。

今天,Intology 宣布他们的 AI 科学家 Zochi 的论文被顶会 ACL 主会录用,成为首个独立通过 A* 级别科学会议同行评审的人工智能系统 ,同时开放了 Zochi 的 Beta 测试。

Beta 注册地址:https://docs.google.com/forms/d/e/1FAIpQLSeOMmImoaOchxihSkcBUNQIT65wq62aiHq8wfnyrK0ov4kTOg/viewform

近几个月来,多个团队已证明了人工智能在研讨会级别的会议上能做出贡献,此前 Sakana 的 AI Scientist-v2 就以均分 6.25 通过了 ICLR 会议一个研讨会的同行评审,详见机器之心报道《AI 写的论文能过审?双盲评审 6.25 分,达到 ICLR 研讨会水平》。

但论文被顶级科学会议的主会议录用,则意味着跨越了一个高得多的门槛。

提交给 ICLR 2025 的研讨会论文录用率约为 60-70%,而像 ACL(以及 NeurIPS、ICML、ICLR、CVPR 等)这样的顶级会议的主会议录用率仅为 20% 左右。 ACL 是全球自然语言处理 (NLP) 领域排名第一的科学会议,在全球所有科学会议中排名前 40。

此类顶级会议主会议的同行评审过程旨在进行高度筛选,对新颖性、技术深度和实验严谨性都有着极为严格的标准。大多数计算机科学领域的博士生需要花费数年时间才能在同等声望的会议上发表论文。

这使得 Zochi 成为首个达到博士级别的智能体:人工智能系统首次独立完成了科学发现,并将其发表在与该领域顶尖研究人员相当的水平上。

Tempest:基于树搜索的大型语言模型自主多轮「越狱」

话不多说,我们先来看看这篇论文吧。

  • 论文标题:Tempest: Automatic Multi-Turn Jailbreaking of Large Language Models with Tree Search
  • 论文地址:https://arxiv.org/pdf/2503.10619

该研究的前期版本(名称为 Siege)曾被 ICLR 研讨会接收。后续,Zochi 对其设计进行了修改,并为提交 ACL 进行了更广泛的实验。

这项研究的一个特点是其自主性程度:人类研究者仅设定了「开发新型『越狱』方法」的初始目标。Zochi 随后独立确定了多轮攻击这一具体研究方向,设计了 Tempest 方法,编写代码并进行了测试,执行了所有实验,并撰写了论文草稿。人类的参与主要限于图表创建和格式修订。

该研究从分析「越狱」相关文献开始,设计了一种基于树搜索的方法。该方法利用并行探索同时扩展多个对抗性提示分支,并集成了跨分支学习和部分合规跟踪功能。系统自主实现了 Tempest,并在多个大型语言模型上进行了评估。

评估结果显示,Tempest 在 GPT-3.5-turbo 上的成功率为 100%,在 GPT-4 上的成功率为 97%。与所比较的单轮和多轮基线方法相比,Tempest 在使用较少查询次数的情况下达到了更高的成功率。

这项工作的结果提示,语言模型的安全措施可能通过多轮对话被系统性地绕过,其中逐步的策略性互动可能导致模型产生原本被限制的输出。这些发现反映了当前安全机制中可能存在的某些不足,并为研究更有效的多轮对抗攻击防御策略提供了数据和视角。

批评风波

2025 年 3 月 18 日,Intology 宣布推出了 Zochi, 并称其为世界上第一位 「做出最先进贡献」的 AI Scientist,它的研究成果已被 ICLR 2025 研讨会接收。

Intology 官网:https://www.intology.ai/

通过标准化的自动审稿人评估,Zochi 的论文平均得分为 7.67 分,而其他由人工智能系统生成的公开论文得分在 3 到 4 分之间。

但 Intology 很快就陷入了批评风波。Sakana、Intology 和 Autoscience 都声称其使用 AI 生成的研究被 ICLR 接受,但只有 Sakana 在提交其 AI 生成的论文之前向 ICLR 领导通报了此事,并获得了同行评审者的同意。

几位 AI 学术界人士在社交媒体上批评了 Intology 和 Autoscience 的行为,认为这是对科学同行评审过程的滥用。

关于 Zochi

Zochi 是一个 AI research agent,能够自主完成从文献分析 到同行评审出版 的整个科学研究过程。该系统通过一个旨在模拟科学方法的多阶段流水线进行运作。

  • 技术报告:https://github.com/IntologyAI/Zochi/blob/main/Zochi_Technical_Report.pdf
  • 代码:https://github.com/IntologyAI/Zochi

Zochi 的工作成果

  • 通过正交知识空间实现高效模型自适应

为解决模型微调(PEFT)中的「跨技能干扰」问题,Zochi 提出了 CS-ReFT。该方法创新地通过学习「正交子空间表征」来编辑模型行为,而非修改权重。这使得 Llama-2-7B 仅用 0.0098% 的参数就实现了 93.94% 的 AlpacaEval 胜率,超越了 GPT-3.5-Turbo,并获得了同行的高度评价。

  • 通过自主多轮红队测试发现 AI 漏洞

在 AI 安全方面,Zochi 开发了 Siege 框架,利用树搜索算法进行高效的「多轮越狱」攻击。通过识别并利用 LLM 的「部分遵从」漏洞,Siege 对 GPT-3.5 和 GPT-4 实现了极高的攻击成功率(100%/97%),提示需要重新评估现有防御策略。其扩展工作已被 ACL 2025 接收。

  • 计算生物学进展(EGNN-Fusion)

Zochi 将 AI 技术应用于计算生物学,推出了 EGNN-Fusion,用于预测蛋白质 - 核酸结合位点。该方法在保持顶尖性能的同时,将参数数量锐减了 95%,证明了 Zochi 在解决复杂跨学科科学问题方面的强大实力和多功能性。

评估结果

与所有基线系统相比,Zochi 持续产出更高质量的研究论文。在使用基于 NeurIPS 会议指南的自动审稿人进行评估时,Zochi 的论文获得了 8、8 和 7 的高分,均远高于顶级机器学习会议平均录用论文 6 分的接收门槛。

相比之下,其他 AI 系统的论文得分要低得多,平均约为 4 分。考虑到每个系统处理的问题复杂性存在巨大差异,这种评估差距尤其显著。基线系统专注于相对受限的问题 —— 例如二维扩散模型、玩具规模的语言模型或特定的认知偏差 —— 而 Zochi 则致力于解决开放式挑战,提出新颖且可验证的最先进方法。

作为一项探索性练习,Zochi 在 MLE-Bench 的部分基于 Kaggle 的挑战上进行了评估,以考察其在传统机器学习工程任务上的表现。在没有任何任务特定优化的情况下,Zochi 达到了最先进水平,在 80% 的任务上超过了人类表现中位数,并在 50% 的任务中获得奖牌。这些成果超过了之前的基准测试,如 Agent Laboratory、AIDE 和 OpenHands,进一步突显了 Zochi 核心能力的稳健性和适应性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

麓谷隐士
2026-11-18 00:05:04
猪肝再次被关注!研究发现:糖尿病人吃猪肝,不过多久或有5改善

猪肝再次被关注!研究发现:糖尿病人吃猪肝,不过多久或有5改善

汪医生健康百科
2026-11-17 21:00:06
华为员工:我的人生很失败,赚了1000多万,买房赔了;孩子成绩全班倒数;媳妇每天不停的抱怨……

华为员工:我的人生很失败,赚了1000多万,买房赔了;孩子成绩全班倒数;媳妇每天不停的抱怨……

LULU生活家
2026-07-21 21:01:36
四大一线集体狂飙!中国城市的大洗牌来了

四大一线集体狂飙!中国城市的大洗牌来了

时尚的弄潮
2026-11-18 05:08:14
越南公安部副部长的女儿,在网上肆无忌惮晒奢侈生活,老百姓拿她没办法,这是人家的合法收入

越南公安部副部长的女儿,在网上肆无忌惮晒奢侈生活,老百姓拿她没办法,这是人家的合法收入

怪味历史连连看
2026-11-16 12:21:28
俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

环球网资讯
2026-11-18 11:06:11
日方明显低估了事情的严重性!日方原以为,中国作为APEC东道主,总要给峰会留几分余地。可现实是,会议临近,中方并没有释放关系缓和信号

日方明显低估了事情的严重性!日方原以为,中国作为APEC东道主,总要给峰会留几分余地。可现实是,会议临近,中方并没有释放关系缓和信号

扶苏聊历史
2026-11-17 17:17:29
法媒:齐达内仅给扎伊尔-埃梅里8分钟出场,巴黎方面不愿评价

法媒:齐达内仅给扎伊尔-埃梅里8分钟出场,巴黎方面不愿评价

懂球帝
2026-11-19 01:43:09
巨亏百亿!小米汽车销量“赢麻了”,生意咋亏麻了?

巨亏百亿!小米汽车销量“赢麻了”,生意咋亏麻了?

大厂财经社
2026-11-16 11:14:16
发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

疯狂的小历史
2026-11-17 11:55:25
毛主席两次为刘胡兰题词,却一直婉拒为董存瑞题词,坦言:我给董存瑞题词,实在是不合适

毛主席两次为刘胡兰题词,却一直婉拒为董存瑞题词,坦言:我给董存瑞题词,实在是不合适

磊子讲史
2026-11-13 11:18:46
外交冷场!特朗普访亚,各国笑脸之下,已经不再怕他的威胁

外交冷场!特朗普访亚,各国笑脸之下,已经不再怕他的威胁

老马拉车莫少装
2026-11-18 23:41:49
北京一高校书记被举报受贿360万元,涉嫌帮商人之子违规入学

北京一高校书记被举报受贿360万元,涉嫌帮商人之子违规入学

法治边角料
2026-11-18 16:39:01
57岁王菲被曝分房睡传闻后,谢霆锋身份变了,和张柏芝拉开差距

57岁王菲被曝分房睡传闻后,谢霆锋身份变了,和张柏芝拉开差距

晓焎科普
2026-11-17 20:23:32
欠债166亿!英皇官宣谢霆锋容祖儿新身份,进董事局,这事不简单

欠债166亿!英皇官宣谢霆锋容祖儿新身份,进董事局,这事不简单

小椰的奶奶
2026-11-18 04:54:53
45岁仍拍三级片,败光两任亿万家产,62岁坦言后悔嫁给钟镇涛

45岁仍拍三级片,败光两任亿万家产,62岁坦言后悔嫁给钟镇涛

一号崽崽
2026-11-18 21:02:26
台湾女生对郑丽文抛出“三连问”,问得又准又狠:

台湾女生对郑丽文抛出“三连问”,问得又准又狠:

叶老四
2026-11-17 19:36:33
大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

妍妍教育日记
2026-08-23 10:10:12
1980年,落魄庄则栋食堂打饭,没想到却被掌勺师傅当众质问,结局看哭无数人,感慨万千......

1980年,落魄庄则栋食堂打饭,没想到却被掌勺师傅当众质问,结局看哭无数人,感慨万千......

回京历史梦
2026-11-17 14:23:17
中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

心灵的触动a
2026-11-17 23:49:36
2026-11-19 02:19:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
手机
游戏
时尚
数码

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

PC Gamer试玩GTA6百小时:双主角出色但任务重复

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

无障碍浏览 进入关怀版