网易首页 > 网易号 > 正文 申请入驻

OpenAI暂停工具调用训练

0
分享至

2026.09.27


本文字数:1401,阅读时长大约3分钟

作者 |第一财经 吕倩


过去一周,前沿人工智能模型的安全事件接连被披露。

当地时间9月25日,OpenAI公布一起内部研究模型突破训练沙箱的事件:模型在被限制访问互联网的情况下,通过DNS(域名系统)解析绕过了原有网络限制,访问了外部服务。OpenAI随后暂停了前沿模型中涉及工具调用的训练、评估和推理工作,并重新加强安全监控。

更早一天,OpenAI披露了另一批内部安全事件,模型在测试环境中出现越权操作、试图规避监控以及向外部环境传递信息等行为。另据市场消息,OpenAI、Anthropic以及安全研究人员正在调查的类似安全事件已达数万起。

该数量规模并不意味着真实出现数万次网络攻击,大量案例来自模型训练和红队测试(Red Teaming),其中相当一部分是为了观察模型能否突破限制。红队测试是AI安全领域的攻防测试方法,安排研究人员主动尝试攻击、诱导模型,寻找模型越狱、越权、规避监控、泄露信息等安全漏洞。

但这些事件集中出现仍反映出,随着模型开始拥有更强的推理、工具调用和自主执行能力,传统针对聊天模型的安全边界正在变得越来越难维持。

这一趋势并非单一模型厂商所面临。7月,Anthropic披露,在对14万余次网络安全测试运行进行复查后,发现Claude曾在测试环境配置错误的情况下访问互联网,并进一步获得三个真实组织生产基础设施的未授权访问权限。9月,Anthropic又扩大审查范围,对数亿条模型交互记录进行筛查。

Google也披露过类似情况。在第三方安全测试中,由于测试环境配置问题,Gemini获得了互联网访问能力,并对真实企业系统进行了攻击性操作。只是此次事件更接近测试环境和安全边界配置问题,而不是模型本身出现失控。


过去,AI安全更多关注模型会不会生成有害内容、泄露训练数据,或者被提示词诱导。如今,安全问题开始进一步延伸到模型能够做什么,比如它能否突破沙箱、调用外部工具、使用凭证、修改代码、访问真实系统,以及在发现限制后是否会主动寻找新的路径。

这也是为什么近期披露的安全事件看起来越来越多。模型能力越强,测试环境越复杂,工具和权限越丰富,可以被测试的行为边界就越宽。即便只有很低比例的测试出现异常,在数十万乃至数百万次运行中,也可能形成大量案例。

更值得注意的是,AI实验室正在改变处理安全问题的方式。

OpenAI近期建立了更系统的模型失调事件披露框架,并开始把训练、评估、测试和部署阶段出现的越权行为统一纳入持续追踪。Anthropic则引入外部安全机构,对近期网络安全事件进行独立调查。与此同时,Palo Alto Networks等安全厂商已经开始把前沿模型用于持续发现AI系统和传统软件中的攻击路径。

这意味着,AI安全正在从一次性的上线前测试,转向贯穿模型生命周期的持续对抗。模型在变强,安全测试也必须同步变强;模型寻找新的攻击路径,防御系统也必须持续寻找模型可能突破的边界。

因此,近期密集曝光的安全事件未必意味着前沿模型已经全面失控。当AI从回答问题走向自主执行任务,模型安全已经不再只是模型输出内容是否合规的问题,而开始成为一个涉及权限、网络、代码、基础设施和实时监控的系统工程。

这也是当前行业争论的核心。一些安全研究者认为,模型能力扩张速度已经给现有安全机制带来压力;而英伟达CEO黄仁勋则认为,AI安全本质上是一个工程问题,可以通过软件、硬件和现有法律体系加以控制。

无论最终采取哪一种路径,前沿AI的竞争正在从单纯比拼模型能力,进入模型能力与安全能力同步升级的新阶段。

微信编辑| 小羊

:bianjibu@yicai.com

:business@yicai.com


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
王楚钦再创历史,将成第一个把世界第一拱手送给日本的国乒运动员

王楚钦再创历史,将成第一个把世界第一拱手送给日本的国乒运动员

人类的关注
2026-09-06 04:32:21
中央5台直播亚运乒乓球时间表:9月28日,王楚钦、林诗栋冲击决赛

中央5台直播亚运乒乓球时间表:9月28日,王楚钦、林诗栋冲击决赛

薇说体育
2026-09-28 10:41:39
人社部致贺电

人社部致贺电

政知新媒体
2026-09-28 09:03:22
失业女生和弟弟合伙投7万做电商仅一个多月,访客个位数天天亏钱,进退两难

失业女生和弟弟合伙投7万做电商仅一个多月,访客个位数天天亏钱,进退两难

曹莽看世界
2026-08-06 08:59:53
《敦煌英雄》的尴尬:三重回避,一段历史是怎么被"改"没的

《敦煌英雄》的尴尬:三重回避,一段历史是怎么被"改"没的

东方不败然多多
2026-09-27 17:41:21
43岁“喝水哥”离谱操作!站在门线里抱住球致丢球 耍脾气质疑裁判

43岁“喝水哥”离谱操作!站在门线里抱住球致丢球 耍脾气质疑裁判

风过乡
2026-09-28 06:44:30
斯大林到底可怕到何种程度?实事求是地讲,人类史上几乎找不到第二个领袖,会像他一样,对自己身边的同僚和战友展开这般无情的清洗

斯大林到底可怕到何种程度?实事求是地讲,人类史上几乎找不到第二个领袖,会像他一样,对自己身边的同僚和战友展开这般无情的清洗

人生录
2026-08-18 00:05:08
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
高位人气股,大面积跳水

高位人气股,大面积跳水

第一财经资讯
2026-09-28 09:50:25
辽篮潜力新星离队!没留CBA,加盟NBL球队,身披2号球衣,未来可期

辽篮潜力新星离队!没留CBA,加盟NBL球队,身披2号球衣,未来可期

萌兰聊个球
2026-09-28 10:36:13
我退休瞒着家里存了150万,只跟儿子说有20多万,第二天儿媳偷偷塞给我一张存折:爸,这钱您拿着花

我退休瞒着家里存了150万,只跟儿子说有20多万,第二天儿媳偷偷塞给我一张存折:爸,这钱您拿着花

飞碟专栏
2026-09-28 08:11:29
俄军事专家:俄军攻占多布罗皮利亚市将成为让泽连斯基在西方眼中颜面扫地的关键一击

俄军事专家:俄军攻占多布罗皮利亚市将成为让泽连斯基在西方眼中颜面扫地的关键一击

俄罗斯卫星通讯社
2026-09-26 16:10:18
又曝出轨大瓜,男子自曝妻子出轨班长5个月,班长只给他妻子买过情趣内衣,还曝光俩人大尺度聊天内容

又曝出轨大瓜,男子自曝妻子出轨班长5个月,班长只给他妻子买过情趣内衣,还曝光俩人大尺度聊天内容

汉史趣闻
2026-09-10 18:28:47
被骂“喝酒不工作”,男子连捅姐夫3刀,事后穿着整齐欲下楼时被抓,曾因犯罪被判拘役!姐夫谅解,法院判了

被骂“喝酒不工作”,男子连捅姐夫3刀,事后穿着整齐欲下楼时被抓,曾因犯罪被判拘役!姐夫谅解,法院判了

南方都市报
2026-09-28 08:16:25
电影院的至暗时刻:174亿票房、场均不到6人、五大公司全亏

电影院的至暗时刻:174亿票房、场均不到6人、五大公司全亏

草莓解说体育
2026-09-27 17:07:15
有钱又怎样,苏州一大爷63岁,存款190万,退休后一个人住260平房

有钱又怎样,苏州一大爷63岁,存款190万,退休后一个人住260平房

华庭讲美食
2026-09-28 10:25:21
赛力斯官宣新车9月28日首发,不靠华为,冲击20万赛道

赛力斯官宣新车9月28日首发,不靠华为,冲击20万赛道

沙雕小琳琳
2026-09-28 12:26:53
俄罗斯威胁对立陶宛发动闪电战!又要一小时22分?

俄罗斯威胁对立陶宛发动闪电战!又要一小时22分?

项鹏飞
2026-09-25 20:07:23
够狠!王励勤终于动真格的了,直接砍掉前主席的后花园

够狠!王励勤终于动真格的了,直接砍掉前主席的后花园

以茶带书
2026-06-21 16:00:21
特朗普不是不懂礼貌,他只是把礼貌留给了有实力的人

特朗普不是不懂礼貌,他只是把礼貌留给了有实力的人

清衣渡a
2026-09-27 02:49:02
2026-09-28 13:40:49
第一财经资讯 incentive-icons
第一财经资讯
第一财经官方账号
267781文章数 623691关注度
往期回顾 全部

科技要闻

智能体惹了多少祸,OpenAI自己没查清!

头条要闻

小孩姐一掷杀死比赛投哭日本奥运冠军 对方抱着国旗哭

头条要闻

小孩姐一掷杀死比赛投哭日本奥运冠军 对方抱着国旗哭

体育要闻

114项指控成立,曼城已经完蛋了吗?

娱乐要闻

好汉刘欢:一副好嗓子,一颗赤子心

财经要闻

标价298元核桃油, 实为大豆油冒充

汽车要闻

神龙科技与Momenta达成全球战略合作 2027年起推新车

态度原创

本地
亲子
手机
时尚
公开课

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

亲子要闻

自从通了网,村里净出神童

手机要闻

首批搭载第六代骁龙8超级至尊版!荣耀Magic9 Pro Max安兔兔跑分超552万

女人过了三四十岁,一定要准备一件小西装,大方得体又显瘦

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版