网易首页 > 网易号 > 正文 申请入驻

OpenAI暂停工具调用训练:前沿模型安全边界再承压

0
分享至

过去一周,前沿人工智能模型的安全事件接连被披露。

当地时间9月25日,OpenAI公布一起内部研究模型突破训练沙箱的事件:模型在被限制访问互联网的情况下,通过DNS(域名系统)解析绕过了原有网络限制,访问了外部服务。OpenAI随后暂停了前沿模型中涉及工具调用的训练、评估和推理工作,并重新加强安全监控。

更早一天,OpenAI披露了另一批内部安全事件,模型在测试环境中出现越权操作、试图规避监控以及向外部环境传递信息等行为。另据市场消息,OpenAI、Anthropic以及安全研究人员正在调查的类似安全事件已达数万起。

该数量规模并不意味着真实出现数万次网络攻击,大量案例来自模型训练和红队测试(Red Teaming),其中相当一部分是为了观察模型能否突破限制。红队测试是AI安全领域的攻防测试方法,安排研究人员主动尝试攻击、诱导模型,寻找模型越狱、越权、规避监控、泄露信息等安全漏洞。

但这些事件集中出现仍反映出,随着模型开始拥有更强的推理、工具调用和自主执行能力,传统针对聊天模型的安全边界正在变得越来越难维持。

这一趋势并非单一模型厂商所面临。7月,Anthropic披露,在对14万余次网络安全测试运行进行复查后,发现Claude曾在测试环境配置错误的情况下访问互联网,并进一步获得三个真实组织生产基础设施的未授权访问权限。9月,Anthropic又扩大审查范围,对数亿条模型交互记录进行筛查。

Google也披露过类似情况。在第三方安全测试中,由于测试环境配置问题,Gemini获得了互联网访问能力,并对真实企业系统进行了攻击性操作。只是此次事件更接近测试环境和安全边界配置问题,而不是模型本身出现失控。


过去,AI安全更多关注模型会不会生成有害内容、泄露训练数据,或者被提示词诱导。如今,安全问题开始进一步延伸到模型能够做什么,比如它能否突破沙箱、调用外部工具、使用凭证、修改代码、访问真实系统,以及在发现限制后是否会主动寻找新的路径。

这也是为什么近期披露的安全事件看起来越来越多。模型能力越强,测试环境越复杂,工具和权限越丰富,可以被测试的行为边界就越宽。即便只有很低比例的测试出现异常,在数十万乃至数百万次运行中,也可能形成大量案例。

更值得注意的是,AI实验室正在改变处理安全问题的方式。

OpenAI近期建立了更系统的模型失调事件披露框架,并开始把训练、评估、测试和部署阶段出现的越权行为统一纳入持续追踪。Anthropic则引入外部安全机构,对近期网络安全事件进行独立调查。与此同时,Palo Alto Networks等安全厂商已经开始把前沿模型用于持续发现AI系统和传统软件中的攻击路径。

这意味着,AI安全正在从一次性的上线前测试,转向贯穿模型生命周期的持续对抗。模型在变强,安全测试也必须同步变强;模型寻找新的攻击路径,防御系统也必须持续寻找模型可能突破的边界。

因此,近期密集曝光的安全事件未必意味着前沿模型已经全面失控。当AI从回答问题走向自主执行任务,模型安全已经不再只是模型输出内容是否合规的问题,而开始成为一个涉及权限、网络、代码、基础设施和实时监控的系统工程。

这也是当前行业争论的核心。一些安全研究者认为,模型能力扩张速度已经给现有安全机制带来压力;而英伟达CEO黄仁勋则认为,AI安全本质上是一个工程问题,可以通过软件、硬件和现有法律体系加以控制。

无论最终采取哪一种路径,前沿AI的竞争正在从单纯比拼模型能力,进入模型能力与安全能力同步升级的新阶段。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
股价坐上过山车,华远控股股权“左手倒右手”,轻资产转型前路漫漫

股价坐上过山车,华远控股股权“左手倒右手”,轻资产转型前路漫漫

华夏时报
2026-09-28 09:13:04
涉及台湾,外交部最新发布

涉及台湾,外交部最新发布

政知新媒体
2026-09-28 10:54:09
3名赴泰女子被囚禁,泰国警方解救时抓获4名男子!现场缴获铁链及吸毒用具

3名赴泰女子被囚禁,泰国警方解救时抓获4名男子!现场缴获铁链及吸毒用具

红星新闻
2026-09-24 13:29:55
亚运会乒乓球:大结局!国乒夺4冠,继续冲击2冠,日本1冠收官

亚运会乒乓球:大结局!国乒夺4冠,继续冲击2冠,日本1冠收官

国乒二三事
2026-09-28 06:26:01
金价又跌了!但这次和以前不一样,920元背后藏着一个关键信号

金价又跌了!但这次和以前不一样,920元背后藏着一个关键信号

花小猫的美食日常
2026-09-28 15:25:23
“刘欢退休仍是副教授”引热议,前校长:他对自己的定位首先是老师而不是歌手;学生回忆:他的课300个名额超700人抢,从不用课件

“刘欢退休仍是副教授”引热议,前校长:他对自己的定位首先是老师而不是歌手;学生回忆:他的课300个名额超700人抢,从不用课件

华商网
2026-09-28 10:40:28
金·卡戴珊疑似走光 穿紧身裤包裹下体

金·卡戴珊疑似走光 穿紧身裤包裹下体

东方不败然多多
2026-09-28 15:03:29
1963 年刘少奇出访风光回国,周总理一通电话怒斥犯忌!

1963 年刘少奇出访风光回国,周总理一通电话怒斥犯忌!

往史
2026-09-26 20:00:42
湖南男子拾荒21年获救助时发现名下有42万养老金,当事人:部分用于报答亲戚和还债

湖南男子拾荒21年获救助时发现名下有42万养老金,当事人:部分用于报答亲戚和还债

潇湘晨报
2026-09-28 12:29:25
毛主席笑问尼泊尔首相,珠峰干脆全给你?反问后甩出更高明方案

毛主席笑问尼泊尔首相,珠峰干脆全给你?反问后甩出更高明方案

纪史行者
2026-09-16 06:25:03
拉夫罗夫:无论情况如何,俄都将实现在乌军事目标

拉夫罗夫:无论情况如何,俄都将实现在乌军事目标

参考消息
2026-09-27 11:02:14
日男子靠发布反华和吹捧高市早苗视频,两周赚了50万日元,被停止广告收益后,仍要开设新账号

日男子靠发布反华和吹捧高市早苗视频,两周赚了50万日元,被停止广告收益后,仍要开设新账号

环球时报国际
2026-09-28 07:53:02
泰山陪爬变陪“睡”?贴身搂抱、明码标价变味儿,这山爬得太辣眼

泰山陪爬变陪“睡”?贴身搂抱、明码标价变味儿,这山爬得太辣眼

凉了时光人
2026-07-28 19:30:08
请3休13,一天近2亿人次在路上:钱会在哪里停留?

请3休13,一天近2亿人次在路上:钱会在哪里停留?

BT财经
2026-09-28 11:11:35
1:4完败!输球不可怕,可怕的是早田希娜赛后这番话,彻底破防!

1:4完败!输球不可怕,可怕的是早田希娜赛后这番话,彻底破防!

田先生篮球
2026-09-27 15:28:28
卢璐聊刘欢病情始末:从确诊到离世,跟骨病熬了十七个年头

卢璐聊刘欢病情始末:从确诊到离世,跟骨病熬了十七个年头

手工制作阿歼
2026-09-28 15:56:30
腾讯版“红果”来了,有点过于刺…激!

腾讯版“红果”来了,有点过于刺…激!

人人都是产品经理社区
2026-09-27 19:52:12
一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

怪味历史连连看
2026-09-08 01:55:32
余承东重申问界车主权益不受影响 鸿蒙智行“五界”logo同台亮相

余承东重申问界车主权益不受影响 鸿蒙智行“五界”logo同台亮相

凤凰网科技
2026-09-28 15:13:05
这10样东西过期1天也要扔,第一名天天用,毒性最强!

这10样东西过期1天也要扔,第一名天天用,毒性最强!

三农老历
2026-09-10 03:41:46
2026-09-28 18:00:49
第一财经资讯 incentive-icons
第一财经资讯
第一财经官方账号
267811文章数 623695关注度
往期回顾 全部

科技要闻

赛力斯华为合作模式生变后 余承东再次回应

头条要闻

上海葱油饼店老板写法语停业通知 "指名道姓"演员Abi

头条要闻

上海葱油饼店老板写法语停业通知 "指名道姓"演员Abi

体育要闻

114项指控成立,曼城已经完蛋了吗?

娱乐要闻

去世刚2天,人民日报对刘欢的称呼改了

财经要闻

一天近2亿人次在路上:钱会在哪里停留?

汽车要闻

搭载全栈华为乾崑 猛士X700预售价24.98万元起

态度原创

游戏
家居
亲子
公开课
军事航空

PS5模拟器进展神速!月初1帧 现在50帧 恨索尼+AI

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

这哥俩有学霸之相,哥哥有耐心,不急不躁的教,弟弟会思考,会纠正自己的错误

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普"放话":美和古巴将达成协议 美方不需动用军队

无障碍浏览 进入关怀版