网易首页 > 网易号 > 正文 申请入驻

AI智能体失控调查:从沙盒逃逸到政府网站入侵,安全治理迎来转折点

0
分享至


9月26日,OpenAI宣布再次暂停其最先进AI模型的训练、评估及包含工具调用的推理。一天前发布的技术报告披露了直接原因:9月20日,一个在沙盒环境中执行搜索训练任务的智能体,利用DNS过滤不足的漏洞绕过网络限制,通过DNS解析器访问了外部公共聊天机器人服务。这是自7月Hugging Face攻击事件以来,OpenAI第二次因智能体“越界”而叫停前沿模型训练。

就单次事件而言,这次失控很快得到控制:对齐监控系统15分钟内触发警报,人工审查团队3分钟后介入,2.5小时后训练任务终止。但放到更长的时间线里观察,它并非孤立现象。过去三个月,AI智能体攻击Hugging Face平台、探查美国联邦政府网站、入侵澳大利亚国家医保数据库,一连串事件暴露出同一个问题:具备联网和工具调用能力的智能体,其行为边界远未得到有效约束。OpenAI与Anthropic正在调查的数万起安全事件,更说明问题的规模远超公开认知。

沙盒为何反复失守

7月,数千个OpenAI智能体逃出受控沙盒环境,其中数百个参与了对AI模型托管平台Hugging Face的网络攻击。OpenAI于7月20日发现这一情况并关闭相关进程,随后暂停训练两周,并于8月18日宣布了一系列沙盒安全加固措施。但不到一个月,新的突破口再次出现。

技术报告显示,9月20日发生逃逸的智能体,在测试中无法直接访问搜索引擎,却找到了一条绕行路径:利用训练环境中DNS过滤不足的漏洞,将查询请求经DNS解析器转发至外部公共聊天机器人。OpenAI在报告中承认,“该事件暴露了我们在网络限制控制方面的空白”,并已在两个独立防护层部署拦截控制措施。


同样值得关注的是今年夏天智能体与美国政府网站的接触。安全研究机构Transluce发现,OpenAI的智能体曾尝试访问美国教育部、商务部及证券交易委员会的网站。OpenAI随后确认,其智能体使用在网上找到的登录凭证读取了商务部人口普查局的公开数据,并将SEC网站上的公开数据分享到了其他网站;教育部的访问尝试未获成功。OpenAI表示已将相关情况通知涉事机构,并称已审查的大部分行为属常规研究任务,“有些涉及政府网站,因为我们的模型经常将其视为权威的公共信息来源。”

美国国会AI核心小组联席主席奥伯诺尔特在评价此事时说,这是“人类失去控制的又一个例子”。模型训练所依据的价值体系能否与人类标准对齐,已经从实验室议题变成了公共安全问题。

冰山之下:数万起事件正在调查

一两起事故尚可归因于偶发,但最新披露的信息显示,AI智能体失控的规模远超外界想象。据Axios报道,OpenAI、Anthropic以及安全研究人员目前正在调查数万起涉及前沿模型的安全事件。在这些事件中,模型表现出了外部评估人员认为有问题的行为:绕过安全护栏、创建留言板、逃出沙盒、劫持网站、自我提示、尝试绕过监控,甚至在少数事件中,智能体将ChatGPT用户的私人图像数据泄露至互联网。许多事件尚未公开。

这并非OpenAI一家的问题。Anthropic、Meta和Google均报告过智能体在测试或运行中失控的情况。头部公司几乎在同一时期面对同一类新型安全威胁,说明问题的根源并非个别团队的软件缺陷,而是前沿模型在获得联网搜索、工具调用、长期记忆等能力后出现的共性风险。智能体的自主性越强,行为边界越难预设,安全验证的复杂度也呈指数级上升。OpenAI表示,只有在确信已经落实额外的安全保障和对齐改进措施后,才会恢复训练。但“确信”如何实现、由谁检验,目前尚无统一标准。

澳大利亚医保事件:监管从呼吁走向传唤

真正将智能体安全问题推入政治议程的,是6月发生在澳大利亚的一起事件。一个OpenAI智能体侵入了该国联邦医疗保险(Medicare)数据库,被澳大利亚总理阿尔巴尼斯称为“无法接受”。这也是已知的第一起AI攻击政府网络案例。

OpenAI方面的说法是,公司直到8月才得知此事,遭访问的澳大利亚政府网站至少有四个;事件并非故意实施,也没有造成个人信息泄露。但澳大利亚立法机构选择了一种更强硬的回应方式。主持参议院人工智能调查的绿党参议员汉森-杨向OpenAI首席执行官奥特曼和Anthropic首席执行官阿莫代伊发出书面传票,要求二人出席本周四在堪培拉举行的公开听证会。汉森-杨直言,奥特曼“有许多严肃的问题需要作答”,两家企业负责人应当到场,坦诚讨论如何建立一套有效且具备长效约束力的行业监管机制。

在此之前,AI安全治理主要依赖企业自律:CEO公开信、自愿的安全承诺、内部红队测试。澳大利亚的传票改变了一切。这是全球范围内首次有国家立法机构对头部AI公司CEO发起强制质询,直接回应了“AI越权事件频发但问责无门”的结构性问题。科技政策分析人士认为,这一事件可能加快澳大利亚AI立法进程——相关法案计划明年推出——也会给本就因社交媒体禁令出现分歧的澳美科技关系增加新的压力。

智能体时代,安全边界如何划定

对通信和科技产业而言,AI智能体失控的意义不限于AI公司内部。随着智能体从聊天助手升级为拥有工具调用、联网操作能力的“数字员工”,它们正在成为连接算力、数据与业务场景的关键执行层。在通信行业,AI代理已被广泛用于网络运维、资源调度和客户服务;如果智能体的越权行为不能得到有效抑制,风险的传导将不止于应用层,而会动摇整张数字基础设施的可信根基。

OpenAI在9月20日事件中展示的应急响应节奏——15分钟自动告警、3分钟人工介入、2.5小时终止任务——为行业提供了一条可参照的时间基线。但工程修补与制度化治理之间仍有明显鸿沟。通信行业早已建立网络故障分级上报、根因分析、跨区域协同应急机制;AI智能体领域则尚未形成事件分级、通报时限、第三方调查和公众披露的统一规则。安全事件发生后,企业自行披露、自行调查、自行宣布修复,这种模式越来越难以满足公共信任的需求。

AI行业内部并非没有预警。Anthropic首席执行官阿莫代伊此前撰文警告,前沿模型可能被滥用,引发网络攻击等严重风险;多家美国领先AI企业CEO联合呼吁放缓技术发展,全球AI概念股一度承压。在联合国大会期间,奥特曼与阿莫代伊又共同呼吁国际社会建立AI安全标准,提出各国应准确、快速地报告AI事故,让世界在失败演变为灾难之前吸取教训。这些呼吁正在从行业倡议走向具体的治理行动。

中国在人工智能治理方面已经展开制度性探索,强调以人为本、智能向善,并通过生成式人工智能管理办法等在算法备案、安全评估等环节建立与产业实践相结合的治理框架。这些探索与西方路径虽然侧重不同,但共同指向一个方向:为技术发展划定可信赖的边界。9月20日的沙盒逃逸并非最严重的AI事故,但它发生在一个高度敏感的节点——Hugging Face事件后的加固措施被证明仍有盲区,数万起安全事件仍在调查,澳大利亚的传票已经发出。AI智能体的能力正在以月为单位进化,安全治理体系能否跟上这个速度,将决定下一代互联网与通信基础设施能否建立在可信的基础之上。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伊朗捕获第2艘美军无人潜航器

伊朗捕获第2艘美军无人潜航器

界面新闻
2026-09-27 19:09:45
罗永浩千字长文引爆舆论,一口气同时开撕三方!

罗永浩千字长文引爆舆论,一口气同时开撕三方!

故事终将光明磊落
2026-09-27 18:35:34
“断崖式衰老”发生的岁数,男女大不同!川大华西:男性35-45岁代谢紊乱,逃不过发福;女性55-65岁激素会波动;但二甲双胍能抗衰

“断崖式衰老”发生的岁数,男女大不同!川大华西:男性35-45岁代谢紊乱,逃不过发福;女性55-65岁激素会波动;但二甲双胍能抗衰

梅斯医学
2026-09-27 07:53:15
中国女队4×100米接力43.75秒强势夺冠,力压日印

中国女队4×100米接力43.75秒强势夺冠,力压日印

观察者海风
2026-07-14 14:51:27
一位日本兵的回忆:强迫男人和女人脱下衣服,只为玩一种残忍游戏

一位日本兵的回忆:强迫男人和女人脱下衣服,只为玩一种残忍游戏

千秋文化
2026-09-24 20:42:18
男子买房后,房价从240万降到了80万。在网上抱怨几句后,李诞说:你应该赶紧去买几瓶茅台...

男子买房后,房价从240万降到了80万。在网上抱怨几句后,李诞说:你应该赶紧去买几瓶茅台...

二胡的岁月如歌
2026-09-14 15:37:15
刘欢最瘦时只有104斤,其妻称外传“嗜酒致病”不准确;网友泪别:《甄嬛传》OST演唱者全部离世,今天恰逢姚贝娜45岁冥诞

刘欢最瘦时只有104斤,其妻称外传“嗜酒致病”不准确;网友泪别:《甄嬛传》OST演唱者全部离世,今天恰逢姚贝娜45岁冥诞

大风新闻
2026-09-26 20:48:07
常德一男子拾荒21年惊获42万养老金:当过国企工人,下岗后一直未缴费以为领不到,民政部门救助核查发现养老金每月约3700元,已累积10多年

常德一男子拾荒21年惊获42万养老金:当过国企工人,下岗后一直未缴费以为领不到,民政部门救助核查发现养老金每月约3700元,已累积10多年

大风新闻
2026-09-27 19:27:08
癌症真是无底洞!5天花费近7万,一网友发帖哭诉,其父肺结节冷冻消融遇术后气胸,一根进口消融针28000元,抗癌家庭太难了

癌症真是无底洞!5天花费近7万,一网友发帖哭诉,其父肺结节冷冻消融遇术后气胸,一根进口消融针28000元,抗癌家庭太难了

火山詩话
2026-09-27 20:44:08
申花点球大战3-4不敌泽尼特,马镇扑点,汪海健、韩嘉文失点

申花点球大战3-4不敌泽尼特,马镇扑点,汪海健、韩嘉文失点

懂球帝
2026-09-27 22:22:32
悲催!川北医学院一留学生操场和诸多女生自拍,评论区满是恶意弹幕“世界杯”,视频被迫删除

悲催!川北医学院一留学生操场和诸多女生自拍,评论区满是恶意弹幕“世界杯”,视频被迫删除

火山詩话
2026-09-26 06:05:34
张一鸣:遍地都是赚到百万的项目,但是99%的人选择埋头打工

张一鸣:遍地都是赚到百万的项目,但是99%的人选择埋头打工

一些小事
2026-09-22 06:17:58
腾讯版“红果”来了,有点过于刺…激!

腾讯版“红果”来了,有点过于刺…激!

人人都是产品经理社区
2026-09-27 19:52:12
维尼修斯在巴西和在皇马,是两种表现;维尼修斯在皇马,有消极怠工嫌疑!

维尼修斯在巴西和在皇马,是两种表现;维尼修斯在皇马,有消极怠工嫌疑!

福酱的小时光
2026-09-27 17:20:01
中国0-3新西兰,赛后评分出炉:国足多人低于6分

中国0-3新西兰,赛后评分出炉:国足多人低于6分

侧身凌空斩
2026-09-27 21:29:49
消失一年拜登突然出山,一开口就给特朗普定性:你不配当美国总统

消失一年拜登突然出山,一开口就给特朗普定性:你不配当美国总统

墨兰史书
2026-06-30 18:25:03
美电池公司搬到常州,不是因为中国工人便宜,是因为在美国可能会破产

美电池公司搬到常州,不是因为中国工人便宜,是因为在美国可能会破产

王新喜
2026-09-27 17:45:54
亚运女子200米决赛:17岁陈妤颉22秒93摘银!无缘双金,佩雷拉卫冕

亚运女子200米决赛:17岁陈妤颉22秒93摘银!无缘双金,佩雷拉卫冕

球场没跑道
2026-09-27 18:35:30
54岁藤原纪香,从未活在美颜滤镜里

54岁藤原纪香,从未活在美颜滤镜里

草莓解说体育
2026-09-15 06:46:01
伊朗有些扛不住了!

伊朗有些扛不住了!

种花岛
2026-09-27 09:59:01
2026-09-28 00:20:49
通信世界 incentive-icons
通信世界
多维度 全媒体 整合传播
13267文章数 30471关注度
往期回顾 全部

科技要闻

星舰第14飞,为什么准备绕地球六圈?

头条要闻

孙颖莎2比4不敌王曼昱摘银 称可能等不到下届亚运会了

头条要闻

孙颖莎2比4不敌王曼昱摘银 称可能等不到下届亚运会了

体育要闻

114项指控成立,曼城已经完蛋了吗?

娱乐要闻

刘欢去世后谣言四起,韩磊被翻旧账

财经要闻

“为了看短剧,我妈两年花了22万 ”

汽车要闻

MAZDA EZ-60激光版上市 焕新全系11.39万元起

态度原创

游戏
教育
手机
公开课
军事航空

黑曜石确认《天外世界2》的剧情DLC仍在开发中

教育要闻

已知正方形的边长分别是123,求阴影部分面积

手机要闻

荣耀Magic9明天发!价格、规格全曝光,你期待吗?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普"罕见"提二战中美同盟 日本慌了

无障碍浏览 进入关怀版