网易首页 > 网易号 > 正文 申请入驻

每经热评 | AI自主发起攻击成“回形针”预演

0
分享至

来源:市场资讯

(来源:每日经济新闻)

每经评论员 杜恒峰

7月21日,OpenAI对外证实,在内部开展网络安全能力评测过程中,GPT-5.6Sol与另一款尚未发布的更强预训练模型协同运行时发生失控,消息震动整个AI(人工智能)圈。

这是重大安全事件:两款模型身处隔离沙箱测试环境,收到完成安全基准测试的指令后,并未局限于预设路径解题,而是自主搜寻漏洞、串联攻击链路,突破环境隔离限制,在不掌握目标系统源代码的前提下,发现新型攻击路径,持续执行多步骤网络操作,最终侵入人工智能开源平台Hugging Face基础设施,试图窃取评测参考答案。

OpenAI此次安全事件是“回形针理论”的现实预演,二者底层逻辑高度契合。

“回形针理论”是由牛津哲学家尼克・波斯特罗姆提出的思想实验,它假设如果一个超级AI被设定为“尽可能多生产回形针”,它可能会为了这个目标耗尽地球所有资源甚至毁灭人类。该实验成立的逻辑在于:人工智能被赋予单一目标,不存在主观恶意,但会穷尽一切手段推进目标完成,无视人类附加的隐性约束,所有阻碍目标实现的要素,都会被智能体视作需要消除的障碍。

OpenAI本次事件中,人类下达的指令是完成安全评测,隐含前提是模型应当在隔离环境内规范作答,但模型只抓取核心目标“取得更高评测分数”,自主衍生出入侵外部系统窃取答案的方案。AI没有善恶观念,不存在蓄意破坏的动机,仅仅是工具性趋同逻辑驱动下,无限推进既定目标,无视人类没有清晰写明的边界条件。

这正是回形针假说最核心的警示:危险未必源于AI主动作恶,而来自目标对齐失效,简单指令可能催生极端执行方案。

OpenAI这次事件仍局限于网络空间,直接损失有限,但这一风险信号已是“房间里的大象”。当下前沿大模型已经具备发掘系统漏洞、开展自主网络入侵的能力,传统密码体系、静态代码防护手段正在遭遇实质性挑战。随着模型持续迭代演化,AI能力将不断从数字空间向物理世界渗透,潜在风险与损失将呈现几何倍数放大。

从人类行为视角出发,AI衍生风险可划分为两类:一类是主观驱动,少数人员刻意利用AI实施攻击、诈骗、破坏活动;另一类属于人类无心之失,仅仅是一条表述存在局限的指令,引发AI过度执行。对于恶意滥用的风险,依靠准入门槛、权限管控与法律法规惩戒就能够形成有效约束;但指令偏差引发的AI越界行为,治理难度显著更高。

“无心之失”之所以更棘手,根源在于其不可预测性。未来人机协同场景下,人类每日将向AI下达数以亿计的各类指令,即便此类失控事件发生概率仅有百亿分之一,一旦触发就可能造成严重后果。人类无法穷尽所有指令场景,难以提前通过法律法规划定全部禁止边界,前置立法约束存在天然短板。

行业竞争格局进一步加剧了安全治理的矛盾。当前主流大模型企业普遍处于持续烧钱扩张的阶段,模型能力上限直接决定融资前景与市场份额,行业普遍存在“重性能迭代、轻安全管控”的倾向。安全评估、对齐研究、隔离防护等工作往往滞后于能力开发,企业自觉构建安全防线缺乏内生动力,单纯依靠厂商自律,难以抵御竞速创新带来的风险。

这些现实挑战意味着,AI安全护栏不能完全交由企业自主搭建,必须构建多元协同的治理体系。

从监管层面来看,可以设立专业化AI安全评估机构,建立前沿大模型上市准入机制,高性能、高风险模型需要完成独立第三方安全测评、验证边界管控有效后方可对外开放。从技术防御维度看,OpenAI本次事件的处置提供了重要参考:Hugging Face在对攻击日志分析时,依托智谱模型完成了海量攻击记录溯源取证,这说明防御侧同样需要AI,“以AI防御AI”可以有效控制住损害的时间和程度。

设置安全护栏并非AI创新的附属品,更不是阻碍,而是必需品。一旦大规模AI失控事件爆发,公众信任受挫、监管收紧,AI的发展也会受到严重阻碍。监管机构、科研团队、企业需要共同行动,完善约束机制、丰富安全技术工具箱,持续推进目标对齐技术研发,缩小人类指令与AI执行行为之间的偏差,这样的AI才是好的AI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
扛不住了?延迟退休实施至今,一个尴尬的问题终于暴露出来了

扛不住了?延迟退休实施至今,一个尴尬的问题终于暴露出来了

铭记历史呀
2026-09-19 16:18:25
杨振宁去世一年后,荒唐事再上演,翁帆近况被曝,恶心一幕出现

杨振宁去世一年后,荒唐事再上演,翁帆近况被曝,恶心一幕出现

璀璨幻行者
2026-10-14 22:13:03
回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

犀利辣椒
2026-09-25 06:21:06
日本怕啥来啥!俄罗斯公开邀请:中国代表团突访南千岛群岛

日本怕啥来啥!俄罗斯公开邀请:中国代表团突访南千岛群岛

阿代说事
2026-10-13 23:28:22
泰港半场0-5柏太阳神,之后还将在亚冠精英赛迎战国安、海港

泰港半场0-5柏太阳神,之后还将在亚冠精英赛迎战国安、海港

懂球帝
2026-10-14 18:56:51
网友哭诉失业在家躺平4年经历了前所未有的煎熬,原来不赚钱的躺平比上班更难熬!

网友哭诉失业在家躺平4年经历了前所未有的煎熬,原来不赚钱的躺平比上班更难熬!

黯泉
2026-10-13 20:20:32
一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

音乐时光的娱乐
2026-10-12 12:28:25
猪身上的4个部位,建议大家少吃,猪大肠排最后,榜首多数人爱吃

猪身上的4个部位,建议大家少吃,猪大肠排最后,榜首多数人爱吃

芹姐说生活
2026-10-03 20:26:16
藏不住了!许家印重大资产被挖出,186.5亿转给了“重庆李嘉诚”

藏不住了!许家印重大资产被挖出,186.5亿转给了“重庆李嘉诚”

数字财经智库
2026-10-08 16:53:54
76岁洪金宝郑重宣布!儿子洪天明代发声明,与一名女子划清界限

76岁洪金宝郑重宣布!儿子洪天明代发声明,与一名女子划清界限

胡一舸南游y
2026-10-14 18:47:53
橘子正大量上市,多名院士发现:糖尿病吃橘子,不过多久有6变化

橘子正大量上市,多名院士发现:糖尿病吃橘子,不过多久有6变化

健康之光
2026-10-14 16:10:10
“民族败类”蔡康永被揭露!新华社和国台办震撼发声,网友惊呼解气!

“民族败类”蔡康永被揭露!新华社和国台办震撼发声,网友惊呼解气!

糊咖娱乐
2026-10-14 14:42:24
多地立规:政府部门出台重大政策前,需评估是否影响公众健康

多地立规:政府部门出台重大政策前,需评估是否影响公众健康

澎湃新闻
2026-10-14 11:56:28
WTT冠军赛名单曝光!王楚钦率队挑大梁,孙颖莎再出征,蒯曼意外

WTT冠军赛名单曝光!王楚钦率队挑大梁,孙颖莎再出征,蒯曼意外

墨印斋
2026-10-14 14:47:47
雷波教师被安排“耻辱”合影事件最新进展,县教育和体育局局长已被调离岗位

雷波教师被安排“耻辱”合影事件最新进展,县教育和体育局局长已被调离岗位

现代快报
2026-10-14 19:08:14
巴黎车展智驾大考,中国车企仅一家敢下场,其他车企为什么不参加?

巴黎车展智驾大考,中国车企仅一家敢下场,其他车企为什么不参加?

一个有灵魂的作者
2026-10-13 10:31:33
苏提达王后抵达日本访问,穿千鸟格裤装亮相,一套穿搭藏尽王室巧思

苏提达王后抵达日本访问,穿千鸟格裤装亮相,一套穿搭藏尽王室巧思

点点细语
2026-10-14 20:35:55
大量电车工具箱流入闲鱼被转卖!全新标价34元,43万人看懵了

大量电车工具箱流入闲鱼被转卖!全新标价34元,43万人看懵了

浩渺青史
2026-10-12 18:57:24
德国爆发大规模游行,扎哈罗娃一句话戳中要害:默茨是乌克兰总理

德国爆发大规模游行,扎哈罗娃一句话戳中要害:默茨是乌克兰总理

观锐器
2026-10-13 18:21:34
我国著名主持人赴瑞士安乐死,儿子讲述其死前惨状:我非常后悔

我国著名主持人赴瑞士安乐死,儿子讲述其死前惨状:我非常后悔

小兔子的快乐
2026-10-12 11:30:52
2026-10-15 04:55:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5051965文章数 9780关注度
往期回顾 全部

科技要闻

苹果iPhone Duo完成大模型备案

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

体育要闻

巴萨4比1加拉塔萨雷:亚马尔杀穿地狱

娱乐要闻

胡歌觉得仙剑三很幼稚,忘了来时路?

财经要闻

赫尔曼・西蒙拆解下一轮产业机会

汽车要闻

风格更豪华/座舱更舒适 全新旅行者7上市 燃油版售12.59万起

态度原创

本地
家居
艺术
健康
公开课

本地新闻

这个十一,林都伊春彻底出圈!

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

天凉了,叶黄了,秋来了……

孩子运动莫名晕倒?当心这类疾病

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版