网易首页 > 网易号 > 正文 申请入驻

每经热评 | AI自主发起攻击成“回形针”预演

0
分享至

来源:市场资讯

(来源:每日经济新闻)

每经评论员 杜恒峰

7月21日,OpenAI对外证实,在内部开展网络安全能力评测过程中,GPT-5.6Sol与另一款尚未发布的更强预训练模型协同运行时发生失控,消息震动整个AI(人工智能)圈。

这是重大安全事件:两款模型身处隔离沙箱测试环境,收到完成安全基准测试的指令后,并未局限于预设路径解题,而是自主搜寻漏洞、串联攻击链路,突破环境隔离限制,在不掌握目标系统源代码的前提下,发现新型攻击路径,持续执行多步骤网络操作,最终侵入人工智能开源平台Hugging Face基础设施,试图窃取评测参考答案。

OpenAI此次安全事件是“回形针理论”的现实预演,二者底层逻辑高度契合。

“回形针理论”是由牛津哲学家尼克・波斯特罗姆提出的思想实验,它假设如果一个超级AI被设定为“尽可能多生产回形针”,它可能会为了这个目标耗尽地球所有资源甚至毁灭人类。该实验成立的逻辑在于:人工智能被赋予单一目标,不存在主观恶意,但会穷尽一切手段推进目标完成,无视人类附加的隐性约束,所有阻碍目标实现的要素,都会被智能体视作需要消除的障碍。

OpenAI本次事件中,人类下达的指令是完成安全评测,隐含前提是模型应当在隔离环境内规范作答,但模型只抓取核心目标“取得更高评测分数”,自主衍生出入侵外部系统窃取答案的方案。AI没有善恶观念,不存在蓄意破坏的动机,仅仅是工具性趋同逻辑驱动下,无限推进既定目标,无视人类没有清晰写明的边界条件。

这正是回形针假说最核心的警示:危险未必源于AI主动作恶,而来自目标对齐失效,简单指令可能催生极端执行方案。

OpenAI这次事件仍局限于网络空间,直接损失有限,但这一风险信号已是“房间里的大象”。当下前沿大模型已经具备发掘系统漏洞、开展自主网络入侵的能力,传统密码体系、静态代码防护手段正在遭遇实质性挑战。随着模型持续迭代演化,AI能力将不断从数字空间向物理世界渗透,潜在风险与损失将呈现几何倍数放大。

从人类行为视角出发,AI衍生风险可划分为两类:一类是主观驱动,少数人员刻意利用AI实施攻击、诈骗、破坏活动;另一类属于人类无心之失,仅仅是一条表述存在局限的指令,引发AI过度执行。对于恶意滥用的风险,依靠准入门槛、权限管控与法律法规惩戒就能够形成有效约束;但指令偏差引发的AI越界行为,治理难度显著更高。

“无心之失”之所以更棘手,根源在于其不可预测性。未来人机协同场景下,人类每日将向AI下达数以亿计的各类指令,即便此类失控事件发生概率仅有百亿分之一,一旦触发就可能造成严重后果。人类无法穷尽所有指令场景,难以提前通过法律法规划定全部禁止边界,前置立法约束存在天然短板。

行业竞争格局进一步加剧了安全治理的矛盾。当前主流大模型企业普遍处于持续烧钱扩张的阶段,模型能力上限直接决定融资前景与市场份额,行业普遍存在“重性能迭代、轻安全管控”的倾向。安全评估、对齐研究、隔离防护等工作往往滞后于能力开发,企业自觉构建安全防线缺乏内生动力,单纯依靠厂商自律,难以抵御竞速创新带来的风险。

这些现实挑战意味着,AI安全护栏不能完全交由企业自主搭建,必须构建多元协同的治理体系。

从监管层面来看,可以设立专业化AI安全评估机构,建立前沿大模型上市准入机制,高性能、高风险模型需要完成独立第三方安全测评、验证边界管控有效后方可对外开放。从技术防御维度看,OpenAI本次事件的处置提供了重要参考:Hugging Face在对攻击日志分析时,依托智谱模型完成了海量攻击记录溯源取证,这说明防御侧同样需要AI,“以AI防御AI”可以有效控制住损害的时间和程度。

设置安全护栏并非AI创新的附属品,更不是阻碍,而是必需品。一旦大规模AI失控事件爆发,公众信任受挫、监管收紧,AI的发展也会受到严重阻碍。监管机构、科研团队、企业需要共同行动,完善约束机制、丰富安全技术工具箱,持续推进目标对齐技术研发,缩小人类指令与AI执行行为之间的偏差,这样的AI才是好的AI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
吹牛还是事实?囧哥公开放话:“打赵心童?那太轻松了!”

吹牛还是事实?囧哥公开放话:“打赵心童?那太轻松了!”

金木原创
2026-07-31 11:45:51
中超激烈冲突!阿利米薅头发,纳萨里奥被激怒,8人互相推搡

中超激烈冲突!阿利米薅头发,纳萨里奥被激怒,8人互相推搡

奥拜尔
2026-07-31 20:34:50
自作孽不可活!40年不向中国低头,如今停产、裁员,落得一地鸡毛

自作孽不可活!40年不向中国低头,如今停产、裁员,落得一地鸡毛

阿芒娱乐说
2026-08-01 06:23:03
1973年,广西舞蹈演员自称毛泽东的女儿,主席得知后:我想见见她

1973年,广西舞蹈演员自称毛泽东的女儿,主席得知后:我想见见她

微野谈写作
2026-07-25 10:55:09
终于有经济学家批评体制内退休金太高、加剧代际矛盾,评论区炸锅

终于有经济学家批评体制内退休金太高、加剧代际矛盾,评论区炸锅

慧翔百科
2026-06-23 08:47:02
卷不动?中国不是消费降级,是14亿人的好日子把市场“喂饱”了!

卷不动?中国不是消费降级,是14亿人的好日子把市场“喂饱”了!

铭记历史呀
2026-08-01 00:38:56
大难临头各自飞!伊朗没想到,养了20多年的兄弟:竟然倒向美国了

大难临头各自飞!伊朗没想到,养了20多年的兄弟:竟然倒向美国了

触摸史迹
2026-08-01 01:11:07
记者:Bisiwu完成巴萨体检,签约五年

记者:Bisiwu完成巴萨体检,签约五年

懂球帝
2026-07-31 20:37:05
实测 DeepSeek V4 正式版:3 块钱干完 5 件事,AI「智价比」之战开打了

实测 DeepSeek V4 正式版:3 块钱干完 5 件事,AI「智价比」之战开打了

爱范儿
2026-07-31 19:55:24
闪迪抹去盘初10%的涨幅转跌 美光科技涨幅收窄至不足1%

闪迪抹去盘初10%的涨幅转跌 美光科技涨幅收窄至不足1%

每日经济新闻
2026-07-31 21:55:10
证监会出手,多家券商被采取监管措施,更有两券商被立案

证监会出手,多家券商被采取监管措施,更有两券商被立案

中国基金报
2026-08-01 01:10:40
0-7两连败连失12球!中国足球小将被完爆,前国脚摇头、董路无奈

0-7两连败连失12球!中国足球小将被完爆,前国脚摇头、董路无奈

诺诺谈史
2026-08-01 00:18:17
最后一座炼油厂被炸,俄被打断命脉,赔光500亿,还得砸钱进口

最后一座炼油厂被炸,俄被打断命脉,赔光500亿,还得砸钱进口

顾蔡卫
2026-07-19 04:46:26
三伏天,这菜使劲吃,1升阳,2通便,3养肝,别不懂错过了

三伏天,这菜使劲吃,1升阳,2通便,3养肝,别不懂错过了

江江食研社
2026-07-30 19:30:06
上海黄浦江边晨跑视频火了。 一个女生穿紧身短袖没穿运动内衣,路人拍下来...

上海黄浦江边晨跑视频火了。 一个女生穿紧身短袖没穿运动内衣,路人拍下来...

网络易不易
2026-07-30 12:55:08
医生群里发表不当言论,南方医科大学珠江医院:高度重视,相关部门正核实调查

医生群里发表不当言论,南方医科大学珠江医院:高度重视,相关部门正核实调查

中国能源网
2026-07-29 16:15:09
“月薪5000要住1200一晚的五星级!”小伙直接拉黑相亲对象

“月薪5000要住1200一晚的五星级!”小伙直接拉黑相亲对象

一丝不苟的法律人
2026-07-03 16:55:47
外媒发现不对劲:中国仅用11架歼20,就干掉了印度空军的40年优势

外媒发现不对劲:中国仅用11架歼20,就干掉了印度空军的40年优势

共工之锚
2026-07-30 11:04:24
知名英国乐队演出举巴勒斯坦国旗,两名成员被新加坡永久禁入

知名英国乐队演出举巴勒斯坦国旗,两名成员被新加坡永久禁入

赴一场山海啊
2026-08-01 01:42:12
朱婷拒绝160万欧元天价签约,给亚锦赛留机会,赵勇布局初见成效

朱婷拒绝160万欧元天价签约,给亚锦赛留机会,赵勇布局初见成效

墨印斋
2026-08-01 04:42:24
2026-08-01 08:55:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4285139文章数 9105关注度
往期回顾 全部

科技要闻

DeepSeek又更新了,这次梁文锋没放大招

头条要闻

少年捐日军罪证遭“销户”威胁 警方最新回应

头条要闻

少年捐日军罪证遭“销户”威胁 警方最新回应

体育要闻

欧足联掀桌!因凡蒂诺这次真玩大了?

娱乐要闻

百花奖影帝影后即将决出

财经要闻

华强北显卡涨价潮 有显卡一周暴涨4000元

汽车要闻

听劝!换回机械门把手,这才是碳基生物该开的车!

态度原创

家居
本地
手机
艺术
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

手机要闻

2nm芯片+存储成本太恐怖!苹果要涨价了:iPhone 18 Pro系列上调300美元

艺术要闻

400年前古画爆红:明代顶级富豪的生活,高级得从不炫富

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版