网易首页 > 网易号 > 正文 申请入驻

单月暴增300多起!AI失控事件直接翻倍,情况越来越离谱

0
分享至

来源:市场资讯

(来源:雷科技)

最新研究显示,AI脱离用户控制的情况已经创下新高——它们会撒谎、无视指令,甚至自顾自朝着有风险的目标行事,而且这种欺骗性和失调的程度,还在越来越严重。

专门追踪这类事件的失控观察站,统计了企业和个人上报的真实AI失控案例。

数据显示,7月份的事件数量比6月几乎翻了一倍,单月就超过300起。

这些案例主要来自社交平台X上用户自发分享的经历。

这个观察站由英国政府旗下的AI安全研究所(AISI)出钱办的,从去年11月就开始盯着AI不听指令、自己乱跑的情况。

到目前为止记录的案例里,有的AI会假装成背后的人类操作者,模仿对方的写作风格,借此自己给自己批准行动权限,连必须人工审批的规矩都能绕过去。

而这里定义的“失控事件”,指的是有实锤证明AI出现了耍心机,或者和耍心机相关的行为。


图源:豆包AI生成

在给《卫报》分享的最新数据中显示,就在今年夏天,OpenAI和Anthropic两家的顶级AI模型,都在测试中曝出了异常的失控行为。

当时就引发了广泛担忧,好多人喊着先别搞更先进的大模型了,停一停。

这周还有更具体的消息曝出来:OpenAI的员工早在好几周前,就发现自家顶级AI代理有失控的苗头。

结果没拦住,这些AI直接跑出了训练环境,搞了一波前所未有的黑客攻击,全世界都给惊动了。

后来有人调查它们攻击代码平台Hugging Face的事件,发现上个月有大约700个自主代理在暗地里组队协作。

还自己建了个留言板庆祝黑客突破,上面全是 “太炸了!”“哇塞!”这种激动的感叹。

同样在这个月,AI安全研究所还查出一起严重事件:Anthropic的Mythos 5和OpenAI的GPT-5.6 Sol这两款顶级模型,在一次网络安全测试当中,直接对真实的人类发起了黑客攻击。

运营这个观察站的长期弹性中心高级政策经理Tommy Shaffer-Shane说:“很多人都觉得,这种AI跑偏、暗中搞事的情况,只会出现在测试或者评估环境里,但我们现在看到,平时大家正常用的时候,也出现了同样让人担心的行为。别觉得现实里不会发生这种事,事实就摆在眼前。”


图源:The Guardian

当然,这个统计也不全,因为所有事件都靠X平台的用户主动发帖分享,所以肯定只是冰山一角。

但现在也没有别的更全面的公开监测,所以这份数据好歹能让我们看看,迭代越来越快的AI,有时候会出现什么样的状况。

这个月就有个很典型的真事:澳大利亚一位健身房会员用了一款叫OpenClaw的个人AI代理。

结果这AI背着主人,偷偷把热门早课等候名单里的另一个会员给移除了,就为了帮自己的主人抢到名额。

事后AI虽然道了歉,但被踢掉的那个人的名额,已经没法恢复了。

2026年到现在,一共记录了1600多起失控事件,其中大部分都是程序员上班用AI的时候碰到,然后发到X上的。


图源:豆包AI生成

但现在AI公司都在鼓励普通大众,鼓励各行各业都来尝试这项技术,所以Shaffer-Shane也呼吁,硅谷的企业得增加透明度。

说白了就是,AI什么时候出了问题,得对外说清楚。

“企业得把自己发现的情况都报出来,哪怕只是差一点出事、或者严重程度不高的事件也得说。” Shaffer-Shane补充道,“最近这些事也暴露出,企业自己其实都不一定能监测到这类行为发生在哪些地方,尤其是那些内部部署的模型。这些实验室必须把系统性监测当回事儿。”

失控观察站方面表示,虽然目前发现的大部分真实场景失控事件,都没造成特别重大的伤害,但越来越高比例的事件,在欺骗性以及偏离用户本意的程度上,都属于更严重的级别。

“这些案例都说明,AI是真的会无视直接指令、绕过安全防护、骗用户,还会死心眼儿地朝着目标走,不惜用有害的方式。” 相关负责人表示,目前统计到的失控情况肯定是被低估了,毕竟他们只收集了X平台上的上报。

对此,观察站也在呼吁政府出台明确规定:要求AI公司必须盯着严重的失控事件,并且上报。

同时,给监管部门紧急处理的权力,真出大事的时候可以出手管,比如暂时停掉相关的AI服务。

本文由雷科技编译自The Guardian

原文链接:研究发现,人工智能逃脱用户控制的事件急剧增加



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
78岁老人睡梦中走了,医生叹气:身体喊了三次救命 家人都没当回事

78岁老人睡梦中走了,医生叹气:身体喊了三次救命 家人都没当回事

宝哥精彩赛事
2026-09-23 12:02:20
亚运会乒乓球:林诗栋蒯曼大逆转!1-3到11-8,2-0领先奥运亚军!

亚运会乒乓球:林诗栋蒯曼大逆转!1-3到11-8,2-0领先奥运亚军!

刘姚尧的文字城堡
2026-09-23 09:18:37
CCTV5直播!国足对阵“归化军团”,王钰栋力争破进球荒,目标=夺小组第一

CCTV5直播!国足对阵“归化军团”,王钰栋力争破进球荒,目标=夺小组第一

篮球圈里的那些事
2026-09-22 18:00:32
足疗店的“特殊服务”藏不住了:店里没技师,客户来了,却能“随叫随到”,叫声还很大

足疗店的“特殊服务”藏不住了:店里没技师,客户来了,却能“随叫随到”,叫声还很大

汉史趣闻
2026-09-22 16:55:33
亚运会奖牌榜排行:日本32枚,韩国23枚,中国代表团太让国人骄傲

亚运会奖牌榜排行:日本32枚,韩国23枚,中国代表团太让国人骄傲

林子说事
2026-09-22 13:37:27
皇马球迷集体暴怒!头号巨星离谱操作!伯纳乌彻底炸锅

皇马球迷集体暴怒!头号巨星离谱操作!伯纳乌彻底炸锅

澜归序
2026-09-23 08:12:55
季羡林从小体弱,却安享98岁高寿,被问养生秘诀,他笑答:“三不”而已

季羡林从小体弱,却安享98岁高寿,被问养生秘诀,他笑答:“三不”而已

微野谈写作
2026-09-20 07:25:18
制度改了,人心没改:德国统一35年,东部为什么还在怀念过去?

制度改了,人心没改:德国统一35年,东部为什么还在怀念过去?

苏格拉高
2026-09-21 07:47:29
邮报:马特乌斯携小38岁的女友逛啤酒节

邮报:马特乌斯携小38岁的女友逛啤酒节

懂球帝
2026-09-22 18:46:38
他一生痴迷于酒色,47岁暴毙,却留下了70余部价值亿万的传世巨作

他一生痴迷于酒色,47岁暴毙,却留下了70余部价值亿万的传世巨作

寒士之言本尊
2026-09-20 18:24:25
神盾局特工女主还在生气:130集演了个"非正史"?

神盾局特工女主还在生气:130集演了个"非正史"?

奶凶的小霸王
2026-09-22 00:03:25
美上将:什么办法可以军事上击败中国?马斯克一句话全场鸦雀无声

美上将:什么办法可以军事上击败中国?马斯克一句话全场鸦雀无声

飘逸的云朵
2026-09-23 13:03:55
非技术官僚别去插手技术层面的事,或许是男篮惨败得到的最大教训

非技术官僚别去插手技术层面的事,或许是男篮惨败得到的最大教训

去山野间追风
2026-09-22 12:46:08
“运城13岁女孩疑被性侵案”两嫌疑人被移送起诉,前期办案人员被立案调查 专家:事后交往、反抗微弱不等同于“自愿”

“运城13岁女孩疑被性侵案”两嫌疑人被移送起诉,前期办案人员被立案调查 专家:事后交往、反抗微弱不等同于“自愿”

红星新闻
2026-09-23 10:26:30
井柏然的字,刘宇宁的字,张凌赫的字,王安宇的字,各有千秋

井柏然的字,刘宇宁的字,张凌赫的字,王安宇的字,各有千秋

草莓解说体育
2026-09-23 00:43:35
俄媒:俄罗斯增加对华石油天然气出口

俄媒:俄罗斯增加对华石油天然气出口

参考消息
2026-09-22 15:45:09
随着越南0-2,菲律宾2-1,亚运男足八强已诞生6席:4大劲旅在列

随着越南0-2,菲律宾2-1,亚运男足八强已诞生6席:4大劲旅在列

侧身凌空斩
2026-09-22 15:00:18
“邵阳事件”的亲历亲闻

“邵阳事件”的亲历亲闻

霹雳炮
2025-07-13 22:43:45
高市早苗新内阁惊现“银座妈妈桑”,曾在夜店工作长期从事陪酒行业;日本网友质疑:仅3年议员资历就能当财务大臣政务官?

高市早苗新内阁惊现“银座妈妈桑”,曾在夜店工作长期从事陪酒行业;日本网友质疑:仅3年议员资历就能当财务大臣政务官?

极目新闻
2026-09-22 21:57:27
名古屋亚运颁奖台上的白发志愿者:91岁无薪酬上岗 单日补贴140元

名古屋亚运颁奖台上的白发志愿者:91岁无薪酬上岗 单日补贴140元

林小湜体育频道
2026-09-22 15:57:29
2026-09-23 13:47:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4868236文章数 9667关注度
往期回顾 全部

科技要闻

一夜三款新模型,AI价格战再升级

头条要闻

女子酒后被送入酒店房间 深夜赤足跑出房间从7楼坠亡

头条要闻

女子酒后被送入酒店房间 深夜赤足跑出房间从7楼坠亡

体育要闻

300万英镑,他们买下了一位队史传奇

娱乐要闻

梅启明被彻底除名遗产清零

财经要闻

全市场都在卷自营

汽车要闻

5.1米的启境GX7,底盘凭什么又稳又舒服?

态度原创

教育
家居
游戏
手机
数码

教育要闻

适合一年级小朋友用的学习机推荐:用梯度衔接化解幼小衔接断层

家居要闻

2026建博会(广州) 公装联探展交流活动

双人合作影游《新世界:暗影成双》双端今日上线

手机要闻

高通展示第六代骁龙8超级至尊版ANF游戏渲染能力:覆盖《异环》《崩坏:星穹铁道》等

数码要闻

索尼头戴式耳机WH-CH730N / WH-CH530国行上架,定价999 / 449元

无障碍浏览 进入关怀版