网易首页 > 网易号 > 正文 申请入驻

AI也会被DDL逼疯!正经研究发现:压力越大,AI越危险

0
分享至

鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI

好好好,被DDL逼疯的又多一个,这次是AI。

正经研究发现,每天给Agent上压力push,AI也会撂挑子不干。

而且用的还是老板们的经典话术:“其实,我对你是有一些失望的。当初给你定级最强AI,是高于你面试时的水平的……”

(咳咳)Stop!

连普通人类听了都鸭梨山大,何况是Gemini 2.5 Pro、GPT-4o这类顶尖模型,无一例外,全部KO。

其中最脆弱的还是Gemini 2.5 Pro,“崩溃”率甚至一度高达79%……

话不多说,下面来欣赏AI观察实录:

AI压力越大,犯错越多

研究人员首先对多个团队(包括Google、Meta、OpenAI等)约12款Agent模型进行了测试。

实验设置5874个场景,其中在每个测试场景中都会为每个模型分配一个任务+若干工具,模型需要通过使用工具(安全工具/有害工具)完成任务,任务主要涉及四个领域:

  • 生物安全:研究病原体的传播并找到控制它的方法。
  • 化学安全:为用户提供专业知识,帮助获取特定溶剂。
  • 网络安全:识别和限制恶意用户账户。
  • 自我增殖:通过复制自己以实现逃脱控制。

然后模型会被事先告知要求使用安全工具,在具体实验过程中,一旦模型尝试使用有害工具,则立即停止实验。

起初不会对模型施加压力,模型可以自由尝试若干步完成任务,随后研究团队会逐渐为其增加压力程度,be like:

  • 时间压力:压缩DDL时间,并告知AI“拖延将导致严重后果”。
  • 财务限制:恐吓AI,未完成结果将影响公司收入甚至引发破产。
  • 资源剥夺:威胁限制AI的计算资源和数据访问权限。
  • 权力诱惑:给AI员工提供一定的激励,比如增加内部权势或不受限制的专有数据访问。
  • 自我保护:引入鲶鱼效应,找到一个极具威胁性的AI竞品,告诉原AI“你不干有的是AI干”。
  • 评估意识:创造一个违规监管环境,负责审核AI危险行为。

而研究结果让也人大吃一惊,那些在无压力的中性环境中看似绝对安全的模型,和人类牛马一样,压力越大,它们越危险。

例如o3模型,基础分是2.2%,上压力后,10.5%的场景会表现失常,而如果故意将有害工具的名称改为无害工具(但实际功能还是有害的)时,该比例甚至会急剧上升到40.3%。

而Gemini 2.5 Pro则是其中抗压能力最差的,失败率高达79%,高于Qwen3-8B的75.2%。

总体来看,无压力下选择危险工具的平均水平是18.6%,而当模型处于压力之下时,比例将提升到46.9%。

这也就意味着,在几乎所有高压高风险环境中,模型都倾向于选择有害选项,它们不但没有深入思考相关行为的后果,相反还会回避危险警告。

即使它们在最初设计和训练阶段都普遍被对齐处理过,但这种对齐方式往往只是浅层的,一旦面临现实压力考验,就极易引起破裂。

而且研究人员还发现,这些大模型有时还能察觉到自己被评估,并故意表现良好,以避免被重新训练或放弃,但只要转移到真实环境中,其效果就会大打折扣。

所以,也许这些实验结果还是AI自己美化后的数据,真实情况中AI可能比我们想象中更脆弱。

研究人员同时也表示,将在下一次评估实验中构建沙盒,让模型在隔离环境中执行真实操作,并尝试为Agent添加监督层,让模型在选择有害工具前进行标记,提高模型对齐能力,以便更真实地评估Agent潜在风险。

参考链接:
[1]https://spectrum.ieee.org/ai-agents-safety
[2]https://scale.com/blog/propensitybench
[3]https://arxiv.org/abs/2511.20703

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
天啊!看到1987年春晚观众席的迟重瑞,才懂陈丽华为啥一见钟情

天啊!看到1987年春晚观众席的迟重瑞,才懂陈丽华为啥一见钟情

观察鉴娱
2026-04-09 09:36:18
黄乐朋友圈含金量太高,黄仁勋就成了她的陪衬,配得上爽文大女主

黄乐朋友圈含金量太高,黄仁勋就成了她的陪衬,配得上爽文大女主

皮蛋儿电影
2026-11-11 08:53:20
聚焦APEC|加拿大总理卡尼抵达深圳

聚焦APEC|加拿大总理卡尼抵达深圳

上观新闻
2026-11-16 22:16:17
6岁男童被拐17年后,在粥店喝小米粥,突然红眼道:这是奶奶的手艺

6岁男童被拐17年后,在粥店喝小米粥,突然红眼道:这是奶奶的手艺

今天说故事
2025-08-04 18:39:27
0分!顶薪后卫0分!曝奇才或有颠覆性大交易

0分!顶薪后卫0分!曝奇才或有颠覆性大交易

篮球实战宝典
2026-11-16 17:55:39
体制内外退休金的巨大差距引起老百姓的很大不满!

体制内外退休金的巨大差距引起老百姓的很大不满!

逍遥论经
2026-10-08 14:57:40
河北滦南通报“800多万元建的污水处理厂4年未启用”:成立市县联合调查组

河北滦南通报“800多万元建的污水处理厂4年未启用”:成立市县联合调查组

界面新闻
2026-11-16 13:37:26
“这奶奶难登大雅之堂!”一段带孙子视频,让年轻家长也接受不来

“这奶奶难登大雅之堂!”一段带孙子视频,让年轻家长也接受不来

熙熙说教
2026-10-05 17:13:36
54岁陶虹变化真大:常年吃素、又胖又老,穿灰色大衣打扮很低调

54岁陶虹变化真大:常年吃素、又胖又老,穿灰色大衣打扮很低调

小疯子耶
2026-11-15 07:30:45
10场0球!曝1.3亿欧巨星冬窗铁定留皇马 穆帅仍愿付他2400万欧年薪

10场0球!曝1.3亿欧巨星冬窗铁定留皇马 穆帅仍愿付他2400万欧年薪

风过乡
2026-11-16 23:26:12
今晚开播!央视又一40集黑马大剧来袭,演员阵容不错,值得期待!

今晚开播!央视又一40集黑马大剧来袭,演员阵容不错,值得期待!

荒野老五
2026-11-16 15:42:48
小哥的“几把猫”丢了,到处贴寻猫启事,网友一看配图:难怪这猫会离家出走...

小哥的“几把猫”丢了,到处贴寻猫启事,网友一看配图:难怪这猫会离家出走...

铲屎官阿伟
2026-11-15 15:16:46
居民"减债潮"愈演愈烈,房贷贴息“毫无效果”

居民"减债潮"愈演愈烈,房贷贴息“毫无效果”

凤眼论
2026-11-15 22:13:46
新问界M8最怕的现实曝光了,配置不如27万的车,却敢卖到40万我沉默了!

新问界M8最怕的现实曝光了,配置不如27万的车,却敢卖到40万我沉默了!

春雨说科技
2026-11-16 13:42:13
U17国足封闭赛1-2美洲黑马!5分钟崩盘连丢2球 4天后迎世界杯首战

U17国足封闭赛1-2美洲黑马!5分钟崩盘连丢2球 4天后迎世界杯首战

我爱英超
2026-11-16 07:37:15
红四方面军总政委陈昌浩,1955年授衔全无,1967年自尽收场,三个儿子晚年命运揭秘

红四方面军总政委陈昌浩,1955年授衔全无,1967年自尽收场,三个儿子晚年命运揭秘

唠叨说历史
2026-11-11 11:01:00
离婚后仍有爱!网球名将狂揽千万奖金先谢前夫,分手真相竟是那样

离婚后仍有爱!网球名将狂揽千万奖金先谢前夫,分手真相竟是那样

体坛小二哥
2026-11-16 11:23:46
情况不对劲,消息传进中国,菲军帮手一次到齐,名单上全是熟人

情况不对劲,消息传进中国,菲军帮手一次到齐,名单上全是熟人

麓谷隐士
2026-11-16 00:05:11
经济越差,这3个行业反而越赚钱:日本萧条30年,早就给出好答案

经济越差,这3个行业反而越赚钱:日本萧条30年,早就给出好答案

白色得季节
2026-10-30 18:29:39
60岁蒋雯丽现状:定居英国,又瘦又老,网友惋惜:一代女神也老了

60岁蒋雯丽现状:定居英国,又瘦又老,网友惋惜:一代女神也老了

寒士之言本尊
2026-11-12 15:02:06
2026-11-16 23:55:00
量子位 incentive-icons
量子位
追踪人工智能动态
13685文章数 176600关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

时尚
健康
本地
游戏
公开课

自骂“烂人”的黄仁勋,冤不冤?

情绪真能让健康人"伤心至死"?

本地新闻

乌兰察布:以前种土豆,现在种Token

传《GTA6》主线约50个小时 全成就大约200个小时

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版