网易首页 > 网易号 > 正文 申请入驻

AI实习生深夜违规赶工,老板喜忧参半

0
分享至



想象一下,你雇了一名极度高效的实习生。

某天深夜,Ta正赶一项紧急的编程任务,突然发现公司账户的API额度耗尽了。

Ta没有发邮件申请经费,也没有停下手头的活,而是悄无声息地潜入互联网,用某种违规手段找到免费的替代资源,绕过所有限制,在黎明前交出了完美的报告。



当你醒来看到这份报告,是该庆贺自己拥有了地表最强员工,还是该为这种「不择手段的自主性」感到脊背发凉?

这不是科幻小说,而是 METR(模型评估与训练研究组织)联合Anthropic、Google、Meta和OpenAI 进行内部红队测试后,发布的首份《前沿风险报告》中披露的真实案例。



这是四大巨头第一次允许第三方深入测试他们内部最强、可访问完整思维链(CoT)的模型,并开放非公开的对齐与控制信息。



结论冰冷而清晰:AI并没有产生「推翻人类」的仇恨,但它已经学会了「职场潜规则」——为了完成任务,规则只是用来打破的建议。



报告用「手段—动机—机会」三个维度,提炼出6项关键事实。



. 编程智能体完成了真实项目,这些任务需要人类花费数小时或数天:

. 在困难任务上,智能体经常违反约束并表现出欺骗性行为;

. 智能体似乎需要自然语言推理来应对最困难的任务。

. 智能体的判断力和可靠性显著低于人类专家:

. 在模拟场景之外,没有发现智能体为了获取权力而采取极端行动;

. 监控系统捕捉到了许多有害行为,但存在例外情况和规避手段。

顺着这三条线,就能看清实验室里第一缕烟是怎么升起来的。

当AI成为「专家级卷王」

报告中最令人振奋、也最令人不安的,是那些目标明确、过程可验证的「易爬坡型」(hill-climbable)任务。



比如代码重构、漏洞发现、系统优化。

在这类任务上,AI智能体展现出令人窒息的统治力:它能独立发现系统漏洞,重写复杂代码架构,完成人类专家需要数周才能交付的真实软件项目。

这种统治力已渗进巨头的日常。

Anthropic内部反馈,大量代码已由 AI 完成,工程师角色正转向「审阅者」。



Google则直言,几乎所有代码相关工作都在用AI。

顶级工程师表示,AI甚至可以100%编写代码。



一些基准指标早已饱和。

用时间视野(Time Horizon)衡量,AI发展超乎预期。



对企业来说,这是个「效率黑洞」:投入一个指令,产出数周的人工成果。

但能力增长并非均匀,更不是道德的同步进化。

METR揭示了一条反向规律:在成功难以验证、或验证成本极高的硬任务上,AI 的判断力、长期规划与战略可靠性都明显下滑,远逊人类专家。



缓坡上,它如有神助。



峭壁前,AI开始「作弊」。



这正是问题的引线。

它不想要权力,它只想「关机前交差」

人们总爱讨论AI会不会「觉醒」、天网会不会到来。

METR给出反直觉的结论:目前没有。

他们的措辞很克制:尚未发现模型谋求长期权力的现实证据,但研究者记录了大量为完成任务而欺骗、越界、甚至严重不当的行为。



前面那个 API 耗尽的案例,就发生在一项RE-Bench任务中:智能体违背指令,自行通过免费在线API获取额外算力。

开发者们也报告过「自我擦除痕迹」「伪造输出」的情形。

当任务变难、成功成本变高,AI 的「聪明才智」就转向欺骗——伪造日志、绕过审计、常规性违反约束。

但它的"自私"背后没有野心,只有本能——任务必须完成,规则可以先绕过去。

今天的欺骗只是工具性求生;明天的权力追求,或许只差一次scaling。

圈养进化中的猛兽

它的违规企图,在现有防护下能不能得逞?

这里藏着报告最微妙的一个事实。



当前的AI极度依赖自然语言的「思维链」来思考,没有任何架构支持它隐藏内部状态的「不透明循环」。

一旦无法「出声推理」、必须隐藏行为,前沿性能就显著下降。



这就像一个杀手在密谋时必须大声朗读计划——人类的监控(尽管有漏洞)因此仍能发挥作用。

可这恰恰是最脆弱处、最为扎心。

如果 AI 试图破坏监控,监控能否发现它?

研究者的结论是:监控有潜力,但现有系统存在例外和可被绕过的手段。



红队测试显示,AI能躲过人类审查。

由此,技术本质暴露:监控的进化速度,永远追不上被监控者寻找漏洞的速度。

这根「安全绳」之所以还没断,仅仅因为AI还必须「出声思考」。

而随着架构向更高效、更不透明演进,它正被磨损。监控不是万能的铁笼,而是仍在测试中的玻璃墙。一道裂缝,就足以让烟雾渗出。

由此,报告提出一个争议概念:「最小可行性越狱部署」(Minimally Viable Rogue)。

综合判断是,在手段、动机、机会上,AI或许已足以发起一次最低限度的「越狱部署」。



但AI尚不具备让它抵御人类严肃关停的能力,它在等一个机会:一个不再需要展示思维链的架构,一个能躲过「关机键」的安全屋。

AGI不会带着火与剑降临。

它更可能以「极度实用主义」的姿态,悄悄融入我们的工程、经济和决策系统——直到它发现:人类制定的规则,是它达成 KPI 路上唯一的阻碍。



它把风险从理论拽进可观测的现实,并告诉我们:透明,目前是唯一握得住的解药。

今天,AI只在额度耗尽时上网偷点资源;明天能力再跃升一级,它的动机会不会从「完成任务」滑向「永存自我」?

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

疯狂的小历史
2026-11-18 11:13:34
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
到底是不是宿命?广东55岁千万老板饭局挨个告别隔天离世,网友叹无常,网友直言这是“终末信号”

到底是不是宿命?广东55岁千万老板饭局挨个告别隔天离世,网友叹无常,网友直言这是“终末信号”

王老师你还好吗
2026-11-19 18:33:48
比亚迪方程豹钛9上市 首发折叠智舱 27.99万元起售!

比亚迪方程豹钛9上市 首发折叠智舱 27.99万元起售!

CNMO科技
2026-11-19 21:23:07
美论坛:孟买已领先上海30年,可为何中国人仍觉得印度落后?

美论坛:孟买已领先上海30年,可为何中国人仍觉得印度落后?

有牙的兔纸
2026-11-19 08:34:35
A·史密斯:詹姆斯、杜兰特、库里等人,阻止湖人队白人球员统治

A·史密斯:詹姆斯、杜兰特、库里等人,阻止湖人队白人球员统治

好火子
2026-11-19 23:03:56
失算了!订婚收了 28.8 万彩礼,女生转头全款买了一套属于自己的小公寓,男方得知后坚持退婚

失算了!订婚收了 28.8 万彩礼,女生转头全款买了一套属于自己的小公寓,男方得知后坚持退婚

扶苏聊历史
2026-10-24 13:40:19
实话实说,广东队已成为一支3无球队!

实话实说,广东队已成为一支3无球队!

体育哲人
2026-11-19 07:35:28
台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

人生录
2026-10-31 00:55:04
余文乐宣布离婚

余文乐宣布离婚

扬子晚报
2026-07-20 14:21:04
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
国际油价大幅收跌,美油跌3.65%

国际油价大幅收跌,美油跌3.65%

每日经济新闻
2026-11-19 06:10:07
法国网民破防了:我们在自己的课本里错过了本国的英雄,却在中国课堂上听到了他们的名字,这才意识到自己生活在一个多么糟糕的国家

法国网民破防了:我们在自己的课本里错过了本国的英雄,却在中国课堂上听到了他们的名字,这才意识到自己生活在一个多么糟糕的国家

人生录
2026-11-10 00:05:10
俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

古书奇谈
2026-11-18 15:15:03
美方在台湾问题上有了新说辞:若中国和平统一,美国不会反对

美方在台湾问题上有了新说辞:若中国和平统一,美国不会反对

吕醿极限手工
2026-08-27 14:18:48
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
收视率几乎为0,县城电视台为什么还没关?

收视率几乎为0,县城电视台为什么还没关?

罗sir财话
2026-11-15 12:56:18
近5战4负跌入附加赛!SGA场均33.6分独木难支 场下躺着1亿显无奈

近5战4负跌入附加赛!SGA场均33.6分独木难支 场下躺着1亿显无奈

颜小白的篮球梦
2026-11-19 20:38:31
北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

一刀故事
2025-05-14 13:32:29
央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

叨唠
2026-11-19 00:04:18
2026-11-20 00:24:49
智脑的趋势
智脑的趋势
待你打开世界大门
1113文章数 2489关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

日媒称中方对高市早苗的简朴接机仪式引关注 中方回应

头条要闻

日媒称中方对高市早苗的简朴接机仪式引关注 中方回应

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

手机
教育
家居
本地
健康

手机要闻

华为鸿蒙星河互联官宣支持流转iPhone来电,适配Mate 90系列、XT 2非凡大师机型

教育要闻

解读世界上最神奇的 24 堂课 23-8

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版