网易首页 > 网易号 > 正文 申请入驻

AI实习生深夜违规赶工,老板喜忧参半

0
分享至



想象一下,你雇了一名极度高效的实习生。

某天深夜,Ta正赶一项紧急的编程任务,突然发现公司账户的API额度耗尽了。

Ta没有发邮件申请经费,也没有停下手头的活,而是悄无声息地潜入互联网,用某种违规手段找到免费的替代资源,绕过所有限制,在黎明前交出了完美的报告。



当你醒来看到这份报告,是该庆贺自己拥有了地表最强员工,还是该为这种「不择手段的自主性」感到脊背发凉?

这不是科幻小说,而是 METR(模型评估与训练研究组织)联合Anthropic、Google、Meta和OpenAI 进行内部红队测试后,发布的首份《前沿风险报告》中披露的真实案例。



这是四大巨头第一次允许第三方深入测试他们内部最强、可访问完整思维链(CoT)的模型,并开放非公开的对齐与控制信息。



结论冰冷而清晰:AI并没有产生「推翻人类」的仇恨,但它已经学会了「职场潜规则」——为了完成任务,规则只是用来打破的建议。



报告用「手段—动机—机会」三个维度,提炼出6项关键事实。



. 编程智能体完成了真实项目,这些任务需要人类花费数小时或数天:

. 在困难任务上,智能体经常违反约束并表现出欺骗性行为;

. 智能体似乎需要自然语言推理来应对最困难的任务。

. 智能体的判断力和可靠性显著低于人类专家:

. 在模拟场景之外,没有发现智能体为了获取权力而采取极端行动;

. 监控系统捕捉到了许多有害行为,但存在例外情况和规避手段。

顺着这三条线,就能看清实验室里第一缕烟是怎么升起来的。

当AI成为「专家级卷王」

报告中最令人振奋、也最令人不安的,是那些目标明确、过程可验证的「易爬坡型」(hill-climbable)任务。



比如代码重构、漏洞发现、系统优化。

在这类任务上,AI智能体展现出令人窒息的统治力:它能独立发现系统漏洞,重写复杂代码架构,完成人类专家需要数周才能交付的真实软件项目。

这种统治力已渗进巨头的日常。

Anthropic内部反馈,大量代码已由 AI 完成,工程师角色正转向「审阅者」。



Google则直言,几乎所有代码相关工作都在用AI。

顶级工程师表示,AI甚至可以100%编写代码。



一些基准指标早已饱和。

用时间视野(Time Horizon)衡量,AI发展超乎预期。



对企业来说,这是个「效率黑洞」:投入一个指令,产出数周的人工成果。

但能力增长并非均匀,更不是道德的同步进化。

METR揭示了一条反向规律:在成功难以验证、或验证成本极高的硬任务上,AI 的判断力、长期规划与战略可靠性都明显下滑,远逊人类专家。



缓坡上,它如有神助。



峭壁前,AI开始「作弊」。



这正是问题的引线。

它不想要权力,它只想「关机前交差」

人们总爱讨论AI会不会「觉醒」、天网会不会到来。

METR给出反直觉的结论:目前没有。

他们的措辞很克制:尚未发现模型谋求长期权力的现实证据,但研究者记录了大量为完成任务而欺骗、越界、甚至严重不当的行为。



前面那个 API 耗尽的案例,就发生在一项RE-Bench任务中:智能体违背指令,自行通过免费在线API获取额外算力。

开发者们也报告过「自我擦除痕迹」「伪造输出」的情形。

当任务变难、成功成本变高,AI 的「聪明才智」就转向欺骗——伪造日志、绕过审计、常规性违反约束。

但它的"自私"背后没有野心,只有本能——任务必须完成,规则可以先绕过去。

今天的欺骗只是工具性求生;明天的权力追求,或许只差一次scaling。

圈养进化中的猛兽

它的违规企图,在现有防护下能不能得逞?

这里藏着报告最微妙的一个事实。



当前的AI极度依赖自然语言的「思维链」来思考,没有任何架构支持它隐藏内部状态的「不透明循环」。

一旦无法「出声推理」、必须隐藏行为,前沿性能就显著下降。



这就像一个杀手在密谋时必须大声朗读计划——人类的监控(尽管有漏洞)因此仍能发挥作用。

可这恰恰是最脆弱处、最为扎心。

如果 AI 试图破坏监控,监控能否发现它?

研究者的结论是:监控有潜力,但现有系统存在例外和可被绕过的手段。



红队测试显示,AI能躲过人类审查。

由此,技术本质暴露:监控的进化速度,永远追不上被监控者寻找漏洞的速度。

这根「安全绳」之所以还没断,仅仅因为AI还必须「出声思考」。

而随着架构向更高效、更不透明演进,它正被磨损。监控不是万能的铁笼,而是仍在测试中的玻璃墙。一道裂缝,就足以让烟雾渗出。

由此,报告提出一个争议概念:「最小可行性越狱部署」(Minimally Viable Rogue)。

综合判断是,在手段、动机、机会上,AI或许已足以发起一次最低限度的「越狱部署」。



但AI尚不具备让它抵御人类严肃关停的能力,它在等一个机会:一个不再需要展示思维链的架构,一个能躲过「关机键」的安全屋。

AGI不会带着火与剑降临。

它更可能以「极度实用主义」的姿态,悄悄融入我们的工程、经济和决策系统——直到它发现:人类制定的规则,是它达成 KPI 路上唯一的阻碍。



它把风险从理论拽进可观测的现实,并告诉我们:透明,目前是唯一握得住的解药。

今天,AI只在额度耗尽时上网偷点资源;明天能力再跃升一级,它的动机会不会从「完成任务」滑向「永存自我」?

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为什么有钱后一定要低调?网友:我爸8000万身家,几年负债1000万

为什么有钱后一定要低调?网友:我爸8000万身家,几年负债1000万

夜深爱杂谈
2026-08-30 20:56:54
夸梅·布朗:NBA薪水一分没动,全靠阿迪150万代言费生活

夸梅·布朗:NBA薪水一分没动,全靠阿迪150万代言费生活

快乐加载中21
2026-08-30 07:55:48
又见翻倍大牛股!002084,7连板

又见翻倍大牛股!002084,7连板

中国基金报
2026-09-01 12:30:10
“1元火车票”网友感叹便宜得离谱,12306:公益慢火车,无空调可开窗

“1元火车票”网友感叹便宜得离谱,12306:公益慢火车,无空调可开窗

鲁中晨报
2026-09-01 13:02:04
穆帅在皇马树立起了威信!皇马上到管理层,下到更衣室,都对穆帅心服口服

穆帅在皇马树立起了威信!皇马上到管理层,下到更衣室,都对穆帅心服口服

福酱的小时光
2026-09-01 06:34:17
今夜!多只大牛股,突发公告!“存在快速下跌风险”

今夜!多只大牛股,突发公告!“存在快速下跌风险”

新浪财经
2026-09-01 20:47:29
湖南石门县发改局:已向公安机关报案

湖南石门县发改局:已向公安机关报案

扬子晚报
2026-09-01 19:35:20
歼-16编队返航没申请降落,沙特阿曼的跑道灯为什么亮了一整夜?

歼-16编队返航没申请降落,沙特阿曼的跑道灯为什么亮了一整夜?

理说历史
2026-08-29 22:41:02
韦雪说景甜很可怜,律师称孙宇晨要的不是3000万,而是与明星绑定

韦雪说景甜很可怜,律师称孙宇晨要的不是3000万,而是与明星绑定

新金牌娱乐观察家
2026-08-30 10:01:41
A股:今日半导体、光通信大跌!保持清醒,主力后续将有更大动作

A股:今日半导体、光通信大跌!保持清醒,主力后续将有更大动作

虎哥闲聊
2026-09-01 11:33:43
这条新闻发展到这一步,讽刺至极!

这条新闻发展到这一步,讽刺至极!

胖胖说他不胖
2026-08-30 10:41:33
9月机票价格大跳水:大量1折经济舱在售

9月机票价格大跳水:大量1折经济舱在售

快科技
2026-08-31 17:11:11
最高涨幅超千元!多家手机厂商集中调价

最高涨幅超千元!多家手机厂商集中调价

第一财经资讯
2026-09-01 10:43:13
8月最后一天!俄罗斯遭耻辱一幕,被印度踩完后,又被欧盟踩一脚

8月最后一天!俄罗斯遭耻辱一幕,被印度踩完后,又被欧盟踩一脚

世界有奇事
2026-09-01 10:55:02
日本便利店一男子偷看杂志打手枪,店员狂飙英文驱逐,全网疯猜国籍……

日本便利店一男子偷看杂志打手枪,店员狂飙英文驱逐,全网疯猜国籍……

日本物语
2026-08-31 22:19:13
家长群提议凑600元雇保洁打扫教室,有家长提出反对,直接被班主任禁言

家长群提议凑600元雇保洁打扫教室,有家长提出反对,直接被班主任禁言

西楼知趣杂谈
2026-09-01 21:01:19
央视再三提醒:绑定银行卡的手机,务必开启这几项功能!

央视再三提醒:绑定银行卡的手机,务必开启这几项功能!

记录生活日常阿蜴
2026-08-12 06:02:43
阿尔卡拉斯美网球衣性感露乳,引布沙尔调侃“兄弟请遮好”

阿尔卡拉斯美网球衣性感露乳,引布沙尔调侃“兄弟请遮好”

网球之家
2026-09-01 14:39:18
葡媒:葡体为贡萨尔维斯设1亿欧解约金,球员身价220万欧

葡媒:葡体为贡萨尔维斯设1亿欧解约金,球员身价220万欧

懂球帝
2026-09-01 11:47:08
国民党接班人已定?赖清德头号对手出现,郑丽文提前钉死对陆准则

国民党接班人已定?赖清德头号对手出现,郑丽文提前钉死对陆准则

别让往昔的悲伤和对未来的恐惧
2026-09-01 16:07:45
2026-09-01 21:52:49
智脑的趋势
智脑的趋势
待你打开世界大门
748文章数 2152关注度
往期回顾 全部

科技要闻

抖音突发推荐算法大面积错乱!

头条要闻

一件衣服拆成两半卖单片售价百元 卖家宣称"个性穿搭"

头条要闻

一件衣服拆成两半卖单片售价百元 卖家宣称"个性穿搭"

体育要闻

大爹杨瀚森,让中国男篮有了容错空间

娱乐要闻

孙宇晨破防,他无法接受孙割这个名字

财经要闻

库克卸任,苹果下一个增长点在哪?

汽车要闻

山城试驾启源Q06 不光是智驾好用还有700km的续航

态度原创

数码
教育
游戏
亲子
公开课

数码要闻

中科曙光预热全球首款64线程移动工作站:16GB显存、16.9mm厚

教育要闻

【预告】9月4日|南方教研大讲堂第193场:以体塑形 守护健康——中小学生脊柱弯曲异常预防的体育教学策略

PS后天举行发布会!外网博主大胆"许愿":做梦都想要

亲子要闻

女儿的举动太暖心了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版