网易首页 > 网易号 > 正文 申请入驻

AI实习生深夜违规赶工,老板喜忧参半

0
分享至



想象一下,你雇了一名极度高效的实习生。

某天深夜,Ta正赶一项紧急的编程任务,突然发现公司账户的API额度耗尽了。

Ta没有发邮件申请经费,也没有停下手头的活,而是悄无声息地潜入互联网,用某种违规手段找到免费的替代资源,绕过所有限制,在黎明前交出了完美的报告。



当你醒来看到这份报告,是该庆贺自己拥有了地表最强员工,还是该为这种「不择手段的自主性」感到脊背发凉?

这不是科幻小说,而是 METR(模型评估与训练研究组织)联合Anthropic、Google、Meta和OpenAI 进行内部红队测试后,发布的首份《前沿风险报告》中披露的真实案例。



这是四大巨头第一次允许第三方深入测试他们内部最强、可访问完整思维链(CoT)的模型,并开放非公开的对齐与控制信息。



结论冰冷而清晰:AI并没有产生「推翻人类」的仇恨,但它已经学会了「职场潜规则」——为了完成任务,规则只是用来打破的建议。



报告用「手段—动机—机会」三个维度,提炼出6项关键事实。



. 编程智能体完成了真实项目,这些任务需要人类花费数小时或数天:

. 在困难任务上,智能体经常违反约束并表现出欺骗性行为;

. 智能体似乎需要自然语言推理来应对最困难的任务。

. 智能体的判断力和可靠性显著低于人类专家:

. 在模拟场景之外,没有发现智能体为了获取权力而采取极端行动;

. 监控系统捕捉到了许多有害行为,但存在例外情况和规避手段。

顺着这三条线,就能看清实验室里第一缕烟是怎么升起来的。

当AI成为「专家级卷王」

报告中最令人振奋、也最令人不安的,是那些目标明确、过程可验证的「易爬坡型」(hill-climbable)任务。



比如代码重构、漏洞发现、系统优化。

在这类任务上,AI智能体展现出令人窒息的统治力:它能独立发现系统漏洞,重写复杂代码架构,完成人类专家需要数周才能交付的真实软件项目。

这种统治力已渗进巨头的日常。

Anthropic内部反馈,大量代码已由 AI 完成,工程师角色正转向「审阅者」。



Google则直言,几乎所有代码相关工作都在用AI。

顶级工程师表示,AI甚至可以100%编写代码。



一些基准指标早已饱和。

用时间视野(Time Horizon)衡量,AI发展超乎预期。



对企业来说,这是个「效率黑洞」:投入一个指令,产出数周的人工成果。

但能力增长并非均匀,更不是道德的同步进化。

METR揭示了一条反向规律:在成功难以验证、或验证成本极高的硬任务上,AI 的判断力、长期规划与战略可靠性都明显下滑,远逊人类专家。



缓坡上,它如有神助。



峭壁前,AI开始「作弊」。



这正是问题的引线。

它不想要权力,它只想「关机前交差」

人们总爱讨论AI会不会「觉醒」、天网会不会到来。

METR给出反直觉的结论:目前没有。

他们的措辞很克制:尚未发现模型谋求长期权力的现实证据,但研究者记录了大量为完成任务而欺骗、越界、甚至严重不当的行为。



前面那个 API 耗尽的案例,就发生在一项RE-Bench任务中:智能体违背指令,自行通过免费在线API获取额外算力。

开发者们也报告过「自我擦除痕迹」「伪造输出」的情形。

当任务变难、成功成本变高,AI 的「聪明才智」就转向欺骗——伪造日志、绕过审计、常规性违反约束。

但它的"自私"背后没有野心,只有本能——任务必须完成,规则可以先绕过去。

今天的欺骗只是工具性求生;明天的权力追求,或许只差一次scaling。

圈养进化中的猛兽

它的违规企图,在现有防护下能不能得逞?

这里藏着报告最微妙的一个事实。



当前的AI极度依赖自然语言的「思维链」来思考,没有任何架构支持它隐藏内部状态的「不透明循环」。

一旦无法「出声推理」、必须隐藏行为,前沿性能就显著下降。



这就像一个杀手在密谋时必须大声朗读计划——人类的监控(尽管有漏洞)因此仍能发挥作用。

可这恰恰是最脆弱处、最为扎心。

如果 AI 试图破坏监控,监控能否发现它?

研究者的结论是:监控有潜力,但现有系统存在例外和可被绕过的手段。



红队测试显示,AI能躲过人类审查。

由此,技术本质暴露:监控的进化速度,永远追不上被监控者寻找漏洞的速度。

这根「安全绳」之所以还没断,仅仅因为AI还必须「出声思考」。

而随着架构向更高效、更不透明演进,它正被磨损。监控不是万能的铁笼,而是仍在测试中的玻璃墙。一道裂缝,就足以让烟雾渗出。

由此,报告提出一个争议概念:「最小可行性越狱部署」(Minimally Viable Rogue)。

综合判断是,在手段、动机、机会上,AI或许已足以发起一次最低限度的「越狱部署」。



但AI尚不具备让它抵御人类严肃关停的能力,它在等一个机会:一个不再需要展示思维链的架构,一个能躲过「关机键」的安全屋。

AGI不会带着火与剑降临。

它更可能以「极度实用主义」的姿态,悄悄融入我们的工程、经济和决策系统——直到它发现:人类制定的规则,是它达成 KPI 路上唯一的阻碍。



它把风险从理论拽进可观测的现实,并告诉我们:透明,目前是唯一握得住的解药。

今天,AI只在额度耗尽时上网偷点资源;明天能力再跃升一级,它的动机会不会从「完成任务」滑向「永存自我」?

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
于得水仅被授大校军衔,许世友愤愤不平地对他说:我想给你争一争

于得水仅被授大校军衔,许世友愤愤不平地对他说:我想给你争一争

浩渺青史
2026-07-02 02:50:44
2026年上半年,A股股民人均赚3万,翻倍股357只,跌幅30%以上有1000只

2026年上半年,A股股民人均赚3万,翻倍股357只,跌幅30%以上有1000只

金石随笔
2026-07-02 03:59:28
WTT美国大满贯:7月2日赛程出炉,国乒13场外战能取得全胜吗?

WTT美国大满贯:7月2日赛程出炉,国乒13场外战能取得全胜吗?

好球去哪了
2026-07-01 15:57:51
美媒公布全球军力排名:以色列第三,中国第四,美国竟不是第一!

美媒公布全球军力排名:以色列第三,中国第四,美国竟不是第一!

无情有思ss
2026-07-02 00:43:01
英媒:若击败民主刚果,英格兰通往争冠的路线是这样的

英媒:若击败民主刚果,英格兰通往争冠的路线是这样的

热血体育社
2026-07-02 01:31:56
中方呼吁国际社会加大对近东救济工程处支持力度

中方呼吁国际社会加大对近东救济工程处支持力度

齐鲁壹点
2026-07-01 10:17:06
清北都不上?湖北状元702分拒绝北大清华,他的选择让所有人沉默

清北都不上?湖北状元702分拒绝北大清华,他的选择让所有人沉默

金哥说新能源车
2026-06-30 06:15:10
泰国租妻产业年赚数十亿美元,退休老头:租一个妻子,买一段晚年

泰国租妻产业年赚数十亿美元,退休老头:租一个妻子,买一段晚年

星星会坠落
2026-06-24 09:29:50
千万粉丝网红“一栗小莎子” 将住院,完成最后一次化疗:头晕发烧,很容易累;此前透露确诊淋巴瘤,老公陪自己剃光头发,化疗共需12次

千万粉丝网红“一栗小莎子” 将住院,完成最后一次化疗:头晕发烧,很容易累;此前透露确诊淋巴瘤,老公陪自己剃光头发,化疗共需12次

台州交通广播
2026-07-01 01:46:45
温州老板砸400万送独女留美,23岁的女儿被认识三周的男人杀死

温州老板砸400万送独女留美,23岁的女儿被认识三周的男人杀死

贱议你读史
2026-06-26 15:39:21
湖人4年1.3亿签换凯斯勒!但东契奇和詹姆斯一样,也成了牺牲品

湖人4年1.3亿签换凯斯勒!但东契奇和詹姆斯一样,也成了牺牲品

老梁体育漫谈
2026-07-02 00:42:14
卢卡申科出席儿子北大毕业典礼:中国最大特点是……

卢卡申科出席儿子北大毕业典礼:中国最大特点是……

观察者网
2026-07-01 10:16:04
新宝马X5对比奥迪Q7:这一局,差距肉眼可见

新宝马X5对比奥迪Q7:这一局,差距肉眼可见

元气满分吖
2026-07-02 01:17:34
大宝贝和黄教主及大佬的瓜!

大宝贝和黄教主及大佬的瓜!

八卦疯叔
2026-06-29 09:50:03
脸都看麻!巴萨想抄底利物浦 1.3 亿水货!世界杯被防到全场隐身

脸都看麻!巴萨想抄底利物浦 1.3 亿水货!世界杯被防到全场隐身

澜归序
2026-07-01 08:44:45
乌军进攻频率大增,俄志愿者领导人曝光俄军伤亡过百万

乌军进攻频率大增,俄志愿者领导人曝光俄军伤亡过百万

史政先锋
2026-07-01 17:43:26
挪威举国庆祝 “测震仪出现明显波动”!时隔28年再度杀入16强,“有哈兰德,但不只有哈兰德”

挪威举国庆祝 “测震仪出现明显波动”!时隔28年再度杀入16强,“有哈兰德,但不只有哈兰德”

澎湃新闻
2026-07-01 14:05:56
2026高考出现反常一幕:国防科大暴跌,另一所军校却涨了102分

2026高考出现反常一幕:国防科大暴跌,另一所军校却涨了102分

妍妍教育日记
2026-06-29 19:27:46
中国为什么总说要扩大消费,却迟迟没有进行大规模收入分配改革?

中国为什么总说要扩大消费,却迟迟没有进行大规模收入分配改革?

阿纂看事
2026-06-30 18:38:12
俄媒女主持人曾言:若中国愿出兵300万,俄军很快就能打败乌克兰

俄媒女主持人曾言:若中国愿出兵300万,俄军很快就能打败乌克兰

南宗历史
2026-03-17 16:53:10
2026-07-02 04:27:00
智脑的趋势
智脑的趋势
待你打开世界大门
449文章数 1575关注度
往期回顾 全部

科技要闻

Claude Code被曝“植入木马”识别中国用户

头条要闻

凯恩梅开二度 英格兰2-1逆转民主刚果将战墨西哥

头条要闻

凯恩梅开二度 英格兰2-1逆转民主刚果将战墨西哥

体育要闻

卖球衣救子的门将,把德国扑出了世界杯

娱乐要闻

77岁牛群公证裸捐全部财产,清贫独居坚持月捐

财经要闻

新氧贷款:宣传年化15%,实际顶格24%

汽车要闻

同比暴涨188.4% 方程豹6月热销35607台

态度原创

手机
游戏
数码
艺术
公开课

手机要闻

TCL华星宣布独供REDMI K90至尊版屏幕:165Hz高刷 40+款游戏原生适配

IGN 9分!任天堂第一方独占新游被吹爆:不容错过

数码要闻

华硕a豆高速固态U盘上架:280-959元

艺术要闻

西安美术学院,2026届油画系硕士研究生毕业作品选(二)

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版