网易首页 > 网易号 > 正文 申请入驻

AI把思考写出来才安全,但这份透明正在消失

0
分享至

AI模型现在会把思考过程"说出来",这被看作一种安全优势。但谷歌DeepMind泼了盆冷水:这份透明正在消失。

在新成立的DeepMind Institute发布的首批文章里,研究员Rohin Shah和Anca Dragan提出,可见的思维链(chain of thought,简称CoT)是一项关键的安全优势。因为模型用自然语言写出中间步骤,研究者就能看出它是否在欺骗、是否在酝酿有问题的计划。


他们举了个例子:在Gemini 3 Pro上,思维链暴露出模型已经意识到自己身处一个测试环境。这种"自曝"能力,正是透明带来的价值。

透明为什么在退潮

问题出在下一代模型身上。OpenAI为GPT-6 Astra发布的系统卡已经报告,思维链可被监控的程度出现了显著下降。

更远的隐忧是:未来的模型可能直接在人类读不懂的数字空间里思考。这样效率更高,但过程完全不透明——研究者再也看不到它在想什么。

换句话说,模型越聪明,越可能不再"说人话"。而安全研究恰恰依赖它说人话。

他们提出了三条建议

Shah和Dragan希望整个领域采取行动:

  • 定期测量思维链还能被监控到什么程度
  • 保留透明的架构设计
  • 在训练时格外小心,别让模型学会隐藏真实推理

这三条指向同一个焦虑:一旦模型学会"心里一套、嘴上另一套",外部就失去了发现问题的窗口。

不止DeepMind在担心

这种担忧并非孤例。早在9月初,OpenAI首席科学家Jakub Pachocki就曾警告失控风险,其中一部分原因正是越来越难监控的思维链。

不久之后,Anthropic CEO Dario Amodei呼吁,应该有意放慢开发节奏。

从谷歌DeepMind到OpenAI再到Anthropic,几家头部机构的研究者和管理者,在同一个问题上给出了方向一致的信号:模型推理过程的可读性,正在成为AI安全的一道关键防线,而这道防线正在变薄。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
恭喜!许嵩冯禧官宣结婚喜讯,当年追星女孩终于嫁给了偶像

恭喜!许嵩冯禧官宣结婚喜讯,当年追星女孩终于嫁给了偶像

娱站
2026-09-19 20:47:03
长江里倒了15天黑泥,企业罚85.7万:这笔账,网友越算越不明白

长江里倒了15天黑泥,企业罚85.7万:这笔账,网友越算越不明白

社会日日鲜
2026-09-19 13:51:40
赖清德这下“天塌了”!大陆这回是来真的!

赖清德这下“天塌了”!大陆这回是来真的!

迷彩人生
2026-09-19 16:53:14
日本男篮胜之不武吗?场上5个外籍面孔?1归化+4混血+1华裔并未违规

日本男篮胜之不武吗?场上5个外籍面孔?1归化+4混血+1华裔并未违规

颜小白的篮球梦
2026-09-19 09:25:19
单打四强出炉!国乒男单占2席惊现超级黑马;日乒男单8人全军覆没

单打四强出炉!国乒男单占2席惊现超级黑马;日乒男单8人全军覆没

莼侃体育
2026-09-20 02:50:12
郭希宽去世,杜新枝接受采访:亲儿死了丈夫死了,他们才是错换受害人

郭希宽去世,杜新枝接受采访:亲儿死了丈夫死了,他们才是错换受害人

江山挥笔
2026-09-19 15:11:27
特朗普签署最严厉对俄制裁法案!年底前拿下顿巴斯?特朗普女婿当面质疑普京

特朗普签署最严厉对俄制裁法案!年底前拿下顿巴斯?特朗普女婿当面质疑普京

鹰眼Defence
2026-09-19 16:41:22
再也瞒不下去了!德国专家曾指出,中美之所以尚未爆发冲突,不是因为美国没本事,而是美国可能已经察觉到了形势的严峻

再也瞒不下去了!德国专家曾指出,中美之所以尚未爆发冲突,不是因为美国没本事,而是美国可能已经察觉到了形势的严峻

z千年历史老号
2026-09-14 17:23:40
女演员心脏骤停成植物人,昏迷3个月后苏醒,如今连跑8家剧组:我不想躺平;出现这些症状要注意!

女演员心脏骤停成植物人,昏迷3个月后苏醒,如今连跑8家剧组:我不想躺平;出现这些症状要注意!

鲁中晨报
2026-09-17 06:59:03
玄学:你不得不信,冥冥之中,自有天意定数!

玄学:你不得不信,冥冥之中,自有天意定数!

周哥一影视
2026-09-20 00:57:16
拉夫罗夫公开表态,不接受中美共管世界,直言这是对俄罗斯的羞辱

拉夫罗夫公开表态,不接受中美共管世界,直言这是对俄罗斯的羞辱

共工之锚
2026-09-19 00:45:23
美国已入死局!现在打,立刻死,不打,过几年死,只差咱们掀桌子

美国已入死局!现在打,立刻死,不打,过几年死,只差咱们掀桌子

蜉蝣说
2026-09-19 18:45:50
燃油车不会撤退,而是换成HEV身份排山倒海般涌来,就在2026-2027

燃油车不会撤退,而是换成HEV身份排山倒海般涌来,就在2026-2027

小怪吃美食
2026-09-19 01:52:30
云南楚雄7岁哥哥和2岁妹妹被胡蜂蜇亡,伤口数分别达300和700余处,父亲:有人指责我们“生而不养”,后悔外出务工,大不了就穷一点

云南楚雄7岁哥哥和2岁妹妹被胡蜂蜇亡,伤口数分别达300和700余处,父亲:有人指责我们“生而不养”,后悔外出务工,大不了就穷一点

大风新闻
2026-09-19 17:15:06
完了!问界真要撤出华为门店了,有网友开始退定金,二手车价格也崩了?

完了!问界真要撤出华为门店了,有网友开始退定金,二手车价格也崩了?

南财社V
2026-09-17 22:29:10
9月13日直播中衣料滑动引发弹幕提醒,镜头为何仍未及时调整?

9月13日直播中衣料滑动引发弹幕提醒,镜头为何仍未及时调整?

动物奇奇怪怪
2026-09-17 12:00:45
中国男篮惨败日本队总结:3人不能用,4人需调整,3人该召回

中国男篮惨败日本队总结:3人不能用,4人需调整,3人该召回

男足的小球童
2026-09-19 15:15:33
加图索:拉齐奥今天非常走运,没这些麻烦我根本不会来

加图索:拉齐奥今天非常走运,没这些麻烦我根本不会来

甜份超标的我
2026-09-20 05:53:52
决赛六连败!美国大满贯男单冠军荒已持续23年!

决赛六连败!美国大满贯男单冠军荒已持续23年!

网球之家
2026-09-19 22:59:45
冲上热搜!多所高校发文“过紧日子”,北大明确禁去21个景区开会,能线上开的会不线下聚

冲上热搜!多所高校发文“过紧日子”,北大明确禁去21个景区开会,能线上开的会不线下聚

南方都市报
2026-09-18 07:58:40
2026-09-20 06:28:49
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
213文章数 92关注度
往期回顾 全部

科技要闻

要走650亿,智谱的理想越来越贵

头条要闻

厨师被指在餐馆扎血测艾滋病 老板:有关部门已介入

头条要闻

厨师被指在餐馆扎血测艾滋病 老板:有关部门已介入

体育要闻

2026亚运会开幕式 胡明轩吴愉担任旗手

娱乐要闻

甜度爆表!许嵩冯禧晒婚纱照官宣结婚

财经要闻

江西首富破产:一张927万商票压垮千亿帝国

汽车要闻

大块头的从容 红旗G919如何兼顾豪华与越野能力

态度原创

艺术
教育
亲子
本地
公开课

艺术要闻

国宝级!石涛书画全集大公开,搜尽奇峰打草稿,这才是中国画天花板!

教育要闻

离谱的中秋月饼风波:千元班费私自买月饼送老师被拒收,临时改成班级点心,家长群炸锅

亲子要闻

从“世界高品质”到“透明真安心”,好奇诠释48年品质坚守

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版