网易首页 > 网易号 > 正文 申请入驻

Yoshua Bengio领衔发布「机制可解释性」综述:理解AI,就能让它更安全吗?

0
分享至

来源:市场资讯

(来源:图灵人工智能)


转自学术头条,仅用于学术分享,如有侵权留言删除

人类规定了 AI 如何学习,却未必知道它最终学会了什么。机制可解释性(Mechanistic Interpretability)通过分析模型内部机制,试图理解、预测并控制模型的行为。然而,理解模型,是否就能让它更安全?

针对这个问题,牛津大学团队联合包括深度学习三巨头之一、图灵奖得主 Yoshua Bengio 在内的研究人员,系统梳理了机制可解释性的技术基础、研究方法和安全应用。他们指出,许多既有研究假定:理解模型内部机制,会直接带来更安全的系统。但这一假设还没有得到充分检验。


论文链接:https://arxiv.org/abs/2611.08438


图|概念组织框架

第一个问题,是研究人员如何判断自己理解了模型。探针分类器可以从模型内部检测出某些信息。例如,探针可以检测模型某一层的激活中,能不能解码出句法类别、语义角色等信息。但这种检测本身只能提供描述性证据。研究人员需要进一步测试相关表示,再用这些方向去干预模型。到这一步,分析才可能具有机制性质。


图|探针分类器

即使某项干预成功改变了目标行为,研究人员也不能就此断定,自己已经准确识别了内部机制。他们强调,“干预改变了行为”和“准确识别了内部机制”是两个强度不同的主张。

模型规模越大,这项工作就越依赖自动化。

人工逐一检查特征和计算回路,已经跟不上当前模型的规模。稀疏自编码器(Sparse Autoencoder,SAE)能够从模型激活中无监督提取数百万个特征。其他自动化流程能够识别候选回路,语言模型能够生成自然语言形式的特征解释,部分工具还能够初步验证机制假设。他们指出,人工判断仍然至关重要,但部分自动化已经成为必要条件。


图|稀疏自编码器

不过,这些工具应该实现什么目标?不同研究并没有形成统一答案。

他们归纳出 6 类研究取向,包括务实型、雄心型、发展型、跨时间型、内省型和自动化可解释性。部分研究优先追求即时的安全干预,比如行为引导、监测和概念擦除,而不要求完整理解内部机制。另一些研究则主张,即使完整的因果理解需要大量资源,研究人员仍然应当追求这一目标。还有一些研究关注训练过程中的机制形成,而不是仅仅分析某个固定检查点的行为。

这些取向分别在完整性、成本和适用性之间做权衡。他们不主张所有研究都应当采用同一种路径,而是希望厘清不同路径的假设、能力与失效模式。

不同路径仍然需要可靠的评估。他们指出,当前方法常用的指标彼此不兼容。一些解释的验证,依赖的是直觉上的合理性,而不是严格的测试。

为此,他们提出了一套统一的评估框架。框架包含归因忠实性、完整性、稳定性、因果有效性与人类可理解性 5 个维度,不同方法可以在这些维度下接受共同检验。他们将评估方法和安全基准列为该领域最迫切的开放问题。


图|机制可解释性的统一评估框架

现有工具已经能够提取可解释特征、发现任务相关回路,并支持定向行为干预。但当前方法仍然无法完整解释许多行为,难以在分布变化下保持泛化能力,难以清晰分离相互纠缠的计算,也难以扩展到前沿模型。

因此,他们主张,研究人员、开发者和使用者应当在广泛的条件下严格评估机制可解释性工具,并将这些工具与其他安全措施结合。机制可解释性应当成为纵深防御策略的一部分,不能独立构成安全保证。

更多技术细节,详见原论文。

作者:张佳怡

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

冷月小风风
2026-11-21 11:05:13
高市内阁的第二块骨牌,也要倒了

高市内阁的第二块骨牌,也要倒了

天真无牙
2026-11-20 17:54:51
千万年薪也留不住她?罗福莉与雷军没谈拢,或从小米出走创业

千万年薪也留不住她?罗福莉与雷军没谈拢,或从小米出走创业

歪歌社团
2026-11-21 07:09:05
湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

爆角追踪
2025-11-23 11:25:00
全崩了!一夜之间集体暴跌;近30万人爆仓

全崩了!一夜之间集体暴跌;近30万人爆仓

叮当当科技
2026-11-21 15:00:22
百亿豪门夫妇正式开撕,发声明互相指责,两人疑未离婚就有新欢

百亿豪门夫妇正式开撕,发声明互相指责,两人疑未离婚就有新欢

开开森森
2026-11-21 09:48:22
知情人士:美方要求乌明年1月初与俄达成和平协议

知情人士:美方要求乌明年1月初与俄达成和平协议

界面新闻
2026-11-21 08:00:30
许家印昔日555万宾利现身! 曾挂粤A98888:如今成了婚车

许家印昔日555万宾利现身! 曾挂粤A98888:如今成了婚车

华庭讲美食
2026-11-20 06:46:02
“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

火山詩话
2026-11-21 08:07:08
深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

娱乐的硬糖吖
2026-11-20 05:28:23
谢霆锋这算官宣吗?满屏都是霍汶希

谢霆锋这算官宣吗?满屏都是霍汶希

喜欢历史的阿繁
2026-11-19 08:59:07
1988年,他喝醉了,把家里23岁的小保姆错认成自己的妻子。保姆没作声,第二天,保姆表示自己什么也不要。

1988年,他喝醉了,把家里23岁的小保姆错认成自己的妻子。保姆没作声,第二天,保姆表示自己什么也不要。

回京历史梦
2026-11-19 09:21:15
局势反转,美国突然反水,宣布对乌新立场,欧盟:这一天终究来了

局势反转,美国突然反水,宣布对乌新立场,欧盟:这一天终究来了

浯江孤舟
2026-11-20 15:18:35
36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

时光慢旅人
2026-11-20 11:03:53
官媒发文,锐评赵本山新歌,言辞犀利,句句都说到了年轻人心坎上

官媒发文,锐评赵本山新歌,言辞犀利,句句都说到了年轻人心坎上

霁寒飘雪
2026-11-21 07:31:21
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
杨瀚森9投5中、卡尔森打中锋百回合只得84分,为何上场的是他?

杨瀚森9投5中、卡尔森打中锋百回合只得84分,为何上场的是他?

暗香暗香
2026-11-20 16:26:11
兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

浩渺青史
2026-11-21 03:59:39
轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

体育火锅T
2026-11-21 12:51:57
俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

军机Nova
2026-11-21 00:55:32
2026-11-21 16:12:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5578641文章数 10050关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
时尚
房产
数码
教育

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

无障碍浏览 进入关怀版