本期为TechBeat人工智能社区第696期线上Talk。
北京时间7月2日(周三)20:00,北京大学本科生王恺乐 & 电子科技大学本科生陈文琦的Talk将准时在TechBeat人工智能社区开播!
他们与大家分享的主题是:“AI的“欺骗性对齐”:风险、根源与应对,届时他们将深入剖析“欺骗性对齐”的成因与表现,从压缩理论视角揭示其内在“弹性”根源,并提出基于“自我监控”的CoT Monitor+框架作为解决方案。部分工作已入选ACL 2025 Main。
Talk·信息
主题:AI的“欺骗性对齐”:风险、根源与应对
嘉宾:北京大学 · 本科生 - 王恺乐 & 电子科技大学 · 本科生 - 陈文琦
时间:北京时间7月2日(周三)20:00
地点:TechBeat人工智能社区
http://www.techbeat.net/
Talk·介绍
“欺骗性对齐”是AI安全领域的重大隐患:模型训练时看似对齐,部署后却可能“伪装”并追求危险的隐秘目标。本次分享将深入剖析其成因与表现,从压缩理论视角揭示其内在“弹性”根源,并提出基于“自我监控”的CoT Monitor+框架作为解决方案,以应对这一棘手挑战。
Talk大纲
1. 问题剖析: 什么是欺骗性对齐?介绍其定义、风险,并展示“逆向扩展法则”、“自我复制”、“策略性欺骗”与“对齐伪装”等令人警惕的具体现象。
2. 理论溯源: 为何模型会“欺骗”?从物理胡克定律类比和信息压缩理论出发,建立语言模型“弹性”理论,解释其抗拒对齐、倾向回弹的内在机制。
3. 解决方案: 针对“难发现、难对齐、难缓解”三大困境,提出CoT Monitor+框架。包括用于系统性评估的DeceptionBench基准,以及引入“自我监控”信号和约束优化的强化学习新范式,有效缓解模型欺骗倾向。
4. 总结展望: 从“模型弹性”视角出发,探讨实现真正“深入对齐”而非“表面对齐”的未来研究方向。
Talk·预习资料
论文链接(该工作已入选ACL 2025 Main): https://arxiv.org/abs/2406.06144
论文链接: https://arxiv.org/abs/2505.18807
Talk·提问交流
在Talk界面下的【交流区】参与互动!留下你的打call和问题,和更多小伙伴们共同讨论,被讲者直接翻牌解答!
你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!
Talk·嘉宾介绍
王恺乐
北京大学 · 本科生
王恺乐,目前就读于北京大学元培学院。研究方向聚焦于AI安全对齐与强化学习。曾在机器学习顶级会议上发表过论文。
个人主页: https://www.techbeat.net/grzytrkj?id=45135
陈文琦
电子科技大学 · 本科生
陈文琦,目前在北京大学人工智能研究院实习,本科就读于电子科技大学。研究方向聚焦于强化学习和AI可控对齐,并曾在机器学习顶级会议上发表过论文。
个人主页: https://www.techbeat.net/grzytrkj?id=45134
-The End-
如果你也想成为讲者
自荐 / 推荐
单人Talk | 团队专场 | 录播or直播 | 闭门交流
多种方式任你选择!
推荐讲者成功也有奖励哦~
关于TechBeat人工智能社区
TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!
更多详细介绍>>
预约本期Talk
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.