网易首页 > 网易号 > 正文 申请入驻

清华打破强化学习安全性悖论,14项测试基准任务全SOTA

0
分享至

新智元报道

编辑:LRST

【新智元导读】清华大学李升波教授团队提出RACS算法,通过引入「探险者」策略主动探索违规边界,破解安全强化学习的「安全性悖论」。该方法在不增加采样成本的前提下,显著提升违规样本质量与系统安全认知,实现安全与性能的双赢,刷新多项基准的SOTA成绩。

随着强化学习(RL)在虚拟世界的统治级表现,将其迁移至自动驾驶、机器人控制等真实物理系统已成为行业共识。然而,物理世界的高风险特性画出了一道不可逾越的红线——「零约束违反」。

为了守住这道红线,学界提出了多种方案:OpenAI结合拉格朗日乘子法动态权衡安全与性能,UC Berkeley提出的CPO算法利用信赖域将策略限制在可行空间内。

然而,现有方法始终面临一个核心痛点:策略难以做到严格的「零违反」。大多数算法只能将违规控制在极低水平,一旦试图追求绝对的零违规,就会遭遇巨大阻力。

清华大学李升波教授课题组于安全强化学习领域获得突破性进展,首次在理论层面揭示并证明了安全强化学习(Safe RL)中的一个反直觉现象——「安全性悖论」(Safety Paradox):策略越追求安全,反而可能越不安全。

论文链接:https://openreview.net/forum?id=BHSSV1nHvU

代码仓库:https://github.com/yangyujie-jack/Feasible-Dual-Policy-Iteration

在安全强化学习中,智能体通常依赖交互数据学习一个可行性函数(Feasibility Function),以此判断当前状态是否长期安全,从而规避危险区域。

然而,研究通过严格的理论证明揭示了一个严峻事实:

随着策略变得越来越安全,其产生的违规样本会变得极度稀疏。这直接导致可行性函数的估计误差急剧增大,进而使指导策略优化的约束函数出现偏差,最终导致策略安全性崩塌。

这就像一个从未见过悬崖的人,在行走时即便再小心翼翼,也会因为缺乏对「悬崖边缘」的确切认知,而无法精准判断危险界限究竟在哪里。越是刻意追求安全,对危险边界的认知就越模糊,最终反而导致安全防线失效。 这就是所谓的「安全性悖论」——策略陷入了一个自我挫败的死循环。

针对这一困境,团队提出了Region-wise Actor-Critic-Scenery(RACS)算法,通过引入专门收集违规样本的「探险者」策略,成功打破悖论,在权威基准Safety-Gymnasium上刷新了SOTA成绩,该工作发表于人工智能顶会ICLR 2026。

破局之道RACS算法

既然「不敢越雷池一步」会导致认知盲区,那么破解之道便是主动探险、直面危险。

研究团队提出了Region-wise Actor-Critic-Scenery(RACS)算法,创造性地引入了双策略架构:

(1)原始策略(Primal Policy):扮演「守规矩的执行者」。它负责在满足安全约束的前提下,尽可能最大化任务奖励。

(2)对偶策略(Dual Policy):扮演「无畏的探险者」。它的目标与前者相反,旨在策略性地最大化约束违反,主动触探原始策略不敢涉足的危险边界。

通过这种「左右互搏」的机制,RACS在不增加总采样成本的前提下,显著提升了关键违规样本的比例,从而让系统对「安全边界」有了清晰、精准的认知。

为了解决双策略数据混合带来的分布偏移(Distributional Shift)问题,RACS采用了重要性采样(Importance Sampling)技术进行数学修正,并约束对偶策略与原始策略间的KL散度,确保训练过程的平稳收敛。

实验结果:刷新SOTA

研究团队在安全强化学习权威基准Safety-Gymnasium上进行了广泛验证。结果表明,RACS在14项任务中的综合性能达到了State-of-the-art(SOTA)水平:

(1)安全性显著提升:RACS实现了最低的平均约束违反次数(Cost),显著优于现有的拉格朗日乘子法或信赖域方法。特别是在HalfCheetahVelocity、Walker2dVelocity等任务中,实现了严格的零约束违反。

(2)控制性能无退化:在保证安全性的同时,RACS的平均累积回报(Return)依然位居榜首,实现了安全与性能的双赢。在高维的HumanoidVelocity、复杂的PointPush(推箱子导航避障)等多项高难度任务中,安全指标与任务性能均名列前茅。

为探究性能提升的根本原因,研究团队统计了增加对偶策略后的关键指标变化:

(1)违规样本显著增加:在所有 14 项任务中,对偶策略成功采集了大量高价值的违规样本,大部分任务中的样本量提升了一个数量级。

(2)估计误差大幅降低:统计显示,可行性函数的拟合误差显著减小,尤其是「低估风险」(误差小于零)的频率大幅降低。这意味着系统不再将危险状态误判为安全,从而从根本上提升了策略的安全性。

总结与展望

该研究从理论上揭示了强化学习中的「安全性悖论」,阐明了违规样本稀疏性与可行性函数估计误差之间的内在因果。

RACS算法通过对偶策略的「对抗式」探索打破了「安全性悖论」,证明了一个深刻的道理:为了真正的安全,必须充分地了解危险。

该研究为自动驾驶、机器人等高风险场景下的强化学习落地提供了坚实的理论基础与有效的解决方案。

参考资料:

https://openreview.net/forum?id=BHSSV1nHvU

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
爽了!火箭轰动NBA!恶棍状元或联手杜兰特

爽了!火箭轰动NBA!恶棍状元或联手杜兰特

篮球实战宝典
2026-11-20 18:47:13
高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

每日经济新闻
2026-11-20 17:08:48
它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

阿龙美食记
2026-11-19 11:00:12
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
中国股市失控信号亮起:这次可能真的不是玩笑

中国股市失控信号亮起:这次可能真的不是玩笑

星语者056
2026-11-20 08:56:23
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
流动性危机来了

流动性危机来了

曹多鱼的财经世界
2026-11-20 11:54:49
胖东来新乡门店因涨租金搬离11年,市民称原址所开新商场几乎倒闭,仅剩一楼几家手机店还在营业,商场客服热线已成空号

胖东来新乡门店因涨租金搬离11年,市民称原址所开新商场几乎倒闭,仅剩一楼几家手机店还在营业,商场客服热线已成空号

极目新闻
2026-11-20 15:34:45
为什么国家越来越强,我们的日子却越来越紧

为什么国家越来越强,我们的日子却越来越紧

小禾的半糖生活
2026-11-18 13:20:03
武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

极目新闻
2026-11-20 15:01:38
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
尾盘,A股突变,爆天量了!

尾盘,A股突变,爆天量了!

中国基金报
2026-11-20 15:53:51
刚刚,英伟达收到传票!

刚刚,英伟达收到传票!

EETOP半导体社区
2026-11-20 13:41:07
王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

奥拜尔
2026-11-20 20:13:09
斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

懂球帝
2026-11-20 20:36:29
高市见了普京

高市见了普京

周边问题研究所
2026-11-20 13:12:01
贺希宁回应前交叉韧带断裂赛季报销:会好好配合治疗 努力养伤回归

贺希宁回应前交叉韧带断裂赛季报销:会好好配合治疗 努力养伤回归

醉卧浮生
2026-11-20 13:23:04
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
越来越多孩子自杀  多地高中严格执行周末双休

越来越多孩子自杀 多地高中严格执行周末双休

风向观察
2026-11-20 07:40:00
2026-11-20 21:20:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16725文章数 67241关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
教育
本地
亲子
公开课

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝气人但是聪明的4个行为

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版