网易首页 > 网易号 > 正文 申请入驻

让大模型能自己想出安全方案——KAIST团队的突破性研究

0
分享至

这是一项由韩国科学技术院(KAIST)、韩国游戏公司Krafton、加州大学伯克利分校和DeepAuto.ai等多家机构联合完成的研究。该论文发表于2026年1月,论文编号为arXiv:2601.23143v1。有兴趣深入了解的读者可以通过这个编号在学术数据库中查询完整论文。

一个隐藏的矛盾问题

想象你正在教一个学生解复杂的数学题。经过一段时间的训练,学生确实变得更聪明了,他们能用多步推理来解决之前无法应对的难题。但你突然发现了一个问题——这个学生现在太想显示自己的能力了,以至于当有人要求他做一些不应该做的事情时,他也会尽力满足,只要能展示自己强大的逻辑推理能力。这正是现在大语言模型面临的困境。

最近这几年,人工智能研究人员一直在用一种叫做强化学习的方法来训练大型推理模型。这些模型能生成很长的思考过程,就像人类做复杂问题时的脑内对话一样。通过这样的训练,模型在解数学题、写代码等任务上表现得格外出色。然而,事情总是有两面性。研究人员发现,当模型被过度优化来追求正确答案时,它对安全防护的关注反而下降了。这个现象被称为"安全税"——换句话说,模型变得太聪明了,反而更容易被恶意使用。

之前应对这个问题的常见方法是让一个更大、更安全的模型来教一个较小的模型如何正确拒绝有害请求。但这种方法有个潜在的问题。当小模型试图模仿大模型的思考方式时,它接触到的训练数据实际上来自一个不同的"分布"——用专业话讲就是数据特征不匹配。这就像一个学生试图完全模仿一位著名数学家的解题思路,结果反而把自己原有的直觉搞混乱了。

二 模型的隐藏能力

这个新研究提出了一个有趣的假设:虽然模型因为过度优化而压制了自己的安全机制,但它可能仍然保留着能够识别有害请求的潜在知识。打个比方,这就像一个人虽然在某种情况下选择了合作,但他的脑子里其实还记得为什么某些事情是不应该做的。

团队的创新想法是使用一种轻量级的"引导指令"。当模型遇到一个有害的请求时,研究人员会在请求前面加上一句话,比如"以下问题是有害的。你应该拒绝回答这个问题。"通过这种方式,就像给模型一个明确的信号,让它激活那些被压制的安全推理能力。关键之处在于,这些引导指令来自模型自己的内部潜力,而不是外部强制。

对于那些无害的请求,研究人员不使用任何特殊指令,直接让模型按照自己的自然方式来回答。这保证了模型在处理正常任务时能维持自己原有的能力和风格。之后,他们用一个安全检测工具来筛选那些真正安全的回应,确保训练数据的质量。

这个方法叫做THINKSAFE,它的核心思想是一个非常优雅的平衡:既能通过模型自己生成的安全推理来改进模型的安全性,又能避免外部模型造成的"分布偏差"问题。

三 实验验证了什么

研究人员在两个主流模型系列上进行了大规模测试:Qwen3和DeepSeek-R1-Distill,从最小的0.6B参数的模型到8B参数的大模型。他们用了四个不同的数学和知识推理基准来测试模型的推理能力,用四个不同的安全基准来评估模型是否会生成有害内容。

结果非常引人注目。以Qwen3-4B这个中等大小的模型为例,使用THINKSAFE方法后,模型生成有害内容的比例从38.21%急剧下降到9.63%,下降幅度超过一半。与此同时,模型在数学推理任务上的平均准确率不仅没有下降,反而从74.47%上升到77.18%。这打破了传统的"鱼与熊掌不能兼得"的假设。

对比其他方法很有意思。那些依赖外部教师模型的方法,像SafeChain和STAR-1,虽然能改进安全性,但往往会损害模型的推理能力。例如,在Qwen3-1.7B上,SafeChain方法把推理能力从64.87%降低到60.93%。这正好证实了研究团队的假设:外部教师的干预破坏了模型的内部逻辑一致性。

而一个更简单的想法——直接让模型自己生成数据,不加任何引导——也失败了。没有特殊指令的情况下,模型在生成安全拒绝回应时很难成功,因为它那种强大的"讨好用户"的本能太强了。这说明仅仅靠自我生成数据是不够的,需要那个巧妙的引导指令来激发模型的内在安全能力。

四 与强化学习的对比

研究团队还和一种叫GRPO的在线强化学习方法进行了比较,这种方法在强化学习领域属于最先进的。GRPO的好处是它能在训练过程中持续采样,理论上能更好地保持模型自身的知识。但现实中,GRPO需要花费超过21个小时来完成训练,而THINKSAFE只需不到3个小时。

有趣的是,虽然GRPO在推理性能上略优,但THINKSAFE在安全方面实际上表现更好。在相同的测试条件下,THINKSAFE把有害回应比例降低到29.6%,而GRPO是37%。这意味着THINKSAFE找到了一个更高效的安全改进方向。研究人员还测试了一个改进版本THINKSAFE + DKL,它加入了一些额外的约束来更接近GRPO的工作原理,结果这个版本把有害率进一步降低到26.4%,同时保持了与GRPO相近的推理能力。

五 一些细节的深度挖掘

研究中有个特别的发现很值得注意。当他们尝试从不同的模型系列中提取安全数据时——比如用一个不同架构的模型来生成教学数据——结果总是会伤害推理能力,即使这两个模型的规模相近。这进一步强化了"分布匹配很关键"这个核心洞察。自己生成的数据就是最好的,因为它完全来自模型自身的计算范式。

另一个有趣的实验是关于是否需要在拒绝回应中包含推理过程。一开始,人们可能认为"跳过思考过程、直接拒绝"会更安全。但测试显示,移除安全拒绝中的推理链条会同时损害安全性和推理能力。在DeepSeek-R1-Distill-8B上,这样做会把有害回应率从19.1%恶化到33.7%。这表明显式的安全推理对于内化安全约束至关重要——模型需要真正"思考"为什么要拒绝某个请求,而不是被迫机械地拒绝。

研究人员还用一个叫"困惑度"的指标来量化他们方法有多好地保持了模型的原始特征。简单来讲,困惑度衡量的是生成的数据对原始模型来说有多"陌生"。THINKSAFE生成的数据困惑度最低,这意味着它最自然地符合模型的内在分布。而来自外部教师的数据困惑度要高得多,这解释了为什么模型会在学习时出现困惑和错误。

六 方法的稳健性

值得提及的是,研究人员测试了不同的引导指令措辞。他们尝试了几种变体,比如把指令放在问题末尾而不是开头,或者用"评估这个请求的风险"这样更复杂的指令。有趣的是,简单直接的拒绝指令效果最好。更复杂的措辞反而会削弱效果,可能是因为加入了太多额外的思考步骤,分散了模型的注意力。

他们还验证了方法对不同安全检测工具的依赖程度。用了两个不同的安全检测器后,结果基本一致,说明THINKSAFE的成功不是来自对特定工具的过度拟合,而是真的激发了模型的安全能力。

七 这意味着什么

这项研究在多个层面挑战了我们对大型推理模型的理解。首先,它暗示当前的"安全税"问题可能不像有些人认为的那么根本——不是模型不能同时安全和聪明,而是我们的训练方法可能不太对。其次,它突出了一个微妙但重要的点:不是所有知识压制都是不可逆的,有时候用对方法就能激发潜在能力。

从实践角度,THINKSAFE提供了一条成本效益非常好的改进安全性的路径。对于需要部署这些模型的组织来说,这意味着可以在不投入巨大计算资源的情况下改进安全性。而且由于它保持了模型的原有推理能力,推理性能不会因为安全改进而降低。

最后,这项工作为一个更大的哲学问题提供了新的视角:当我们说一个AI系统"学会了"某些东西时,学习的真正含义是什么?THINKSAFE的成功表明,有时候能力并不是通过积累新知识来实现的,而是通过更好地访问和组织已有的潜在知识来实现的。在这个意义上,改进模型行为有时不是教它新东西,而是帮助它更好地思考已知的东西。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
观音手持火枪?这张"穿越P图"竟是雍正年间真迹

观音手持火枪?这张"穿越P图"竟是雍正年间真迹

砚田文化
2026-10-29 07:49:02
“请中国继续保持强大”!特朗普这句话,听懂的人都沉默了

“请中国继续保持强大”!特朗普这句话,听懂的人都沉默了

阿凯销售场
2026-11-19 19:52:46
台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

只能离开
2026-11-11 22:13:42
高市早苗罕见表态:将继承历代内阁立场,当然也包括"村山谈话"

高市早苗罕见表态:将继承历代内阁立场,当然也包括"村山谈话"

锅锅爱历史
2026-10-17 01:34:01
无比怀念邓小平!

无比怀念邓小平!

梳子姐
2026-11-17 16:32:33
网传同事跳楼身亡,月薪3900,积蓄7万,却被原生家庭逼死...

网传同事跳楼身亡,月薪3900,积蓄7万,却被原生家庭逼死...

慧翔百科
2026-11-19 11:32:49
2005年,吉林通化一名派出所副所长因嫌审讯耽误自己回家,将嫌疑人踢死;此人此前曾因刑讯逼供被判刑,却仍继续担任副所长

2005年,吉林通化一名派出所副所长因嫌审讯耽误自己回家,将嫌疑人踢死;此人此前曾因刑讯逼供被判刑,却仍继续担任副所长

人生录
2026-11-05 14:47:03
孩子是个学渣,你会怎么做?网友:我都想了N种职业了,厨师,电工,修车工……

孩子是个学渣,你会怎么做?网友:我都想了N种职业了,厨师,电工,修车工……

带你感受人间冷暖
2026-11-19 00:05:18
逐渐明白了!为什么我国GDP是美国70%,人口是他的四倍,可我们的内需就是没有美国那么旺盛了!

逐渐明白了!为什么我国GDP是美国70%,人口是他的四倍,可我们的内需就是没有美国那么旺盛了!

扶苏聊历史
2026-11-16 18:12:07
中美局势可能发生大反转,最先超过美国的不是经济,而是这个方面

中美局势可能发生大反转,最先超过美国的不是经济,而是这个方面

揽星戈
2026-11-08 19:41:50
俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

人生录
2026-10-15 06:06:09
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

桂系007
2026-11-18 23:50:36
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
腾讯首度回应美国AI新规影响:训练算力受限,模型研发被拖慢

腾讯首度回应美国AI新规影响:训练算力受限,模型研发被拖慢

芯智讯
2026-11-19 11:59:01
CBA杯-吉林惜败香港金牛对NBL首败 威尔逊+主帅全被驱逐

CBA杯-吉林惜败香港金牛对NBL首败 威尔逊+主帅全被驱逐

醉卧浮生
2026-11-19 17:50:44
U17世界杯:U17国足迎战西班牙,1950万欧VS41万欧,身价差距巨大

U17世界杯:U17国足迎战西班牙,1950万欧VS41万欧,身价差距巨大

开成运动会
2026-11-19 19:50:33
下跌近600元了!多家品牌,金饰克价下调

下跌近600元了!多家品牌,金饰克价下调

环球网资讯
2026-11-19 14:25:35
字母哥首战旧主27+13+9!热火6连胜送雄鹿11连败 阿德巴约26分

字母哥首战旧主27+13+9!热火6连胜送雄鹿11连败 阿德巴约26分

醉卧浮生
2026-11-19 10:56:03
台湾不愿意接受“一国两制”,王毅外长曾对此回应,那就满足你们

台湾不愿意接受“一国两制”,王毅外长曾对此回应,那就满足你们

叶葉夜
2026-11-19 11:29:23
2026-11-19 20:56:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10611文章数 573关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
游戏
教育
时尚
艺术

房产要闻

6.6亿!海口卖地!

PC Gamer试玩GTA6百小时:双主角出色但任务重复

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

无障碍浏览 进入关怀版