网易首页 > 网易号 > 正文 申请入驻

南大移动团队提出TNT,破解「假装不思考」骗奖励

0
分享至



作者介绍: 南京大学智能科学与技术学院博士生甘思远为本文第一作者;南京大学高阳教授为本文合作者;上海人工智能实验室孟林建青年研究员和南京大学霍静副教授为本文通讯作者。

以 DeepSeek-R1、OpenAI o1 为代表的大型推理模型,凭借长思维链的「思考」能力在数学、代码等任务上大放异彩。但思考是有代价的:冗长、反复的推理过程带来了巨大的推理开销与延迟,这就是广受关注的「过度思考」(Overthinking)问题。一个自然的解决思路是训练混合推理模型:让模型根据问题难度,自动决定是「深思熟虑」(thinking 模式)还是「脱口而出」(non-thinking 模式),并使用强化学习(RL)训练模型掌握这种能力。

然而,这套看似合理的奖励设计,却埋下了一个经典的隐患:奖励欺骗(Reward Hacking)。模型很快学会了「钻空子」—— 表面上输出非思考模式的格式标记,骨子里却照样进行长篇思考,既靠思考拿到了正确答案,又骗取了非思考模式的额外奖励。

为了解决这一问题,来自南京大学、上海人工智能实验室和中国移动九天研究院的研究团队提出了Thinking-Based Non-Thinking(TNT):不依赖昂贵的 SFT,仅利用思考模式回答中「答案部分」的长度信息,为每个问题动态设定非思考模式的 token 上限,就将奖励欺骗的发生概率压到了 10% 以下,同时在五个数学基准上实现了准确率与效率的最优权衡。

目前,该论文已被自然语言处理顶级会议 ACL 2026 Main Conference 接收



  • 论文链接:https://arxiv.org/abs/2601.04805
  • 代码链接:https://github.com/SiyuanGan/Thinking-Based_Non-thinking

背景介绍:混合推理模型与 RL 训练范式

我们先来回顾一下混合推理模型的基本设定。

给定一个以特殊 token 标记思考结束;其后 则是最终的解答(solution)部分,只包含正确的解题步骤与答案。沿用先前工作的约定,若思考部分为空,则该回答被判定为非思考模式,否则为思考模式。在 RL 训练中,为了鼓励模型在能力允许时优先选择高效的非思考模式,正确的非思考回答会被赋予比正确的思考回答更高的奖励。

结尾的输入提示,推理模型的回答最初是思考部分 —— 包含不断探索、反思与自我验证的长思维链;

动机:一个被低估的奖励欺骗问题

问题恰恰出在「更高的奖励」上。由于模式判定仅依赖第一个 token 这种表面信号,模型完全可以先输出 伪装成非思考模式,随后的内容却照样反复推演,甚至再次生成 终止符 —— 靠真实的思考得到正确答案,却领走了非思考模式的高额奖励。



奖励欺骗问题示例。模型生成的首个 token 为 ,被分类为 non-thinking 模式,但回答内容明显具有 thinking 模式特征(如使用 "Wait"、"Alternatively" 等关键词),构成了典型的奖励欺骗行为。

这一问题的严重性超出想象。文章实测发现,未处理奖励欺骗的 RL 方法在 AIME24 上,被判定为「非思考模式」的回答平均 token 用量竟高达 10845,与思考模式的 11976 几乎不相上下 —— 所谓的「非思考」已名存实亡,整个训练事实上已经崩塌。

针对该问题,现有方案大致有两条路,但各有硬伤:其一是引入 SFT 来固定模型两种模式的输出行,但 SFT 计算开销极其高昂;更糟的是,SFT 还会带来显著的性能退化,先前工作的 SFT 模型在 AIME24 上准确率仅约 10%。其二是为非思考模式设定最大 token 上限,超限即视为欺骗,但现有工作对所有问题施加统一的上限,这在逻辑上是行不通的:简单问题(如「1+1 等于几」)即便用长思维链反复验证,其 token 数也可能远低于复杂 AIME 题目正常作答的长度。

方法:

用思考模式的「答案」

标定非思考模式的「尺子」



图 1:TNT 方法概览。

破局的关键洞见相当优雅:思考模式回答中 之后的解答部分,本身就不含思考 —— 而这恰好就是非思考模式的定义。换言之,思考模式回答自带一份「该问题的答案正常应该写多长」的免费标尺。TNT 正是利用这一点,为每个问题动态设定非思考模式的 token 上限。









整套方法基于 GRPO 进行训练,无需任何 SFT,无需修改模型结构或 tokenizer,并且与 Dr. GRPO、DAPO、GSPO 乃至经典 PPO 等算法天然兼容,是一个即插即用的奖励层面修正。

实验验证:准确率与效率的双赢

文章以 DeepSeek-R1-Distill-Qwen-1.5B/7B 和 DeepScaleR-1.5B 为基座模型进行了实验的验证。

更少的 token,更高的准确率。在 1.5B 模型上,TNT 相比基座模型将平均 token 用量削减 46.2%,平均准确率反而提升 4.1 个百分点,超越全部同类方法配置。



不同混合推理模型训练方法在数学基准上的平均准确率与 token 用量对比。



各模型在 non-thinking 模式回答中出现 thinking 相关动词的概率。

奖励欺骗被有效遏制。文章统计了非思考模式回答中「Wait」、「Alternatively」等思考类动词的出现概率:未考虑该问题的 AutoThink 概率最高,采用统一上限的 AdaptThink 也显著偏高,而 TNT 在所有测试集上均低于 10%,仅次于付出了高昂 SFT 代价的方法。

模型学会了「看菜下饭」。TNT 的非思考模式占比与任务难度呈清晰的负相关:在 AIME24/25 这类难题上几乎全程思考(占比仅 1.7%/0.8%),在相对简单的 AMC23 上则有近 30% 的问题直接作答,实现了基于难度的自主模式选择。

基座越强,优势越大。在 DeepScaleR-1.5B 与 7B 模型上,TNT 的 TE 分别达到 0.70 与 0.79,大幅领先次优方法的 0.54 与 0.67;在 7B 上更是同时拿下最高平均准确率(54.2%)与最低 token 用量。此外,TNT 在与 CoT 压缩方法的对比中全面胜出,并在 GPQA Diamond 这一分布外基准上取得最优效果,展现了良好的泛化性。

总结和展望

总而言之,这篇论文直面了混合推理模型 RL 训练中一个具体而致命的失效模式,奖励欺骗,并给出了一个四两拨千斤的解法:与其用昂贵的 SFT 去「管住」模型的输出,或用一刀切的上限去「猜」每道题的合理长度,不如让思考模式自己的解答部分来告诉我们,这道题不思考时正常应该写多长。由此提出的 TNT 无需 SFT、无需改动模型结构,仅在奖励层面引入一个动态 token 上限,便在三个基座模型、五个数学基准上一致地实现了约 50% 的 token 削减与准确率提升,并将奖励欺骗概率压制在 10% 以内。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大湾区德比今晚开打!宏远VS香港金牛,徐杰又当小外,弗格正式复出

大湾区德比今晚开打!宏远VS香港金牛,徐杰又当小外,弗格正式复出

多特体育说
2026-11-21 00:08:16
泽连斯基回应克里米亚大桥被炸:我们的东西,想怎么处置就怎么处置

泽连斯基回应克里米亚大桥被炸:我们的东西,想怎么处置就怎么处置

桂系007
2026-11-20 09:09:12
日本东京万人集会抗议高市政权政策

日本东京万人集会抗议高市政权政策

新华社
2026-11-20 00:29:26
刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

韩小娱
2026-11-19 08:49:36
A股:不必等开盘了,主力已经明牌!下周一将有更大的暴风雨?

A股:不必等开盘了,主力已经明牌!下周一将有更大的暴风雨?

虎哥闲聊
2026-11-21 00:00:04
如何看待夜盘人民币的大幅贬值?

如何看待夜盘人民币的大幅贬值?

M2M投研
2026-11-20 10:03:02
金融危机不是要来了,而是已经到来了:最先露馅的是黄金

金融危机不是要来了,而是已经到来了:最先露馅的是黄金

小陆搞笑日常
2026-11-20 16:00:23
兴奋剂违规!28岁国羽名将遭禁赛3年 曾获全运会冠军 教练被禁1年半

兴奋剂违规!28岁国羽名将遭禁赛3年 曾获全运会冠军 教练被禁1年半

我爱英超
2026-11-20 19:31:46
深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

贵重物品爱美食
2026-11-19 22:17:48
34岁前国脚出来了!因赌球被终身禁足+获刑3年 与两名女网友合影

34岁前国脚出来了!因赌球被终身禁足+获刑3年 与两名女网友合影

念洲
2026-11-20 13:51:28
1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

人生录
2026-11-06 07:30:25
油价调整:注意,预计下调460元/吨,下调力度再加码!

油价调整:注意,预计下调460元/吨,下调力度再加码!

金投网
2026-11-20 10:34:16
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
WTT球星赛:男单4强出炉!中日各1人韩国2人,国乒战日本世界冠军

WTT球星赛:男单4强出炉!中日各1人韩国2人,国乒战日本世界冠军

全言作品
2026-11-21 00:06:58
任达华毁容烧声!半边烂脸急就医 狠甩鲜肉男星5巴掌超内疚

任达华毁容烧声!半边烂脸急就医 狠甩鲜肉男星5巴掌超内疚

ETtoday星光云
2026-11-19 10:11:03
浙江,女子与男子初次约会,点了2万多火锅,男子称腹痛离开,女子被逼支付6800元后报警,结果让人大跌眼镜!

浙江,女子与男子初次约会,点了2万多火锅,男子称腹痛离开,女子被逼支付6800元后报警,结果让人大跌眼镜!

黎兜兜
2026-11-20 23:35:29
昨晚比亚迪又发新车了!台下坐得人屁股生疼,友商当晚就失眠了

昨晚比亚迪又发新车了!台下坐得人屁股生疼,友商当晚就失眠了

小李车评李建红
2026-11-20 08:00:13
全网断货!销量大涨6倍,盒马紧急“警告”!

全网断货!销量大涨6倍,盒马紧急“警告”!

中国商报
2026-11-18 17:19:16
18个账户被冻结!杭州警方发布紧急通告

18个账户被冻结!杭州警方发布紧急通告

环球网资讯
2026-11-20 19:54:08
第五轮计算机学科排名出炉,实力梯队揭示排名的真实价值

第五轮计算机学科排名出炉,实力梯队揭示排名的真实价值

户外阿毽
2026-11-20 09:12:46
2026-11-21 01:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14524文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
房产
旅游
公开课
军事航空

《后会友期》的癫,还得她们治

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

旅游要闻

登大报恩塔找毕业设计灵感  “去看塔”青年共创营里长出文创新点子!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版