大模型高效推理新答案：ICLR 2026提出Balanced Thinking

在过去一年中，大模型推理中的「过度思考」问题引发了广泛关注。然而，真正的挑战并非简单地缩短思维链。面对简单问题，模型往往在得出正确答案后仍持续进行冗余验证；而许多旨在抑制过度思考的方法虽能压缩输出长度，却常常将必要的推理探索一并剔除，导致模型从「想太多」直接滑向「想太少」。高效推理的核心目标并非一刀切地削减推理步骤，而是使模型在不同任务中实现恰到好处的思考深度。

针对这一问题，哈尔滨工业大学（深圳）等机构的研究者提出了 ReBalance 方法，并首次系统性引入Balanced Thinking这一新视角。该工作的核心观点明确：高效推理的关键并非盲目压缩推理长度，而是在过度思考与思考不足之间维持动态平衡。

基于此，ReBalance 利用模型自身的置信度信号，在思考过程中实时调控其内部状态，无需额外训练即可实现推理行为的动态引导。实验表明，在参数规模从 0.5B 至 32B 的四个主流模型上，以及涵盖数学推理、通用问答和编程任务的九个基准测试中，ReBalance 在精度提升 10.0 的同时，推理长度直降 35.4%。

• 论文标题：Efficient Reasoning with Balanced Thinking
• 项目主页：https://rebalance-ai.github.io
• 会议：ICLR 2026
• 方法名称：ReBalance
• 作者机构：哈尔滨工业大学（深圳）等

真正的问题，不是「过度思考」，而是「思考失衡」

慢思考模型已展现出强大的推理能力，但「会推理」不等于「高效推理」。在简单题目上，模型经常在答案收敛后持续分叉、回看、复核，带来更高的延迟和 token 成本，甚至可能引入额外幻觉。现有方法主要通过抑制反思关键词的生成或直接施加推理长度惩罚来缓解这一问题，但它们往往隐含了一个过于简化的假设，即推理「越短越好」。

然而，过度思考与思考不足本质不同。前者指在正确推理路径已然显现后仍无谓延展，后者则是在探索尚未充分时便仓促得出结论。若将这两种失衡模式混为一谈，许多标榜「高效」的方法实则以牺牲准确率为代价换取推理长度缩减。

ReBalance 的核心贡献在于将高效推理重新定义为一种「平衡」问题：模型不应一味追求缩短推理，而应在恰当的时机停止冗余思考，在必要时继续深入探索，从而实现简洁性与充分性的统一。

图 1：在同一问题上，慢思考模型在得出正确答案后仍进行冗余反思；现有抑制方法则过度压缩有效推理，导致思考不足；而 ReBalance 能够生成既简洁又充分的推理过程。

关键发现：置信度是推理状态的可靠连续信号

论文中提供了一个具有启发性的见解。作者通过分析 step-level confidence 及局部 confidence variance 发现，不同推理失衡状态呈现出显著差异的置信度轨迹。在过度思考情形下，模型置信度在多个推理步骤中表现出明显波动，反映出其在不同推理路径之间反复摇摆，难以收敛。相比之下，思考不足通常表现为持续偏高的置信度与较低的波动性，表明模型并非缺乏推理能力，而是因过度自信而过早锁定于错误的推理路径。

这一发现具有重要意义。它将高效推理的调控机制从依赖经验性关键词抑制，推进至基于模型原生信号的动态状态建模。置信度并非静态评分，而是一种可在线观测、连续演化且与推理行为紧密耦合的状态指标。一旦识别出该连续信号，便为实现细粒度的动态推理控制提供了可能。

图 2：现有过度思考抑制方法在缩短正确样本推理长度的同时，也压缩了错误样本的推理过程，表明其在缓解过度思考的同时引入了思考不足的问题。相比之下，ReBalance 能够更有效地维持推理平衡。

ReBalance：将模型实时引导至推理平衡区

基于上述洞察，ReBalance 提出了一种无需训练的两阶段推理调控框架。第一阶段为离线数据采集：在小规模已知数据集上执行单次前向推理，依据置信度及其波动程度识别具有过度思考或思考不足倾向的推理步骤，并从深层 hidden states 中分别提取两类原型表示。两类原型之差构成一个引导向量（steering vector），用以刻画模型在两种失衡状态之间的内部迁移方向。

第二阶段为在线动态引导：在实际思考过程中，ReBalance 持续监测当前推理步骤的置信度与波动幅度，并通过一个基于模型行为拟合的动态控制函数，实时确定引导的方向与强度。当模型处于低置信度、高波动状态时，方法增强其收敛倾向，抑制冗余反思；当模型处于高置信度、低波动状态时，则施加反向引导，鼓励进一步探索，防止过早终止。该方法全程无需重新训练、不依赖辅助模型，亦不引入额外推理阶段。

图 3：ReBalance 框架示意图

实验验证：兼顾效率与性能的精准压缩

实验结果充分验证了 Balanced Thinking 的有效性与鲁棒性。论文在四个参数规模从 0.5B 至 32B 的慢思考模型上开展了系统性评估，涵盖数学推理、通用问答和代码生成任务等九项基准测试。结果表明，ReBalance 并非以牺牲性能换取输出长度的缩减，而是在提升推理效率的同时显著增强模型表现。

在数学推理任务中，该方法最高实现 10.0 个百分点的 Pass@1 准确率提升，并将生成长度最多压缩 35.4%。在非数学任务如 GPQA-D、StrategyQA 和 LiveCodeBench 上，ReBalance 同样展现出稳定的跨领域泛化能力，其中 GPQA-D 准确率最高提升 6.6 个百分点，同时 token 消耗最多降低 29.9%。

尤为关键的是，ReBalance 并非对所有输出进行无差别截断。论文分析表明，现有方法往往同步缩短正确与错误样本的推理链，导致在缓解过度思考的同时诱发思考不足。相比之下，ReBalance 能够动态调节推理深度：当模型已步入正确推理路径时，有效削减冗余内容；当模型仍需深入探索时，则保留必要推理步骤。这种自适应机制正是 Balanced Thinking 的核心优势。

此外，作者在 Ascend 910B NPU 平台的 openPangu slow-thinking 模式中验证了该方法的部署兼容性。在 AIME 2025 基准上，ReBalance 在准确率提升 3.4 个百分点的同时，输出长度减少 35.3%，进一步凸显其在实际应用中的潜力。

·表 1：数学推理任务验证

结语

ReBalance 的价值不仅在于提出了一种新的高效推理方法，更在于系统引入了Balanced Thinking这一全新视角。高效推理本质上并非单纯的序列压缩问题，而应是一个动态控制过程。当目标从「缩短推理链」转变为「维持推理过程的平衡」时，置信度自然成为连续可靠的控制信号，而潜空间引导（Latent Steering）则成为轻量且高效的干预机制，从而重构了整个问题的求解范式。

对于面向实际部署的推理模型，这一视角尤为重要。在延迟敏感、算力受限的应用场景中，模型所需并非无限制延长推理时间，而是以更优的方式思考，并恰当地控制推理长度。ReBalance 为此提供了一个简洁、轻量且具有良好泛化能力的解决方案。目前，该项目已开源，并配套提供了交互式演示及多个模型的引导向量，降低了复现与应用门槛。