网易首页 > 网易号 > 正文 申请入驻

仅需10%思维链标注,等同全量性能!中科院发布推理监督新范式

0
分享至

新智元报道

编辑:LRST

【新智元导读】大语言模型(LLMs)推理能力近年来快速提升,但传统方法依赖大量昂贵的人工标注思维链。中科院计算所团队提出新框架PARO,通过让模型学习固定推理模式自动生成思维链,只需大模型标注1/10数据就能达到全量人工标注的性能。这种方法特别适合像金融、审计这样规则清晰的领域,为高效推理监督提供了全新思路。

过去一年,大语言模型(LLMs)的推理能力迎来爆发式提升,其核心范式——SFT+RLVR——已成为主流。

SFT(Supervised Fine-Tuning)通过高质量的思维链(rationales)有监督地微调模型,而RLVR(Reinforcement Learning with Verifiable Rewards)则进一步利用可验证奖励信号通过强化学习扩展模型的推理能力,无需思维链监督。

然而,为SFT阶段标注高质量思维链的过程既昂贵又耗时,难以规模化。

中科院计算所团队通过系统实验发现,对于「模式化推理」(Patterned Reasoning)任务,并不需要大量人工思维链,只需让模型掌握任务的推理模式即可。

论文链接:https://arxiv.org/pdf/2510.12643

他们提出了一个简单而高效的框架——PARO(Pattern-Aware LLMs as Rationale AnnOtators),仅用 1/10 的LLM自动标注数据,性能几乎等同于全量人工标注,为解决「思维链监督昂贵、难以扩展」的核心问题提供了全新的视角与方案。

什么是 Patterned Reasoning?



固定模式下的「程序化推理」

并非所有推理任务都要求模型「临场思考」。

有一类任务,虽然语义复杂,但推理路径几乎固定—— 这就是模式化推理任务(Patterned Reasoning Tasks)。

直观理解就是:不同样本内容不同,但「解题思路」一模一样。

常见的例子包括准则驱动的任务,例如:

  • 文本分类任务如主题分类(判断内容的主题类别),无论文本内容是什么,步骤都是「提取主体线索 → 对比预定义的类别准则 → 输出结果」。

  • 核查类任务,模型始终遵循「定位事实 → 理解事实 → 分解事实 → 检查可信来源 → 判断真伪」的固定流程。

  • 抽取类任务,如关系抽取中,无论处理哪类文本,模型都执行「识别实体 → 实体消歧 → 识别关系(对比预定义的关系类别) → 按模板输出」的统一框架。

形式化地,这类任务的执行过程可以抽象为,其中:

是稳定的推理模式(Reasoning Pattern),代表任务所需遵循的固定步骤或逻辑框架;

是样本特定内容(Instance-specific Content),即每个实例不同的文本、数值或事实;

表示将模式应用到内容的过程,生成最终输出。

自适应推理任务(Adaptive Reasoning Tasks)

在这些任务中,模型无法依赖统一模式,因为不同样本可能需要完全不同的解题策略。

例如:

  • 数学题:不同题型需要完全不同的推理路线;

  • 编程题:每个任务可能需要不同的数据结构或算法;

  • 规划与决策问题:初始状态、目标不同,策略路径完全不同。

形式上,这类任务可表示为,此时是随样本变化的推理模式,模型需要根据输入灵活选择最合适的思维路径。

为什么Patterned Reasoning值得关注?

研究人员指出,很多金融、审计、法律、风控等工业界的任务(如自定义类别的分类任务、抽取类任务、审核类任务)本质上都是 patterned reasoning——同一套「执行步骤/判断流程」适用于不同实例,实例间主要差别是输入内容而非推理策略。

例如该论文主要研究了两类金融领域的模式化推理任务:

数值语义匹配(NSM):判断两处数值是否指代同一个数值事实。 推理流程:定位数值 → 结合上下文理解数值含义 → 语义分解、对齐 → 逐条判断判断是否等价。

交易目的分类(TPC):判断银行交易流水的用途。推理流程:识别账户与交易方向 → 提取关键词 → 对照预定义的分类体系 → 输出类别。 虽然每条交易内容不同,但规则和决策逻辑是一致的。

这些任务有个共同点:不需要「灵感式推理」,只要遵循固定步骤。

因此,对该类任务,论文提出了关键假设:

模型真正需要学习的,不是每条人类思维链的具体内容,而是背后统一的「推理模式」。

控制实验

推理监督中,什么才是关键?

论文以NSM任务作为代表性的模式化推理任务。为避免数据污染对结论产生干扰,研究团队自行收集了10万条样本并标注正确答案,同时邀请专家精心标注了1万条人工思维链。

NSM任务上不同训练策略的性能比较

通过两个对照实验,研究人员揭示了在SFT + RLVR范式下,模型主要在SFT阶段学习到任务的推理模式,而人工思维链的数量与质量对最终性能的影响并不显著:

1.数量敏感性实验:将SFT的人工思维链数量从10k随机减少至1k(保持推理模式不变),SFT阶段性能明显下降;但经过RLVR优化后,两者差距几乎消失(图2a)。

图2 控制实验结果:SFT与RLVR阶段的性能演化

结果说明只要 SFT 能够有效传授推理模式,RLVR可以通过强大的自我探索能力弥补差距。

2.质量扰动实验:将25%的人工思维链替换为GPT-4.1生成的错误思维链(但保持整体推理模式不变),SFT+RLVR的最终性能依然接近原版,甚至在部分设置下略有提升——作者推测这是由模型生成的「多样性」带来的正向作用。

进一步证明:「推理模式更重要而非每条标注思维链都要完美」 。

这些实验同时揭示了SFT与RLVR的分工机制:

SFT用标注的思维链教模型「怎么思路化地解题」;

RLVR利用规则化、可验证的奖励信号,将所学推理模式泛化到更多任务实例中。

模型真的学到了「推理模式」吗?

为了验证模型是否真的「内化了推理模式」,作者设计了一个颇具启发性的分析工具,用于刻画不同训练策略下模型的推理行为。

核心思路是:

找出那些「一旦换词就会导致答案变化」的关键token——这些高影响力token,正是模型的推理锚点。

具体而言,研究人员提出并实现了「基于采样的关键token检测」方法。

其基本原理是:

识别模型生成回复中的高熵token 位置(即模型最犹豫的地方);

  • 将该位置已选择的token替换为若干高概率候选token,并继续进行多次采样;

  • 若替换导致最终答案显著变化,则该位置被判定为「分叉点」(forking token),代表一个对推理决策至关重要的节点。

研究团队使用该方法提取了经不同训练策略(SFT+RLVR / pure-RLVR / UFT)得到的模型的 forking token,结果发现:

SFT+RLVR训练的模型,其forking token更具任务相关性——也就是说,模型的关键决策点集中在与任务语义相关的词汇上。

具体来看(见图3),SFT+RLVR 模型的forking token多为「任务关键词」(如 different, main_business),而pure-RLVR或UFT模型的forking token则更多是与任务无关的连接词或泛词(如but, because)。

这说明在后两种策略中,模型的推理模式尚未得到良好内化。

由此可见:SFT+RLVR不仅优化了结果,更让模型真正掌握了任务的推理模式。

图3 SFT+RLVR / pure-RLVR / UFT模型的forking token频率分布

PARO

用模式先验让大模型「自标注思维链」

基于上述发现,研究人员提出了PARO(Pattern-Aware LLMs as Rationale AnnOtators) —— 让LLM在「模式提示」下生成思维链,取代人工标注。

流程非常简单实用:

1.Prompt设计

写清任务说明;

明确推理模式,通过人类专家撰写,详细列出步骤化的形式;

给出格式规范和若干示例。

2.生成器选择

使用强推理模型(论文用 Qwen3-235B-thinking)生成思维链。

3.训练流水线

用生成思维链构造SFT数据;

然后走标准的SFT+RLVR优化流程。

研究人员在NSM与TPC两项任务上实现了该流程并报告了结果,如图4所示。

图4 PARO在NSM与TPC任务上的实验结果

在NSM数据集上:SFT(1k, PARO)+RLVR的准确率与F1(92.2 / 83.6)几乎匹配SFT(10k, Human)+RLVR(92.3 / 83.2),仅使用大模型标注的1k条思维链即可达到10k人工标注思维链相当的性能。这是论文最直观也最有说服力的结论。

另外PARO优于直接蒸馏大模型内部推理轨迹的方法SFT(1k, Distill)+RLVR。

从实验到落地

如何应用PARO?

先分类

把推理任务按「是否模式化」分类(参考论文对 pattern 的形式化描述)。只对模式化推理任务尝试PARO。

小规模尝试

人工写任务的详细推理步骤并附带少量思维链示例,用强推理模型生成少量PARO思维链。对比同数量的纯人工思维链,关注最终指标与标注成本。如果PARO效果接近甚至超越人工标注, 证明可行。

质量监控

用forking-token检测或人工抽查来评估PARO思维链训练的模型是否真的「对齐了推理模式」;如果关键决策点与任务相关性较差,补充更细致的推理模式或者提供更多的数据。

让模式取代人力

让模型学会「有章可循地思考」

这篇论文传递了一个重要信号:

对于可模式化的推理任务,推理模式比标注思维链的数量和质量更关键。

PARO给出了一个高性价比、可落地的推理监督新范式:

推理模式提示 → LLM生成思维链 → SFT → RLVR

在金融、审计、法律等规则性强的工业场景中,这种思路有极高的实用价值。更重要的是,它隐含着一种趋势:

推理监督的未来,或许不是「人教模型」,而是「模型教模型」。

参考资料:

https://arxiv.org/pdf/2510.12643

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
孙伟履新中国驻吉布提大使,曾任新疆生产建设兵团外办副主任

孙伟履新中国驻吉布提大使,曾任新疆生产建设兵团外办副主任

澎湃新闻
2026-11-20 14:29:03
没有什么比穷更可怕,外卖小哥旺季发7300工资,转给老婆6800,自己只留500,老婆却只担心下个月车险交不上

没有什么比穷更可怕,外卖小哥旺季发7300工资,转给老婆6800,自己只留500,老婆却只担心下个月车险交不上

捣蛋窝
2026-11-03 13:31:15
艾森科特团队警告利伯曼:一票也不会投给你,绝不支持你担任总理

艾森科特团队警告利伯曼:一票也不会投给你,绝不支持你担任总理

吃货的分享
2026-11-20 04:06:14
开拓者主帅谈杨瀚森出场12分钟:他的表现完全合格,维持了竞争力

开拓者主帅谈杨瀚森出场12分钟:他的表现完全合格,维持了竞争力

体坛周报
2026-11-20 13:25:21
饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

大风新闻
2026-11-20 10:22:07
抗战时,徐向前为什么失去了军事指挥权?因为他犯了教员的忌讳

抗战时,徐向前为什么失去了军事指挥权?因为他犯了教员的忌讳

阿胡
2025-03-20 13:01:27
新任广西壮族自治区政府秘书长李盛已任自治区政府党组成员

新任广西壮族自治区政府秘书长李盛已任自治区政府党组成员

澎湃新闻
2026-11-20 17:42:41
县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

秋风专栏
2025-04-15 17:16:42
老百姓躺平摆烂,食税群体该怎么办?

老百姓躺平摆烂,食税群体该怎么办?

深度人物说
2026-11-20 13:26:11
故事:盗墓者自述,鬼真的存在,其实比鬼更可怕的是另一样东西

故事:盗墓者自述,鬼真的存在,其实比鬼更可怕的是另一样东西

飞云如水
2024-12-28 13:54:42
同济大学56岁讲师因脑出血去世:他不完美,但值得被记住

同济大学56岁讲师因脑出血去世:他不完美,但值得被记住

必记本
2026-11-20 19:49:10
欧洲卡住光刻机不卖中国,中国反问:欧洲为啥还想要中国新能源?

欧洲卡住光刻机不卖中国,中国反问:欧洲为啥还想要中国新能源?

梦在深巷aqa
2026-11-20 10:01:29
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
99年朱总理访美,被问中国给克林顿30万献金,总理:怎么才30万?

99年朱总理访美,被问中国给克林顿30万献金,总理:怎么才30万?

WarOH协虎
2024-12-01 22:10:02
著名经济学家郎咸平:把房地产作为支柱,是一个经济体的不幸!

著名经济学家郎咸平:把房地产作为支柱,是一个经济体的不幸!

老蒋谈策划
2026-11-06 06:38:24
于晓光没想到,韩国总统出席APEC峰会仅1天,秋瓷炫竟意外火出圈

于晓光没想到,韩国总统出席APEC峰会仅1天,秋瓷炫竟意外火出圈

一盅情怀
2026-11-19 14:03:42
“把你们都杀了!”四川一业主群声讨楼下广场舞大娘,当晚领舞死了

“把你们都杀了!”四川一业主群声讨楼下广场舞大娘,当晚领舞死了

罪案洞察者
2025-07-26 15:35:50
苏州市公安局姑苏分局招聘200人

苏州市公安局姑苏分局招聘200人

Today苏州
2026-11-20 13:14:53
两岸统一货币,台湾慌了

两岸统一货币,台湾慌了

燕梳楼频道
2026-11-20 12:16:58
官方回复:成都又一家医院,停业了

官方回复:成都又一家医院,停业了

呼呼历史论
2026-11-20 12:54:33
2026-11-20 20:52:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16725文章数 67241关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
家居
亲子
数码
军事航空

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

宝宝气人但是聪明的4个行为

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版