网易首页 > 网易号 > 正文 申请入驻

无需人工标注!AI自生成训练数据,靠「演绎-归纳-溯因」解锁推理能力

0
分享至

新智元报道

编辑:peter东 英智

【新智元导读】新加坡国立大学等机构的研究者们通过元能力对齐的训练框架,模仿人类推理的心理学原理,将演绎、归纳与溯因能力融入模型训练。实验结果显示,这一方法不仅提升了模型在数学与编程任务上的性能,还展现出跨领域的可扩展性。

当AI试图破解数学、编程与科学的难题时,它常常像一位灵感乍现的天才,却又难以稳定发挥。

新加坡国立大学、清华大学和Salesforce AI Research的研究者,提出了一种革命性的训练框架——元能力对齐,赋予模型稳健的推理能力,让顿悟成为常态。

论文链接:https://arxiv.org/abs/2505.10554

他们提出了一项使大型推理模型的能力变得更加可控和可靠的训练方法,能够高效地系统化培养大模型的数学,编程和科学问题上的基本推理能力。

要理解其突破,需要知道何为啊哈时刻,这里指的是在使用纯强化学习训练大模型的时候,大模型偶然展现出的高级推理行为,如自我纠正、回溯和验证等。

DeepSeek-R1的成功表明,从预训练基础模型或指令微调模型开始,基于规则的纯强化学习能够自发地涌现出长链式思维推理、自我纠正、自我反思等高级行为。

然而,这些涌现行为的频率和一致性,却始终不可预测且无法控制,这就限制了大模型的推理能力的可扩展性和可靠性。

实验方法:模仿心理学,

让大模型稳定地涌现出推理能力

要想做到超越「顿悟时刻」就需要借助于心理学家皮尔斯提出的经典推理三元组,该理论指出人类的推理能力,可以分为三个组件间的组合,分别是假设,观察和规则,根据任意两个,可以得出第三个。

例如根据观察和假设,通过归纳得到可泛化的规则;而基于规则和假设,能根据演绎推断出未来可能的观察结果;至于基于规则和观察,得到假设的过程,称之为溯因。

图1:皮尔斯提出的推理元能力三元组

有了这样的分类,研究者据此构建了一个程序,能自动化生成上述三类推理的实例,用于大模型的训练,并对大模型输出的结果自动进行验证,程序生成的任务,是由常见数据组合而成,但又不再训练数据集中的,由此可训练模型的元推理能力。

例如,在演绎推理(H+R⇒O)中,模型被给定一组逻辑规则R和一个候选真值赋值H作为假设,必须验证整体观察结果O(即所有公式为真)是否成立。

而在归纳推理(H+O⇒R)中,模型被提供可观察项O和不完整输入H,必须抽象出底层生成规则R;在溯因推理(O+R⇒H)中,模型被给定观察结果O和一个规则图R ,必须反向追踪以恢复能够逻辑解释结论的最小隐藏假设集H。

下面是作者给出的一个训练数据的例子,以提示词及正确回复的方式出现。

每个训练实例由自动化生成器产生,并由验证器筛选,从而生成大规模、自我校验的训练数据,完全无需人工标注。

图2:模型训练的三阶段流程概述:对演绎、归纳和溯因专家进行对齐,在参数空间中合并它们,并持续使用强化学习训练统一模型到下游领域

具体来看,该架构下的大模型,可视为一个类似混合专家模型的架构,每类专家拿到的训练数据后,先各自提升自己的能力,演绎推理的「专家」,会在训练后产生假设生成、逻辑推论传播、经验一致性检测和纠错。

归纳专家增强了模型在抽象和泛化方面的基本能力;而溯因专家从目标开始,以假设最小支持性为前提,对照已知事实,高效地进行目标导向的假设形成、验证和修订的重复循环,相当于对因果图进行剪枝。

这些能力是跨领域进行稳健推理的必要组成部分。

之后研究者会后通过参数空间融合,将这些专家合并,然后在数学,编程和社交互动这三种场景上分别使用强化学习训练专家模型(称之为Domain-RL-Meta特定领域元强化学习),之后再对训练好的模型进行融合。

这种训练方法,被称为元能力对齐。

实验结果

高效且可扩展的训练方式

对于上述三类任务,该研究对问题难度进行了分级,并采用循序渐进的学习策略,从易到难逐级训练模型。

按照这个计划,7B模型在2级问题时性能收敛,并且在使用更高级别的训练数据集时,不再提升性能,32B模型偶尔受益于3级难度的训练数据,但奖励曲线不稳定,因此该研究中也没有采用。

研究者在训练过程中,对于7B模型,每个任务每个级别实验200个实例,对于32B模型,每个任务每个级别适应2000个实例。

结果显示:相比指令微调基线(Qwen-2.5),基于元能力对齐的训练方法使模型在数学,编程和科学问题的7个模型从没有见过的基准测试上的准确率提高了10%以上,并通过特定领域强化学习获得进一步增益。

在7B和32B规模下,元能力对齐和合并的模型始终优于指令微调的基线模型,合并后的模型取得了最高增益。

在7B规模模型上,数学问题的平均分从基准的38.8%提升到Domain-RL-Meta的43.0%;而没有经过元能力对齐,只是进行特定领域的强化学习,训练后的表现只有41.2%。

参数量扩展至32B时,数学问题上的表现从46.9升至50.3(特定领域强化学习)再升至52.3(元能力对齐+特定领域强化学习),整体平均分从44.6升至47.4再升至48.8。

对比7B和32B参数量的提升,可看出元能力对齐带来的收益随模型规模增加而扩展,显著提升了各项任务的性能上限,尤其是在数学任务上,合并三种推理模式后,训练好的模型性能提升了11.1%。

表1:不同参数量下,适应元能力对齐训练的大模型在数学和编程问题上的性能

这说明该框架为在数学、编程和科学领域提升推理能力提供了一种可扩展、可推广且可控的方法,有助于构建可解释且鲁棒的推理模型。

这种模块化的训练方式,借鉴了混合专家模型,同时使用来自心理学对人类推理本质的洞见,让大模型的每个专家进行专业分工,擅长一种推理方式,从而能够用小数据集完成快速的性能提升。

这就如同学生学到了能驾驭各家功夫的小无相功后,能够在各种问题上游刃有余。

参考资料:

https://www.alphaxiv.org/abs/2505.10554

https://www.alphaxiv.org/overview/2505.10554

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
iOS 26.7.3正式推送!6项设置怎么调,流畅度真能提升20%?

iOS 26.7.3正式推送!6项设置怎么调,流畅度真能提升20%?

小8说科技
2026-11-15 12:19:40
霍启山也没想到,自己大婚将至,反而让母亲朱玲玲承担了“恶意”

霍启山也没想到,自己大婚将至,反而让母亲朱玲玲承担了“恶意”

小莜读史
2026-11-18 07:06:31
王宝强带女友参加婚礼,冯清苹果肌肿胀明显,被吐槽医美过度!

王宝强带女友参加婚礼,冯清苹果肌肿胀明显,被吐槽医美过度!

娱乐团长
2026-07-07 11:00:01
性学专家李银河说:你若50岁左右,人生余额已不多。不出意外…

性学专家李银河说:你若50岁左右,人生余额已不多。不出意外…

豁达宇宙
2025-10-22 18:31:20
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
哈马维当选六天就翻脸?拒认伊朗是对手,还反手把大锅甩给美国!

哈马维当选六天就翻脸?拒认伊朗是对手,还反手把大锅甩给美国!

王姐懒人家常菜
2026-11-18 08:26:58
深圳男子被漂亮交警开罚单后一见钟情,他决定这样做来接近她

深圳男子被漂亮交警开罚单后一见钟情,他决定这样做来接近她

牛魔王与芭蕉扇
2025-07-14 16:21:23
民调:若梅朗雄在法国总统选举中胜选,69%犹太人可能考虑移居国外

民调:若梅朗雄在法国总统选举中胜选,69%犹太人可能考虑移居国外

阿尔卑斯瞭望
2026-11-17 18:47:39
英伟达员工爆料:飞机随便坐、电梯随便搭,为什么没人敢用?

英伟达员工爆料:飞机随便坐、电梯随便搭,为什么没人敢用?

一盅情怀
2026-11-17 12:17:13
CBA最敬业的外援!被8支CBA球队拒绝后:他终于找到下家了?

CBA最敬业的外援!被8支CBA球队拒绝后:他终于找到下家了?

篮球快餐车
2026-11-18 06:16:27
波切蒂诺第一刀!曼联 3650 万水货直接弃用!冬窗或被清洗

波切蒂诺第一刀!曼联 3650 万水货直接弃用!冬窗或被清洗

澜归序
2026-11-18 09:41:57
气象局预警!11月可能迎来史上超强厄尔尼诺,家家户户早做打算

气象局预警!11月可能迎来史上超强厄尔尼诺,家家户户早做打算

兴趣知识
2026-11-18 03:00:47
美媒:中国歼-35,将迎来重大升级,或研发双座版歼-35S,并扩大内置弹舱尺寸

美媒:中国歼-35,将迎来重大升级,或研发双座版歼-35S,并扩大内置弹舱尺寸

蓝星杂谈
2026-11-18 08:53:13
12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

温读史
2025-11-09 09:25:54
勒庞称若当选总统将不再为乌克兰提供财政援助

勒庞称若当选总统将不再为乌克兰提供财政援助

新华社
2026-11-17 10:30:03
“最快女护士”张水华称现在跑步就像上班,不上夜班后压力少了,睡眠也好一些;本周末,她将挑战黄石马拉松,女子第一名奖金为10000元

“最快女护士”张水华称现在跑步就像上班,不上夜班后压力少了,睡眠也好一些;本周末,她将挑战黄石马拉松,女子第一名奖金为10000元

南方都市报
2026-11-17 19:07:01
南京男子回家迫不及待抱住妻子,结果家中鹦鹉一开口,让他崩溃!

南京男子回家迫不及待抱住妻子,结果家中鹦鹉一开口,让他崩溃!

白云故事
2025-03-14 19:05:07
太出乎意料!俄炼油厂屡遭无人机袭击,靠的是中国装备快速复产?

太出乎意料!俄炼油厂屡遭无人机袭击,靠的是中国装备快速复产?

古书奇谈
2026-11-16 21:35:03
黑色幽默!电诈园区办公室中文标语,简直是天大的讽刺

黑色幽默!电诈园区办公室中文标语,简直是天大的讽刺

麦大人
2025-11-06 08:32:30
历史性的首次中俄美元首面对面会晤

历史性的首次中俄美元首面对面会晤

新民周刊
2026-11-17 09:05:42
2026-11-18 10:28:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16707文章数 67239关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

旅游
房产
时尚
本地
军事航空

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

房产要闻

6.6亿!海口卖地!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版