多伦多大学教AI"因材施教"：让大模型在六个领域同时变聪明的武器

这项由多伦多大学、向量研究所联合卡内基梅隆大学、普林斯顿大学、伊利诺伊大学厄巴纳-香槟分校、图宾根ELLIS研究所以及马克斯·普朗克智能系统研究所的研究团队共同完成的工作，于2026年6月发表在arXiv预印本平台，论文编号为arXiv:2606.25178。对这一方向感兴趣的读者可以通过该编号直接检索原文。

从一道有趣的问题说起：如果你是一位家庭教师，手头只有有限的时间，需要同时帮助一个学生提高数学、编程、逻辑、科学、阅读表格和模拟推理六门课的成绩，你会怎么分配上课时间？平均分配固然公平，但那未必聪明。也许某一门课的进步会带动其他课的提升，也许死盯某一门高分课反而耽误了整体发展。这个问题，正是这篇论文要回答的核心挑战——只不过这里的"学生"是一个人工智能大语言模型，而"老师"是一套被称为"迁移感知课程"（Transfer-Aware Curriculum，简称TAC）的自动训练调度系统。

一、为什么让AI同时学多门课这么难

现代大语言模型的训练，早已不只是让它学数学了。研究人员希望训练出一个"全科优等生"——既能解方程、写代码，也能处理逻辑谜题、阅读科学文献、分析复杂表格，甚至模拟程序运行结果。这听起来很美好，但实操起来问题重重。

研究团队做了一个关键实验：他们分别用六个不同领域的题目单独训练模型，然后观察每个领域的训练对其他五个领域成绩的影响。结果非常有意思，可以把它想象成一张"学科相互帮助"的地图。用表格类题目训练的模型，其模拟推理能力提升了14.6个百分点；而用数学题训练的模型，同样的模拟推理能力只提升了5个百分点。换句话说，不同科目之间的"知识迁移"能力差异巨大——有些课学了能带动一片，有些课学了只能顾好自己那一亩三分地。

这就带出了一个很自然的问题：在有限的训练时间里，应该优先让模型练哪个领域的题？过去的研究通常给出两种答案：要么按比例随机抽取各领域的题目（随机均匀策略），要么依据"这个领域现在学得怎么样"来决定多练还是少练。后者听起来很合理，类似于"哪门课进步空间大就多学哪门"。但这两种方法都有一个共同的盲点——它们都没有考虑"学这门课，会不会顺带帮到其他课"。

二、一个关键的区分：正在进步的领域 vs. 带动全局的领域

研究团队的核心洞察是：一个领域"当前容易学"和"学了对整体有好处"，是两件完全不同的事。

以这项研究的数据为例，数学是AI领域最常被训练的科目，模型在数学上的进步也确实可以量化——所以单从"进步空间"的角度来看，数学始终是一个"值得多练"的选项。然而，团队发现数学训练产生的梯度方向（可以理解为"学习这道题时大脑神经网络调整的方向"）与其他五个领域的调整方向几乎不一致，有时甚至方向相反。这意味着，拼命练数学虽然提高了数学分，但对提升逻辑、表格、科学等方向的帮助微乎其微，甚至可能稍有干扰。

相比之下，表格推理这个领域的训练梯度方向，与模拟推理、科学推理、逻辑推理这三个领域的梯度方向高度一致——也就是说，练表格题的时候，模型神经网络的调整方式同时也对这三个领域有利，一举多得。研究团队将这种"训练一个领域对其他领域也有好处"的性质称为"跨领域迁移性"。

这就引出了TAC的核心设计哲学：在决定"现在该练哪个领域的题"时，不光要看这个领域"现在能让模型有多大进步"，还要看这个领域的训练"能不能顺带帮助其他领域"。前者叫做"可学性"，后者叫做"迁移性"，TAC把这两个信号结合在一起，共同决定每一步训练的重心。

三、TAC是怎么工作的：一个自适应调度员

为了直观理解TAC的运作方式，可以把它比作一位聪明的职业教练，负责安排一支六人队伍（六个训练领域）的日常练习计划。这位教练每天都会观察每个队员的状态，并且评估"今天让张三多练，是否会顺带帮到李四和王五"，然后据此分配每个人的练习时间。

TAC在技术上采用了一种被称为"多臂老虎机"的决策框架。这个名字来源于赌场里那种同时有多个拉杆的老虎机——玩家需要决定每次拉哪个拉杆，以获得最多奖励。TAC的"拉杆"就是六个训练领域，"奖励"就是训练效果。每一步训练，TAC都从六个领域中选一个来练，然后根据实际效果更新自己对这六个领域的"价值评估"，再决定下一步练哪个。

TAC计算每个领域的"综合得分"，这个得分由两部分加权合成。第一部分是"可学性"信号：通过观察模型在这个领域做题时，回答对了多少道、答错了多少道，判断当前该领域是否处于"进步区间"。如果一个领域的题目模型全会做，或者全不会做，这个领域的可学性就很低——前者说明已经掌握，后者说明完全超出能力范围，两种情况都不适合此刻重点训练。当答对和答错的题目数量接近均等时，可学性最高，意味着正在从"不会"向"会"过渡，是最佳学习时机。

第二部分是"迁移性"信号，这是TAC真正的创新所在。每次训练某个领域时，模型内部会产生一个"梯度向量"（可以理解为这次学习让神经网络调整的方向和幅度）。TAC把这个向量投影到一个低维空间里（类似于把一个复杂的三维物体投影成一个简化的二维轮廓，保留主要特征但大幅压缩计算量），并为每个领域维护一个随时间更新的"方向积累值"。每隔两步训练，TAC就计算一次六个领域之间的"方向相似度"——如果A领域和B、C、D领域的梯度方向很接近，就说明训练A能顺带帮到B、C、D，A的迁移性就高。TAC利用这个相似度来更新每个领域的迁移性评分，并通过归一化处理，确保比较的是"相对谁更好"，而非绝对数值。

整个计算过程几乎不额外增加训练时间，实测发现TAC的额外开销不到整体训练时间的1%，在实用性上完全可以忽略不计。

四、TAC的细节设计：让系统既灵活又稳定

一个好的调度系统不只需要正确的策略，还需要各种稳定运行的工程设计。TAC在细节上做了相当多的考量。

首先是"探索与利用"的平衡问题。如果TAC一直选综合得分最高的领域，那么得分稍低的领域会长时间没有训练，其"价值评估"就会越来越陈旧，最终失去参考意义。TAC采用了一种带有"探索奖励"的选择机制——那些很久没被选到的领域会自动获得额外加分，以确保所有领域都定期被训练到。这就像一位教练会定期给板凳球员上场机会，防止他们的状态因为缺乏实战而退步。

其次是训练数据用完怎么办。当某个领域的题目库被抽完时，TAC会把这个库重新洗牌，继续从头抽取，而不是切换到其他领域。这样做保证了评分高的领域可以被重复练习，同时也不会把任何领域的数据永久搁置。

再次是"双阶段更新"机制。传统的老虎机策略只更新被选中的那个"拉杆"的得分。但TAC的迁移性信号是针对所有领域同时计算的——每次计算完迁移性，所有领域的评分都应该更新，而不只是被选中的那个。因此TAC在每次选中某个领域后立即更新它，并且每隔两步，顺带用最新的迁移性得分更新其余所有领域的评分（其可学性得分则沿用上次被选中时的缓存值）。这相当于每个领域都会定期"被动"地收到关于自身价值的最新信息，而不必等到被选中才更新。

最后是开始阶段的"热身"设计。训练刚开始时，TAC还没有积累足够的信息来判断哪个领域更有价值，贸然依赖不成熟的评估反而会偏颇。于是TAC在每个训练轮次开始时，先强制执行五轮"轮流上课"——六个领域各训练一次，顺序随机打乱，确保每个领域都有足够的初始数据，让后续的可学性和迁移性评估更可靠。

五、真实效果：数字背后的故事

研究团队在两个不同规模的语言模型上验证了TAC的效果：一个是阿里巴巴开发的Qwen3-1.7B基础模型，另一个是Meta开发的Llama3.2-3B指令模型。他们用14个专业测试集覆盖六个领域，对比了四种方法：不做任何强化学习训练的原始模型、随机均匀采样、人工设计的"先数学后其他"两阶段课程，以及只看可学性不看迁移性的先前最优方法SEC。

在Qwen3-1.7B上，TAC的综合平均正确率达到33.9%，比随机均匀采样高出2.1个百分点，比单看可学性的SEC高出1.8个百分点。在Llama3.2-3B上，TAC达到31.3%，比随机均匀采样高出2.1个百分点，比人工设计课程高出1.6个百分点。这些数字看起来不大，但在14个测试集的综合平均上稳定提升2个百分点左右，在AI训练领域已经是相当显著的系统性改进，相当于10%的相对提升幅度。

具体到各个领域，TAC的改进尤为明显的是逻辑推理（斑马谜题测试上比随机策略高出近10个百分点）、数学（在Llama模型的MATH-500测试上比随机策略高出5个百分点）、以及表格推理（FinQA测试上在Llama模型上比随机策略高出7.5个百分点）。科学推理（GPQA）也在Qwen模型上提升了约2个百分点。唯一TAC没有明显优势的是模拟推理领域的部分测试集（CodeI/O和CruxEval-O），研究团队认为这是因为该领域的可学性和迁移性信号本身就比较平稳，调度策略的杠杆作用有限。

更值得关注的是各方法的稳定性差异。SEC在Qwen模型上表现尚可，但在Llama模型上反而比随机均匀采样还差0.7个百分点，方差也最大，说明单靠可学性来调度存在较大的运气成分——碰巧哪个领域在开头阶段可学性最高，策略就会被"锁定"在那里，而这个判断在不同模型上并不一致。TAC通过加入迁移性这个"全局视角"有效避免了这种情况。

六、训练过程中发生了什么：一场动态的资源博弈

研究团队对训练过程进行了详细的动态追踪，记录了每个领域在每个训练步骤被选中的概率变化，以及可学性和迁移性评分的实时演化，结果相当耐人寻味。

在训练的前30步，TAC和SEC的行为几乎一样——都在探索各个领域，没有明显偏好。从第30步到第50步之间，科学推理（STEM）领域的可学性突然飙升，这是因为模型此时正处于从"几乎全错"向"部分答对"的过渡阶段，学习信号非常强。SEC感知到这个信号后，迅速将大量训练资源集中到科学推理领域。到第60步时，科学推理占据了SEC将近一半的训练时间，并且此后一直维持主导地位。

TAC同样感知到了科学推理的高可学性，也短暂增加了对它的投入，但与此同时，迁移性信号发出了不同的声音——表格推理领域的梯度方向开始与其他多个领域高度对齐，其迁移性评分逐渐攀升至六个领域中的最高位。于是TAC在短暂倾向科学推理后，逐渐将资源重新分配给表格推理，后者在训练末期占据了最大的训练份额。逻辑推理领域也受益于类似的迁移性优势，获得了比随机策略更多的训练时间。

与此同时，数学和代码生成领域的迁移性评分始终处于六个领域中的末位——它们的梯度方向与其他领域普遍不一致，有时甚至相反。TAC因此给这两个领域分配了最少的训练时间。研究团队认为这背后有一个很自然的解释：Qwen3这类基础模型在预训练阶段已经消化了海量数学和代码数据，数学和代码能力早已相当成熟。继续在强化学习阶段大量练习这两个领域，相当于反复打磨一个已经很锋利的刃口，收益递减，而且这种"打磨数学的动作"和"打磨逻辑思维的动作"之间几乎没有共同之处——所以数学的梯度方向孤立于其他领域之外，迁移性自然低。

从验证集的准确率曲线来看，TAC、SEC和随机策略在前40步几乎重叠。从第40步开始，TAC逐渐拉开差距，SEC则基本紧贴随机策略线，没有明显优势。这条曲线清晰地说明：单凭老虎机的决策机制本身并不能带来改进，关键在于给老虎机提供什么样的反馈信号——只有迁移性信号的加入，才让智能调度真正发挥了作用。

七、不均衡数据下的压力测试

现实中的训练数据往往不是均衡的。数学和科学类题库通常远比逻辑、表格类题库庞大，如果按原始数据量训练，数学和科学会主导整个训练过程，其他领域几乎没有发声机会。

研究团队专门设计了一组不均衡数据实验：数学和科学各有1500道题，模拟推理和表格各只有500道题，其余领域保持1000道题。在这种情况下，TAC的综合准确率达到32.7%，比随机策略高1.9个百分点，比SEC高1.5个百分点，在14个测试集中有11个排名第一。

TAC的优势在不均衡场景下甚至更加突出。原因不难理解：当数学和科学的数据量是表格和模拟推理的三倍时，初始调度自然倾向于数学和科学。SEC只看可学性，一旦数学和科学的可学性信号（因为数据多、被抽到多、信号也稳定）占据主导，就很难给小领域留出空间。而TAC的迁移性信号发现，一旦数学和科学的梯度方向对其他领域贡献趋于饱和，就会主动释放资源给表格和模拟推理这类"高迁移性"的领域，从而避免了资源向大领域的过度集中。

八、系统有多灵活：超参数稳定性分析

一个好用的系统不能"特别娇气"——如果只在某个精确的参数设置下才表现最好，稍有偏差就急剧退化，那么实际应用价值就会大打折扣。研究团队对TAC的三个关键参数进行了系统性测试。

最重要的参数是可学性和迁移性的混合比例β。当β=1时，TAC退化为纯粹的可学性策略，等价于SEC；当β=0时，TAC退化为纯粹的迁移性策略。实验发现β=0.2时效果最好，说明迁移性应该占主导地位（80%的权重），但可学性的贡献也不可或缺。当β从0.2升至1时，性能急剧下降，再次印证了迁移性信号的核心价值；而β=0的纯迁移性策略也比β=1略差，说明两者结合才是最优解。

老虎机学习率α控制每次训练后评分更新的速度。α=0.3时效果最好，更小的值更新太慢（强化学习阶段梯度结构变化很快，太慢跟不上），更大的值引入过多随机噪声。用于计算迁移性的梯度投影层数N的影响最小——即使只取最后一两层，效果也与取全部层相当，说明后几层神经网络确实承载了绝大部分的领域间对齐信息。

此外，研究团队还在更大范围内测试了TAC的扩展性，包括Qwen3-0.6B和Qwen3-4B两个规模的模型。在最小的0.6B模型上，TAC比随机策略高3.5个百分点；在4B模型上，TAC比随机策略高2.2个百分点。无论模型规模变大还是变小，TAC的改进都稳定存在，说明这套方法并不依赖特定的模型规模，具有普遍适用性。

说到底，这项研究回答了一个既简单又深刻的问题：在有限的时间里，让AI同时变聪明，应该怎么安排"课表"？答案并不是平均分配，也不是只盯着"当前进步最快"的科目，而是要优先那些"学了能带动一片"的科目。表格推理不是最耀眼的领域，但它的训练效果会悄悄渗透进逻辑、科学和模拟推理；数学很重要，但在已经足够强大的基础上继续大量投入，产出的收益正在迅速边际递减，反而挤占了其他领域的成长空间。

这个发现对AI行业的实际训练实践有直接的参考价值。未来的大模型训练不应该只是简单地堆数据、随机采样，而是需要在训练过程中持续监测各领域之间的"知识流动方向"，动态调整资源分配。TAC提供了一套几乎零成本（不到1%的时间开销）实现这一目标的方法，且无需额外的标注数据、评估测试集或者任何外部信息，完全自给自足地从训练过程本身提取信号。

当然，TAC的局限也很清晰：它只解决了"课表怎么排"的问题，不涉及"题目怎么出"或"评分标准怎么定"的问题。而且目前TAC的测试还局限在有明确对错判断的任务上，对于那些需要人类主观评价的开放性问题（比如写作质量），这套体系还需要进一步扩展。

如果你对这项研究的完整技术细节感兴趣，可以通过arXiv编号2606.25178找到原论文，那里有更详尽的数学推导、实验设置和附录数据。

Q&A

Q1：TAC和普通的随机多领域训练相比，到底好在哪里？

A：普通随机训练按固定比例抽取各领域题目，不管当前模型的状态，也不考虑各领域训练之间的相互影响。TAC每一步都动态评估两件事：这个领域现在是否处于模型的最佳学习区间（可学性），以及训练这个领域是否会顺带帮助其他领域进步（迁移性）。通过将这两个信号结合起来决定训练重心，TAC在六个领域的综合准确率上比随机策略稳定高出约2个百分点，相当于10%的相对提升。

Q2：TAC为什么发现数学领域的迁移性低，而表格推理的迁移性高？

A：TAC通过比较各领域训练时神经网络的"调整方向"来判断迁移性。数学训练产生的调整方向与逻辑、表格、科学等领域的调整方向几乎不一致，原因是Qwen3等基础模型在预训练阶段已经大量学习了数学和代码，相关能力已经成熟，强化学习阶段的数学训练只是在"已有技能上反复打磨"，走的方向跟其他领域差别很大。而表格推理涉及结构化信息提取和多步推理，这些能力与逻辑、科学推理高度重叠，训练表格时的"调整方向"自然与这些领域对齐。

Q3：TAC的额外计算开销大吗，普通实验室能用吗？

A：TAC的额外计算开销非常小，实测不到整体训练时间的1%，在配备4块H100显卡的单机上，每个训练步骤仅多耗时约1秒（总步骤耗时约115秒）。核心原因是TAC的梯度投影只针对模型最后几层参数，且采用随机投影降维到4096维，计算量极低。论文的全部实验都在单台4卡H100服务器上完成，每个训练运行约7小时，对于有一定算力条件的研究团队完全可行。