南大等提出OrthoReg：极简正交正则化，揭开任务算术的底层机制

南京大学硕士生刘尚格为本文第一作者；澳大利亚 University of Wollongong (UOW) Lei Wang 教授、新加坡 Nanyang Technological University (NTU) Dacheng Tao 教授、南京大学高阳教授等，为本文合作者；南京大学副教授李文斌，为本文通讯作者。

在大模型时代，微调是我们让基础模型适配下游任务的常规操作。但如果我们手头有多个微调好的专家模型，想要把它们的能力合并到一个模型中，传统的联合训练不仅需要收集所有历史数据，还会带来极其高昂的算力成本。

在不重新训练的情况下，如何让一个模型同时掌握多种新技能？

近年来，「任务算术」（Task Arithmetic）作为一种高效的模型合并范式异军突起。它在无需昂贵的联合训练的情况下，仅通过对模型权重进行简单的代数加减，就能实现多任务能力的组合与特定知识的消除。

然而，任务算术在经验上的巨大成功，却一直伴随着底层理论解释的缺失。此前该领域的一项重要工作提出了「权重解耦」（Weight Disentanglement）的概念，认为当不同任务的权重更新在功能上互不干扰时，任务算术就能成功。但这更多是对理想结果的一种现象学描述：究竟是预训练模型的什么内在属性，或者任务向量的什么特征，促成了这种解耦？

为了回答这一根本问题，来自南京大学、伍伦贡大学和南洋理工大学的研究团队，试图为任务算术建立一个更为底层的理论框架。他们提出了一种名为「任务特征特化」（Task-Feature Specialization, TFS）的理想属性，并基于此推导出了现实中可操作的几何约束方法 ——OrthoReg。只需在微调时引入一个极简的正交正则化项，就能显著提升多种基线方法的模型合并性能。

目前，该论文已被计算机视觉顶级会议 CVPR 2026 接收，并被评为 Oral。相关代码、模型权重和数据集已全面开源。

• 论文链接：https://arxiv.org/abs/2604.17078
• 代码链接：https://github.com/RL-MIND/OrthoReg
• 权重链接：https://huggingface.co/RL-MIND/OrthoReg_checkpoints
• Huggingface Paper: https://huggingface.co/papers/2604.17078

背景介绍：任务算术与权重解耦

为了更好地理解这项工作，我们先来回顾一下什么是「任务算术」。

此前，NeurIPS 2023 的一项重要工作（Tangent Task Arithmetic, TTA）提出了「权重解耦」（Weight Disentanglement）的概念来解释这一现象。该理论认为，如果不同任务的权重更新在功能上互不干扰（即解耦），任务算术就不会发生灾难性干扰或性能冲突。

但这引出了一个更深层的问题：权重解耦只是对理想结果的描述，到底是什么内在属性导致了权重解耦？我们又该如何主动构建出能够完美解耦的任务向量？

理论分析：从「特征特化」假设到「权重正交」推论

为了探究权重解耦的本质，本文首先构建了一个理想化的理论模型，并提出了一个核心假设：任务特征特化（Task-Feature Specialization, TFS）。

直观地讲，TFS 假设一个理想的预训练模型在处理不同任务时，能够智能地将不同的内部特征（由权重矩阵的列向量表示）分配给特定的任务。例如，识别汽车的特征和识别手写数字的特征在模型内部是相互独立的。

文章在神经正切核（NTK）线性化假设下证明：

1. TFS 是实现权重解耦的充分条件（见论文 Theorem 1）。这意味着，如果模型在理想状态下能够做到特征特化，则权重解耦自然成立，从而在底层机制上保证了不同任务向量的合并不会产生破坏性干扰。
2. TFS 会自然推导出一个可观测的几何推论：权重向量正交性（WVO）（见论文 Corollary 1）。文章指出，正交性（Orthogonality）可以被视作底层特征分离（TFS）在几何上的一种外在表现或观测线索。具体而言，具备 TFS 属性的模型，其权重矩阵在统计上会呈现出块正交甚至列正交的结构。

如下图所示，文章将 TFS 视作连接功能属性（权重解耦）与几何属性（权重正交）的共同根源。这一核心洞见为后续的方法设计指明了方向。

图 - 核⼼论点概念图

不仅是理论推导，在预训练的 CLIP（ViT-B/16、ViT-B/32、ViT-L/14）模型中也真实观察到了这一现象：其核心计算层（如 Transformer Block 中的投影层）的权重向量夹角，极其尖锐地集中在 90 度（如下图所示），这为理论提供了强有力的经验支撑。

图 - CLIP 模型权重正交性经验证据图

现实挑战与方法：OrthoReg 极简正交正则化

在模型合并领域，现有的解决方案大致可分为合并中（During-merging）和合并前（Pre-merging）两类。前者试图在合并阶段设计复杂的算法来消除冲突，而本文的思路则属于Pre-merging 方法：既然无法直接保证功能的绝对特化（TFS），我们不妨退而求其次，在微调阶段主动去约束它的几何推论 —— 正交性，从而从源头上打造出「天生适合合并」的模型。

图 - OrthoReg ⽅法概览图

与现有方法的联系：

此前 TTA (Tangent Task Arithmetic) 方法通过在切空间微调，隐式地利用了模型的 NTK 局部性来促进任务向量的正交。然而，TTA 依赖于极其昂贵的雅可比矩阵计算，导致显存和时间开销大幅增加。相比之下，OrthoReg 通过正则化显式约束正交性，不仅在理论机制上与 TTA 殊途同归，而且计算成本极低，几乎不增加额外的训练负担。

实验验证：更正交的向量，更优的合并

文章在 8 个多领域的图像分类数据集上，对多种视觉 Transformer（ViT-B-32、ViT-B-16、ViT-L-14）进行了广泛的评估。

任务加法（Task Addition）

在将 8 个任务的模型合并为一个单一模型的测试中，OrthoReg 展现出了极强的通用性。无论是应用于全参数微调（Non-lin. FT）、切空间微调（TTA），还是参数高效微调（ATT-FT, LoRA），OrthoReg 均能带来一致且显著的性能提升。

图 - Task Addition 实验结果

例如，在 ViT-L-14 模型上，OrthoReg 将标准全参数微调的平均绝对准确率大幅提升了 4.16 个百分点（从 84.07% 提升至 88.23%）；而 ATT-FT 结合 OrthoReg 更是达到了 90.41% 的准确率，创下了该基准下的新高。

特别地，在衡量任务干扰程度的归一化准确率（Norm.Acc.）指标上，ATT-FT 结合 OrthoReg 达到了 100.05%。这意味着合并后的多任务模型，其平均性能已经完全媲美甚至微超 8 个独立微调的专家模型，在功能层面上无限逼近了「零干扰」的理想解耦状态。

任务消除（Task Negation）

图 - Task Negation 实验结果

可视化：揭示任务向量的几何关系

为了直观验证理论，文章也计算了不同任务向量之间的余弦相似度。如下图所示，基线方法（上排）生成的任务向量之间存在明显的非对角线相关性（亮色色块），说明常规微调容易导致任务间特征耦合。而引入 OrthoReg 后（下排），热力图的非对角线区域明显变暗。这提供了直接的经验证据：OrthoReg 确实通过几何约束，促使模型学习到了更加正交、解耦的任务向量。

图 - 任务向量余弦相似度热⼒图对⽐（ViT-B-16）

总结和展望

总而言之，这篇论文为「任务算术」这一模型合并技术提供了另一个视角的理论分析。

本文从一个根本性问题出发：任务算术为什么能有效？最终给出了一条清晰的因果链：任务特征特化（TFS）是权重解耦的充分条件，而权重向量正交性（WVO）则是 TFS 在几何层面可观测的外在印记。

更重要的是，这一理论洞见直接转化为了实践价值。由于 TFS 本身是一个抽象且难以直接约束的功能属性，研究团队另辟蹊径，转而去约束其几何推论即正交性。由此提出的 OrthoReg 正则化方法极其轻量：一行公式，一个超参，即插即用，无需修改任何模型结构或合并算法，却能跨模型规模、跨微调范式地带来一致的性能增益。

未来，研究团队计划探索更多样化、更细粒度的正交性约束形式，以期在更复杂的多任务场景下实现更精准的权重解耦。同时，这种基于几何视角的解耦思想，也有望在未来推广至更大规模的语言模型和多模态大模型的知识编辑与持续学习任务中，激发更多极具潜力的研究方向。