RecFound：面向推荐系统的生成式表征学习统一框架

RecFound 在理论和实践上成功解决了长期困扰推荐系统多任务学习的知识冲突与收敛失衡问题。

作者丨林江浩 周哲立

构建能够在多样化任务中表现卓越的单一基座模型（Foundation Model），是人工智能领域的长期目标。随着通用大模型技术浪潮的推进，其影响力已显著扩展至推荐系统领域。然而，当前针对推荐任务的基座模型研究，虽在各类生成式（Generative）任务上取得了进展，却普遍忽视了作为推荐系统基石的表征式（Embedding）任务，并且在处理多任务学习的复杂性（如知识共享与冲突、收敛速度不一致等）方面面临挑战。为应对这些局限性，来自上海交通大学与华为诺亚方舟实验室的研究团队提出了RecFound，一个面向推荐基座模型的生成式表征学习统一框架。该框架通过创新的模型架构与训练策略，成功地在单一模型内统一了生成与表征两类异构任务。研究团队同时为推荐基座模型构建了第一个综合数据集，涵盖了多种场景下的生成式和表征式任务，并在此基准上对多个模型进行了评估，验证了RecFound框架的优异性能。

论文标题:Generative Representational Learning of Foundation Models for Recommendation

论文链接: https://arxiv.org/abs/2506.11999

项目链接:https://junkfood436.github.io/RecFound/

01

核心挑战：推荐基座模型中的任务分歧与训练困境

基座模型是利用海量数据进行训练的超大型人工智能模型，它具备强大的通用能力，能够适应并完成多种不同的下游任务，而无需从头开始训练。正是因为大语言模型这种强大的通用能力和适应性，研究者们开始探索将其改造为统一的推荐基座模型。然而，在将大语言模型改造为统一的推荐基座模型的过程中，研究者普遍面临两大技术瓶颈，严重制约了模型的综合效能。

• 对表征学习任务的忽视：表征学习是现代推荐系统的核心。它通过将用户、物品、查询等高维、离散的特征映射为低维、稠密的向量（Embedding），来捕捉它们之间复杂的语义关系。高质量的表征是实现高效召回、精准排序乃至多样化推荐的前提。然而，目前许多推荐基座模型的研究过度侧重于生成式任务（如生成商品描述、撰写用户评论），而未能充分整合和优化底层的表征学习能力。这导致模型虽然“能说会道”，但在核心的“猜你喜欢”能力上存在短板，限制了其在真实推荐场景中的应用深度。

• 多任务学习的内在复杂性：在单一模型中同时优化性质迥异的生成任务与表征任务，极易引发一系列问题。首先是知识冲突与负迁移，生成任务通常采用交叉熵损失函数在词元（token）级别进行优化，而表征任务则依赖对比学习损失（如InfoNCE）在样本级别构建表示空间。这两种截然不同的学习目标可能导致参数更新方向相互冲突，使得模型在学习一个任务时损害了在另一个任务上的表现。其次是收敛不一致，不同任务的数据规模、学习难度和收敛速度千差万别。简单的任务可能很快就过拟合，而复杂的任务还远未收敛。这种不一致性使得整个训练过程难以平衡，导致最终模型性能受限于“短板任务”，无法达到整体最优。

02

RecFound 框架：模型、数据与策略的三维协同

为系统性地解决上述挑战，RecFound 框架提出了一套新颖的多任务训练方案，其核心在于三个关键模块的协同设计，分别从模型结构、数据调度和训练策略层面进行优化。

1.模型层：任务化低秩专家混合（TMoLE）

为高效管理知识共享并缓解任务冲突，研究者设计了 TMoLE (Task-wise Mixture of Low-rank Experts) 架构。该方法并非对整个模型进行密集微调，而是借鉴了参数高效微调（PEFT）和专家混合（MoE）的思想。

具体而言，TMoLE 在Transformer的每一个自注意力模块的查询（Query）、键（Key）、值（Value）和输出（Output）投影矩阵上，并行地集成了多个“低秩专家”（Low-rank Experts）和一个“任务路由器”（Task-wise Router）。这些专家被划分为三组：表征专家组、生成专家组与共享专家组。当一个训练样本输入时，任务路由器会根据其任务ID，生成一个路由权重向量，动态地决定激活哪些专家来参与计算。例如，处理一个表征任务时，路由器会主要激活表征专家和共享专家，同时抑制生成专家的权重。这种设计使得模型能够为不同类型的任务分配专属的参数子空间以避免冲突，同时通过共享专家促进跨任务的知识迁移，从而在“分治”与“协同”之间取得精妙平衡。

2.数据层：步进式收敛导向样本调度器（S2Sched）

为解决不同任务收敛速度不一致的问题，研究者没有采用直接调整损失权重的传统方法（这种方法在处理异构损失函数时易导致训练不稳定），而是提出了 S2Sched (Step-wise Convergence-Oriented Sample Scheduler)。该调度器在训练的每一步，会基于各任务在验证集上的实时表现来动态调整其数据采样比例。

其工作流程分为两步：首先，估计非收敛率，通过分析近期验证损失的变化趋势（斜率），判断每个任务的收敛状态。其次，进行任务级样本调度，为收敛较慢的任务（即非收敛率较高的任务）分配更多的训练样本，反之则减少。通过这种自适应的“补课”机制，S2Sched 确保了所有任务能够均衡、稳定地收敛，从而提升了模型整体的性能下限和稳定性。

3.策略层：模型融合（Model Merge）

多任务学习中，由于“跷跷板效应”，不同训练阶段保存的模型检查点（checkpoints）往往在不同任务上各有千秋。为了整合这些分布在不同时间点的互补优势，RecFound 在训练结束后引入了模型融合模块。该模块采用 TIES-Merging 技术，对多个优秀检查点的低秩专家参数进行合并。该技术通过筛选重要参数更新（Trim）、对冲突的参数方向进行投票表决（Elect）、并对方向一致的参数进行平均（Average），最终生成一个在所有任务上表现都更均衡、性能更稳健的单一模型，实现了“1+1>2”的效果。

03

基准与评估：构建统一表征生成推荐任务数据集

高质量、高标准的数据集是模型训练与评估的基石。为此，研究团队构建了首个全面覆盖推荐领域中生成式任务与表征式任务的综合数据集——RecFound Dataset。该数据集整合了来自电商、社交媒体、影音等多个真实场景的数据，包含了 10 种多样的生成任务（如序列推荐、情感分析、用户画像生成、问答等）与 3 种核心的表征任务（User2Item、Query2Item、Item2Item），具有高度的创新性、多样性与真实性，为评估和开发统一推荐基座模型提供了坚实的基准。

实验结果与分析

在基于RecFound数据集的广泛实验中，RecFound框架展现出卓越的性能，验证了其设计的有效性。

1.性能全面领先：在所有13个子任务（10个生成式任务和3个表征式任务）上，RecFound的综合表现显著超越了现有的一系列强大的基线模型（包括专门为生成式任务优化的 eCeLLM、统一生成表征的 GritLM，以及通用大模型如 Mistral-7B 等）。

2.组件相辅相成：消融实验清晰地证明了TMoLE、S2Sched及模型融合组件的有效性。例如，移除TMoLE，模型退化为标准的LoRA微调，无法解决任务冲突，导致性能显著下降；移除S2Sched，不均衡的收敛使得模型性能受限于短板任务。实验结果表明，RecFound的三个组件缺一不可。

3.模块深入分析：论文还分析了TMoLE模块和S2Sched模块具体功能如何展现。

TMoLE专家模块在各个任务上输出的热力度相似图展示了TMoLE模块在不同任务类型中的相似度，揭示了同一任务类型（如用户导向型任务）具有高度相似性，而不同任务类型则相似度较低。这证明了TMoLE能够有效地捕捉任务间的共性，并以此促进推荐基座模型的训练。右上角的矩阵图进一步展示了TMoLE专家模块在执行不同任务时的协同关系，通过输出的热力学相似度，直观地展现了模块间的知识共享和协同工作能力，从而优化了推荐系统的整体性能。

曲线图则展示了S2Sched调度模块在训练过程中的动态采样能力。图中不同任务的样本采样比率会随着训练步骤的进行而动态变化。这些曲线反映了S2Sched能根据任务的收敛情况和训练进度，自适应地调整样本分配，确保每个任务都得到均衡且高效的训练。这种动态调度机制极大地提升了模型的训练效率和整体优化水平。

04

总结

综上所述，RecFound框架及其配套数据集为学术界和工业界探索更强大的统一推荐基座模型提供了清晰的路线图和宝贵的工具。该工作不仅在理论和实践上成功解决了长期困扰推荐系统多任务学习的知识冲突与收敛失衡问题，也为推荐系统的未来发展，乃至更广阔的人工智能Agent领域，开辟了新的方向。

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。