一篇被ACL 2026接收的论文,把“不完全学习”放进了大模型训练的核心议题。腾讯混元与新南威尔士大学的联合团队发现,经过监督微调(SFT)的模型看似收敛,实际仍会平均遗漏15.3%的训练样本——就像某些数据被悄悄跳过,从未真正写入模型的“知识库”。
团队没有仅停留在现象描述,而是端出了一套覆盖检测、归因与干预的完整框架。检测环节先定位哪些样本没被学会;归因追问为什么这些样本会被漏掉;干预则试图修补这些学习缺口。三步闭环让“漏学”从模糊感觉变成了可量化、可追踪的系统问题。
![]()
15.3%这个数字指向一个之前很少被审视的维度:训练集本身的学习完整度。以往更关注模型在测试集上的泛化表现,而这项研究表明,即便是训练数据内部,也有近六分之一的内容未能被有效吸收。它既不是过拟合,也不是欠拟合,而是一种更隐蔽的“选择性忽略”。
论文并未公布干预手段的具体细节,但框架提供了明确的可操作方向。例如,在训练过程中实时监控样本的学习状态,对顽固的“难学样本”调整权重或采样策略。这意味着从“喂数据”到“管吸收”的视角转换,有望让SFT阶段的效率再上一个台阶。
对开发者来说,这或许解释了模型在某些场景下反复犯错的原因——不是能力不足,而是相关数据从一开始就没被学好。腾讯混元的这项发现把“数据质量”的讨论推进了一层:除了清洗和标注,确保每一条数据都被真正学进去,同样是训练优化里不容忽视的环节。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.