北京
一篇被ACL 2026接收的论文，把“不完全学习”放进了大模型训练的核心议题。腾讯混元与新南威尔士大学的联合团队发现，经过监督微调（SFT）的模型看似收敛，实际仍会平均遗漏15.3%的训练样本——就像某些数据被悄悄跳过，从未真正写入模型的“知识库”。
团队没有仅停留在现象描述，而是端出了一套覆盖检测、归因与干预的完整框架。检测环节先定位哪些样本没被学会；归因追问为什么这些样本会被漏掉；干预则试图修补这些学习缺口。三步闭环让“漏学”从模糊感觉变成了可量化、可追踪的系统问题。
15.3%这个数字指向一个之前很少被审视的维度：训练集本身的学习完整度。以往更关注模型在测试集上的泛化表现，而这项研究表明，即便是训练数据内部，也有近六分之一的内容未能被有效吸收。它既不是过拟合，也不是欠拟合，而是一种更隐蔽的“选择性忽略”。
论文并未公布干预手段的具体细节，但框架提供了明确的可操作方向。例如，在训练过程中实时监控样本的学习状态，对顽固的“难学样本”调整权重或采样策略。这意味着从“喂数据”到“管吸收”的视角转换，有望让SFT阶段的效率再上一个台阶。
对开发者来说，这或许解释了模型在某些场景下反复犯错的原因——不是能力不足，而是相关数据从一开始就没被学好。腾讯混元的这项发现把“数据质量”的讨论推进了一层：除了清洗和标注，确保每一条数据都被真正学进去，同样是训练优化里不容忽视的环节。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
