破解「个性化学习」长尾难题，巧用神经坍缩理论 | ICML 2025

新智元报道

编辑：LRST

【新智元导读】NCAL是一种新的个性化学习方法，它通过优化文本嵌入的分布来解决教育数据中常见的长尾分布问题，从而提高模型对少数类别的处理能力。实验表明，NCAL在多个模型上都取得了优异的性能提升，为个性化学习领域提供了一种新的解决方案。

当前大语言模型在教育领域展现出了巨大潜力，尤其是在个性化学习和智能辅导方面取得了显著成功。

从知识追踪到认知诊断，从自适应测试到对话式教学，数据驱动的个性化学习方法正逐步成为主流范式。

个性化学习方法通过分析学生的学习行为和认知特征，能够生成个性化的诊断报告，帮助教师更好定位学生进度并识别学习瓶颈。

然而，这些方法普遍基于一个隐含假设：训练数据是高质量且类别平衡的。

现实却往往相反，真实场景的教育数据天然呈现严重的不均衡分布——就像班级里总有不同学业水平学生一样，部分认知技能或学习行为的样本极其丰富，而另一些则非常稀缺，这种分布失衡使得模型在处理少数类别时表现欠佳，如同一位「偏科」的老师，无法给每个学生提供同等质量的个性化支持。

针对这一关键挑战，来自华东师范大学和浙江大学的联合团队在ICML2025上发表最新研究成果，首次将神经坍缩（Neural Collapse）理论引入个性化学习领域，提出了NCAL（Neural-Collapse-Advanced personalized Learning）方法，为解决教育数据长尾分布问题提供了全新的理论视角和实用的技术路径。

论文地址：https://openreview.net/forum?id=W7phL2sNif

代码地址：https://github.com/llm4edu/NCAL_ICML2025.git

NCAL不仅在各种大模型（包括中文和英文模型）上表现出一致的卓越性，更在保持计算效率的同时实现了最先进的性能，为长尾数据的处理注入全新动力。

论文作者来自华东师范大学AI4Learning实验室，由江波教授和张敏副研究员带领，专注于大语言模型（LLM）、生成式 AI（AIGC）、多模态模型（MLLM）、强化学习（RL）等核心技术及其在教育中的前沿应用。

长尾分布：个性化学习的隐形杀手

研究团队通过深入分析发现，数据不平衡对模型性能的影响远比预期严重，表现出现实情境下的模型对长尾数据学习的困难性。

实验显示，当数据平衡度τ从0.25降至0.03时（τ定义为最少类别与最多类别样本数的比值），Qwen2.5模型的准确率从71.71%降至61.14%，性能下降超过10个百分点。

更重要的是，类别中心的分布也从相对分散变为严重聚集，这一几何结构的恶化直接反映了模型表示学习能力的退化。

这一发现促使研究团队思考一个根本性问题：如何从几何结构的角度理解和解决数据不平衡对个性化学习模型的影响？

神经坍缩：从视觉到文本的理论迁移

神经坍缩现象最初在计算机视觉领域被发现，描述了当模型在充分大且平衡的数据集上达到零训练误差时，最后一层特征呈现的特殊几何结构：

同类特征向类别中心坍缩，不同类别中心形成简单等角紧框架（ETF）结构。

这种结构具有向量等范数和一致的成对角度等优美性质，被认为是分类任务的最优几何配置。

NCAL整体架构

研究团队的关键洞察在于：将这一理论从视觉模态扩展到文本模态，并应用于个性化学习场景。

他们定义了文本模态坍缩度（TCD）来量化文本表示的几何结构质量：

其中，较低的ΔTCD值表示文本表示更接近理想的ETF结构。

通过这一度量，团队建立了数据不平衡、几何结构质量与模型性能之间的定量关系：

NCAL方法架构

基于上述理论分析，研究团队设计了文本模态坍缩（TC）正则化机制：

这一损失函数通过显式约束不同类别样本间的角度关系，强制模型学习更均匀的表示空间。同时，该方法与LoRA微调框架深度集成，最终的联合损失为：

梯度机制分析是该工作的另一技术亮点。研究团队通过系统的梯度分析揭示了TC损失的作用机制：

对于少数类样本，TC损失补偿了任务损失中类间排斥项的主导地位；

对于多数类样本，TC损失防止其表示在嵌入空间中的过度支配；

整体上实现了跨类别的均衡梯度更新。

这种理论驱动的设计确保了方法在不同数据分布下的鲁棒性。

实验验证：多维度性能突破

研究团队构建了两个具有代表性的长尾教育数据集进行验证：

TMWPL：基于TIMSS框架的数学认知能力评估数据集，涵盖回忆、构建、识别等7个认知维度；

PMTD：师生对话行为分类数据集，基于IRF框架设计，包含8种对话行为类型。

主要性能结果

在两个个性化学习的长尾数据集上，NCAL方法的实验结果如下：

1. 跨模型一致性提升：NCAL在各种模型上均取得显著提升

2. 参数效率优势：7B参数的NCAL模型在两个数据集上都超越了14B-16B规模的基线模型

3. 性能提升幅度：在TMWPL上提升13.72个百分点，在PMTD上提升4.37个百分点

未来工作方向

基于NCAL方法的成功验证，研究团队的工作为个性化学习领域开辟了几个值得深入探索的方向：

理论层面的拓展

神经坍缩理论在文本模态个性化学习中的成功应用，为进一步的理论研究奠定了基础。未来可以探索更复杂的几何结构约束，以及在不同任务类型中的适用性。

TCD度量作为评估文本表示几何质量的新指标，其在其他NLP任务中的有效性也值得验证。

方法优化与扩展

当前的TC正则化机制在LoRA框架下表现优异，但与其他参数高效微调方法（如Adapter、Prefix-tuning等）的结合效果尚待探索。

此外，λ超参数的自适应调整策略，以及针对不同数据分布特征的动态优化机制，都是重要的研究方向。

跨领域泛化验证

虽然NCAL在数学认知评估和师生对话分类任务上取得了成功，但其在语言学习、科学教育、职业技能培训等其他教育子领域的适用性仍需进一步验证。

特别是在不同语言、文化背景下的个性化学习场景中的表现。

总结

团队提出了一种融合神经坍缩检测与调控的个性化学习长尾数据处理方法，该方法在个性化学习领域取得了三个层面的重要突破：

理论创新方面，首次将神经坍缩现象从计算机视觉领域成功迁移到文本模态的个性化学习任务，建立了文本表示几何结构与模型性能之间的定量关系。

方法贡献方面，NCAL通过TC正则化机制巧妙地将几何结构优化集成到LoRA微调框架中，实现了理论指导与工程实践的完美结合。该方法具备模型无关性，可作为即插即用的组件提升现有个性化学习系统的性能。

实验验证方面，在两个具有代表性的长尾教育数据集上，NCAL展现出了显著且一致的性能提升。7B参数的NCAL模型超越了14B规模的基线模型，证明了方法的参数效率优势。

从更广阔的视角看，本研究为数据驱动的个性化学习向理论指导的智能教育转变提供了重要推动力。

随着神经坍缩等理论在教育AI中的进一步应用，有理由期待更加精准、高效、公平的个性化学习系统的出现，让每一个学习者都能获得真正适合自己的教育体验。

这项工作不仅在理论上具有重要价值，更为解决AI教育中的实际问题提供了切实可行的解决方案。通过神经坍缩的引入，NCAL方法有望让AI教育系统变得更加公平和高效，真正实现「因材施教」的教育理想。

参考资料：

https://github.com/llm4edu/NCAL_ICML2025.git