KDD 2025 Best Paper Runner-Up | EI-BERT：超紧凑语言模型压缩框架

近年来，如何在资源受限的移动或边缘设备上高效部署自然语言理解（NLU）模型，已成为学术界和产业界共同关注的核心问题。本研究在保持模型性能的前提下，实现了高度压缩与高效运行，为大规模语言模型的轻量化应用提供了新的思路与实践路径，具有重要的理论价值与应用前景。

未来的研究将主要沿两个方向展开：其一，探索如何通过压缩与知识蒸馏技术，将生成式语言模型的关键能力（如多步推理与上下文学习）迁移至计算与存储受限的边缘设备；其二，发展参数高效的适应性方法，并结合模块化接口设计，实现模型在不同领域的快速迁移与应用。

论文标题： Put Teacher in Student's Shoes: Cross-Distillation for Ultra-compact Model Compression Framework 论文地址： https://arxiv.org/abs/2507.04636

在移动计算时代，将高效的自然语言处理模型部署到资源受限的边缘设备上面临巨大挑战。这些场景通常要求严格的隐私合规、实时响应能力和多任务处理功能。

现有的 BERT 模型压缩技术仅能实现 15-20MB 的压缩，远不能满足移动设备 4MB 的严格内存限制。特别是在金融应用场景中，本地 AI 处理对保护用户隐私至关重要，同时还需确保约 300 毫秒的实时响应。这种差距凸显了对极致压缩框架的迫切需求。

二、方法：多阶段的极值压缩框架

EI-BERT 框架通过三个关键步骤实现极致压缩：硬令牌剪枝智能筛选重要词汇，大幅减少存储需求；交叉蒸馏确保高效知识传递，突破传统方法局限；模块化量化采用 INT8 量化进一步优化存储。

其中，交叉蒸馏方法创新性地让教师模型 "站在学生模型的角度"，通过参数集成和师生互动的动态适应机制，实现精准的知识转移。该方法有效解决了教师 - 学生模型间的容量差异和知识适应性问题。最终实现了99.5% 的压缩率，创造了1.91MB 的 BERT 模型新纪录。

词表剪枝

在传统模型中，词汇嵌入占据了大量参数空间（ALBERT-tiny2 达 44.7%，TinyBERT2 达 36.6%），严重制约了移动端部署。针对这一瓶颈，EI-BERT 框架基于注意力机制的硬令牌剪枝策略，通过精确建模量化每个 token 的重要性。

• 首先利用多头注意力计算 token 间的语义关联概率分布，捕捉词汇间的关系强度。

• 接着，通过跨层聚合计算每个 token 的全局重要性得分，综合考虑层数、句子数量和注意力头数等多个维度，从而识别出真正承载核心语义的关键词汇，实现高效精准的剪枝。

传统知识蒸馏面临容量鸿沟和适应性缺失两大挑战。模型极致压缩导致的巨大架构差异使知识传递困难，静态教学方式也难以适应学生模型的特殊需求。EI-BERT 框架提出参数集成策略，将教师模型经过精调的下游任务层直接融入学生模型。这一 "拿来主义" 基于深刻洞察：教师模型末端层包含丰富的任务特定判别信息，直接集成可大幅降低学习难度。

在交叉蒸馏中，通过动态互动机制打破传统单向知识传递的局限。

• 教师模型采用较小学习率进行微调，持续感知并适应学生的学习状态。

• 学生模型则使用更大学习率，深入学习教师的输出和中间表征。

• 损失函数通过任务特定损失、MSE 损失和 KL 散度损失三个维度的约束，确保知识传递的全面性和精确性。

模块化量化

完成蒸馏后，EI-BERT 框架采用创新的模块化量化方案将模型压缩至 INT8 精度。不同于传统逐矩阵量化，该方法从模块整体优化，最小化层间累积误差。通过精心设计的量化函数和可学习的步长参数，确保 8 位整数充分覆盖参数动态范围，在极大压缩存储空间的同时将精度损失降至最低。

三、实验结果

EI-BERT 在句子任务上平均得分63.97，超越了所有基线模型；在机器阅读理解任务上得分50.04，整体性能位居前列。

EI-BERT 以仅 1.91MB 的存储空间和 1.3 GIOPs 的计算量，实现了比 TinyBERT4小 23 倍、比 ALBERT4小 8 倍的极致压缩，同时计算效率提升 8 倍。

四、实际应用

该技术已在支付宝生态系统中大规模部署，服务超10 亿用户，展现出卓越的实际效果。在边缘推荐系统中，自 2024 年 1 月起每日服务 840 万活跃设备，处理 2100 万实时请求，PV-Click 提升 4.23%，PV-CTR 提升 3.3%；智能助手实现 65% 的延迟降低，响应时间从 1 秒降至 214 毫秒，同时保持 98.2% 的准确率；小程序场景实现完全本地化处理，网络负载减少 85%，云计算成本降低 40%，隐私敏感应用的用户留存率提升 12.3%。这些成果充分验证了该框架在真实工业场景中的巨大价值。

五、总结与未来展望

这项研究成功解决了在资源受限的移动设备上部署 NLU 模型的难题，在保证性能的同时实现了极致压缩，具有重要的学术价值和产业影响力。

未来，计划在两个方向继续推进研究：一是探索如何将生成式语言模型的核心能力 (如多步推理、上下文学习等) 通过压缩知识蒸馏迁移到极度受限的边缘设备上；二是研究参数高效的适应性方法，通过模块化接口设计实现快速的领域迁移。

作者：王茂林 来源：公众号【机器之心】

llustration From IconScout By IconScout Store

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

michellechang@thejiangmen.com

或添加工作人员微信（michelle333_）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈