ICLR 2025 LLM优化收录创新高！Dobi-SVD超高压缩率与性能完美平衡!

ICLR 2025将于4月24日在新加坡举行，今年的paper list已经公布。大模型仍然火爆，而"优化、高效、自适应和鲁棒”等关键技术的热度也很高。不难看出，学界的研究重点已经向模型优化、训练效率提升转变。

为了帮助大家高效找idea，我们特为大家整理了ICLR 2025、2024收录论文（LLM方向公开全部107篇）及百篇大模型必读论文！

另外，研梦非凡于4月15日（周二），还邀请了大模型资深算法工程师杨导师，为大家独家详解ICLR 2025高分论文《Dobi-SVD：Differentiable SVD for LLM Compression 》，从传统的SVD回顾，到Dobi-SVD的核心创新、与LoRA等参数高效微调方法的互补性，延伸至与其他压缩技术的融合方案！为大家的科研idea提供灵感！

扫描二维码找助教0元预约本周直播课！

凡预约还可再领大模型必读论文及ICLR论文！

课程内容

1. 论文创新点核心根据

2. 创新点凝练

a. 无需原始预训练数据

1. 基础介绍

a. 模型剪枝方法研究

1. DOBI-SVD方法(重点)

a. 如何获得最优的截断位置？

b. 如何实现权重的最优更新？

c. 如何克服长期被忽视的截断局限性？

1. 实验评估

a. 实验配置

b. 主实验分析

c. 消融实验分析

d. 讨论

1. 总结与展望（重点）

a. 探索该方法在更大规模模型（如百亿/千亿参数级别）上的适用性和扩展性

b. 可以研究与其他压缩技术（如知识蒸馏、结构化剪枝等）的融合方案，以进一步提 升压缩效率

扫描二维码找助教0元预约直播课！

导师介绍

杨导师

世界top10大学计算机科学毕业博士

博士研究方向为计算机视觉，自然语言处理，高效的深度学习训练和推理方法，大语言模型轻量化与高效微调技术。

多家公司担任算法研究员，并进行计算机视觉，高效模型压缩算法，多模态大语言模型的研究，包括模型量化，剪枝，蒸馏，编译以及高效稀疏化训练与推理。

【科研成果】在国际顶级会议CVPR,ICCV, EMNLP等发表13篇论文，并担任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要会议和期刊的审稿人。

多项发明专利，指导学生有耐心，教学严谨，思维逻辑缜密，已经指导数十篇论文。对于成果好的学生，帮助学生写推荐信和指导申请硕/博申请。

【招收学生方向】计算机视觉，自然语言处理，高效模型压缩算法，多模态大语言模型，包括模型量化，剪枝，蒸馏，编译以及高效稀疏化训练与推理，深度学习全栈研究。

研梦非凡可指导的研究方向

主流方向科研论文常用方法

研梦非凡现有idea

扫码加助教了解更多可指导方向

研梦非凡科研论文指导方案

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

全程1v1论文辅导扫码咨询助教

研梦非凡导师团队

研梦非凡的导师来自海外QStop50、国内华五、C9、985高校的教授/博士导师/博士后，世界500强公司算法工程师，以及国内外知名人工智能实验室研究员。

这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～～

<<< 左右滑动见更多 >>>

研梦非凡隶属于苏州研途教育，深耕考研辅导行业13年，累计服务1w+付费学员（60%高校学生/教师，40%职场精英）；科研为本，质量为先！我们有：500+ 国内外顶尖高校博士/教授，互联网大厂/独角兽公司的高级算法科学家组成的教师团队;深度定制的科研服务，根据每位学员的实际情况，提供个性化的科研辅导方案，确保交付结果;一站式、全方位科研支持，从选题到方案设计，从实验实施到论文撰写、成果发表，4V1全流程保姆式服务！