德邦证券：模型蒸馏技术爆发年 加速AI平权

智通财经APP获悉，德邦证券发布研报称，从DeepSeekR1到s1，不断证明着2025年将是大模型普惠的起点，AI应用与端侧或将同时迎来AI成本下降与模型能力提升的全面加强；此外，在蒸馏技术支持下，Jevons悖论或得到持续论证，有望涌现更多现象级的高性价比小模型，在部署在端侧和应用的同时，推动模型逐渐从预训练向推理转变，国产算力有望在推理算力爆发下迎来价值重估。

德邦证券主要观点如下：

成本仅50美元，性能媲美o1与R1，模型蒸馏技术的爆发年。

根据TechCrunch，李飞飞等斯坦福大学和华盛顿大学的AI研究人员的一篇新研究论文表示，他们成功地用不到50美元的费用训练了一个AI推理模型s1(仅为云计算服务费用，不包括服务器、显卡等硬件投入费用)。

1)技术路径：论文指出，推理模型可以通过相对较小的数据集和监督微调(SFT)的过程进行蒸馏，其中AI模型被明确指导去模仿数据集中的某些行为。具体来说，团队构建了“s1K”的数据集，由1000个精心筛选的问题组成，每个问题都配有推理轨迹(reasoning traces)和从Gemini Thinking Experimenta蒸馏而来的答案。接着团队在一个预训练模型上进行监督微调(SFT)，仅使用16张H100GPU训练26分钟。此外，为了提高答案的准确度，研究团队还运用了一种“预算强制”技术，可以控制测试时间计算，通过强制提前终止模型的思考过程，或在s1推理时多次追加“等待”指令以延长思考，从而优化性能。

2)测试结果：根据研究团队的测试结果可知，在竞赛数学问题上，s1-32B的表现较o1-preview高27%(MATH和AIME24)；且该模型在AIME24上的表现几乎与Gemini2.0 Thinking API相当，显示其蒸馏过程是有效的。

低成本、开源与蒸馏将大幅降低AI模型开发门槛，有望加速AI平权过程

根据极客公园，早在2025年1月，深度求索发布推理模型DeepSeek-R1正式版，采用MIT协议，同步开源模型权重，并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。DeepSeek主动引导将R1作为教师模型来蒸馏出一个更小但仍有实力的模型，通过DeepSeek-R1的输出，蒸馏了6个小模型开源给社区，其中32B和70B模型在多项能力上实现了对标Open AI o1-mini的效果。

结合此次李飞飞团队通过超低成本从Gemini Thinking Experimenta模型中蒸馏出的数据中训练了s1，同样取得了优异的模型性能，既印证了蒸馏技术是推动模型小型化与商品化的重要手段，有望缩小开源与闭源模型性能差距，从而加速AI平权过程；又为AI应用与端侧的爆发打下基础。

投资建议：

1) 模型蒸馏：智信精密(301512.SZ)、拓尔思(300229.SZ)、思特奇(300608.SZ)、狄耐克(300884.SZ)、格灵深瞳(688207.SH)、神州泰岳(300002.SZ)等；

2)AI应用：金山办公(688111.SH)、泛微网络(603039.SH)、致远互联(688369.SH)、博睿数据(688229.SH)、中科星图(688568.SH)、金蝶国际(00268)、福昕软件(688095.SH)、彩讯股份(300634.SZ)、万兴科技(300624.SZ)、易点天下(301171.SZ)、航天宏图(688066.SH)等；

3)AI端侧：云天励飞-U(688343.SH)、世运电路(603920.SH)、联想集团(00992)、科大讯飞(002230.SZ)、乐鑫科技(688018.SH)、中科蓝讯(688332.SH)等；

4)AI算力：云天励飞-U(688343.SH)、华丰科技(688629.SH)、海光信息(688041.SH)、中科曙光(603019.SH)、寒武纪-U(688256.SH)、神州数码(000034.SZ)、浪潮信息(000977.SZ)、润泽科技(300442.SZ)、润建股份(002929.SZ)、世纪互联(VNET.US)等。

风险提示：上游供应不及预期、下游AI产业落地速度不及预期、中游竞争格局加剧、国际局势风险、国内外宏观利率风险等。