犀牛鸟前沿 | 犀牛鸟精英人才 ICML 2026 入选论文解读

前言

腾讯犀牛鸟精英人才计划定位拔尖科研人才的产学联合培养。自2017年开展以来，项目每年开放新技术研发中的关键难题，选拔具备科研潜力的优秀学生，在校企双导师联合指导下开展前沿探索与应用创新。

依托真实产业场景，同学们在科研探索与技术实践中不断锻炼创新研究能力，并形成了一系列高水平研究成果。本文分享入选 ICML的三篇论文，分别围绕高效模型蒸馏、长上下文推理和稀疏视角视频生成等技术方向展开。

Hybrid Policy Distillation for LLMs

该论文由腾讯犀牛鸟精英人才朱文红同学在上海交通大学王瑞副教授、刘鹏飞副教授和腾讯混元团队企业导师的联合指导下完成。

摘要：知识蒸馏（Knowledge Distillation，KD）是一种用于压缩大语言模型（LLM）的强大范例，但其有效性取决于几个紧密耦合的设计选择，包括发散方向、优化策略和数据制度。我们系统地分解了现有的KD方法，并提出了一个统一的观点，揭示了它们之间的潜在联系，将KD重新表述为一个令牌级别的重加权对数似然目标。基于这一观点，我们提出了混合策略蒸馏（HPD），它结合了正向和反向KL的互补优势，以平衡模式覆盖和模式搜索，同时将非策略数据与轻量级的近似策略抽样集成在一起。我们在长形式数学推理以及短形式对话和代码生成上评估了HPD，并表明它在不同的模型族和规模上始终提高了优化稳定性、计算效率和最终性能。

?完整解读：犀牛鸟前沿｜ICML 2026：腾讯混元-上海交大高效模型蒸馏最新成果解读

?论文链接：https://arxiv.org/pdf/2604.20244

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

该论文由腾讯犀牛鸟精英人才鍾芷婷同学在香港科技大学楊瓞仁教授和腾讯微信团队企业导师的联合指导下完成。

摘要：上下文学习（In-context Learning, ICL）通过提示词示例适配LLM而无需更新参数。多示例ICL可媲美微调，但现有扩展规律认识仅源于非推理任务。本文研究推理任务的多示例CoT-ICL，发现标准扩展规律不适用：通过广泛实验，(i) 扩展效应具任务依赖性，增CoT示例主要利好推理型LLM；(ii) 相似度检索在推理任务失效，因语义相似度难预测CoT兼容性；(iii) CoT示例增多时性能方差显著增大。我们将其解释为多示例CoT-ICL本质是上下文测试时学习而非模式匹配，据此提出示例应易被模型理解且按概念递进排列两项原则，并基于此提出CDS方法优化示例排序，在数学与叙事推理上实现平均3.81%提升。本研究将长上下文窗口从"检索缓存"重定义为"上下文测试时学习的结构化课程"。

?完整解读：犀牛鸟前沿｜ICML 2026：腾讯微信-港科大长上下文推理最新成果解读

?论文链接：https://arxiv.org/pdf/2605.13511

CamGeo: Sparse Camera-Conditioned Image-to-Video Generation with 3D Geometry Priors

该论文由腾讯犀牛鸟精英人才刘烜奕同学在北京大学马思伟教授和腾讯营销团队企业导师的联合指导下完成。

摘要：基于稀疏相机约束的图像到视频生成面临着一个关键挑战：如何仅凭最少的姿态线索合成几何上一致的3D运动。现有方法主要依赖于密集监督或简单的插值，由于缺乏鲁棒的3D先验知识，往往会出现严重的姿态漂移和运动不连续性。本文提出 CamGeo，这是一个创新框架，能够将预训练的视频到3D模型（VGGT）中的丰富3D几何知识直接蒸馏到扩散骨干网络中。为在不增加推理延迟的前提下实现这一目标，我们提出了一种仅在训练阶段进行的蒸馏策略。具体而言，CamGeo 包含：(1) 关键帧轨迹蒸馏，通过稀疏输入姿态确保周期一致性；(2) 跨帧一致性蒸馏，结合摄像机轨迹与深度约束，在无监督帧之间生成一致的结构；(3) 三阶段从粗到细的课程学习，逐步提升几何复杂度，从全局结构连贯性到细粒度优化，从而实现稳定的优化。大量实验表明，CamGeo 在各种稀疏度下均能实现稳定的性能提升。

?完整解读：犀牛鸟前沿 | ICML 2026：腾讯营销-北大稀疏视角视频生成最新成果解读

?论文链接：https://icml.cc/virtual/2026/poster/63132

原文作者：公众号“腾讯高校合作”

原文链接：https://mp.weixin.qq.com/s/O0A7Zpy8joCGk0s4EJ58AQ

雷峰网