网易首页 > 网易号 > 正文 申请入驻

犀牛鸟前沿 | 犀牛鸟精英人才 ICML 2026 入选论文解读

0
分享至

前言


腾讯犀牛鸟精英人才计划定位拔尖科研人才的产学联合培养。自2017年开展以来,项目每年开放新技术研发中的关键难题,选拔具备科研潜力的优秀学生,在校企双导师联合指导下开展前沿探索与应用创新。

依托真实产业场景,同学们在科研探索与技术实践中不断锻炼创新研究能力,并形成了一系列高水平研究成果。本文分享入选 ICML的三篇论文,分别围绕高效模型蒸馏、长上下文推理和稀疏视角视频生成等技术方向展开。

Hybrid Policy Distillation for LLMs

该论文由腾讯犀牛鸟精英人才朱文红同学在上海交通大学王瑞副教授、刘鹏飞副教授和腾讯混元团队企业导师的联合指导下完成。


摘要:知识蒸馏(Knowledge Distillation,KD)是一种用于压缩大语言模型(LLM)的强大范例,但其有效性取决于几个紧密耦合的设计选择,包括发散方向、优化策略和数据制度。我们系统地分解了现有的KD方法,并提出了一个统一的观点,揭示了它们之间的潜在联系,将KD重新表述为一个令牌级别的重加权对数似然目标。基于这一观点,我们提出了混合策略蒸馏(HPD),它结合了正向和反向KL的互补优势,以平衡模式覆盖和模式搜索,同时将非策略数据与轻量级的近似策略抽样集成在一起。我们在长形式数学推理以及短形式对话和代码生成上评估了HPD,并表明它在不同的模型族和规模上始终提高了优化稳定性、计算效率和最终性能。

?完整解读:犀牛鸟前沿|ICML 2026:腾讯混元-上海交大高效模型蒸馏最新成果解读

?论文链接:https://arxiv.org/pdf/2604.20244


Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

该论文由腾讯犀牛鸟精英人才鍾芷婷同学在香港科技大学楊瓞仁教授和腾讯微信团队企业导师的联合指导下完成。


摘要:上下文学习(In-context Learning, ICL)通过提示词示例适配LLM而无需更新参数。多示例ICL可媲美微调,但现有扩展规律认识仅源于非推理任务。本文研究推理任务的多示例CoT-ICL,发现标准扩展规律不适用:通过广泛实验,(i) 扩展效应具任务依赖性,增CoT示例主要利好推理型LLM;(ii) 相似度检索在推理任务失效,因语义相似度难预测CoT兼容性;(iii) CoT示例增多时性能方差显著增大。我们将其解释为多示例CoT-ICL本质是上下文测试时学习而非模式匹配,据此提出示例应易被模型理解且按概念递进排列两项原则,并基于此提出CDS方法优化示例排序,在数学与叙事推理上实现平均3.81%提升。本研究将长上下文窗口从"检索缓存"重定义为"上下文测试时学习的结构化课程"。

?完整解读:犀牛鸟前沿|ICML 2026:腾讯微信-港科大长上下文推理最新成果解读

?论文链接:https://arxiv.org/pdf/2605.13511


CamGeo: Sparse Camera-Conditioned Image-to-Video Generation with 3D Geometry Priors

该论文由腾讯犀牛鸟精英人才刘烜奕同学在北京大学马思伟教授和腾讯营销团队企业导师的联合指导下完成。


摘要:基于稀疏相机约束的图像到视频生成面临着一个关键挑战:如何仅凭最少的姿态线索合成几何上一致的3D运动。现有方法主要依赖于密集监督或简单的插值,由于缺乏鲁棒的3D先验知识,往往会出现严重的姿态漂移和运动不连续性。本文提出 CamGeo,这是一个创新框架,能够将预训练的视频到3D模型(VGGT)中的丰富3D几何知识直接蒸馏到扩散骨干网络中。为在不增加推理延迟的前提下实现这一目标,我们提出了一种仅在训练阶段进行的蒸馏策略。具体而言,CamGeo 包含:(1) 关键帧轨迹蒸馏,通过稀疏输入姿态确保周期一致性;(2) 跨帧一致性蒸馏,结合摄像机轨迹与深度约束,在无监督帧之间生成一致的结构;(3) 三阶段从粗到细的课程学习,逐步提升几何复杂度,从全局结构连贯性到细粒度优化,从而实现稳定的优化。大量实验表明,CamGeo 在各种稀疏度下均能实现稳定的性能提升。

?完整解读:犀牛鸟前沿 | ICML 2026:腾讯营销-北大稀疏视角视频生成最新成果解读

?论文链接:https://icml.cc/virtual/2026/poster/63132

原文作者:公众号“腾讯高校合作”

原文链接:https://mp.weixin.qq.com/s/O0A7Zpy8joCGk0s4EJ58AQ

雷峰网

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

译言
2026-11-18 07:30:17
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

醉卧浮生
2026-11-18 11:38:39
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万回购,一审判了

女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万回购,一审判了

红星新闻
2026-11-18 11:19:59
纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

果妈聊娱乐
2026-11-17 11:39:05
董路评国足2-2巴林:我们以后只用找2个人就行 这是赢球的唯一方式

董路评国足2-2巴林:我们以后只用找2个人就行 这是赢球的唯一方式

风过乡
2026-11-18 07:03:25
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
湖北省武汉市人大常委会原副主任但长春被开除党籍

湖北省武汉市人大常委会原副主任但长春被开除党籍

界面新闻
2026-11-17 17:02:07
快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

瓦砾村夫
2026-11-18 01:01:37
刻赤大桥被拦腰截断

刻赤大桥被拦腰截断

YY团长
2026-11-17 20:44:46
太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

南海浪花
2026-11-18 11:34:45
7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

我爱英超
2026-11-18 08:58:01
希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

经纬戎韬
2026-11-18 01:09:10
大厂主动报案,副总裁被警方带走

大厂主动报案,副总裁被警方带走

中国新闻周刊
2026-11-17 23:06:06
细思极恐!放入一个细胞,撒下36片燕麦,26小时后竟自动生出百年东京铁路网,科学家都惊呆了!

细思极恐!放入一个细胞,撒下36片燕麦,26小时后竟自动生出百年东京铁路网,科学家都惊呆了!

徐德文科学频道
2026-11-15 14:24:34
76岁盛海琳现状:16岁双胞胎女儿接近1米7,很漂亮,粉丝将破百万

76岁盛海琳现状:16岁双胞胎女儿接近1米7,很漂亮,粉丝将破百万

乡野小珥
2026-11-18 11:32:35
特朗普不想在菲律宾浪费时间,他准备吃完午饭,专机立刻北上中国

特朗普不想在菲律宾浪费时间,他准备吃完午饭,专机立刻北上中国

小影的娱乐
2026-11-18 08:34:40
刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

韩小娱
2026-11-18 08:10:38
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
2026-11-18 13:55:00
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71701文章数 656270关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

游戏
旅游
教育
家居
公开课

英国法庭驳回索尼PlayStation数字内容集体诉讼

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版