网易首页 > 网易号 > 正文 申请入驻

犀牛鸟前沿 | 犀牛鸟精英人才 ICML 2026 入选论文解读

0
分享至

前言


腾讯犀牛鸟精英人才计划定位拔尖科研人才的产学联合培养。自2017年开展以来,项目每年开放新技术研发中的关键难题,选拔具备科研潜力的优秀学生,在校企双导师联合指导下开展前沿探索与应用创新。

依托真实产业场景,同学们在科研探索与技术实践中不断锻炼创新研究能力,并形成了一系列高水平研究成果。本文分享入选 ICML的三篇论文,分别围绕高效模型蒸馏、长上下文推理和稀疏视角视频生成等技术方向展开。

Hybrid Policy Distillation for LLMs

该论文由腾讯犀牛鸟精英人才朱文红同学在上海交通大学王瑞副教授、刘鹏飞副教授和腾讯混元团队企业导师的联合指导下完成。


摘要:知识蒸馏(Knowledge Distillation,KD)是一种用于压缩大语言模型(LLM)的强大范例,但其有效性取决于几个紧密耦合的设计选择,包括发散方向、优化策略和数据制度。我们系统地分解了现有的KD方法,并提出了一个统一的观点,揭示了它们之间的潜在联系,将KD重新表述为一个令牌级别的重加权对数似然目标。基于这一观点,我们提出了混合策略蒸馏(HPD),它结合了正向和反向KL的互补优势,以平衡模式覆盖和模式搜索,同时将非策略数据与轻量级的近似策略抽样集成在一起。我们在长形式数学推理以及短形式对话和代码生成上评估了HPD,并表明它在不同的模型族和规模上始终提高了优化稳定性、计算效率和最终性能。

?完整解读:犀牛鸟前沿|ICML 2026:腾讯混元-上海交大高效模型蒸馏最新成果解读

?论文链接:https://arxiv.org/pdf/2604.20244


Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

该论文由腾讯犀牛鸟精英人才鍾芷婷同学在香港科技大学楊瓞仁教授和腾讯微信团队企业导师的联合指导下完成。


摘要:上下文学习(In-context Learning, ICL)通过提示词示例适配LLM而无需更新参数。多示例ICL可媲美微调,但现有扩展规律认识仅源于非推理任务。本文研究推理任务的多示例CoT-ICL,发现标准扩展规律不适用:通过广泛实验,(i) 扩展效应具任务依赖性,增CoT示例主要利好推理型LLM;(ii) 相似度检索在推理任务失效,因语义相似度难预测CoT兼容性;(iii) CoT示例增多时性能方差显著增大。我们将其解释为多示例CoT-ICL本质是上下文测试时学习而非模式匹配,据此提出示例应易被模型理解且按概念递进排列两项原则,并基于此提出CDS方法优化示例排序,在数学与叙事推理上实现平均3.81%提升。本研究将长上下文窗口从"检索缓存"重定义为"上下文测试时学习的结构化课程"。

?完整解读:犀牛鸟前沿|ICML 2026:腾讯微信-港科大长上下文推理最新成果解读

?论文链接:https://arxiv.org/pdf/2605.13511


CamGeo: Sparse Camera-Conditioned Image-to-Video Generation with 3D Geometry Priors

该论文由腾讯犀牛鸟精英人才刘烜奕同学在北京大学马思伟教授和腾讯营销团队企业导师的联合指导下完成。


摘要:基于稀疏相机约束的图像到视频生成面临着一个关键挑战:如何仅凭最少的姿态线索合成几何上一致的3D运动。现有方法主要依赖于密集监督或简单的插值,由于缺乏鲁棒的3D先验知识,往往会出现严重的姿态漂移和运动不连续性。本文提出 CamGeo,这是一个创新框架,能够将预训练的视频到3D模型(VGGT)中的丰富3D几何知识直接蒸馏到扩散骨干网络中。为在不增加推理延迟的前提下实现这一目标,我们提出了一种仅在训练阶段进行的蒸馏策略。具体而言,CamGeo 包含:(1) 关键帧轨迹蒸馏,通过稀疏输入姿态确保周期一致性;(2) 跨帧一致性蒸馏,结合摄像机轨迹与深度约束,在无监督帧之间生成一致的结构;(3) 三阶段从粗到细的课程学习,逐步提升几何复杂度,从全局结构连贯性到细粒度优化,从而实现稳定的优化。大量实验表明,CamGeo 在各种稀疏度下均能实现稳定的性能提升。

?完整解读:犀牛鸟前沿 | ICML 2026:腾讯营销-北大稀疏视角视频生成最新成果解读

?论文链接:https://icml.cc/virtual/2026/poster/63132

原文作者:公众号“腾讯高校合作”

原文链接:https://mp.weixin.qq.com/s/O0A7Zpy8joCGk0s4EJ58AQ

雷峰网

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
奥斯卡影后当众承认隆胸:是全新的,全C罩杯

奥斯卡影后当众承认隆胸:是全新的,全C罩杯

热搜摘要官
2026-11-20 20:07:43
德州发布最新人事任免

德州发布最新人事任免

中国山东网
2026-11-21 12:52:14
苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

品读时刻
2026-11-21 09:09:02
别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

命运自认幽默
2026-11-21 07:52:54
露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

平老师666
2026-11-21 08:49:53
A股关键时刻,重磅政策终于落地!大利好来了

A股关键时刻,重磅政策终于落地!大利好来了

星图金融研究院
2026-11-21 15:07:29
网易号平台每日辟谣公告(十一月二十一日)

网易号平台每日辟谣公告(十一月二十一日)

网易号官方平台
2026-11-21 18:21:29
突发!黄仁勋掀桌了

突发!黄仁勋掀桌了

小鱼爱鱼乐
2026-11-21 16:08:24
“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

王老师你还好吗
2026-11-21 13:25:53
一路走好!悲讯接连传来,已有两位名人被曝去世,个个让人惋惜

一路走好!悲讯接连传来,已有两位名人被曝去世,个个让人惋惜

林轻吟
2026-11-21 11:33:02
在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

快科技
2026-11-21 18:44:08
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

政知新媒体
2026-11-21 10:17:31
杭州一女子参加旅游团,3天2晚仅交100元,却被忽悠花34万元买房,如今“肠子都悔青”:这样的房子10万元都不值;官方回应:已成立调查组

杭州一女子参加旅游团,3天2晚仅交100元,却被忽悠花34万元买房,如今“肠子都悔青”:这样的房子10万元都不值;官方回应:已成立调查组

扬子晚报
2026-11-21 17:10:20
北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

极目新闻
2026-11-21 20:11:56
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
俄方称克里米亚大桥铁路运输已全面恢复

俄方称克里米亚大桥铁路运输已全面恢复

每日经济新闻
2026-11-21 19:12:52
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
特朗普点赞深圳,称美国一些城市“脏得让人恶心”

特朗普点赞深圳,称美国一些城市“脏得让人恶心”

极目新闻
2026-11-21 09:44:24
降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

我爱英超
2026-11-21 19:47:23
2026-11-21 22:28:49
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71748文章数 656269关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
本地
亲子
数码
游戏

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

亲子要闻

42岁妈妈8个月减重50斤判若两人!“决定把注意力放回自己身上”,中度脂肪肝消失了,情绪不内耗了,和孩子关系也改善了

数码要闻

极摩客GMK M10迷你主机上架:锐龙5 6600H、24+512GB到手3399元

管泽元玩GTA6玩爽了 坐出租车刷手机都很有意思

无障碍浏览 进入关怀版