网易首页 > 网易号 > 正文 申请入驻

算力约束下,腾讯姚顺雨携团队回答混元“一切”

0
分享至

21世纪经济报道记者 吴佳楠

11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA活动,回答全球开发者关于混元的“任何问题”。

这也是混元团队首次在开发者社区的公开问答。在此次AMA中,混元团队回答了如何在有限算力下提升模型能力,以及开源生态、架构取舍、评测体系等问题。

过去不到一个月,混元接连发布了两款模型。11月4日发布的Hy4在第三方评测机构Artificial Analysis的智能指数榜单上位列中国模型第二,在Agent Arena榜单上居开源模型首位。随后发布的Hy4 flash,定位为“日常工作的极致性价比模型”,并在11月20日开源。

根据腾讯披露的数据,在自建日常工作任务评测WorkIndex中,Hy4 flash的单任务成本仅为Hy4的1/20。在涉及85名内部用户、259项工作任务的盲测中,其单任务成本约为0.26元。

在11月18日腾讯三季度业绩电话会上,腾讯总裁刘炽平表示,新一代混元Hy4已达到中国基础模型的顶尖能力水平,并在实际生产力应用中展现出较强实用性。公司对Hy4的能力及提升速度感到满意,近期已将多模态研发统一至混元团队,大幅扩大了Hy4的预训练和后训练规模,并加入视觉及计算机操作能力。

“Hy3和Hy4已经证明,规模较小但训练扎实的模型往往也能超越更大的模型。”面对字节跳动、Kimi等已在推进3万亿甚至5万亿参数,腾讯Hy系列仍处于700B左右的规模的提问,混元团队表示,小尺寸模型的成本更低,而且在研发过程中,我们还能学到更多、积累更多经验。

被问到下一代Hy4.5模型参数规模是否会扩至1.5万亿—2万亿参数时,混元团队表示:“下一代Hy模型的规模肯定会进一步显著扩大。”

“Hy4仍然有很大的提升空间,尤其是在后训练方面”腾讯混元团队表示,正在大力投入大规模强化学习(RL),同时持续改善用户体验和模型安全性,还计划训练规模更大的模型。

针对小尺寸模型,据介绍,Hy4-mini已经在开发路线图中,未来还将推出更多小型模型。对于24B—31B规模的稠密模型,团队正在考虑;对于更小规模的稠密模型,也有推出的可能,但目前可能不会专门开发100B参数以下、针对编程任务优化的模型。

对于训练中用到的数据集质量,腾讯混元团队表示,高质量训练数据有很多维度,不同领域和任务的标准也各不相同。无论靠人类专家还是智能体,设计和清洗数据都要投入大量精力。验证数据质量最好的办法是做实验,最终还是看实证结果。

团队同样回到了模型架构上的取舍问题。对于业界热衷的“MoE越稀疏越好”这一说法,腾讯混元团队表示,过于稀疏的MoE架构对推理不太友好。它占用大量GPU显存,却没有充分利用算力(FLOPs)。在总参数量相同的情况下,完全可以提高激活参数量,同时保持相同的推理吞吐量。

“激活参数量本质上决定了计算预算,提高稀疏度虽然能挽回一部分效率损失,但无法完全弥补,归根结底,削减激活参数就意味着更少的计算量,从而导致模型能力变弱。”腾讯混元团队表示。

在评测体系方面,团队认为不要迷信单一榜单。“单一网站并不能真正决定一款模型在现实世界中的采用情况。我们会参考各种不同的评测,包括内部基准测试、公开评测、第三方评测,以及真实用户反馈。要真正判断一款模型的表现,需要看完整的评价结果。归根结底,这才是用户真正关心的。”

对近期颇受关注的“大模型写作越来越像套话”,团队表示,大模型写作出现这样的情况可能与模型的训练目标有关,创意写作和可读性非常重要,正在将其列为重点改进方向,已经在这方面做了不少工作,但仍然有改进空间。

针对开源立场,腾讯混元团队表示,仍会继续走开源路线。

自今年2月腾讯重建混元的预训练与强化学习基础设施以来,混元迭代路线清晰可见。

今年4月,腾讯开源Hy3 preview,总参数2950亿、激活210亿,是基础设施重构后训练的首个模型;今年7月,Hy3正式版上线;8月,Hy4 preview开源,总参数770B、激活49B,上下文超1M;11月,Hy4正式版发布,扩展预训练与后训练规模,首次引入视觉理解与电脑操作能力;一周多后,主打性价比的Hy4 flash跟进。

自重建以来,混元保持平均每两个月迭代一次大版本的节奏,preview先行、正式版跟进。

在三季度业绩电话会上,混元的迭代也得到管理层的正面反馈。

腾讯首席执行官马化腾在开场陈述中罗列三项进展:混元Hy4已达中国顶尖大模型水平;Hy4 flash显著降低推理成本;按用户每日大语言模型Token消耗总量衡量,WorkBuddy已成为中国规模最大的AI应用。受WorkBuddy增长,以及公司向模型即服务(MaaS)和GPU租赁分配更多算力的推动,云服务收入增速进一步提升。

“公司对Hy4的能力及提升速度感到满意,目前仍处于智能能力发展的早期阶段。近期已将多模态研发统一至混元团队。”刘炽平表示,公司大幅扩大了Hy4的预训练和后训练规模,并加入视觉及计算机操作能力。相较此前模型,Hy4在指令遵循、长上下文理解、长程任务和深度研究等方面均实现显著提升。

高投入的另一面,是持续加码的资本开支。三季度腾讯单季资本开支创纪录达到814亿元,同比增长527%;前三季度累计1661.53亿元,同比增长179%。管理层预计,随着2026年、2027年建成的基础设施在后续年份持续发挥作用,到2028年经营压力有望逐步缓解。

值得注意的是,在算力约束问题上,腾讯高管坦言,最新收紧的限制对中国所有参与者都会产生影响,大家可使用的先进算力都会减少,无论此前何时开始在中国境外租赁或建设算力。训练会受到影响,但Hy4的训练效率已经很高。短期内,下一代模型的推出可能需要更长时间;随着时间推移,国内供应链将逐步补上。推理方面,公司目前构建的模型效率较高,国内供应链应能够满足相关需求。

在算力约束与成本压力之下,下一代Hy模型的迭代仍受到市场关注。

“正在尽可能充分地利用现有资源,以追赶前沿水平。”腾讯混元团队在AMA对话中表示。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

小羽叨叨叨
2026-11-20 14:53:15
2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

北京作家编剧肥猪满圈
2026-11-18 17:23:20
1.9亿美元!梵高画作《盛开的栗树》创纪录

1.9亿美元!梵高画作《盛开的栗树》创纪录

澎湃新闻
2026-11-20 13:09:03
流体力学突破速度极限:天才工程师的反直觉设计

流体力学突破速度极限:天才工程师的反直觉设计

中国物理学会期刊网
2026-11-19 10:12:16
五婚五离,“毁”了半个娱圈美人的风流导演,如今69岁终跌落神坛

五婚五离,“毁”了半个娱圈美人的风流导演,如今69岁终跌落神坛

蜉蝣说
2026-11-12 08:43:14
“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

妍妍教育日记
2026-10-05 10:10:15
中产“相亲神器”,被这个中国小城干成白菜价

中产“相亲神器”,被这个中国小城干成白菜价

金错刀
2026-11-20 15:03:50
波西·杰克逊第三季开播前,第二季这些关键剧情还记得吗

波西·杰克逊第三季开播前,第二季这些关键剧情还记得吗

时光慢旅人
2026-11-20 08:01:40
许昕:本以为 36 岁儿女双全已够幸福,没想到,现在幸福又升级了

许昕:本以为 36 岁儿女双全已够幸福,没想到,现在幸福又升级了

凡知
2026-11-21 11:06:13
特朗普再夸中俄美元首会晤 盛赞中国干净又安全

特朗普再夸中俄美元首会晤 盛赞中国干净又安全

看看新闻Knews
2026-11-21 10:43:31
高市早苗重申:要继续援助乌克兰 推进对俄制裁

高市早苗重申:要继续援助乌克兰 推进对俄制裁

闪电新闻
2026-11-21 08:19:38
中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

迷彩人生
2026-11-13 10:25:30
华裔女子野外遭15岁男孩侵害,过程持续一小时,案情细节让人目瞪口呆

华裔女子野外遭15岁男孩侵害,过程持续一小时,案情细节让人目瞪口呆

夜夜思奇语
2026-11-19 14:02:49
裸粉瑜伽套装,丰满圆润熟女穿出轻熟感

裸粉瑜伽套装,丰满圆润熟女穿出轻熟感

樱桃小丸子1987
2026-11-01 19:36:30
5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

阿成嘞
2026-11-20 14:54:29
上海房价,反转了?

上海房价,反转了?

睿见投资
2026-11-21 09:30:19
各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

回京历史梦
2026-11-07 09:11:06
中国为什么会失去苏岩礁?只因外交战线上出了被韩国收买的间谍

中国为什么会失去苏岩礁?只因外交战线上出了被韩国收买的间谍

阿胡
2025-05-04 12:21:11
一位民生专家说:企业退休人员平均三千到三千五百元,机关事业单位平均五千到六千元,差距摆在那里

一位民生专家说:企业退休人员平均三千到三千五百元,机关事业单位平均五千到六千元,差距摆在那里

扶苏聊历史
2026-11-12 15:48:06
内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

红豆讲堂
2025-05-19 17:03:14
2026-11-21 11:56:49
21世纪经济报道 incentive-icons
21世纪经济报道
中国商业新闻领导者
287444文章数 745553关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
时尚
旅游
教育
军事航空

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版