网易首页 > 网易号 > 正文 申请入驻

“像赌一把全押”,腾讯姚顺雨领衔混元开源后的一场深夜问答

0
分享至

11月21日凌晨,北京时间刚过零点,腾讯首席AI科学家姚顺雨带着混元团队出现在海外社交媒体社区,做了一场文字AMA(公开问答)。问题来自全球开发者,回答前后持续两个多小时。

在提问的全球开发者眼中,中国开源模型已经自成一张对照表;混元被拿来比较的对象是千问和Kimi。

问答环节,有人直言:字节跳动和Kimi等(参数量)似乎都在往3T甚至5T推,你们为什么停在700B?混元团队回应:“Hy3和Hy4已经证明,较小的模型也能超越较大的模型,而且更便宜。”

不过,混元团队也表示,Hy4仍有很大的改进空间,尤其是通过后训练。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。我们还计划训练更大规模的模型。”

当被问及开发中最难的时刻,混元团队成员回答是:“从Hy3到Hy4的过渡是非常艰难的。我们没有进行那么多详细消融实验研究,因此在训练开始时有很多不确定性。在训练开始时,我真感到非常紧张。幸运的是,训练最后出乎意料地顺利。感觉就像是在赌一把全押,结果居然赢了。”

技术取舍上,混元团队提到了一些细节:架构选择在MLA(Multi-head Latent Attention,多头潜在注意力)和GQA(Grouped Query Attention,分组查询注意力)之间反复权衡了相当长一段时间。MLA计算强度远远高于GQA,这使得在推理GPU上进行规格解码时受到了计算限制。然而,在相同的KV缓存大小下,MLA提供了比GQA更好的模型质量。幸运的是,随着DSA(DeepSeek Sparse Attention)引入,能够降低MLA在解码过程中的计算强度。这使得平衡发生了转变,最终决定选择MLA。

换言之,混元团队选了更吃算力但效果更好的注意力方案,再用稀疏注意力把推理成本压回来。

当被询问后训练里最难改的行为时,混元团队只回了四个字:过度思考。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

小羽叨叨叨
2026-11-20 14:53:15
2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

北京作家编剧肥猪满圈
2026-11-18 17:23:20
1.9亿美元!梵高画作《盛开的栗树》创纪录

1.9亿美元!梵高画作《盛开的栗树》创纪录

澎湃新闻
2026-11-20 13:09:03
流体力学突破速度极限:天才工程师的反直觉设计

流体力学突破速度极限:天才工程师的反直觉设计

中国物理学会期刊网
2026-11-19 10:12:16
五婚五离,“毁”了半个娱圈美人的风流导演,如今69岁终跌落神坛

五婚五离,“毁”了半个娱圈美人的风流导演,如今69岁终跌落神坛

蜉蝣说
2026-11-12 08:43:14
“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

妍妍教育日记
2026-10-05 10:10:15
中产“相亲神器”,被这个中国小城干成白菜价

中产“相亲神器”,被这个中国小城干成白菜价

金错刀
2026-11-20 15:03:50
波西·杰克逊第三季开播前,第二季这些关键剧情还记得吗

波西·杰克逊第三季开播前,第二季这些关键剧情还记得吗

时光慢旅人
2026-11-20 08:01:40
许昕:本以为 36 岁儿女双全已够幸福,没想到,现在幸福又升级了

许昕:本以为 36 岁儿女双全已够幸福,没想到,现在幸福又升级了

凡知
2026-11-21 11:06:13
特朗普再夸中俄美元首会晤 盛赞中国干净又安全

特朗普再夸中俄美元首会晤 盛赞中国干净又安全

看看新闻Knews
2026-11-21 10:43:31
高市早苗重申:要继续援助乌克兰 推进对俄制裁

高市早苗重申:要继续援助乌克兰 推进对俄制裁

闪电新闻
2026-11-21 08:19:38
中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

迷彩人生
2026-11-13 10:25:30
华裔女子野外遭15岁男孩侵害,过程持续一小时,案情细节让人目瞪口呆

华裔女子野外遭15岁男孩侵害,过程持续一小时,案情细节让人目瞪口呆

夜夜思奇语
2026-11-19 14:02:49
裸粉瑜伽套装,丰满圆润熟女穿出轻熟感

裸粉瑜伽套装,丰满圆润熟女穿出轻熟感

樱桃小丸子1987
2026-11-01 19:36:30
5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

阿成嘞
2026-11-20 14:54:29
上海房价,反转了?

上海房价,反转了?

睿见投资
2026-11-21 09:30:19
各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

回京历史梦
2026-11-07 09:11:06
中国为什么会失去苏岩礁?只因外交战线上出了被韩国收买的间谍

中国为什么会失去苏岩礁?只因外交战线上出了被韩国收买的间谍

阿胡
2025-05-04 12:21:11
一位民生专家说:企业退休人员平均三千到三千五百元,机关事业单位平均五千到六千元,差距摆在那里

一位民生专家说:企业退休人员平均三千到三千五百元,机关事业单位平均五千到六千元,差距摆在那里

扶苏聊历史
2026-11-12 15:48:06
内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

红豆讲堂
2025-05-19 17:03:14
2026-11-21 11:56:49
每日经济新闻 incentive-icons
每日经济新闻
中国主流财经全媒体平台。
1701900文章数 2729001关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
教育
本地
亲子
家居

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版