网易首页 > 网易号 > 正文 申请入驻

姚顺雨现身Reddit答问两小时:混元后训练最难的问题,是过度思考

0
分享至


开源大模型的竞争,正在从榜单成绩转向开发者社区的真实口碑。

北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员出现在Reddit的r/LocalLLaMA社区,做了一场两小时的AMA(Ask Me Anything,随便问)。这是混元团队首次在开发者社区公开答问,共收到三百多条留言,话题从架构取舍一路覆盖到安全评测。

此前不到一个月,混元接连发布两款模型。11月4日的Hy4首次跻身全球最强开源模型之列,在第三方评测机构Artificial Analysis的智能指数榜单上位列中国模型第二,在Agent Arena榜单上居开源模型首位。一周多之后发布的Hy4 flash,定位为“日常工作的极致性价比模型”,单任务成本仅为Hy4的二十分之一。

九个月,两次发布

从时间节奏看:

  • 今年2月,混元重建预训练与强化学习基础设施,确立三项原则:能力体系化,不做偏科的模型。评测真实性,以真实任务而非榜单分数检验模型。性价比追求,让智能用得起、用得好。
  • 此后平均每两个月迭代一个大版本,以“preview先行、正式版跟进”的方式,把真实使用中的反馈持续引入研发。
  • 11月4日,Hy4发布,跻身全球最强开源模型之列。
  • 一周多后,Hy4 flash发布,单任务成本降至Hy4的二十分之一。

距离2月份的重建,只过去了九个月。

Hy4与Hy4 flash的分工,对应着两条路线。前者扩大模型尺寸与数据规模,探索智能上限,后者压缩成本,让日常任务用得起。

团队在答问中确认,下一代Hy模型的规模“一定会进一步显著扩大”。有开发者问及字节跳动和Kimi等公司正在推进3T甚至5T参数的超大规模模型,而混元仍在700B级,团队对此的回复是,Hy3和Hy4已经表明,做得扎实的较小模型,往往可以胜过更大的模型,而且成本更低,过程当中学到的东西也更多。

产品线的另一端,Hy4 mini已经在路线图上,35B-A3B档位的Flash-Lite被确认在推进,更小的开源图像模型在考虑之中,视频模型也有了新消息。对于端侧视觉理解,团队的判断是激活参数约30亿的A3B模型,已能承担理解截图与图表并展开推理的任务。

路线图上还有循环式MoE与持续学习的位置,前者得到的回应是“当然有可能,请持续关注”,后者正在积极研究。支撑研发的训练基础设施也在迭代,Hyra 3.0已在开发中。

取舍先于参数

被问到为何最终选择MLA而非GQA,团队披露了一段反复权衡的历史。MLA的计算强度明显高于GQA,在推理GPU上做推测解码时,瓶颈会落在算力上。但相同的KV cache大小下,MLA的模型质量优于GQA。引入DSA之后,解码阶段的计算强度被降下来,权衡的天平随之倾斜。

Hy4 flash的另几项设计,延续的是同一套取舍。SWA将KV cache降至原来的四分之一,服务成本显著下降。配合把64B Engram参数卸载到主机内存的设计,128GB以上配置即可流畅运行激活参数12B的模型。

有开发者列出一组稀疏度对比,Hy4 flash不含Engram为156B总参数、激活12B,激活比例7.7%。Qwen3.8-Flash为4.8%,DSv4.1低至2.9%。更高的激活密度对智能有多重要,团队的回答建立在规模阶梯实验上:激活参数量固定时,提高稀疏度能提升计算效率。但保持总参数不变、单纯削减激活参数,模型质量会显著受损,因为激活参数量本质上决定了计算预算。

过于稀疏的MoE架构,在团队看来对推理并不友好,占用大量显存却无法充分利用算力。相同吞吐量下,完全可以运行总参数相同、激活参数更多的模型。至于端侧,则是另一套思路,架构要与边缘设备的GPU硬件更紧密地协同设计。

量化方案的回答里,down投影因激活值存在离群点,对量化更敏感,会被分配更多比特,位宽依据Hessian敏感度选择。量化后路由器会随QAT一同训练以保持稳定,团队也更倾向全参数QAT,理由是模型质量更好。这组回答,是整场答问里工程细节最密的部分。

最难的是过度思考

被问及后训练阶段最难改善的行为,回复只有四个字,过度思考。Hy4追求智能上限,思维链过长是已知问题。解法带着产品闭环的色彩,把Hy4的长思维链蒸馏为高性价比的Hy4 flash,再通过强化学习为后者确保较短的思维链。

有开发者以写作为由发问,称一个模型如果把事情解释得更易读,会是自己从Qwen 3.8 Flash Next转过来的重要理由。团队回应称创意写作与可读性非常重要,正在作为重点改进方向,还补了一句“有时候,一个好例子比五段文字更有帮助”。对大模型写作能力普遍退化的观察,他们同样承认有所注意,认为可能与训练目标有关,希望模型写出来“更像人类,少一些套路化表达”。

对Hy4能否自主运行并发展出下一代模型,回应表示递归自我改进能力尚早,但已开发若干内部基准评估关键能力。被要求按Levels of AGI分级给Hy4定位时,团队成员给出的自评是2.5级。

技术问题之间,穿插着研发过程的回忆。从Hy3扩展到Hy4被形容为最困难的时刻,数据消融实验未达预期,训练开始时充满不确定性,“训练刚开始时,我相当紧张”。最终结果在团队的回忆里则是,“感觉就像把筹码全押上,结果真的赢了”。

把限制说清楚,也是一种开源

为负责任地开源,混元在训练中过滤了以漏洞利用和进攻攻击为主的网安数据,配合训练层面的拒答防护,并开展红队评估。有开发者质疑这会削弱防御方,限制逆向工程也伤及恶意软件分析与取证。团队给出的评估结论是,Hy4的漏洞发现能力较强,漏洞利用能力相对较弱。过度拒绝则被承认仍是重要的改进方向。

llama.cpp的适配正在推进,不久后会向社区发布。与vllm、sgl的合作也在深入。Hy4与Hy4 flash已在OpenCode、Claude Code和Cline中被广泛使用,答复具体到项目和工具名。答问中途还有开发者插播实测,Hy4 flash在其内部智能体编程与PR审查基准上成为首个满分模型,完成速度快于Qwen 3.8 Flash Next、GLM 5.3 Flash与DeepSeek V4.1 Flash。

至于为何不公布GPQA Diamond、SWE Bench等常见基准成绩,团队的解释是这些基准推出较早,分数已经饱和,他们展示的是Agents’ Last Exam、ProgramBench等更新的高难度基准。评测真实性原则,从内部信条变成了对外表态。

三百多条留言里,开发者关心的不只是跑分,真实任务表现、使用成本与生态适配被反复追问。开源模型的竞争维度,比榜单呈现的更宽。混元团队在两小时里呈现的优先次序是,先打牢基础,让模型在真实任务中更好用,再持续探索能力边界。

那些被亲口承认的未解问题,过度思考、创意写作、递归自我改进,构成了下一次迭代的路线图。九个月前,混元重建了预训练与强化学习基础设施。九个月后,两款模型与一场两小时的答问,构成了重建后的阶段性成绩。先把基础打牢,再探索边界。

剩下的,交给下一个版本。(本文首发钛媒体APP,作者|AGI-Signal,编辑|秦聪慧)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

娱乐的硬糖吖
2026-11-20 05:28:23
奥尼尔:詹姆斯加盟76人只为再感受夺冠滋味,他的历史地位早已奠定

奥尼尔:詹姆斯加盟76人只为再感受夺冠滋味,他的历史地位早已奠定

懂球帝
2026-11-20 15:12:35
黄仁勋女儿被曝大瓜

黄仁勋女儿被曝大瓜

小鱼爱鱼乐
2026-11-20 16:51:38
一名助理被带走调查!徐欣莹夜赴地检署绝食抗议,控司法粗暴介选

一名助理被带走调查!徐欣莹夜赴地检署绝食抗议,控司法粗暴介选

海峡导报社
2026-11-21 07:44:07
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
昆山一工厂招工启事,普通工人基本工资4100元,加班费按4100元标准计算

昆山一工厂招工启事,普通工人基本工资4100元,加班费按4100元标准计算

一口娱乐
2026-11-21 06:55:05
兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

浩渺青史
2026-11-21 03:59:39
小瓦35+5+7准绝杀!魔术险胜篮网 兰德尔27+9+6丢反绝杀

小瓦35+5+7准绝杀!魔术险胜篮网 兰德尔27+9+6丢反绝杀

醉卧浮生
2026-11-21 11:14:58
3-2无悬念赢球!男单4强诞生!就在刚刚,WTT球星赛:世界第115名不敌世界第29名!国乒男单破4强魔咒,剩独苗苦撑,韩乒占优

3-2无悬念赢球!男单4强诞生!就在刚刚,WTT球星赛:世界第115名不敌世界第29名!国乒男单破4强魔咒,剩独苗苦撑,韩乒占优

篮球热嗖
2026-11-21 10:21:13
闹了6小时仍然输了!卡哈纳66:52当选,内塔尼亚胡防线崩塌

闹了6小时仍然输了!卡哈纳66:52当选,内塔尼亚胡防线崩塌

铁锤简科
2026-11-21 01:15:03
《华尔街日报》|马斯克成为中期选举后最新一位向民主党示好的科技大佬

《华尔街日报》|马斯克成为中期选举后最新一位向民主党示好的科技大佬

一半杯
2026-11-20 14:12:41
金价跌破760,北京菜百金条卖断货:有人一次入手85万元,有人高位囤金“扛着”

金价跌破760,北京菜百金条卖断货:有人一次入手85万元,有人高位囤金“扛着”

华夏时报
2026-11-20 22:15:03
有人预测:未来五年内,中国股市很可能将消失的5类股票

有人预测:未来五年内,中国股市很可能将消失的5类股票

星语者056
2026-11-21 10:22:33
北京国安出局!足协杯6年首遭零封,主场8年不胜海港,6纪录告破

北京国安出局!足协杯6年首遭零封,主场8年不胜海港,6纪录告破

奥拜尔
2026-11-20 21:31:51
一路走好!不到48小时,2位名人被曝去世,58岁蔡国庆让人担忧

一路走好!不到48小时,2位名人被曝去世,58岁蔡国庆让人担忧

原梦叁生
2026-11-20 16:19:08
大连英博夺冠后离队,斯坦丘为何拒250万欧续约、转投36万欧年薪

大连英博夺冠后离队,斯坦丘为何拒250万欧续约、转投36万欧年薪

暗香暗香
2026-11-21 03:55:30
许亚军大儿子藏不住了,眉眼神似何晴,和继母相处状态太意外

许亚军大儿子藏不住了,眉眼神似何晴,和继母相处状态太意外

残梦断忆
2026-11-21 10:44:11
河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

罪案洞察者
2025-07-09 11:51:52
声称国外没有瘦肉精!29岁中国女排名将回应质疑:你们有被害妄想症

声称国外没有瘦肉精!29岁中国女排名将回应质疑:你们有被害妄想症

念洲
2026-11-21 08:37:39
2026-11-21 12:03:00
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
142277文章数 862718关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
时尚
房产
手机
数码

医生眼里"很伤腰"的椅子,很多人天天坐

运动风,漫不经心地穿才“松弛”!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

手机要闻

首款鸿蒙AI手机!华为星芒OSTA O1Pro发布,售价5499元起

数码要闻

高驰VERTIX 4运动手表曝光:1.47英寸AMOLED屏幕

无障碍浏览 进入关怀版