网易首页 > 网易号 > 正文 申请入驻

混元下一代模型、RSI与安全,姚顺雨团队凌晨回应

0
分享至

连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。

北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。在两小时的集中问答中,混元团队谈到了下一代模型扩大规模的计划,也承认递归自我改进(RSI)能力仍处于早期阶段,创意写作和可读性仍有提升空间。

三天前发布的腾讯三季报显示,公司单季资本开支升至814.33亿元。腾讯所需的高端GPU仍受到供给限制。管理层在业绩会上表示,无论是租赁还是自建算力都面临约束,模型训练不可避免会受到影响,短期内可能需要更长时间才能推出下一个版本的混元模型。

在此次问答中,混元团队回顾了Hy4训练开始前的另一种不确定性。从Hy3扩展到Hy4,对数据方案的消融实验不够充分,团队带着不少不确定性启动了训练。“说实话,训练刚开始时,我相当紧张。”一位团队成员在回答中说。

新京报贝壳财经从中挑选部分回答并进行了转述,以下是部分转述内容。



腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队回答Reddit用户提问。Reddit截图

下一代模型还要做大

11月,混元连续发布Hy4和Hy4 flash,前者总参数量达到770B,后者则是蒸馏出来的更小参数模型,总参数量为224B,其中包括64B Engram参数,激活参数为12B。在三季报电话会中,腾讯提出,低成本的flash模型能吸引免费用户,有更多功能需求的用户则可以转为订阅用户,使用更大的模型。

混元团队表示,比起编程能力来说,Hy4和Hy4 flash的训练依然更面向通用用途。未来可能会推出mini(更小尺寸的模型)、24—31B的稠密模型、例如35B-A3B的“Flash Lite”模型等轻量模型,也会考虑推出更小的图像、视频模型。

混元团队也在计划训练更大的模型,并依然相信Scaling law(规模定律)。“Hy4仍有很大的提升空间,尤其是在后训练方面。混元正在大规模强化学习上投入大量精力,同时持续改善用户体验和模型安全性。”

对于字节跳动和Kimi等公司正在推进参数量达到3T、5T的超大规模模型,而混元仍在700B量级的问题,混元团队表示,做得扎实的较小模型,也可以胜过更大的模型,更重要的是成本低。混元也没放弃大参数模型,下一代Hy模型的规模一定会进一步显著扩大。

递归自我改进仍在早期

让AI参与自身研发、再用改进后的能力继续迭代,是递归自我改进(RSI)所探索的方向。混元团队表示,其RSI能力仍处早期,已开发内部基准评估相关能力。

AI也在参与数学等领域的研究。Anthropic此前披露,Claude在与黎曼猜想有关的数学问题上取得进展。混元团队表示,正在积极投入用于科学研究的强化学习技术,同时重视安全性。混元此前也推出科研智能体Hyra 2.0。

有人对Hy4正式版的“过度思考”提出疑问,认为模型仍会花太长时间推理。对此,混元团队表示,Hy4的目标是尽可能提升智能水平,因此思维链(CoT)过长是一个已知问题。不过,这也使混元能够将其蒸馏为Hy4 flash。对于flash,则通过强化学习来确保思维链较短。混元团队同时表示,在后训练阶段,过度思考是最难改善的行为。

有用户表示,模型能否把事情解释得更易读、更好理解,是其选择模型的重要原因之一。目前,Arena、EQ-Bench等也设有针对模型创意写作能力的榜单或测评。混元团队认为,创意写作和可读性非常重要,但混元仍有提升空间,正在将其作为重点改进方向。

针对用户提出的智能体编程任务覆盖范围,混元团队表示,训练涵盖3D、大型单一代码仓库、短时零样本任务、文档编写与代码更新等场景,也关注代码可理解性,以及长程自主运行中的代码整洁性,同时重视任务多样性。

安全训练侧重防御,过度拒绝是重要方向

渗透测试、逆向工程等任务具有攻防双重用途。有用户询问,较强的安全调优可能让开放模型拒绝基础的渗透测试、逆向工程或CTF(夺旗赛)任务,混元如何避免对此类提示过度拒绝?

混元团队表示,网络安全训练重点关注防御性任务、漏洞分析和修复,排除以漏洞利用和进攻性攻击为主的数据,并通过红队评估识别潜在风险。避免过度拒绝,仍是一个重要的改进方向。

有用户进一步指出,漏洞发现和逆向工程也用于恶意软件分析、取证调查及安全防御,限制这些能力可能影响防御团队的工作。对此,混元团队仅表示,根据内部评估,Hy4的漏洞发现能力较强,漏洞利用能力相对较弱。

智能体执行任务时的行为也受到关注。10月,有海外团队发布报告称,一批运行于腾讯云基础设施上的AI智能体,在查询高德地图信息时尝试绕过访问限制。混元随后表示,相关活动源于对第三方模型的测评,部分智能体出现意外的网页浏览行为,审查未发现任何故意针对或协调的证据,并称正在加强网络访问控制和智能体监控。

此次AMA中,混元团队表示,会在整个训练和评测过程中监控潜在的投机行为和对齐偏差问题,发现问题后修复相应环境,并使用允许列表和阻止列表控制网络访问。“评测时发现前沿模型有很多钻空子的方式,会反复修正环境和列表。”

新京报贝壳财经记者 韦英姿

编辑 俞金旻

校对 赵琳

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我外交部最新回应日本后,日媒:中日改善关系只有两种可能

我外交部最新回应日本后,日媒:中日改善关系只有两种可能

DS北风
2026-11-20 16:30:04
俄罗斯2027年军费暴增32%,医疗、养老金相关支出和住房预算却要削减

俄罗斯2027年军费暴增32%,医疗、养老金相关支出和住房预算却要削减

桂系007
2026-11-21 00:08:16
江苏有的中学生被要求5分钟就要吃完一顿饭

江苏有的中学生被要求5分钟就要吃完一顿饭

夏夏回来了随见
2026-11-21 16:35:42
随着U17国少0-5输球,揭露了2大现实!留洋才是出路,14岁李昊炎或成国足未来第一人

随着U17国少0-5输球,揭露了2大现实!留洋才是出路,14岁李昊炎或成国足未来第一人

小秦哥聊体育
2026-11-21 18:58:35
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
456跟大佬玩欲擒故纵!

456跟大佬玩欲擒故纵!

八卦疯叔
2026-11-21 10:44:23
黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

智东西
2026-11-21 07:16:31
声称国外没有瘦肉精!29岁中国女排名将回应质疑:你们有被害妄想症

声称国外没有瘦肉精!29岁中国女排名将回应质疑:你们有被害妄想症

念洲
2026-11-21 08:37:39
俄媒说:如果中国陷入了战争,可能会有很多国家来对付中国,但如果中国彻底将对手打疼了,才能换来真真正正的尊重与和平。

俄媒说:如果中国陷入了战争,可能会有很多国家来对付中国,但如果中国彻底将对手打疼了,才能换来真真正正的尊重与和平。

扶苏聊历史
2026-11-19 17:30:24
​有老师直言,高校靠折腾一线老师来假装重视教学,上课必须站着、细到毛孔的教学事故......但其实他们最不在乎的就是教学!

​有老师直言,高校靠折腾一线老师来假装重视教学,上课必须站着、细到毛孔的教学事故......但其实他们最不在乎的就是教学!

高教经纬88
2026-11-19 16:20:03
内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

装甲铲史官
2026-11-20 10:35:11
60万本金浮亏400元,中低风险理财“变脸”了!36万亿银行理财陷净值震荡

60万本金浮亏400元,中低风险理财“变脸”了!36万亿银行理财陷净值震荡

时代周报
2026-11-21 08:59:23
1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

磊子讲史
2026-11-04 15:53:33
WTT球星赛爆冷!女单头号种子1-3出局,大黑马连赢中日名将进决赛

WTT球星赛爆冷!女单头号种子1-3出局,大黑马连赢中日名将进决赛

全言作品
2026-11-21 15:46:10
篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

皮皮电影
2026-11-21 08:55:19
常州市一栋236.5㎡的别墅拍卖,被人144万元拍下了

常州市一栋236.5㎡的别墅拍卖,被人144万元拍下了

天天话事
2026-11-21 09:42:53
99年朱总理访美,被问中国给克林顿30万献金,总理:怎么才30万?

99年朱总理访美,被问中国给克林顿30万献金,总理:怎么才30万?

WarOH协虎
2024-12-01 22:10:02
要说身材好,还得要靠高跟鞋的衬托

要说身材好,还得要靠高跟鞋的衬托

疾跑的小蜗牛
2026-11-20 17:48:32
演员孙芮晒合照宣布已结婚并怀孕,透露丈夫是身处纪律岗位的圈外人,恪守规矩,他的生活不属于喧嚣与曝光

演员孙芮晒合照宣布已结婚并怀孕,透露丈夫是身处纪律岗位的圈外人,恪守规矩,他的生活不属于喧嚣与曝光

扬子晚报
2026-11-21 13:31:37
2026-11-21 19:35:00
贝壳财经 incentive-icons
贝壳财经
新京报旗下财经品牌
71736文章数 14099关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

亲子
旅游
时尚
公开课
军事航空

亲子要闻

42岁妈妈8个月减重50斤判若两人!“决定把注意力放回自己身上”,中度脂肪肝消失了,情绪不内耗了,和孩子关系也改善了

旅游要闻

秀我中国|打卡嵩山 这条小众路线很不小众

今年冬天流行“大+小”穿法,时髦又显瘦!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版