网易首页 > 网易号 > 正文 申请入驻

MiniMax 计划推出2.7万亿参数模型,追赶全球头部前三水平

0
分享至

昨天柒哥在社群刷到一则消息说中国 MiniMax 计划推出 2.7 万亿参数模型,有助于加速中国开源 AI 模型在全球范围内的扩张。

2.7万亿参数什么概念?跟之前比提升了很多倍,也会超过国内大部分的模型,怕不是要直接跻身全球第一梯队了。专家说最快Q3推出,真是悬念拉满,一起去扒一下这个访谈有哪些干货。以下新模型简称M3.1,旧模型简称M3。


新模型技术提升在哪些方面?

从训练反馈看,新模型 loss 收敛速度和 benchmark 中间表现均超出预期,内部信心充足,目标是做到"国内最好"并追赶全球头部三家

M3.1 相比 M3 的核心改进在于补足了后训练阶段的短板

M3 因开发时间紧张缺乏充分的后训练,导致预训练基础虽好、benchmark 表现漂亮,却出现"复杂任务优异、简单任务易错"的反差问题; M3.1 通过充分的后续训练(包括 SFT 和强化学习)基本解决了M3的遗留问题,使模型在简单任务和复杂任务上的表现更加均衡。在数据层面,M3.1 显著提升了数据质量和数量,在长程任务数据支持下实现倍数级能力提升,同时通过优化数据筛选机制和增强训练约束,显著降低了幻觉率

整体而言,M3.1 是基于 M3 经验、用更充分的训练时间和更优质的数据,把预训练阶段埋下的好底子真正释放出来,并为后续版本更大规模数据和更长训练时间的优化积累了经验。

核心创新是什么?

核心创新在于将 MSA 架构升级至MSA 2.0,从而实现训练效率和成本的双重优化。

MSA 架构的技术优势在于支持超长序列任务,成量级降低 Attention 开销,极致提高硬件利用效率并缩短训练时间,其强扩展性可支撑2.5 万亿参数扩展,具备复杂任务处理能力,是模型公司的核心竞争力所在。

选择自研 MSA 而非沿用现有架构,是MiniMax 基于实际训练和推理任务特性、综合考量性能与计算资源后的决策——在数据规模巨大、模型需持续学习而非快速收敛,以及显卡算力、显存等硬件受限的多重约束下,自主创新架构能最大化硬件利用效率,同时保障模型稳定提升,避免简单套用其他模型带来的效率瓶颈。


关于算力基础设施

MiniMax 认为模型竞争的关键除算法和数据外,还在于 Infra 端算力与集群能力,因此持续布局以确保技术生态优势。

具体而言,竞争体现在数据资源积累与算力集群优势两方面,集群部署优化直接影响训练效率和业务应用——公司训练端集群建设与系统部门协同仅数月,便实现了高稳定性和性能提升,达到大云集群水平,自主组网不仅节省成本和时间,其高稳定性还超过预期,体现了强大的技术实力。

在海外算力方面,公司合规获得优质海外算力,已全面升级至最新一代显卡,领先多数仍停留在 Hopper 代的同行。国产算力方面,验证结果显示基本可用,但产能有限,预计2026 年 Q3 末搭建首个国产集群,采取推理先行、训练随后的策略,符合当前生态培养阶段。

专家表示我们整体在算力硬件上处于相对领先状态。训练端几乎全面迁移到了最新硬件,坦言"给我多少卡我都能用得完",算力永远不嫌多,但战略层面配置已足够合理。

关于Coding格局的判断

在 Coding 竞争格局方面,MiniMax的 M3 系列预训练效果优异,但 M3 因后期强化不足存在缺陷,M3.1 通过提升数据质量和数量显著改善了这一问题。

在 Coding 方面的改进主要体现在三个层面:一是长程复杂任务能力显著提升,数据量和质量均有倍数级增长;二是前端审美表现优异且将持续保持;三是在复杂设计、代码扩展等难题上的攻克能力将比简单问题更突出,因为简单 Coding 各家已拉不开差距。

关于 Coding 数据飞轮,市场上存在两派观点:一派主张领先模型通过自循环数据持续领先,另一派主张依赖高质量专业代码数据。

专家偏向后者,认为数据质量和训练方案更为关键

理由是 GitHub Copilot 作为最早大规模做 Coding 的项目并未长期领先,说明先发优势有限;Coding 领域的数据获取相对容易(团队本身就是程序员,专家支持直接),不依赖难以替代的专业知识(如医药)。因此 Coding 壁垒不在先发,而在数据质量、数量及训练方案,这是相对确定且可控的。

从市场竞争格局看,当前国内外 Coding 领域混战,无明显领跑者,M3 及 2.7 版本已显著提升,更大参数版本预计将达到市场最佳水平。整体对 Coding 能力持续提升持乐观态度。

新模型在商业化上会带来什么变化?

采用MSA降低计算开销,毛利率预计超过M2。专家从技术和需求判断使用使用反馈良好,销售市场也会稳定增长。

专家反馈M3使用量增长较快,内部也一直在上优化和加卡,即使这样,目前高峰期负载偶尔会过载,表明市场需求和销量保持活跃状态。整体来看,销售和优化仍然保持良性循环,没有明显瓶颈。M3模型输出速度国内领先,用户体验好。

而新模型M3.1在数据量和质量上有很大提升,从内部视角看,coding能力的提升和体验方面目前都稳妥,后续也会继续保持优势。

柒哥整理完这个访谈,只能说每一条都非常硬气! 参数实实在在上去了,创新架构构成核心竞争力,coding能力解决了最关键的数量和质量问题直接去解决复杂问题, 算力还是领先于同行,这一把真的是要去冲击全球前三了!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
欠债40亿跑路,一家店平均只能存活16个月!昔日风口行业不香了?

欠债40亿跑路,一家店平均只能存活16个月!昔日风口行业不香了?

财经八卦
2026-07-26 17:46:53
三甲主任医师,造出全球首创新药

三甲主任医师,造出全球首创新药

医学界
2026-07-26 18:04:23
铁证撕碎所有洗白!G1043座位全程无变更 明星霸座撒谎公关太刺眼

铁证撕碎所有洗白!G1043座位全程无变更 明星霸座撒谎公关太刺眼

阿莱美食汇
2026-07-27 11:50:08
女子倾尽所有投150万创业开女装店,一天营业额仅584.6元,崩溃大哭

女子倾尽所有投150万创业开女装店,一天营业额仅584.6元,崩溃大哭

捣蛋窝
2026-07-26 19:17:56
刘芮麟罕见晒儿子合照!父子同框两人笑到眯眼,网友:基因太强了

刘芮麟罕见晒儿子合照!父子同框两人笑到眯眼,网友:基因太强了

今古深日报
2026-07-27 10:17:33
双腿是心梗的晴雨表?医生忠告:腿上若有5个异常,建议及时就医

双腿是心梗的晴雨表?医生忠告:腿上若有5个异常,建议及时就医

路医生健康科普
2026-07-27 15:04:02
钱再多有何用?知情人曝敬一丹最新情况,母亲留给她的遗产太宝贵

钱再多有何用?知情人曝敬一丹最新情况,母亲留给她的遗产太宝贵

情感大头说说
2026-07-27 13:30:42
3300万人被合法剥削,劳务派遣已失控,这东西正在毁掉一代人!

3300万人被合法剥削,劳务派遣已失控,这东西正在毁掉一代人!

观史搜寻着
2026-07-26 14:33:25
湖北省委宣传部原常务副部长王茂亮被查

湖北省委宣传部原常务副部长王茂亮被查

新京报
2026-07-27 15:11:16
鲁比奥当众承认:中国海警打跑菲特种兵时,美国海警船就在现场

鲁比奥当众承认:中国海警打跑菲特种兵时,美国海警船就在现场

爱吃醋的猫咪
2026-07-25 18:09:36
同样出自北大,王虹、邓煜斩获菲尔兹奖,为何韦东奕不得奖?网友:韦神只是个网红!

同样出自北大,王虹、邓煜斩获菲尔兹奖,为何韦东奕不得奖?网友:韦神只是个网红!

谭谈社会
2026-07-25 09:25:03
征兵办快坐不住了,14亿人招不着几个不戴眼镜的兵?

征兵办快坐不住了,14亿人招不着几个不戴眼镜的兵?

无意争春
2026-07-26 21:20:04
8-3大胜日本青训!中国足球小将打出底气,可惜电视无直播

8-3大胜日本青训!中国足球小将打出底气,可惜电视无直播

江启
2026-07-27 15:05:23
李权哲致歉:我和团队没有仔细核实座位信息,存在严重疏漏,官方此前通报艺人李权哲高铁霸座事件:敬畏规则才是公众人物最该坚守的底线

李权哲致歉:我和团队没有仔细核实座位信息,存在严重疏漏,官方此前通报艺人李权哲高铁霸座事件:敬畏规则才是公众人物最该坚守的底线

大象新闻
2026-07-27 12:07:04
俄开启屠杀模式!空中霸权太恐怖,乌防空弹尽粮绝,20亿美金蒸发

俄开启屠杀模式!空中霸权太恐怖,乌防空弹尽粮绝,20亿美金蒸发

青青衫书生
2026-07-25 17:09:04
催不动二胎三胎!国家彻底更换思路,2026普惠新政落地见效

催不动二胎三胎!国家彻底更换思路,2026普惠新政落地见效

史之铭
2026-07-27 08:39:21
手机害得都是穷人家的孩子,因为穷人家的孩子除了手机没什么好玩

手机害得都是穷人家的孩子,因为穷人家的孩子除了手机没什么好玩

户外阿毽
2026-07-26 19:41:47
中国广电很多年没见过这么严峻的形势了

中国广电很多年没见过这么严峻的形势了

辉哥说动漫
2026-07-17 10:42:19
承诺12个月不减持,六个跌停板的德明利终于翻红

承诺12个月不减持,六个跌停板的德明利终于翻红

ZAKER新闻
2026-07-27 17:54:10
35岁演员当景区NPC,称“还在试用期,粉丝量达到450万才能转正”

35岁演员当景区NPC,称“还在试用期,粉丝量达到450万才能转正”

韩小娱
2026-07-26 18:19:17
2026-07-27 18:43:00
天天开柒 incentive-icons
天天开柒
天天开柒是有前瞻、有判断的科技行业观察者。这里有关于行业深度分析和热辣小道。
134文章数 80关注度
往期回顾 全部

科技要闻

长鑫科技上市首日收涨465%,市值3.28万亿

头条要闻

衡水一中学创办人举报:公职人员2元买走价值8亿元股权

头条要闻

衡水一中学创办人举报:公职人员2元买走价值8亿元股权

体育要闻

说过不会再回NBA的男人,又回来了

娱乐要闻

具俊晔零成本拿下大S房产

财经要闻

破产德企如何托起长鑫科技的逆袭之路

汽车要闻

2026宝马摩托车文化节举行 三款新车上市

态度原创

艺术
本地
教育
公开课
军事航空

艺术要闻

王献之传下来的狂草,比王羲之水平更高,怀素的字就学的他!

本地新闻

跟着影视去旅行:八仙篇

教育要闻

菲尔兹奖背后的成长逻辑,大学生求职可以学到什么?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军中东最高指挥官建议停止轰炸霍尔木兹

无障碍浏览 进入关怀版