网易首页 > 网易号 > 正文 申请入驻

MiniMax H3 发布:多模态生成模型、即将开源,视频编辑能力全球第一

0
分享至

7 月 31 日,MiniMax(稀宇科技)正式发布新一代多模态生成模型 H3。这是 MiniMax 自海螺 AI 视频产品上线以来迭代的第三代模型。MiniMax 此前已先后开源三代 M 系列文本模型,但视频生成模型一直闭源——H3 是其首款开源的多模态生成模型,公司宣布将在未来几天内开放模型权重。

H3 是一个通用的全模态生成模型,能统一理解由文本、图像、视频、音频组成的多模态上下文,输出带原生双声道的音视频内容,最高支持 15 秒 2K 分辨率(2560×1440),24 FPS。H3 默认提供 2K 分辨率输出,定价 0.8 元/秒(2K 分辨率),是业内同类旗舰视频模型的三分之一,768P 分辨率下不到 1/2。

和前两代模型相比,H3 最大的变化是「打破任务边界」。以往的视频生成模型通常将文生视频、图生视频、主体参考、动作参考、视频编辑拆分成独立模块,图像、视频、音频之间也有清晰的边界。H3 的做法是在预训练阶段就把这些任务统一建模,用自然语言描述任务关系,而不是为每种任务单独训练一个专家模型。

在 Artificial Analysis 视频模型榜单中,H3 在视频编辑能力项排名全球第一。

⬆️关注 Founder Park,最及时最干货的创业分享

Founder Park 正在持续寻找值得被看见的 AI 团队与项目。

我们将通过「AI 产品市集」、内容报道、社群分发等方式,帮你触达早期用户、获得真实反馈,以及建立关键连接。

如果你正在做 AI 相关的事,欢迎和我们聊聊。

01四项核心技术

H3 的技术架构围绕四个关键模块展开:

Contextual Omni Representation。这是 H3 投入最大的部分。多模态上下文的引入让传统的 Caption(描述)被重新定义,不仅要描述目标视频本身,还要描述上下文素材之间、上下文与目标之间的关系。为此 MiniMax 定制了专门的全模态理解管线,大部分素材需要消耗 100K Token 的推理,最终压缩为约 4K Token 的表示。语言在其中充当可泛化的连接层,让不同模态的「任务」以开放描述的形式统一起来。

H3-VAE。这一代彻底重构了前代的 tokenizer 技术,在重建质量和易学性上全面提升。关键数字是 4 倍序列长度压缩,直接降低训练和推理成本,也是支撑原生 2K 分辨率输出的核心技术。

H3-Omni Transformer。由于多模态上下文的引入,H3 的序列长度方差比前代大了 3 倍,理解和生成部分的计算负载也显著异质化。MiniMax 采用了理解与生成异构的训练架构,精细调优不同 workload 下的硬件利用率,端到端训练吞吐提升近 30%。值得一提的是,团队放弃了曾在 Hailuo 02 上带来显著架构优势的设计,理由是它在「任务泛化」这一核心目标下引入了额外复杂性。用 MiniMax 自己的话说:「架构技巧应为模型定义让路。」

In-context Regeneration。H3 的 2K 输出没有使用常规的专用超分模块,而是让基模对自己的低分辨率结果进行 in-context 重新生成。好处有两个:最大限度复用基模已有的生成能力;可以再次利用原始多模态上下文信息进行高分辨率输出,从而还原传统超分方案靠「猜」无法恢复的细节,比如小文字和精细纹理。

02测试案例

根据前期邀测反馈,H3 在以下商业场景中表现突出:

广告和电商方面,H3 的指令遵循能力和文字、品牌信息呈现能力使其适合生成品牌广告素材。V2V Motion Transfer(视频到视频动作迁移)可以将一个视频中的动作风格迁移到另一个场景中。

广告电商

产品设计和 UI/UX 方面,H3 可以生成动态交互原型和游戏 UI 动效。

游戏UI

电影和动态海报方面,原生双声道支持让生成结果可以直接包含环境音、对话和背景音乐。

电影片头

动态海报

03首次开源视频模型

H3 的开源计划有几个值得关注的细节。

首先是动机。MiniMax 提到了三个原因:推动开源社区发展、加速国产芯片适配(H3 设计初期就考虑了多款国产芯片的兼容性),以及方便用户定制自己的版本。

其次是是技术路线的延续。H3 借鉴了文本模型发展中已被验证的方法,包括复杂问题拆解、Reasoning、Scaling Context 和 Muon 优化器,将其应用到多模态理解和模型训练中。这也解释了为什么 MiniMax 在文本模型上积累的开源经验,能够延伸到多模态领域。

MiniMax 表示将在「未来几天内」开放权重,具体的开源协议和模型规格尚未公布。后续还会发布详细的技术报告。

MiniMax 在公告中也坦诚了 H3 目前的局限:多模态上下文理解能力仍有大幅提升空间,后续会推动 H 系列与 M 系列(语言模型)能力的融合;模型规模限制了部分能力的完成度,Scaling 是明确方向;部分场景下画面精细度仍需提升。


转载原创文章请添加微信:founderparker

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
亲人遇交通事故受伤,5次住院治疗后家属坚持出院,结果出院次日死亡,家属未做尸检便将其遗体火化,保险公司:死因不明拒赔……法院判了

亲人遇交通事故受伤,5次住院治疗后家属坚持出院,结果出院次日死亡,家属未做尸检便将其遗体火化,保险公司:死因不明拒赔……法院判了

都市快报橙柿互动
2026-08-02 12:19:17
8月2号,人社部财政部关于2026年调整退休人养老金通知,有没有公布?

8月2号,人社部财政部关于2026年调整退休人养老金通知,有没有公布?

小谈食刻美食
2026-08-02 08:35:43
江苏气象重要提醒:南通、苏州、盐城局部回波很强,苏州、常州、无锡、南通局部已出现9—11级阵风;南通市、苏州市将出现强对流天气

江苏气象重要提醒:南通、苏州、盐城局部回波很强,苏州、常州、无锡、南通局部已出现9—11级阵风;南通市、苏州市将出现强对流天气

鲁中晨报
2026-08-02 16:54:04
玩砸了!女生用大学录取通知书切西瓜,学校官宣永久停用

玩砸了!女生用大学录取通知书切西瓜,学校官宣永久停用

户外阿毽
2026-08-02 14:32:16
西班牙休达“丧尸围城”,欧洲的“圣母婊们”求仁得仁了

西班牙休达“丧尸围城”,欧洲的“圣母婊们”求仁得仁了

百味朱砂
2026-08-01 14:55:21
有人预测:未来5年有电车的家庭,会面临3个难题,太真实了

有人预测:未来5年有电车的家庭,会面临3个难题,太真实了

刘哥谈体育
2026-08-01 09:19:31
丈夫婚外试管案后续:年轻漂亮小三正面照曝光,身份被扒,茶社开在原配家附近,丈夫背后出资

丈夫婚外试管案后续:年轻漂亮小三正面照曝光,身份被扒,茶社开在原配家附近,丈夫背后出资

老猫观点
2026-08-02 12:37:48
大反转!公职人员损坏他人车位地锁事件单位通报,称是执行业委会规定,网上质疑声一片

大反转!公职人员损坏他人车位地锁事件单位通报,称是执行业委会规定,网上质疑声一片

Mr王的饭后茶
2026-08-02 12:08:17
跟卡卡师出同门!15岁巴西足球未来之星,比赛中遭枪击身亡

跟卡卡师出同门!15岁巴西足球未来之星,比赛中遭枪击身亡

全景体育V
2026-08-02 13:58:20
董璇女儿天津演出,高云翔开宝马来接酒窝,都44了一眼看还是很帅

董璇女儿天津演出,高云翔开宝马来接酒窝,都44了一眼看还是很帅

柒佰娱
2026-08-02 09:03:39
决裂到底!苏瑞彻底改母姓出道,阿汤哥终成最陌生的巨星父亲

决裂到底!苏瑞彻底改母姓出道,阿汤哥终成最陌生的巨星父亲

新民周刊
2026-08-02 13:13:52
昆明夏天日均22℃,我待了几天才发现:很多人根本不是来避暑的

昆明夏天日均22℃,我待了几天才发现:很多人根本不是来避暑的

糖逗在娱乐
2026-08-02 00:40:41
年赚10亿美金放倒10万美国人!北大毒王张智栋,逼得川普深夜跳脚

年赚10亿美金放倒10万美国人!北大毒王张智栋,逼得川普深夜跳脚

莫地方
2026-07-31 19:49:26
“丈夫与第三者伪造结婚证做试管婴儿”当事人讲述维权之路:亲友统一口径劝我接受现实,坚持不光为自己,更希望曝光辅助生殖证件核查漏洞

“丈夫与第三者伪造结婚证做试管婴儿”当事人讲述维权之路:亲友统一口径劝我接受现实,坚持不光为自己,更希望曝光辅助生殖证件核查漏洞

大风新闻
2026-08-01 23:04:10
广西洪灾中失联的甘道水库职工吕冠遗体已找到

广西洪灾中失联的甘道水库职工吕冠遗体已找到

新京报
2026-08-02 16:23:05
饭店老板花3000元招了个211大学暑期工,舍不得让他端盘子,安排给女儿补习,店主:早9点到晚6点,英语、数学、物理课程他全包,有问必答

饭店老板花3000元招了个211大学暑期工,舍不得让他端盘子,安排给女儿补习,店主:早9点到晚6点,英语、数学、物理课程他全包,有问必答

极目新闻
2026-08-01 19:38:26
外媒:伊朗伊斯兰革命卫队称又摧毁3架美军F-35

外媒:伊朗伊斯兰革命卫队称又摧毁3架美军F-35

参考消息
2026-08-02 14:18:10
年赚348亿,却没人聊它?网易,国内互联网最安静的印钞机

年赚348亿,却没人聊它?网易,国内互联网最安静的印钞机

罗sir财话
2026-07-31 20:55:43
浙大副校长:“贪污”1.3亿入狱3年,为啥出狱后获国家支持2758万​

浙大副校长:“贪污”1.3亿入狱3年,为啥出狱后获国家支持2758万​

社会日日鲜
2026-08-02 09:30:32
千年难遇的美人,太漂亮了,没有一点毛病,太完美了

千年难遇的美人,太漂亮了,没有一点毛病,太完美了

手工制作阿歼
2026-08-02 03:16:29
2026-08-02 17:20:49
FounderPark incentive-icons
FounderPark
关注AI创业,专注和创业者聊真问题
1290文章数 163关注度
往期回顾 全部

科技要闻

零跑月销10万破纪录!比亚迪奇瑞海外卖爆

头条要闻

因凡蒂诺遭欧足联通牒:赶紧主动辞职 否则投票罢免

头条要闻

因凡蒂诺遭欧足联通牒:赶紧主动辞职 否则投票罢免

体育要闻

1米76的他,为什么是史上最强中卫之一?

娱乐要闻

一天5瓜!“做头发”事件另有玄机?

财经要闻

长鑫科技四万亿市值背后的资本与周期

汽车要闻

历史性里程碑时刻 零跑7月交付达101267台

态度原创

数码
家居
亲子
旅游
公开课

数码要闻

华硕ROG推出DOTA2联名键盘、鼠标、耳机礼盒,849-1249元

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

想让孩子长高,千万不能让他太胖!

旅游要闻

(长江十年行)滚滚长江出云南 绿水青山展新颜

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版