网易首页 > 网易号 > 正文 申请入驻

MiniMax H3 发布:多模态生成模型、即将开源,视频编辑能力全球第一

0
分享至

7 月 31 日,MiniMax(稀宇科技)正式发布新一代多模态生成模型 H3。这是 MiniMax 自海螺 AI 视频产品上线以来迭代的第三代模型。MiniMax 此前已先后开源三代 M 系列文本模型,但视频生成模型一直闭源——H3 是其首款开源的多模态生成模型,公司宣布将在未来几天内开放模型权重。

H3 是一个通用的全模态生成模型,能统一理解由文本、图像、视频、音频组成的多模态上下文,输出带原生双声道的音视频内容,最高支持 15 秒 2K 分辨率(2560×1440),24 FPS。H3 默认提供 2K 分辨率输出,定价 0.8 元/秒(2K 分辨率),是业内同类旗舰视频模型的三分之一,768P 分辨率下不到 1/2。

和前两代模型相比,H3 最大的变化是「打破任务边界」。以往的视频生成模型通常将文生视频、图生视频、主体参考、动作参考、视频编辑拆分成独立模块,图像、视频、音频之间也有清晰的边界。H3 的做法是在预训练阶段就把这些任务统一建模,用自然语言描述任务关系,而不是为每种任务单独训练一个专家模型。

在 Artificial Analysis 视频模型榜单中,H3 在视频编辑能力项排名全球第一。

⬆️关注 Founder Park,最及时最干货的创业分享

Founder Park 正在持续寻找值得被看见的 AI 团队与项目。

我们将通过「AI 产品市集」、内容报道、社群分发等方式,帮你触达早期用户、获得真实反馈,以及建立关键连接。

如果你正在做 AI 相关的事,欢迎和我们聊聊。

01四项核心技术

H3 的技术架构围绕四个关键模块展开:

Contextual Omni Representation。这是 H3 投入最大的部分。多模态上下文的引入让传统的 Caption(描述)被重新定义,不仅要描述目标视频本身,还要描述上下文素材之间、上下文与目标之间的关系。为此 MiniMax 定制了专门的全模态理解管线,大部分素材需要消耗 100K Token 的推理,最终压缩为约 4K Token 的表示。语言在其中充当可泛化的连接层,让不同模态的「任务」以开放描述的形式统一起来。

H3-VAE。这一代彻底重构了前代的 tokenizer 技术,在重建质量和易学性上全面提升。关键数字是 4 倍序列长度压缩,直接降低训练和推理成本,也是支撑原生 2K 分辨率输出的核心技术。

H3-Omni Transformer。由于多模态上下文的引入,H3 的序列长度方差比前代大了 3 倍,理解和生成部分的计算负载也显著异质化。MiniMax 采用了理解与生成异构的训练架构,精细调优不同 workload 下的硬件利用率,端到端训练吞吐提升近 30%。值得一提的是,团队放弃了曾在 Hailuo 02 上带来显著架构优势的设计,理由是它在「任务泛化」这一核心目标下引入了额外复杂性。用 MiniMax 自己的话说:「架构技巧应为模型定义让路。」

In-context Regeneration。H3 的 2K 输出没有使用常规的专用超分模块,而是让基模对自己的低分辨率结果进行 in-context 重新生成。好处有两个:最大限度复用基模已有的生成能力;可以再次利用原始多模态上下文信息进行高分辨率输出,从而还原传统超分方案靠「猜」无法恢复的细节,比如小文字和精细纹理。

02测试案例

根据前期邀测反馈,H3 在以下商业场景中表现突出:

广告和电商方面,H3 的指令遵循能力和文字、品牌信息呈现能力使其适合生成品牌广告素材。V2V Motion Transfer(视频到视频动作迁移)可以将一个视频中的动作风格迁移到另一个场景中。

广告电商

产品设计和 UI/UX 方面,H3 可以生成动态交互原型和游戏 UI 动效。

游戏UI

电影和动态海报方面,原生双声道支持让生成结果可以直接包含环境音、对话和背景音乐。

电影片头

动态海报

03首次开源视频模型

H3 的开源计划有几个值得关注的细节。

首先是动机。MiniMax 提到了三个原因:推动开源社区发展、加速国产芯片适配(H3 设计初期就考虑了多款国产芯片的兼容性),以及方便用户定制自己的版本。

其次是是技术路线的延续。H3 借鉴了文本模型发展中已被验证的方法,包括复杂问题拆解、Reasoning、Scaling Context 和 Muon 优化器,将其应用到多模态理解和模型训练中。这也解释了为什么 MiniMax 在文本模型上积累的开源经验,能够延伸到多模态领域。

MiniMax 表示将在「未来几天内」开放权重,具体的开源协议和模型规格尚未公布。后续还会发布详细的技术报告。

MiniMax 在公告中也坦诚了 H3 目前的局限:多模态上下文理解能力仍有大幅提升空间,后续会推动 H 系列与 M 系列(语言模型)能力的融合;模型规模限制了部分能力的完成度,Scaling 是明确方向;部分场景下画面精细度仍需提升。


转载原创文章请添加微信:founderparker

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
5个月前羞愧辞职!48岁加图索封神:5轮拿13分意甲第1 2冠王复苏了

5个月前羞愧辞职!48岁加图索封神:5轮拿13分意甲第1 2冠王复苏了

风过乡
2026-09-20 06:56:12
亚运会开幕式太诡异,日本又玩砸了!伊朗提前离场,退场秩序混乱

亚运会开幕式太诡异,日本又玩砸了!伊朗提前离场,退场秩序混乱

十点街球体育
2026-09-19 22:30:53
洗衣机烧成了残骸,发票找不到了,品牌方要求证明是他们的牌子,他想了个法子,找到了证据;品牌方做出回应

洗衣机烧成了残骸,发票找不到了,品牌方要求证明是他们的牌子,他想了个法子,找到了证据;品牌方做出回应

北青网-北京青年报
2026-09-19 13:27:14
中国男篮输伊朗无缘铜牌!仅靠庞峥麟李弘权死顶,攻守体系拉胯!

中国男篮输伊朗无缘铜牌!仅靠庞峥麟李弘权死顶,攻守体系拉胯!

篮球资讯达人
2026-09-20 17:29:00
2-0领先连丢三局!王艺迪12-11赛点被浪费 日乒削球手又造大逆转

2-0领先连丢三局!王艺迪12-11赛点被浪费 日乒削球手又造大逆转

颜小白的篮球梦
2026-09-20 15:18:10
朝鲜射击队弹药未被日本政府批准,痛失亚运出赛机会;此前朝鲜选手在历届亚运会射击共斩获41金,占其金牌总数三分之一

朝鲜射击队弹药未被日本政府批准,痛失亚运出赛机会;此前朝鲜选手在历届亚运会射击共斩获41金,占其金牌总数三分之一

极目新闻
2026-09-20 16:57:14
从这两条“荒诞”新闻,看清了普通人最无力的悲哀

从这两条“荒诞”新闻,看清了普通人最无力的悲哀

清书先生
2026-09-19 16:53:53
朝鲜攻击无人机生产工厂内部画面首次公开,产品摆满整个车间

朝鲜攻击无人机生产工厂内部画面首次公开,产品摆满整个车间

澎湃新闻
2026-09-20 10:18:28
低空经济亡于2026

低空经济亡于2026

凤眼论
2026-09-20 15:24:34
易平接受纪律审查和监察调查

易平接受纪律审查和监察调查

贵阳网
2026-09-20 15:05:29
苍天饶过谁?黄某某从拒绝儿子参加丈夫葬礼就注定自己的败局!

苍天饶过谁?黄某某从拒绝儿子参加丈夫葬礼就注定自己的败局!

再战五百回合
2026-09-20 10:38:00
“秦始皇陵为什么不挖”冲上热搜,文物修复专家:贸然打开冲击很大,没必要动,要对天地、对自然有敬畏之心

“秦始皇陵为什么不挖”冲上热搜,文物修复专家:贸然打开冲击很大,没必要动,要对天地、对自然有敬畏之心

极目新闻
2026-09-20 14:12:54
终于搞清楚了,为何各地被要求“老破小”加装电梯,目的十分明确

终于搞清楚了,为何各地被要求“老破小”加装电梯,目的十分明确

爱看剧的阿峰
2026-09-20 02:44:42
高铁“三不带”全国统一执行!出行收拾行李,这三样千万别带上车

高铁“三不带”全国统一执行!出行收拾行李,这三样千万别带上车

天气观察站
2026-09-20 00:35:03
“螃蟹实验”又火了,儿子不吃的大闸蟹给女儿吃,家长无辜成了靶子

“螃蟹实验”又火了,儿子不吃的大闸蟹给女儿吃,家长无辜成了靶子

熙熙说教
2026-09-20 15:25:22
王源演唱会结束一看手机“天塌了”:几万人面对面建群,结果触发安全风控机制,只剩他一个人

王源演唱会结束一看手机“天塌了”:几万人面对面建群,结果触发安全风控机制,只剩他一个人

大风新闻
2026-09-20 14:30:04
男篮首节压制伊朗!首发一塌糊涂,靠替补反超,失误太多了!

男篮首节压制伊朗!首发一塌糊涂,靠替补反超,失误太多了!

篮球资讯达人
2026-09-20 16:04:21
以总理公开盘点暗杀名单,“我们对哈梅内伊做了什么”,台下高喊“已被消灭”,还点名纳斯鲁拉、辛瓦尔、哈尼亚等

以总理公开盘点暗杀名单,“我们对哈梅内伊做了什么”,台下高喊“已被消灭”,还点名纳斯鲁拉、辛瓦尔、哈尼亚等

极目新闻
2026-09-20 16:04:17
伊朗这一仗打下来,其实留下一笔很现实的账:未来50年,中美之间爆发全面战争的可能性,大概率会非常低

伊朗这一仗打下来,其实留下一笔很现实的账:未来50年,中美之间爆发全面战争的可能性,大概率会非常低

扶苏聊历史
2026-09-19 16:31:41
太猛了!中国1小时连夺3金,打破世界纪录+16岁杜雨宸一战成名

太猛了!中国1小时连夺3金,打破世界纪录+16岁杜雨宸一战成名

林小湜体育频道
2026-09-20 14:24:21
2026-09-20 17:52:49
FounderPark incentive-icons
FounderPark
关注AI创业,专注和创业者聊真问题
1296文章数 163关注度
往期回顾 全部

科技要闻

谷歌承认:AI模型“黑”进3家公司

头条要闻

快递员救助摔倒老人反遭其家属索赔92万元 本人发声

头条要闻

快递员救助摔倒老人反遭其家属索赔92万元 本人发声

体育要闻

2026亚运会开幕式 胡明轩吴愉担任旗手

娱乐要闻

许嵩刚官宣结婚,冯禧黑历史就被扒

财经要闻

民企土地 被政府"无偿收储"后转手卖7亿

汽车要闻

FREELANDER神行者8开启交付 首批新车正式交付用户

态度原创

教育
家居
房产
公开课
军事航空

教育要闻

青园实验小学国防教育馆正式开馆 红色沃土滋养强国少年

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

补偿方案曝光!三亚海润悦府,即将登场!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗称已向美政府传达7项谈判条件

无障碍浏览 进入关怀版