网易首页 > 网易号 > 正文 申请入驻

Pika 基于 MiniMax H3 开源 H3 Flex,六步实现音视频联合生成

0
分享至

近日,Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入,供创作者进行镜头设计、参考生成和视频编辑。


本次发布包含两套 LoRA 适配器,分别用于文本及首尾帧条件生成、多模态参考生成,同时提供 MiniMax H3 基础组件和本地推理工具。模型原生支持 480P、768P 输出,可生成约 5 至 15 秒的视频及同步立体声音频。Pika 提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式,方便开发者将其加入现有创作工具。

在本地生成之外,Pika 可通过 API 提供 1080P、2K 和 4K 视频增强,以及音频分轨功能。创作者可以先以较低分辨率生成和筛选草稿,再对选定版本进行高分辨率处理;同步生成的声音则可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,方便在后期分别调整。高分辨率的增强视频和音频分轨则由 Pika API 服务提供。

Pika 在技术博客中介绍,团队先在内部音视频数据集上对 MiniMax H3 进行监督微调,再采用投影分布匹配蒸馏(PDMD),将教师模型的 50 步去噪压缩至 6 步。随后,团队通过奖励反馈学习和直接偏好优化训练 LoRA 适配器,改善美学质量、清晰度和指令遵循。适配器合并用于推理后,无须增加生成步数。

Pika 还对托管推理服务做了加速。在保持模型权重和六步采样方案不变的测试中,使用 8 张 NVIDIA B300 GPU 生成一段 5 秒、768P 音视频,条件编码、去噪和解码的合计耗时从 3.409 秒缩短至 2.129 秒,处理速度约为原来的 1.6 倍。


在视觉与音频表现上,Pika 公布的对比评测结果显示,H3 Flex 在五项视觉和音频质量指标上均在参评模型中取得最高得分,并在 DesignArena 文生视频榜单上取得第八名成绩,是该榜单下排名最高的开源视频模型。

今年 8 月,MiniMax H3 开源后,MiniMax 与合作企业围绕不同的使用场景,继续训练和优化模型,并在社区中开放,包括与 Running Hub 打造 MiniMax H3 480P;与 fal 选择面向实时生成做后训练和推理优化,推出了 H3 Max 768P、H3 Max 480P;以及 FastVideo 通过稀疏化和硬件适配推出的 FastH3、英伟达与 MIT 联合围绕 H3 的开发 StreamRender-H3、Open-H3-Regenerate-2K 等多款模型等,海外开发者围绕 H3衍生模型搭出了 Twitch 直播、24 小时“AI 电视台”和 AI 短视频直播软件等创新玩法。

H3 开源一个月内下载量已经超过 2400 万次,产生超过 300 个公开衍生模型,成为 2026 年全球下载量最高的模型之一。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
鲁能下赛季要是想补强左后卫,可以考虑打感情牌说服郑智放走爱将

鲁能下赛季要是想补强左后卫,可以考虑打感情牌说服郑智放走爱将

振刚说足球
2026-11-02 10:48:04
“土且不得体!”女中学生坚持内衣外穿,母亲做法让人无语!

“土且不得体!”女中学生坚持内衣外穿,母亲做法让人无语!

林林先生
2026-09-15 15:04:51
广东一女子买下同一楼层2套房,打通后发现家里喜提“环形跑道”,直言:和孩子在家一个在追一个在跑,永远抓不到

广东一女子买下同一楼层2套房,打通后发现家里喜提“环形跑道”,直言:和孩子在家一个在追一个在跑,永远抓不到

台州交通广播
2026-11-01 22:31:14
俄罗斯一亿五千万人,没见他们慌!美国三亿多人口,也没见他们愁!可中国坐拥十四亿人口,中国专家为什么偏偏先坐不住了

俄罗斯一亿五千万人,没见他们慌!美国三亿多人口,也没见他们愁!可中国坐拥十四亿人口,中国专家为什么偏偏先坐不住了

扶苏聊历史
2026-10-28 10:28:00
PCB概念板块拉升

PCB概念板块拉升

新浪财经
2026-11-02 22:53:35
男子被“1069”开头的银行短信“轰炸”,一年收到近百条,回“退订”也没用,起诉后竟发现“银行”是冒牌的,法院判了

男子被“1069”开头的银行短信“轰炸”,一年收到近百条,回“退订”也没用,起诉后竟发现“银行”是冒牌的,法院判了

扬子晚报
2026-11-02 10:37:04
西班牙一中餐馆视频网上走红,年轻华人打破“沉默社区”固有标签

西班牙一中餐馆视频网上走红,年轻华人打破“沉默社区”固有标签

红星新闻
2026-11-02 16:53:10
中午回家取文件,撞见岳母抱着五岁女儿哭,问清缘由我愣在原地

中午回家取文件,撞见岳母抱着五岁女儿哭,问清缘由我愣在原地

晓艾故事汇
2025-10-14 08:07:27
中央最新明确!公职人员办公设备、差旅住宿、会议伙食标准全解读

中央最新明确!公职人员办公设备、差旅住宿、会议伙食标准全解读

呼呼历史论
2026-10-31 12:48:59
密密麻麻!33岁女子体内取出197枚,医生:从医以来第一次见

密密麻麻!33岁女子体内取出197枚,医生:从医以来第一次见

上海约饭局
2026-09-19 10:42:08
《伟大的长征》别只埋怨博古和李德,真正要负责的人,始终不认错

《伟大的长征》别只埋怨博古和李德,真正要负责的人,始终不认错

天玑影视说
2026-10-21 11:18:14
0胜6负!33+34+38!NBA新一代空砍王诞生,文班的纪录保不住了

0胜6负!33+34+38!NBA新一代空砍王诞生,文班的纪录保不住了

微评体育圈
2026-11-02 19:06:17
薅完30块羊毛,我知道了数字人民币为什么流行不起来

薅完30块羊毛,我知道了数字人民币为什么流行不起来

小小河
2026-10-30 15:57:00
美国方面报告确认了:伊朗袭击损毁中东26个美军基地,主攻机库与预警系统,后扩大打击范围,致数十亿美元装备损失,已改变美军在中东部署

美国方面报告确认了:伊朗袭击损毁中东26个美军基地,主攻机库与预警系统,后扩大打击范围,致数十亿美元装备损失,已改变美军在中东部署

吉刻新闻
2026-11-02 08:21:43
同一个夜晚,两场集会,两种景象!奥巴马8000人场馆座无虚席,特朗普2400人场地规模引关注

同一个夜晚,两场集会,两种景象!奥巴马8000人场馆座无虚席,特朗普2400人场地规模引关注

聪先生
2026-11-01 14:35:13
鹿港反水!王惠美送无党籍球棒,蓝营县长候选人缺席

鹿港反水!王惠美送无党籍球棒,蓝营县长候选人缺席

生活魔术专家
2026-11-02 15:49:50
美把中国逼成芯片强国!2021年中国进口了2.8万亿元人民币的芯片,超过了石油进口额,那会儿芯片是卡在喉咙里的一根刺,喘口气都疼

美把中国逼成芯片强国!2021年中国进口了2.8万亿元人民币的芯片,超过了石油进口额,那会儿芯片是卡在喉咙里的一根刺,喘口气都疼

扶苏聊历史
2026-10-23 10:36:53
卡拉斯发表涉俄言论,外国记者:G20不是你能批准宾客名单的晚宴

卡拉斯发表涉俄言论,外国记者:G20不是你能批准宾客名单的晚宴

介知
2026-11-03 00:29:56
姆巴佩点球破门,皇马3比0桑坦德,中国转播停摆

姆巴佩点球破门,皇马3比0桑坦德,中国转播停摆

体坛观察猿
2026-11-02 01:35:47
迈尔斯敲定恩比德专职替补,湖人旧将驰援詹姆斯,五星76人夺冠稳了

迈尔斯敲定恩比德专职替补,湖人旧将驰援詹姆斯,五星76人夺冠稳了

篮球小方
2026-11-02 11:08:10
2026-11-03 02:39:00
硅星Breaknews incentive-icons
硅星Breaknews
Break news
8565文章数 78关注度
往期回顾 全部

科技要闻

连AI都有领导了!DeepSeek让它们自己抢活干

头条要闻

外籍男子凌晨突然被中国警察叫醒 原因引起关注

头条要闻

外籍男子凌晨突然被中国警察叫醒 原因引起关注

体育要闻

24岁老秀:说最狂的话,打最勇的球

娱乐要闻

宋慧乔首次公开离婚真相,原因心酸

财经要闻

央行:股票回购增持再贷款利率降至1%

汽车要闻

百万超跑同款悬架? 第二代海豹07野心不小

态度原创

本地
房产
手机
家居
艺术

本地新闻

十月奔赴迪庆,解锁梅里日照金山

房产要闻

新一轮来了!海口官方,下场收房!

手机要闻

iPhone Duo开售一周黄牛亏懵了 商户:黄牛做折叠屏全部都亏

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

17幅 日本当代写实油画家作品

无障碍浏览 进入关怀版