网易首页 > 网易号 > 正文 申请入驻

苹果开源两大视频生成模型!单卡延迟36毫秒,技术秘籍还能给别家模型提速

0
分享至


智东西
编译 孙小雯
编辑 程茜

智东西11月18日消息,今天,苹果开源面向实时交互的视频生成模型FastFrames系列,包含13亿参数的FastFrames-S和140亿参数的FastFrames-L。两款模型面向视频生成研究人员和交互应用开发者,主打低延迟480P视频生成。

据苹果公布的测试,FastFrames-S在单张英伟达B200 GPU上的生成延迟为36毫秒,在保持与其基础模型Causal Forcing++相近生成质量的同时,速度达到后者的约7.6倍。FastFrames-L与同样基于通义万相Wan2.1-14B开发的实时视频模型Krea-Realtime生成效果相当,单卡速度约为后者的10.6倍;使用8张B200后,延迟进一步降至45毫秒。


▲苹果公布的生成质量与延迟对比(图源:苹果)

为了检验这套加速方法是否可推及其他模型,苹果另外选择了两款外部模型进行优化。其中,蚂蚁灵波团队的LingBot 1.3B经优化后,响应速度约为原版的16倍。斯坦福大学等团队的RealWonder经优化后,响应速度约为原版的22倍。

针对FastFrames系列,两款模型实现提速的训练方法不同。S版选择冻结Causal Forcing++基础生成器的权重,另行训练负责画面输出和历史信息处理的两个网络。L版则对阿里通义万相Wan2.1-14B进行蒸馏,使其能够用更少步骤连续生成后续画面,再训练上述配套网络。

从案例效果来看,两款模型生成的画面都有较细腻的质感和丰富的光影。不过,S版的部分案例中存在文字乱码、提示词理解偏差、画面不够稳定的情况。以官方给出的女孩拉小提琴案例为例,S版的细节处理较粗糙,琴弓明显偏离琴弦,女孩的面部也随着琴弓来回移动出现变形。相比之下,L版在人物面部和演奏动作上的表现更稳定。


▲FastFrames-S生成的女孩拉小提琴视频(图源:苹果)


▲FastFrames-L生成的女孩拉小提琴视频(图源:苹果)

目前,开发者可从Hugging Face下载FastFrames模型权重,配合GitHub代码,在搭载英伟达GPU的Linux设备上运行文生视频任务。苹果同时公开了训练和评测工具,供开发者继续训练、复现实验。模型权重免费提供下载,许可限定为非商业科研用途。

GitHub代码仓库:
https://github.com/apple-aiml-research/ml-fastframes

Hugging Face开源地址:
FastFrames-S:https://huggingface.co/apple/FastFrames-S
FastFrames-L:https://huggingface.co/apple/FastFrames-L

技术报告地址:
https://apple-aiml-research.github.io/ml-fastframes/

一、沙滩写字、羊驼跳舞,S版瑕疵偏多,L版生成更细腻

苹果在官方项目页公开了22组文生视频对比,展示FastFrames-S、FastFrames-L及对应对照模型的输出,覆盖文字生成、动物动作和人物场景等任务。

在文字生成案例中,提示词要求镜头从空中下降到黑沙滩,海浪泡沫在沙面形成“STAY CURIOUS”字样,并在海水流动时保持文字清晰可读。S版生成的文字出现乱码,L版生成的文字准确清晰,后者在光照、阴影和构图方面也更精致。


▲FastFrames-S生成的海浪文字视频(图源:苹果)


▲FastFrames-L生成的海浪文字视频(图源:苹果)

在动物动作案例中,提示词要求一只穿彩色睡衣的羊驼在舞台上跳舞,腿部和尾巴随动作摆动。这组视频可用于对照两款模型对动物动作、服装和身体关系的处理,两款模型对“跳舞”指令的理解不同,S版把羊驼做成双腿站立的拟人形象,让它挥动前肢、左右摆身,舞蹈动作更明显,L版保留了羊驼四足着地的体态,毛发和睡衣纹理更清楚,但动作主要是抬起前腿、原地踏步,幅度较小。


▲FastFrames-S生成的羊驼跳舞视频(图源:苹果)


▲FastFrames-L生成的羊驼跳舞视频(图源:苹果)

在人物场景案例中,提示词要求咖啡馆中的女子缓慢搅拌咖啡,随后看向窗外微笑,镜头先靠近面部、再拉远,呈现咖啡蒸汽、室内灯光和窗外雨景。S版和L版都理解了需求,但S版生成画面人物发质纹理还原不够细腻,整体光感也不够自然,L版则更加符合真实场景中的光学环境。


▲FastFrames-S生成的咖啡馆人物视频(图源:苹果)


▲FastFrames-L生成的咖啡馆人物视频(图源:苹果)

二 、苹果将加速方法用于其他模型,提速后最高可达原版22倍

除了展示S、L两款新模型的生成效果,苹果还将FastFrames的加速方法用于其他团队已有的模型,检验镜头控制和物理交互场景中的响应效果。测试对象分别为蚂蚁灵波团队的世界模型LingBot 1.3B,以及斯坦福大学等团队的物理交互视频生成系统RealWonder。

首先,苹果用LingBot 1.3B测试加速效果。屏幕左右并排运行原版与加速版,两边同时接收相同的键盘输入。操作者先在巨石阵中前进、转动视角,随后切换到石砌走廊,持续按住前进键。加速版更快地更新画面,镜头随操作连续向前移动。


▲LingBot 1.3B加速前后的巨石阵导航对比,左为原版,右为加速版(图源:苹果)


▲LingBot 1.3B加速前后的走廊导航对比,左为原版,右为加速版(图源:苹果)

苹果透露,LingBot 1.3B的生成延迟从原版最快官方配置的842毫秒降至52毫秒,响应速度约为此前的16倍。两项配置分别使用2张、8张B200 GPU。

接着,苹果用RealWonder测试加速效果,物体响应速度提升明显。操作者拖动水面上的灯笼,系统接着生成灯笼移动、水面变化的画面。苹果为RealWonder加入更快的画面解码和缓存修正网络,并优化计算执行方式,将生成延迟从原版单张B200上的1141毫秒,降至加速版8张B200上的51毫秒,速度约为原版的22倍。


▲RealWonder加速前后的灯笼拖拽对比,左为原版,右为加速版(图源:苹果)

三、更换解码器、修正缓存、优化GPU计算,苹果三招降低延迟

为了降低生成延迟,苹果对S、L两款模型进行了三项优化:用轻量解码器更快地输出画面、用小网络减少更新历史信息时的重复计算、调整GPU的计算安排。

优化之前,苹果先分析了S版基础模型Causal Forcing++生成视频的耗时。在单张B200上,Causal Forcing++每生成一组画面约需272毫秒,其中两步去噪耗时83.2毫秒,缓存更新耗时41.6毫秒,画面解码耗时147毫秒。解码和缓存更新合计占这一组画面生成总耗时的约69%。


▲Causal Forcing++生成流程及耗时(图源:苹果)

第一项优化针对最耗时的画面解码。原有VAE解码器要反复放大内部特征,在越来越高的分辨率下计算,才能输出完整画面。苹果先尝试用一层简单计算直接输出像素,结果虽然能看出画面内容,细节却比较模糊。

团队随后增加处理层,设计出轻量像素解码器。新解码器在低分辨率下完成主要计算,最后一次性输出完整画面,既减少高分辨率计算,又能保留头发、雨滴等细节。以S版为例,解码耗时从147毫秒降至约1毫秒。

第二项优化针对缓存更新。为了让后续画面接得上,模型需要保存前面已经生成的内容。原流程每生成一组画面,都要额外运行一次完整的生成网络,整理这组画面的缓存信息。

苹果改为复用最后一步去噪已经算出的缓存,再用小网络修正,省去了额外运行完整生成网络的开销。S版缓存更新耗时从41.6毫秒降至约2毫秒,L版降至约6毫秒,速度分别约为原流程的20倍、12倍。

第三项优化是让GPU承担更多并行计算。逐步生成视频时,每次新增的画面内容较少,GPU算力可能用不满。苹果将历史缓存分段,同时计算各段,再合并结果。在L版模型上,将缓存分成5段,使单次生成网络计算的延迟降低约13%。

苹果还提前算好重复使用的位置编码、提示词等信息,并合并部分原本分开的运算。经过这些调整,S版单次去噪网络计算耗时从41.6毫秒降至16.4毫秒,L版从89.2毫秒降至75.6毫秒。

在8卡配置下,苹果把画面内容分配给不同GPU,共同完成生成网络的计算。S、L两版的单次去噪网络计算耗时进一步降至5.8毫秒、20.3毫秒。


▲FastFrames-S优化后的生成流程及耗时(图源:苹果)

四、1万条真实视频进行对抗训练,L版对Wan2.1-14B进行蒸馏

在训练方法上,两款模型的训练分工不同。S版已有能用两步去噪生成画面的基础模型,因此重点训练更快的画面输出和缓存处理模块。L版则需要先将Wan2.1-14B训练成两步生成器,再加入配套模块。

训练S版解码器时,苹果保持Causal Forcing++生成器的权重不变,让原生成器和VAE解码器生成示范,再让新解码器学习输出相同画面。该团队生成了约15万轮示范,每轮用于4次参数更新,合计约60万次更新。这一阶段使用32张B200,耗时约一周。

随后,苹果加入1万条真实视频进行对抗训练,让新解码器生成的画面更清晰、更接近真实视频。该阶段使用8张B200,耗时数小时。S版缓存修正网络则学习原生成网络更新后的缓存,使用32张B200,进行14.25万次参数更新。

完成训练和运行优化后,S版生成速度约为基础模型的7.6倍。在评估画面质量及内容是否符合提示词的VBench测试中,S版总分为84.23,基础模型为84.11,保持了相近的整体表现。

L版首先要改变Wan2.1-14B的生成方式,让它能够参考前面的画面,继续生成后续内容。苹果先用Wan2.1通过48步采样生成示范,记录噪声逐渐变成画面的过程,再使用256张B200训练教师模型,供后续蒸馏学习。

团队选取第1700次参数更新的教师模型,使用128张B200进行一致性蒸馏,让新模型用更少的去噪步骤生成接近教师模型的画面。随后,团队选取第3000次更新的权重,再用128张B200进行分布匹配蒸馏。模型在自己生成的画面基础上继续练习,改善连续生成的效果,最终得到两步生成器。

接着,苹果以S版解码器权重为起点,使用64张B200进行50万次参数更新,让L版解码器学习还原画面,再使用8张B200进行对抗训练。L版缓存修正网络使用64张B200,进行14.25万次参数更新。

完成训练和运行优化后,L版的单卡速度约为同规模模型Krea-Realtime的10.6倍。两者的VBench总分分别为84.44和84.42,生成视频质量接近。

结语:实时交互三大难,苹果发力低延迟,加速方案可复用

实时交互视频模型需要翻越三座大山:用户输入操作后,画面能否及时更新;连续改变指令时,模型能否准确执行,并保持人物和场景一致;长时间运行、同时服务多名用户时,算力成本能否支撑。

苹果此次着力缩短画面生成的等待时间。FastFrames通过改造画面解码、缓存更新和GPU计算,让已有视频模型更快输出画面,并在LingBot和RealWonder上验证了加速效果。对于交互应用开发者,这套方法提供了可复用的加速方案;对于用户,更及时的画面反馈有助于连续调整镜头、动作和场景,减少等待与反复重做。

来源:苹果

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
伊朗宣布重大战果:活捉了!

伊朗宣布重大战果:活捉了!

有态度的何总
2026-11-17 19:30:31
日韩主要股指集体收涨

日韩主要股指集体收涨

澎湃新闻
2026-11-19 15:19:43
泰国总理阿努廷,重返广东家乡十分激动,脱口而出粤语:猴开森

泰国总理阿努廷,重返广东家乡十分激动,脱口而出粤语:猴开森

巷北楠猫本尊
2026-11-19 17:20:06
特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

悦心知足
2026-11-19 05:23:48
中美元首会晤美方官员曝光!鲁比奥贝森特等在列

中美元首会晤美方官员曝光!鲁比奥贝森特等在列

看看新闻Knews
2026-11-19 15:21:00
上汽高端大型SUV官宣,15万就有百万气场!

上汽高端大型SUV官宣,15万就有百万气场!

米粒说车唯一呀
2026-11-19 15:04:38
重磅截胡!波切蒂诺钦点曼联首签!硬抢阿森纳头号目标

重磅截胡!波切蒂诺钦点曼联首签!硬抢阿森纳头号目标

澜归序
2026-11-19 11:00:30
婴儿是咋知道这个人是妈妈的?网友:我感觉新生儿谁第一个抱他,就相对好哄些

婴儿是咋知道这个人是妈妈的?网友:我感觉新生儿谁第一个抱他,就相对好哄些

带你感受人间冷暖
2026-11-07 00:05:26
深圳APEC让很多外国人惊喜,印度人的说法最离谱

深圳APEC让很多外国人惊喜,印度人的说法最离谱

世家宝
2026-11-18 20:15:33
贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

扶苏聊历史
2026-11-16 17:44:56
太前卫!学生情侣约定开房,房费一人承担一次,半年男方多次清算订房记录,不愿多出一分,女生哭诉

太前卫!学生情侣约定开房,房费一人承担一次,半年男方多次清算订房记录,不愿多出一分,女生哭诉

蝴蝶花雨话教育
2026-10-29 00:05:14
弗拉格33分剑指詹皇神迹,欧文17+6+5+3,独行侠大胜勇士终结3连败

弗拉格33分剑指詹皇神迹,欧文17+6+5+3,独行侠大胜勇士终结3连败

钉钉陌上花开
2026-11-19 11:36:24
1600块吃一堆羊骨头,商家说“烤干了”。法律上,“火候大”能当免责牌吗?

1600块吃一堆羊骨头,商家说“烤干了”。法律上,“火候大”能当免责牌吗?

马俊哲律师
2026-11-19 10:04:27
《后会友期》:不会点评就别来了,把机会留给伊能静、张泉灵会点评的人

《后会友期》:不会点评就别来了,把机会留给伊能静、张泉灵会点评的人

八卦南风
2026-11-19 17:15:52
公交改革来了!不再全由财政兜底,今后乘车、老年优惠会变吗

公交改革来了!不再全由财政兜底,今后乘车、老年优惠会变吗

铭记历史呀
2026-10-24 00:28:25
卡尼最新表态:称赞中方团队专业理性,美加对话则很直接

卡尼最新表态:称赞中方团队专业理性,美加对话则很直接

观察者网
2026-11-19 16:05:38
韦世豪5个月无球可踢!或再度联手郑智,目睹蓉城丢冠后或洗心革面

韦世豪5个月无球可踢!或再度联手郑智,目睹蓉城丢冠后或洗心革面

奥拜尔
2026-11-19 14:04:27
APEC会后直奔大湾区,越南领导人喊话:非常欢迎中国高科技赴越

APEC会后直奔大湾区,越南领导人喊话:非常欢迎中国高科技赴越

南宗历史
2026-11-19 01:57:42
金饰克价年内暴跌近600元

金饰克价年内暴跌近600元

财联社
2026-11-19 12:12:03
2026-11-19 17:55:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12973文章数 117195关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
健康
教育
旅游
房产

本地新闻

乌兰察布:以前种土豆,现在种Token

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版