网易首页 > 网易号 > 正文 申请入驻

AI封神了!无剪辑一次直出60秒《猫和老鼠》片段,全网百万人围观

0
分享至

机器之心报道

编辑:杜伟、蛋酱

AI 圈永远不缺「新活」。

这两天,加州大学伯克利分校、斯坦福大学、英伟达等机构联合制作的《猫和老鼠》AI短片火了。

论文共同一作 Karan Dalal 的帖子收获百万观看。

我们先来欣赏下面两段视频,重温儿时的快乐。

故事梗概:In an underwater adventure, Jerry locates a treasure map and searches for the treasure while evading Tom in a chase through coral reefs and kelp forests. Jerry triumphantly discovers treasure inside a shipwreck, blissfully celebrating while Tom's pursuit leads him into trouble with a hungry shark. (在一次水下探险中,Jerry 找到了藏宝图,并在躲避 Tom 追捕的同时寻找宝藏,途中穿过珊瑚礁和海藻森林。Jerry 在一艘沉船中发现了宝藏,欣喜若狂地庆祝着,而 Tom 的追捕却让他陷入了饥饿鲨鱼的困境。)

故事梗概:Tom is happily eating an apple pie at the kitchen table. Jerry looks longingly wishing he had some. Jerry goes outside the front door of the house and rings the doorbell. While Tom comes to open the door, Jerry runs around the back to the kitchen. Jerry steals Tom's apple pie. Jerry runs to his mousehole carrying the pie, while Tom is chasing him. Just as Tom is about to catch Jerry, he makes it through the mouse hole and Tom slams into the wall.(Tom 在厨房餐桌上开心地吃着苹果派。Jerry 看起来渴望地想要吃一些。Jerry 走到屋前门外按门铃。Tom 来开门时,Jerry 绕到后面的厨房。Jerry 偷走了 Tom 的苹果派。Jerry 拿着苹果派跑到他的老鼠洞里,而 Tom 正在追赶他。就在 Tom 即将抓住 Jerry 时,他从老鼠洞里逃了出来,Tom 撞到了墙上。)

类似的《猫和老鼠》短片共五集,每集都是全新的故事。大家可以在项目主页查看对应的故事梗概和完整的提示词。

项目主页:https://test-time-training.github.io/video-dit/

效果怎么样?如果不提前告知,你能分辨出它们是 AI 生成的吗?

据论文另一位共同一作 Gashon Hussein 介绍,为了实现逼真的动画效果,他们利用 TTT(Test-time Training,测试时训练)层来增强预训练 Transformer,并进行了微调,从而生成了时间和空间上连贯性很强的《猫和老鼠》一分钟短片。

尤其值得注意的是,所有视频都是由模型一次性直接生成,没有进行任何二次编辑、拼接或后期处理。

Gashon Hussein 进一步解释了背后的技术原理。

TTT 层是专门的 RNN 层,其中每个隐藏状态代表了一个机器学习模型。此外,这些层内的更新使用梯度下降来完成。本文将 TTT 层集成到一个预训练的 Diffusion Transformer 中,随后使用文本标注对长时间视频进行微调。并且,为了管理计算复杂度,自注意力被限制在局部片段,而 TTT 层以线性复杂度来高效地处理全局上下文。

此外,为了高效地实现 TTT-MLP 内核,本文开发了一种「片上张量并行」(On-chip Tensor Parallel)算法,具体包括以下两个步骤:

  • 在 GPU 流多处理器(Sreaming Multiprocessor,SM)之间划分隐藏状态模型的权重;
  • 利用 Hopper GPU 的 DSMEM 功能在 SM 之间执行高效的 AllReduce 操作,显著降低全局内存(HBM)和共享内存(SMEM)之间的数据传输,确保大量隐藏状态在 SMEM 内可以有效访问。

下图 3 为方法概览,其中(左)为本文修改后的架构在每个注意力层后添加一个带有可学习门的 TTT 层,(右)为整体 pipeline 创建了由 3 秒片段组成的输入序列,这种结构允许在片段上局部应用自注意力层,在整个序列上全局应用 TTT 层。

具体实现过程是这样的:

本文研究者从一个预训练好的 DiT(CogVideo-X 5B)开始,它只能以 16 帧 / 秒的速度生成 3 秒钟的短片(或以 8 帧 / 秒的速度生成 6 秒钟的短片)。然后添加了从零开始初始化的 TTT 层,并对该模型进行微调,以便从文本故事板生成一分钟的视频。研究者将自注意力层限制在 3 秒钟的片段内,使其成本保持在可控范围内。仅通过初步的系统优化,训练运行就相当于在 256 台 H100 上花费了 50 个小时

这项研究博得了评论区一众网友的惊呼与赞许。

研究细节

在论文《One-Minute Video Generation with Test-Time Training》中,英伟达、斯坦福等机构的研究者介绍了《猫和老鼠》短片背后的更多生成技术细节。

  • 论文标题:One-Minute Video Generation with Test-Time Training
  • 论文地址:https://arxiv.org/pdf/2504.05298

此前视频生成技术限制背后的根本挑战是长上下文,因为 Transformers 中自注意力层的成本随着上下文长度的增加而呈二次曲线增加。这一挑战在生成动态视频时尤为突出,因为动态视频的上下文不容易被 tokenizer 压缩。使用标准 tokenizer,每段一分钟的视频都需要 30 多万个上下文 token。基于自注意力,生成一分钟视频所需的时间要比生成 20 段每段 3 秒钟的视频增加 11 倍,而训练所需的时间也要增加 12 倍。

为了应对这一挑战,最近有关视频生成的研究将 RNN 层作为自注意力的有效替代方法,因为 RNN 层的成本随上下文长度呈线性增长。现代 RNN 层,尤其是线性注意力的变体(如 Mamba 和 DeltaNet),在自然语言任务中取得了令人印象深刻的成果。然而,我们还没有看到由 RNN 生成的具有复杂故事或动态动作的长视频。

本文研究者认为,这些 RNN 层生成的视频复杂度较低,因为它们的隐藏状态表现力较差。RNN 层只能将过去的 token 存储到固定大小的隐藏状态中,而对于 Mamba 和 DeltaNet 等线性注意力变体来说,隐藏状态只能是一个矩阵。要将成百上千个向量压缩到一个只有数千级的矩阵中,这本身就是一项挑战。因此,这些 RNN 层很难记住远处 token 之间的深层关系。

因此研究者尝试使用另一种 RNN 层,其隐藏状态本身也可以是神经网络。具体来说,研究者使用两层 MLP,其隐藏单元比线性注意力变体中的线性(矩阵)隐藏状态多 2 倍,非线性也更丰富。即使在测试序列上,神经网络的隐藏状态也会通过训练进行更新,这些新层被称为测试时间训练层(TTT)。

局部注意力机制在汤姆的颜色、杰瑞的鼠洞之间保持了一致性,并且扭曲了汤姆的身体。

TTT-MLP 在整个视频时长中表现出强大的特性和时间一致性。

研究者策划了一个文本到视频的数据集,该数据集基于大约 7 小时的《猫和老鼠》动画片,并附有人类注释的故事板。他们有意将范围限制在这一特定领域,以便快速进行研究迭代。作为概念验证,该数据集强调复杂、多场景和具有动态运动的长篇故事,此前的模型在这些方面仍需取得进展;而对视觉和物理逼真度的强调较少,因为此前的模型在这些方面已经取得了显著进展。研究者认为,尽管本文是面向这一特定领域的长上下文能力改进,但也会转移到通用视频生成上。

生成质量评估

在测评中,与 Mamba 2、Gated DeltaNet 和滑动窗口注意力层等强大的基线相比,TTT 层生成的视频更连贯,能讲述复杂的动态故事。

在 LMSys Chatbot Arena 中,GPT-4o 比 GPT-4 Turbo 高出 29 个 Elo 分数。

具体对比参考下列 demo:

当汤姆咆哮并追逐杰瑞时,Mamba 2 扭曲了汤姆的外貌。

Gated DeltaNet 在汤姆的不同角度上缺乏时间一致性。

滑动窗口注意力改变了厨房环境并重复了杰瑞偷馅饼的场景。

不过,在生成内容中,我们也能发现 TTT-MLP 一些明显的瑕疵。

1、时间一致性:盒子在同一场景的 3 秒片段之间变形。

2、运动自然性:奶酪悬停在半空中,而不是自然地落到地上。

3、美学:当汤姆转身时,厨房里的灯光变得更加明亮。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
华为也无奈!新款问界M8大定仅4600台,三大矛盾,有内因又有外患

华为也无奈!新款问界M8大定仅4600台,三大矛盾,有内因又有外患

春雨说科技
2026-11-16 14:53:35
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
净赚44亿,卡牌之王IPO悬了

净赚44亿,卡牌之王IPO悬了

投资家
2026-11-17 21:13:33
美军潜艇司令抛出论断:面对中国095和096,美军已不再遥遥领先

美军潜艇司令抛出论断:面对中国095和096,美军已不再遥遥领先

起喜电影
2026-11-18 05:00:03
曾经很火的鲈鱼,为啥吃的人越来越少了,鱼贩:5个原因太现实

曾经很火的鲈鱼,为啥吃的人越来越少了,鱼贩:5个原因太现实

小谈食刻美食
2026-07-25 08:54:45
为什么说等窗口不等于全球到达

为什么说等窗口不等于全球到达

小眼睛小世界
2026-11-17 14:10:58
河南00后女生重达220斤,却嫁94斤甘肃小伙,两人身高相差28厘米

河南00后女生重达220斤,却嫁94斤甘肃小伙,两人身高相差28厘米

橘仔看世界
2026-09-22 16:14:52
历史规律会再次应验?中国或有可能成为地球上最后一个超级大国

历史规律会再次应验?中国或有可能成为地球上最后一个超级大国

龙隐天下
2026-11-17 00:45:31
跑光了!6年少了8300万人,年轻人说不交就不交,问题出在哪?

跑光了!6年少了8300万人,年轻人说不交就不交,问题出在哪?

南宗历史
2026-10-14 00:36:57
拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

影孖看世界
2026-10-13 23:32:38
钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

墨策讲历史
2026-11-04 22:47:01
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
2026年,越来越多的东西开始不对劲了。

2026年,越来越多的东西开始不对劲了。

放牛娃的遐想
2026-07-29 08:10:06
周启豪:原以为和陈幸同恋爱已经够幸福,没想到如今幸福又升级了

周启豪:原以为和陈幸同恋爱已经够幸福,没想到如今幸福又升级了

翰飞观事
2026-10-10 12:04:44
“我儿子敢这样穿,我上去就是一巴掌”,一套低认知穿搭火了

“我儿子敢这样穿,我上去就是一巴掌”,一套低认知穿搭火了

熙熙说教
2026-11-16 18:19:14
三航母集结中东,美军随时可能动手,美媒披露重要“情报”

三航母集结中东,美军随时可能动手,美媒披露重要“情报”

荷兰豆爱健康
2026-11-17 13:59:41
浙江美女抗癌去世!年仅30岁,前后才5个月,大冬天不得不吃冰块、扇风扇缓解,男友发帖悼念

浙江美女抗癌去世!年仅30岁,前后才5个月,大冬天不得不吃冰块、扇风扇缓解,男友发帖悼念

火山詩话
2026-11-17 10:18:20
中国已经成为全球第一个集体拒接电话的国家

中国已经成为全球第一个集体拒接电话的国家

黯泉
2026-06-26 10:44:35
央视除名、被大佬睡出位、靠肉体换资源?方琼秘闻多炸裂

央视除名、被大佬睡出位、靠肉体换资源?方琼秘闻多炸裂

地球记
2026-10-14 19:09:51
第1名没争议,余红旧事第3,谷雨第8:2026年悬疑剧前十排名出炉

第1名没争议,余红旧事第3,谷雨第8:2026年悬疑剧前十排名出炉

喜欢历史的阿繁
2026-11-18 01:04:55
2026-11-18 06:16:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142759关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

本地
亲子
房产
旅游
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

奶瓶界爱马仕,批量收割中产父母

房产要闻

5381亩之后,三亚绿谷,等一个500强!

旅游要闻

乌江边一座小山营盘,吴三桂久攻不下,最后栽在一名被俘号兵手里

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版