网易首页 > 网易号 > 正文 申请入驻

港大与可灵联合推出新视频世界模型,记忆力媲美Genie3

0
分享至

要让视频生成模型真正成为模拟真实物理世界的「世界模型」,必须具备长时间生成并保留场景记忆的能力。然而,交互式长视频生成一直面临一个致命短板:缺乏稳定的场景记忆。镜头稍作移动再转回,眼前景物就可能「换了个世界」。

这一问题严重制约了视频生成技术在游戏、自动驾驶、具身智能等下游应用的落地。8 月初,Google DeepMind 发布的Genie 3引爆 AI 圈,以其在长视频生成中依旧保持极强场景一致性的能力,被视为世界模型领域的质变之作。不过遗憾的是,Genie 3 并未公开任何技术细节。

来自港大和快手可灵的研究团队近期发表的Context as Memory论文,可能是目前学术界效果上最接近 Genie 3 的工作,且投稿时间早于 Genie 3 的发布。早在此前研究中,团队就发现:视频生成模型能够隐式学习视频数据中的 3D 先验,无需显式 3D 建模辅助,这与 Genie 3 的理念不谋而合。如下是一个结果展示:

技术上,团队创新性地提出将历史生成的上下文作为「记忆」(即 Context-as-Memory),利用 context learning 技术学习上下文条件,从而在整段长视频生成中实现前后场景一致性。

进一步地,为了高效利用理论上可无限延长的历史帧序列,论文提出了基于相机轨迹视场(FOV)的记忆检索机制(Memory Retrieval),从全部历史帧中筛选出与当前生成视频高度相关的帧作为记忆条件,大幅提升视频生成的计算效率并降低训练成本。

在数据构建上,团队基于Unreal Engine 5收集了多样化场景、带有精确相机轨迹标注的长视频,用于充分训练和测试上述技术。用户只需提供一张初始图像,即可沿设定的相机轨迹自由探索生成的虚拟世界。

  • 论文标题:Context as Memory: Scene-Consistent Interactive Long Video Generation with Memory Retrieval
  • 项目主页:https://context-as-memory.github.io/
  • 论文地址:https://arxiv.org/pdf/2506.03141

Context as Memory 能力展示

从上述视频可以观察到,Context as Memory 可以在几十秒的时间尺度下保持原视频中的静态场景记忆力,并在不同场景有较好的泛化性。

更多示例请访问项目主页:https://context-as-memory.github.io/

Context as Memory 创新点

研究者表示,Context as Memory 的主要创新点为:

  • 我们提出了 Context as Memory 方法,强调将历史生成的上下文作为记忆,无需显式 3D 建模即可实现场景一致的长视频生成。

  • 为了高效利用历史上下文,我们设计了 Memory Retrieval 方法,采用基于视场(FOV)重叠的相机轨迹规则进行动态检索,显著减少了需要学习的上下文数量,从而提高了模型训练与推理效率。

  • 实验结果表明,Context as Memory 在长视频生成中的场景记忆力表现优越,显著超越了现有的SOTA方法,并且能够在未见过的开放域场景中保持记忆。

Context as Memory 算法解读

如上图(a)所示,Context-as-Memory 的长视频生成是通过基于 Context learning 的视频自回归生成来实现的,其中,所有历史生成的视频帧作为 context,它们被视为记忆力的载体。

进一步地,如上图(b)所示,为了避免将所有历史帧纳入计算所带来的过高计算开销,提出了 Memory Retrieval 模块。该模块通过根据相机轨迹的视场(FOV)来判断预测帧与历史帧之间的重叠关系,从而动态筛选出与预测视频最相关的历史帧作为记忆条件。此方法显著减少了需要学习的上下文数量,大幅提高了模型训练和推理的效率。

Context as Memory 实验结果

在实验中,研究者将 Context-as-Memory 与最先进的方法进行了比较,结果表明,Context-as-Memory 在长视频生成的场景记忆力方面,相较于这些方法,表现出了显著的性能提升。

总结

在本文中,研究者提出了 Context-as-Memory,一种能够实现静态场景记忆的交互式长视频生成模型。Context-as-Memory 的核心创新在于,提出了一种无需显式 3D 建模,仅通过对历史上下文学习,即可使视频生成模型具备 3D 一致性的理解与生成能力。此外,Memory Retrieval 模块的提出进一步减少了需要学习的上下文数量,大大提高了模型在训练和测试阶段的效率。

团队近期在世界模型与交互式视频生成领域已经积累了多篇研究成果。其中包括整理了交互式视频生成领域工作的综述论文和观点论文,系统性地总结了该领域的发展现状,还提出了世界模型的五大基础能力模块:Generation,Control,Memory,Dynamics 以及 Intelligence。这一框架为后续基础世界模型的研究指明了方向,具有很高的学习与参考价值。在该框架指导下,团队不仅提出了专注于 Memory 能力的 Context-as-Memory 工作,还在 ICCV 2025 上发表了GameFactory论文。GameFactory 聚焦于世界模型的可泛化开放域控制能力,能够生成无限可交互的新游戏,并被选为 Highlight 论文。

相关论文信息:

[1] A Survey of Interactive Generative Video. https://arxiv.org/pdf/2504.21853

[2] Position: Interactive Generative Video as Next-Generation Game Engine. https://arxiv.org/pdf/2503.17359

[3] GameFactory: Creating New Games with Generative Interactive Videos. ICCV 2025 Highlight. https://arxiv.org/pdf/2501.08325

[4] Context as Memory: Scene-Consistent Interactive Long Video Generation with Memory Retrieval. https://arxiv.org/pdf/2506.03141

更多技术细节请参阅原论文。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
父母最大的成功,是这3件事上少管孩子!越不管,孩子越有出息

父母最大的成功,是这3件事上少管孩子!越不管,孩子越有出息

小书虫妈妈
2026-11-17 16:43:47
笑了笑了!自封勇士领袖!美媒提议2换1大交易

笑了笑了!自封勇士领袖!美媒提议2换1大交易

篮球实战宝典
2026-11-17 19:17:11
为什么说留英真正的红利被严重低估了?

为什么说留英真正的红利被严重低估了?

英国大学申请中心
2025-11-14 22:02:31
刘烨儿子久违现身,16岁诺一身高超180,过了容貌尴尬期变更帅了

刘烨儿子久违现身,16岁诺一身高超180,过了容貌尴尬期变更帅了

潋滟晴方DAY
2026-06-28 13:01:32
广州豹官方发布投票:选出您心仪的广州豹2027赛季主场

广州豹官方发布投票:选出您心仪的广州豹2027赛季主场

懂球帝
2026-11-17 19:39:11
台湾飞行员黄植诚起义后娶了空姐,8年后她前往美国再也没回来,安全部门半夜围了住处,谁也没想到最后在卧室搜出了这个

台湾飞行员黄植诚起义后娶了空姐,8年后她前往美国再也没回来,安全部门半夜围了住处,谁也没想到最后在卧室搜出了这个

磊子讲史
2026-11-16 14:38:55
经济学家曾直言:即使你房子跌30%,只要不卖就不会出现亏

经济学家曾直言:即使你房子跌30%,只要不卖就不会出现亏

青史卷中人
2026-11-18 01:26:27
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
刚刚,突然拉升!英伟达,迎关键一战!

刚刚,突然拉升!英伟达,迎关键一战!

证券时报
2026-11-17 22:36:24
1949年,得知卫立煌逃到香港,毛主席紧急指示:快通知合肥县政府

1949年,得知卫立煌逃到香港,毛主席紧急指示:快通知合肥县政府

老范谈史
2026-11-17 11:52:00
中日韩最大财团对比,三星约5万亿,三菱约5万亿,中国第一是谁呢

中日韩最大财团对比,三星约5万亿,三菱约5万亿,中国第一是谁呢

史之铭
2026-11-18 01:13:36
上任仅2个月,尤尼斯在街头走路时遭暗杀身亡,知情人:以军对其实施定点清除,另有数人在空袭中受伤

上任仅2个月,尤尼斯在街头走路时遭暗杀身亡,知情人:以军对其实施定点清除,另有数人在空袭中受伤

扬子晚报
2026-11-15 20:45:16
“央视主持人天团亮相深圳”2026年11月17日下午上了热搜榜

“央视主持人天团亮相深圳”2026年11月17日下午上了热搜榜

晓今娱
2026-11-17 15:08:35
“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

蝴蝶花雨话教育
2026-11-18 00:05:17
火光冲天!乌军无人机袭击引发俄罗斯最大石化工厂火灾,该厂距离乌克兰1300km

火光冲天!乌军无人机袭击引发俄罗斯最大石化工厂火灾,该厂距离乌克兰1300km

军迷战情室
2026-11-15 23:26:53
寿命与起夜次数有关?研究发现:寿命长的人,每晚起夜在这个次数

寿命与起夜次数有关?研究发现:寿命长的人,每晚起夜在这个次数

39健康网
2026-11-17 19:00:30
果然人类对飘窗的利用不足1%,看看年轻人的设计,那叫一个先进!

果然人类对飘窗的利用不足1%,看看年轻人的设计,那叫一个先进!

装修秀
2026-11-15 22:08:15
通航补贴少了8285万,减的几乎全是头部企业

通航补贴少了8285万,减的几乎全是头部企业

反做空一线
2026-11-16 23:41:51
乌克兰宣布重大消息,由于人员短缺及逃兵潮,已完全暂停组建新旅

乌克兰宣布重大消息,由于人员短缺及逃兵潮,已完全暂停组建新旅

碳基生物关怀组织
2026-11-17 16:44:07
英超弃将成德国新核!身披10号战袍 两场硬仗独造4球

英超弃将成德国新核!身披10号战袍 两场硬仗独造4球

球事百科吖
2026-11-17 06:14:17
2026-11-18 02:16:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142759关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
数码
教育
健康
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

情绪真能让健康人"伤心至死"?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版