当视频模型回到原点，它还认得这里吗？Honeycomb用恒定大小记忆守住长视频的一致性

来源：市场资讯

（来源：机器之心）

让视频生成模型沿着相机轨迹不断探索一个场景，并不算最难。真正困难的是：当镜头绕了一圈再次回到原点，房间的布局、家具的位置和墙面的纹理，是否还与最初一样？

现有视频世界模型可以生成视觉效果出色的短片。但随着生成过程不断延长，早期画面会逐渐离开模型有限的时间上下文。模型可能 “忘记” 已经见过的空间：沙发换了材质，门窗悄然移动，甚至房间的几何结构也发生变化。

一种直接的解决办法，是把过去观察到的内容全部保存下来。然而，无论保存的是 RGB 图像、三维点，还是扩散模型的潜特征，记忆都会随着视频长度持续增长。模型走得越远，需要保存和处理的历史就越多。

来自哈佛大学、麻省理工学院、新加坡国立大学与 MIT IBM Watson AI Lab 的研究团队提出 Honeycomb，试图回答一个更根本的问题：视频世界模型能否在持续吸收新场景信息的同时，让特征记忆始终保持固定大小？

Honeycomb 的答案是 HexMemory。它将场景压缩到六张固定尺寸的二维特征平面中，并通过 “读取、生成、写回” 的循环不断更新同一块记忆。无论视频生成多长，HexMemory 的特征存储量都不会随帧数继续增加。

图 1：闭环重访动态对比。从左到右依次为 Honeycomb、Spatia 与 LSM World。相机离开并返回起点后，Honeycomb 更好地保持了房间结构和物体外观。来源：Honeycomb 项目主页。

论文标题与作者信息。Jack Wei Lun Shi 与 Kaichen Zhou 为共同第一作者。来源：论文首页。

• 论文标题：Honeycomb: Constant-Size Scene Memory Representation for Video World Models

• 作者：Jack Wei Lun Shi (Co-first)、Kaichen Zhou (Co-first)、Haoyu Chen、Yufeng Weng、Keane Ong、Ruojin Cai、Hang Hua、Justin K.W. Yeoh、Mengyu Wang

• 论文：https://arxiv.org/abs/2609.37690

• 项目主页：jackswl.github.io/honeycomb

• 代码：github.com/kaichen-z/honeycomb

为什么长视频需要一块不会膨胀的记忆？

视频生成模型通常只能直接处理有限长度的上下文。对于短镜头，最近几帧已经提供了足够的信息；但在长时间、开放式的场景探索中，局部上下文无法回答一个重要问题：镜头很久以前见过的地方是什么样子？

现有方法大致采用两类空间记忆。Spatia 把观察到的 RGB 内容反投影到三维空间，持续建立彩色点云；LSM World 则把扩散模型潜特征与三维点关联，形成潜特征缓存。这些方法允许模型检索历史场景，却也有一个共同特点：新的观察会产生新的点或特征，记忆规模随生成过程持续增长。

如果视频只有几秒，这种增长或许可以接受。但对于需要长期探索的世界模型、交互式环境或具身智能系统，持续扩张的记忆最终会成为存储与计算负担。Honeycomb 因此不再逐条追加历史，而是把新旧观察反复压缩进一组固定结构。

图 2：三种空间记忆设计。Spatia 累积 RGB 点云，LSM World 累积潜特征点；Honeycomb 将场景写入固定尺寸的时空特征场。来源：Honeycomb 项目主页，对应论文 Figure 2。

核心设计：用六张平面记住一个不断扩展的世界

图 3：Honeycomb 整体框架。系统从首帧初始化 HexMemory，读取记忆以生成下一段视频，再将新观察写回同一组固定尺寸的平面。来源：Honeycomb 项目主页，对应论文 Figure 3。

Honeycomb 维护一块由六张固定尺寸特征平面组成的 HexMemory。系统先用输入首帧初始化记忆；每生成一个新的视频片段，就从记忆中读取条件，再把片段中的新观察写回原有张量。与持续追加潜特征点不同，Honeycomb 始终在同一组平面上更新。

1. HexMemory：三张空间平面，三张时空平面

HexMemory 使用 XY、XZ、YZ 三张空间平面，以及 ZT、YT、XT 三张时空平面。这里的 T 表示内容被写入记忆的时间。六张平面组成三对，每一对都覆盖 X、Y、Z、T 四个坐标轴。

查询某个三维位置在某次写入时刻对应的内容时，系统分别在相关平面上进行双线性采样，再组合这些特征。空间平面保存跨时间共享的场景结构，时空平面帮助表达随时间变化的内容。这相当于对四维场景特征场进行低秩分解，比直接维护完整四维网格或不断增长的点缓存更紧凑。

2. 前馈式写入器：只处理刚刚到来的新观察

系统首先用 VAE 将画面编码为潜特征，再结合深度与相机参数，把潜特征提升到三维世界坐标。每个三维点携带自身位置、潜特征、相机中心与观察射线方向。一个轻量网络为六张平面分别预测特征贡献，并通过双线性权重把信息分配给附近网格。

除了特征，每张平面还维护置信度图，记录不同单元接收了多少有效观察。这些置信度会在后续更新中决定旧信息和新信息各自应占多大权重。

图 4：前馈式写入器将三维点投影到二维平面，再以双线性权重把特征分配给四个相邻单元。该操作会在六张平面上分别执行。来源：Honeycomb 项目主页，对应论文 Figure 4。

3. 循环更新：扩展坐标范围，但不扩大张量

当新片段覆盖更大的空间或时间范围时，Honeycomb 不会增加平面尺寸，而是把旧平面重新映射到新的边界。固定网格因此可以覆盖更大的世界范围；代价是范围扩大后，单位空间的有效分辨率会降低。

经过变换的旧特征与当前片段的新特征先按置信度逐单元融合，再由一个小型网络预测残差修正。写入器只处理新片段，不需要重新读取完整历史，也不需要针对每个场景执行梯度优化。

生成下一段视频前，系统将三维点投影到目标相机视角，查询 HexMemory 并重建潜特征图。这些潜特征与可见性掩码通过类似 ControlNet 的条件分支进入视频扩散模型，使生成器能够重新访问已经离开时间上下文的场景信息。

实验见真章：离开场景后再次返回

图 5：闭环重访定性结果。Honeycomb 更好地恢复输入视角中的家具、纹理与空间布局，而对比方法出现不同程度的结构或外观漂移。来源：Honeycomb 项目主页，对应论文 Figure 1 与 Figure 5。

为了检验模型是否真正记住场景，研究团队采用闭环重访设置：模型从一张输入图像出发，沿相机轨迹离开初始位置，探索其他区域，最后再返回原始视角。最终画面越接近输入图像，说明长期记忆越可靠。

在 WorldScore 的闭环测试中，Honeycomb 在全部报告指标上取得最佳结果：闭环 PSNR 达到 17.22 dB，比表现第二的方法高 1.23 dB；SSIM 为 0.504，LPIPS 为 0.311。输入图像与最终重访画面之间的光流误差为 3.00 像素，而 Spatia 为 6.64 像素。

表 1：WorldScore 闭环重访结果。↑ 表示越高越好，↓ 表示越低越好。

不只记得过去，也能生成更准确的新视角

长期记忆的价值不仅体现在 “回到原点”。在 RealEstate10K 新视角合成实验中，模型从首帧出发，沿真实相机轨迹连续生成三个视频片段。Honeycomb 在 PSNR、SSIM 与 LPIPS 三项指标上均取得最佳结果。

图 6：Honeycomb 从单张输入图像出发，沿 RealEstate10K 相机轨迹连续生成三个自回归片段。来源：Honeycomb 项目主页。

表 2：RealEstate10K 新视角合成结果。

在整体视频生成质量方面，Honeycomb 在 WorldScore 上获得 65.52 的平均分，高于 Spatia 的 63.21 与 LSM World 的 61.20。需要强调的是，它并非在每一个子指标上都领先；其突出优势是在固定特征存储下，同时保持较强的生成质量、新视角合成与重访一致性。

固定大小，不代表只有一套昂贵配置

Honeycomb 默认采用分辨率为 512、特征秩为 48 的记忆平面，对应约 73.9 MB 的特征存储。由于容量由平面分辨率和特征维度决定，而不是由视频长度决定，应用可以根据设备资源与质量要求选择不同配置。

• 将平面分辨率从 512 降至 256 后，特征存储从 73.9 MB 降至 19.8 MB，减少约 73%。

• 同一设置下，闭环 PSNR 仅从 17.22 dB 降至 17.10 dB，SSIM 从 0.504 变为 0.500。

• 继续降至 128 分辨率时，记忆只需 5.8 MB，但质量下降开始更加明显。

表 3：HexMemory 分辨率与存储质量折中。

恒定的不只是存储，还有写入成本

研究团队还比较了三种更新记忆的方式。直接优化可以取得略高的重访指标，但每次写入约需 3.2 秒；替换式写入会重新处理全部历史观察，写入时间随片段数量从 11.2 毫秒增长到 40.1 毫秒。

Honeycomb 的循环写入器只处理最新片段，再与旧记忆融合。无论测试进行到第 2、5 还是第 9 个视频片段，写入时间都稳定在约 13 毫秒。与直接优化相比，它每次更新约快 240 倍；与重建完整历史相比，其写入成本不会随着视频长度继续增加。

表 4：不同记忆写入方式的时间与重访质量。

一点思考：世界模型需要的不只是下一帧

Honeycomb 的意义并不只是提出了一种更小的缓存。它展示了一种新的场景记忆方式：过去的信息不必以不断增加的图像、三维点或潜特征条目存在，也可以被持续压缩进一组固定结构。系统每次只处理最新观察，却仍能在未来视角中取回早期场景信息。

这种设计也有清晰的边界。由于平面尺寸保持不变，当相机探索的空间范围和时间跨度不断扩大时，固定网格必须表示越来越大的区域，单位空间的有效分辨率会逐渐降低。HexMemory 因而不是 “无限无损” 的记忆，而是在存储规模、覆盖范围与细节保留之间做出可控权衡。

此外，Honeycomb 仍依赖深度估计、相机轨迹和基础视频生成模型的能力。如果早期几何估计或生成结果出现错误，记忆更新也可能将误差带入后续状态。如何区分动态场景中的持久结构与短暂变化，以及如何在更长轨迹中管理有限分辨率，仍是值得继续研究的问题。

但这项工作已经证明：长时视频生成并不必然要求一块持续膨胀的场景缓存。未来的视频世界模型需要知道自己曾经到过哪里，理解哪些场景结构应该长期保持不变，并在重新返回时恢复同一个世界。

Honeycomb 用六张固定尺寸的特征平面，为这种能力提供了一种紧凑而高效的实现。当模型再次回到原点时，它不只是生成一幅看起来合理的画面，而是努力记住：这里，应该还是原来的这里。