宾大提出F³：事件相机迎来“预测性”表征新范式，光流、分割、深度全SOTA！

文章来源：我爱计算机视觉（ID：aicvml）

今天想和大家聊聊一种非常酷的传感器——事件相机（Event Camera），以及一篇来自宾夕法尼亚大学的最新研究，它为处理这类独特数据提出了一种极具启发性的新方法。

事件相机和我们手机、相机里常见的传统相机很不一样。传统相机像一个固定的“帧”画家，每隔一段时间（比如1/30秒）就“画”一幅完整的图像。而事件相机则更像一个高度敏感的“变化捕捉者”，它没有固定的帧率，只有当视野中某个像素的亮度发生变化时，它才会记录下一个“事件”——包含时间戳、像素坐标和亮度变化方向（变亮或变暗）。

这种特性使得事件相机在处理高速运动场景时几乎没有运动模糊，并且拥有极高的时间分辨率和动态范围，在光线剧烈变化的环境下也能稳定工作。但它的输出是稀疏、异步的数据流，如何从中高效地提取有用的信息，一直是计算机视觉领域的一个挑战。

这篇名为 《Fast Feature Field (F³): A Predictive Representation of Events》 的论文，就为我们带来了一个优雅的解决方案。

• 论文标题 : Fast Feature Field (F³): A Predictive Representation of Events

• 作者 : Richeek Das, Kostas Daniilidis, Pratik Chaudhari

• 机构 : 宾夕法尼亚大学

• 论文地址 : https://arxiv.org/abs/2509.25146

• 项目主页 : https://www.seas.upenn.edu/~richeek/f3

• 代码仓库 : https://github.com/grasp-lyrl/fast-feature-fields

作者们提出了一个非常巧妙的思路：一个好的事件数据表征，应该蕴含足够的信息来预测未来即将发生的事件。基于这个思想，他们设计了名为 快速特征场（Fast Feature Field, F³） 的模型。

上图直观展示了F³的核心思想和效果。它像生物视网膜一样，将原始、稀疏的事件信号（B）处理成更高级、更鲁棒的特征（C），能够直接用于各种下游视觉任务，并在分割、光流和深度估计等任务上取得了优异成果（D）。

F³的核心任务是一个自监督学习过程：利用过去的事件（e-）来预测未来的事件（e+）。

具体来说，它的网络架构设计得相当高效：

F³的整体架构如上图所示。它首先使用一个哈希编码器（Hash Encoder）来处理过去一段时间内（t-Δt 到 t）的事件时空坐标，然后通过时间池化和空间平滑，最终在每个像素位置（u）和当前时间（t）生成一个多通道的特征向量 F³(t, u)。这个特征向量就是对该时空区域事件信息的浓缩表示。整个模型通过一个简单的线性层（ψ）来预测未来事件，并使用Focal Loss进行训练。

这种设计的最大优势在于，它将稀疏、异步的事件流转换成了一个密集的、多通道的“特征图像”。这个特征图像保留了场景的结构和运动信息，可以直接输入到任何为标准图像设计的计算机视觉算法中，极大地拓宽了事件相机的应用范围。

更关键的是，得益于多分辨率哈希编码（multi-resolution hash encoding）等技术的运用，F³的计算速度极快，在高清（HD）分辨率下能达到 120 Hz，在VGA分辨率下更是高达 440 Hz。

全方位领先的实验结果

为了验证F³的实力，研究者们在各种极具挑战性的场景下进行了测试，涵盖了不同的机器人平台（汽车、四足机器人、无人机）、不同的光照条件（白天、夜晚）和不同的环境（室内、室外、城市、越野）。

实验所用的数据集来源非常广泛，确保了模型的泛化能力。

F³在三大主流视觉任务上都展现了当前最佳（SOTA）的性能。

光流估计

在光流估计任务中，F³能够准确地捕捉场景的运动信息。从定性结果来看，F³生成的光流场（下图左）相比其他方法（中、右）更加平滑和准确。

定量的比较也证实了这一点，在DSEC等主流数据集上，F³的平均终点误差（EPE）显著低于之前的方法。

语义分割

将F³特征输入到分割模型中，它同样表现出色。下图展示了在M3ED数据集上的定性结果，可以看到F³能够清晰地分割出道路、车辆、行人等不同的类别。

在DSEC数据集上的定量结果显示，F³在平均交并比（mIoU）指标上大幅领先。

单目深度估计

F³同样可以用于单目深度估计，并且能够生成高质量的深度图。在MVSEC等数据集上，它的性能也超越了现有的方法。

最令人印象深刻的是，基于F³的下游任务推理速度同样很快，在高清分辨率下可以达到 25-75 Hz，这对于需要实时响应的机器人应用来说至关重要。

总结

CV君认为，F³这项工作最大的亮点在于它找到了一个非常优雅和高效的方式来“解锁”事件数据中蕴含的丰富信息。通过“预测未来”这样一个简单的自监督任务，模型被迫学习到了场景的内在结构和动态变化，从而生成了高质量的通用特征。

这种“化繁为简”的思路，将复杂的异步稀疏数据流问题，转换为了我们所熟悉的密集图像特征处理问题，为事件相机在自动驾驶、机器人、无人机等领域的广泛应用铺平了道路。它不仅性能卓越，而且速度飞快，展现了巨大的实际应用潜力。

大家对这种通过预测来学习表征的方法怎么看？你觉得它未来还能用在哪些有趣的场景？欢迎在评论区留下你的看法！