网易首页 > 网易号 > 正文 申请入驻

CVPR 2026|DROID-W:复杂室外动态场景,也能稳定SLAM

0
分享至





图1:给定任意动态视频,DROID-W 能够估计准确的动态点云,相机位姿,以及动态不确定性。



  • 论文标题:DROID-SLAM in the Wild
  • 论文:https://arxiv.org/pdf/2603.19076
  • 项目主页:https://moyangli00.github.io/droid-w
  • 代码:https://github.com/MoyangLi00/DROID-W
  • 数据集:https://cvg-data.inf.ethz.ch/DROID-W
  • 作者单位:苏黎世联邦理工,微软

SLAM 在自动驾驶、机器人、AR/VR 乃至具身智能系统中都是至关重要的环节,它决定了算法能否在一个陌生环境中一边“看懂世界”,一边“知道自己在哪”。

最近,苏黎世联邦理工与微软的研究团队提出了 DROID-W:一种基于动态不确定性感知的稠密可微 Bundle Adjustment(BA)的动态 SLAM 框架。该工作在 RTX 5090 上可以达到 ~30 FPS 的实时性能,即将正式发表于 CVPR 2026。并且,该工作提出的动态不确定性感知模块可以即插即用地应用到多种 SLAM 框架中,有效提升其在真实动态环境中的性能。

传统 SLAM 困境:为什么现有方法不通用


传统 SLAM 系统大都基于静态场景的假设,然而在真实世界中,行人穿梭、车辆驶过、树影晃动、反光玻璃……这些看似再日常不过的因素,都会打破“静态场景”假设,进而导致严重的跟踪漂移,建图错误。过去的动态 SLAM 系统往往依赖于动态物体语意分割 / 检测等先验移除动态物体,但需提前预知动态物体类别,严重限制了其在真实物理世界的广泛应用。基于不确定性感知的动态 SLAM 方案 WildGS-SLAM 依赖于高质量的动态场景高斯建图来估计动态不确定性,但真实环境中的建图面临巨大挑战,严重限制了其性能。

与很多依赖预定义动态类别、语义分割先验或静态场景建图的方法不同,DROID-W 选择了一条更“底层”的路线:不去预设什么东西会动,不需要建立高质量静态场景,而是让系统自己从多视角观测中识别哪些区域不可靠,并在优化时自动降低这些区域的影响。真正实现了让单目 SLAM 系统适用于“随手拍”的真实动态场景。

让不确定性进入 BA,动态区域不再“拖后腿”



图2: DROID-W 系统架构。系统从序列输入的图片中首先选择关键帧,用于提取 DINO 特征,DROID 特征并估计单目深度图。DROID 特征继而被送入 ConvGRU 估计对应像素,基于 BA 优化相机位姿和深度。DINO 特征和优化后的位姿,深度被用于优化像素级动态不确定性。两优化交替进行,最终输出动态点云和准确的相机轨迹。

DROID-SLAM 是经典的将深度学习与优化优雅结合的 SLAM 框架,其通过稠密可微 BA 持续更新相机位姿和场景结构。但在动态场景里,传统 BA 默认的刚体运动关系被打破,错误残差会严重影响扰乱优化方向与准确性。

基于此,DROID-W 的关键改进,就是把“动态带来的不可靠性”显式建模为逐像素的动态不确定性。DROID-W 通过度量帧与帧之间的 DINO 特征相似度来衡量物体运动的动态不确定性。这些高不确定区域的残差项在 BA 优化中会被自动抑制,从而减少动态干扰对相机轨迹和几何结构估计的影响。但是位姿,深度,动态不确定性的大规模联合 Gauss-Newton 优化会带来高昂的计算成本,不适用于在线系统。为此,作者提出了交替优化的解决方案。系统一边执行位姿与深度的优化,一边根据多视角视觉特征的一致性迭代更新动态不确定性。

不靠“先验名单”,

而是让模型自己发现动态干扰


过去不少动态 SLAM 方法的思路,是先识别“可能运动的东西”再把它们 mask 掉,比如人、车、宠物等。但这种做法天然依赖类别先验:当场景中出现未知动态物体、非刚体运动、局部遮挡或强反光区域时,系统往往就不够稳了。DROID-W 则更强调观测一致性本身

论文中,研究者借助 DINO 特征来衡量跨视角的一致性,并通过一个局部仿射映射加 Softplus 激活,把这些特征转化为连续的不确定性估计。相比把动态直接做成硬分割 mask,这种连续表达更细腻:它不只是告诉系统“哪里不能看”,而是进一步告诉系统“哪里该少信一点,哪里可以多信一点”。 这带来一个很重要的好处:系统不会因为场景里有动态物体,就粗暴地把整块区域全部丢掉。当一个物体只有局部在动,或者重新静止下来时,DROID-W 仍然有机会利用其中可靠的信息继续跟踪。这种“软抑制”策略,比一刀切的动态 masking 更适合真实世界。

不只是改方法,还做了更“野”的测试集



图3: DROID-W 数据集实例。

为了验证方法是否真的适用于真实场景,作者并没有把实验局限在常见的室内动态数据集上。除了 Bonn、TUM 和 DyCheck 这些常用数据集外,论文还引入了新的 DROID-W 数据集:这是一组更偏室外、更加开放、也更接近真实拍摄条件的数据,包含 7 段 Downtown 序列,并配有 RTK 支持的真值轨迹。DROID-W 数据集包含高动态场景、图像过曝、镜面反射、太阳光晕等高难度片段,很好的模拟了真实野外环境中的复杂场景。除此之外,作者还进一步测试了多段来自 YouTube 的动态视频片段,用来评估系统在真正“in-the-wild”视频中的通用性与鲁棒性。

实验结果


DROID-W 在多个动态数据集上都取得了最优的表现。作者指出,在 Bonn、TUM、DyCheck 等数据集上,方法依靠更稳定的不确定性估计,在高动态序列中明显优于原始 DROID-SLAM,也优于多种现有动态 SLAM 方法。 尤其值得注意的是在作者新提出的 DROID-W Dataset --更大尺度、更偏真实世界的室外动态数据集--作者提出的方法在该数据集上平均轨迹误差仅为 23 厘米,而 DROID-SLAM 误差却为 1.46 米。



图4:动态不确定性估计定性对比。第一行:输入的视频帧;其余行:基线方法与 DROID-W 的对比。DROID-W 能够在各种场景下输出准确可靠的动态不确定性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国足被打懵!8分钟连丢2球,颜骏凌不满,媒体人:怎么这么菜

国足被打懵!8分钟连丢2球,颜骏凌不满,媒体人:怎么这么菜

奥拜尔
2026-03-31 14:19:49
大捡漏!中山市一栋占地2亩多的别墅降价拍卖,被人捡漏564万就买下

大捡漏!中山市一栋占地2亩多的别墅降价拍卖,被人捡漏564万就买下

爱看剧的阿峰
2026-04-10 15:15:30
广厦针对性补强!接近签新大外威廉姆斯,针对麦基白边,直指卫冕

广厦针对性补强!接近签新大外威廉姆斯,针对麦基白边,直指卫冕

篮球资讯达人
2026-04-10 19:21:55
深夜发声,邱彪下课山东?表态心凉了,下家3选1,辽宁在列

深夜发声,邱彪下课山东?表态心凉了,下家3选1,辽宁在列

东球猫猫
2026-04-10 11:18:27
朱芳雨对广东队提出新的要求!

朱芳雨对广东队提出新的要求!

体育哲人
2026-04-10 16:33:26
年轻时是帅的教科书,老了却丑得千姿百态,这6位男神越活越走样

年轻时是帅的教科书,老了却丑得千姿百态,这6位男神越活越走样

八斗小先生
2026-03-28 10:49:09
中国“捡钱”时代可能要来了:若手中只有10万,试试死啃这两条线

中国“捡钱”时代可能要来了:若手中只有10万,试试死啃这两条线

奇思妙想生活家
2026-04-09 07:49:40
四川内江市资中县发生3.0级地震 震源深度6公里

四川内江市资中县发生3.0级地震 震源深度6公里

环球网资讯
2026-04-10 20:05:14
波罗的海三国:用九十多年证明的两条路

波罗的海三国:用九十多年证明的两条路

民间铁血柔情
2026-03-24 22:50:56
商家宣称1年内可助力长高10厘米,32岁男子付费2万元,1年后身高无明显变化……北京法院:退一赔三

商家宣称1年内可助力长高10厘米,32岁男子付费2万元,1年后身高无明显变化……北京法院:退一赔三

极目新闻
2026-04-09 18:46:01
六世达赖:白天是西藏权力最大的王,晚上是拉萨街头最风流的情郎

六世达赖:白天是西藏权力最大的王,晚上是拉萨街头最风流的情郎

野蛮不失女人心
2024-09-29 03:05:03
《老友记》钱德勒死亡案毒枭被判15年!俩医生伙同助理、毒贩等5人推他入坑,细节发指!

《老友记》钱德勒死亡案毒枭被判15年!俩医生伙同助理、毒贩等5人推他入坑,细节发指!

英国报姐
2026-04-09 21:11:20
三拒绝结果出炉!杜新枝熊磊喜迎胜利,法院驳回许敏全部诉求

三拒绝结果出炉!杜新枝熊磊喜迎胜利,法院驳回许敏全部诉求

萧狡科普解说
2026-04-10 17:51:36
今年5月最有财神缘的三个生肖,绝处逢生,有横财入宅!

今年5月最有财神缘的三个生肖,绝处逢生,有横财入宅!

毅谈生肖
2026-04-10 11:29:05
特朗普认栽!美军最大命脉被中国攥得死死的,只能放下身段求中国

特朗普认栽!美军最大命脉被中国攥得死死的,只能放下身段求中国

王姐懒人家常菜
2026-04-10 17:45:16
红牛官宣GP将离队后,维斯塔潘在直播中停下来看了很久手机

红牛官宣GP将离队后,维斯塔潘在直播中停下来看了很久手机

懂球帝
2026-04-10 16:24:49
维拉8连胜背后:一个弃帅如何把二流球队炼成欧洲公敌?

维拉8连胜背后:一个弃帅如何把二流球队炼成欧洲公敌?

落夜足球
2026-04-10 09:55:02
程晓玥终于开口!直播自曝分手真相,难怪郑恺会转身和苗苗闪婚

程晓玥终于开口!直播自曝分手真相,难怪郑恺会转身和苗苗闪婚

橙星文娱
2026-04-10 15:26:07
他是陈丽华女士的小叔子,迟重瑞的亲弟弟迟重安。

他是陈丽华女士的小叔子,迟重瑞的亲弟弟迟重安。

果妈聊娱乐
2026-04-10 08:53:54
赵心童卫冕首战即陷"魔咒":21人试过,0人成功

赵心童卫冕首战即陷"魔咒":21人试过,0人成功

篮坛第一线
2026-04-10 12:08:11
2026-04-10 21:40:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
12729文章数 142621关注度
往期回顾 全部

科技要闻

马斯克狂发大火箭也养不起AI 年亏50亿美元

头条要闻

媒体:美伊谈判即将开始 黎巴嫩对美来说是块烫手山芋

头条要闻

媒体:美伊谈判即将开始 黎巴嫩对美来说是块烫手山芋

体育要闻

17岁赚了一百万美元,25岁被CBA裁员

娱乐要闻

黄景瑜王玉雯否认恋情!聚会细节被扒

财经要闻

李强主持召开经济形势专家和企业家座谈会

汽车要闻

搭载第二代刀片电池及闪充技术 腾势N8L闪充版预售35万起

态度原创

房产
教育
亲子
手机
公开课

房产要闻

28条新规落地!好房子,终于有了“广州标准”!

教育要闻

北京教改风向标!海淀这所优质校正在交出“新样本”

亲子要闻

孩子身体隐私不正常的红,宝妈们要高度警惕!

手机要闻

华为Pura 90系列终于亮相,好多细节和意外

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版