网易首页 > 网易号 > 正文 申请入驻

CVPR 2026|DROID-W:复杂室外动态场景,也能稳定SLAM

0
分享至





图1:给定任意动态视频,DROID-W 能够估计准确的动态点云,相机位姿,以及动态不确定性。



  • 论文标题:DROID-SLAM in the Wild
  • 论文:https://arxiv.org/pdf/2603.19076
  • 项目主页:https://moyangli00.github.io/droid-w
  • 代码:https://github.com/MoyangLi00/DROID-W
  • 数据集:https://cvg-data.inf.ethz.ch/DROID-W
  • 作者单位:苏黎世联邦理工,微软

SLAM 在自动驾驶、机器人、AR/VR 乃至具身智能系统中都是至关重要的环节,它决定了算法能否在一个陌生环境中一边“看懂世界”,一边“知道自己在哪”。

最近,苏黎世联邦理工与微软的研究团队提出了 DROID-W:一种基于动态不确定性感知的稠密可微 Bundle Adjustment(BA)的动态 SLAM 框架。该工作在 RTX 5090 上可以达到 ~30 FPS 的实时性能,即将正式发表于 CVPR 2026。并且,该工作提出的动态不确定性感知模块可以即插即用地应用到多种 SLAM 框架中,有效提升其在真实动态环境中的性能。

传统 SLAM 困境:为什么现有方法不通用


传统 SLAM 系统大都基于静态场景的假设,然而在真实世界中,行人穿梭、车辆驶过、树影晃动、反光玻璃……这些看似再日常不过的因素,都会打破“静态场景”假设,进而导致严重的跟踪漂移,建图错误。过去的动态 SLAM 系统往往依赖于动态物体语意分割 / 检测等先验移除动态物体,但需提前预知动态物体类别,严重限制了其在真实物理世界的广泛应用。基于不确定性感知的动态 SLAM 方案 WildGS-SLAM 依赖于高质量的动态场景高斯建图来估计动态不确定性,但真实环境中的建图面临巨大挑战,严重限制了其性能。

与很多依赖预定义动态类别、语义分割先验或静态场景建图的方法不同,DROID-W 选择了一条更“底层”的路线:不去预设什么东西会动,不需要建立高质量静态场景,而是让系统自己从多视角观测中识别哪些区域不可靠,并在优化时自动降低这些区域的影响。真正实现了让单目 SLAM 系统适用于“随手拍”的真实动态场景。

让不确定性进入 BA,动态区域不再“拖后腿”



图2: DROID-W 系统架构。系统从序列输入的图片中首先选择关键帧,用于提取 DINO 特征,DROID 特征并估计单目深度图。DROID 特征继而被送入 ConvGRU 估计对应像素,基于 BA 优化相机位姿和深度。DINO 特征和优化后的位姿,深度被用于优化像素级动态不确定性。两优化交替进行,最终输出动态点云和准确的相机轨迹。

DROID-SLAM 是经典的将深度学习与优化优雅结合的 SLAM 框架,其通过稠密可微 BA 持续更新相机位姿和场景结构。但在动态场景里,传统 BA 默认的刚体运动关系被打破,错误残差会严重影响扰乱优化方向与准确性。

基于此,DROID-W 的关键改进,就是把“动态带来的不可靠性”显式建模为逐像素的动态不确定性。DROID-W 通过度量帧与帧之间的 DINO 特征相似度来衡量物体运动的动态不确定性。这些高不确定区域的残差项在 BA 优化中会被自动抑制,从而减少动态干扰对相机轨迹和几何结构估计的影响。但是位姿,深度,动态不确定性的大规模联合 Gauss-Newton 优化会带来高昂的计算成本,不适用于在线系统。为此,作者提出了交替优化的解决方案。系统一边执行位姿与深度的优化,一边根据多视角视觉特征的一致性迭代更新动态不确定性。

不靠“先验名单”,

而是让模型自己发现动态干扰


过去不少动态 SLAM 方法的思路,是先识别“可能运动的东西”再把它们 mask 掉,比如人、车、宠物等。但这种做法天然依赖类别先验:当场景中出现未知动态物体、非刚体运动、局部遮挡或强反光区域时,系统往往就不够稳了。DROID-W 则更强调观测一致性本身

论文中,研究者借助 DINO 特征来衡量跨视角的一致性,并通过一个局部仿射映射加 Softplus 激活,把这些特征转化为连续的不确定性估计。相比把动态直接做成硬分割 mask,这种连续表达更细腻:它不只是告诉系统“哪里不能看”,而是进一步告诉系统“哪里该少信一点,哪里可以多信一点”。 这带来一个很重要的好处:系统不会因为场景里有动态物体,就粗暴地把整块区域全部丢掉。当一个物体只有局部在动,或者重新静止下来时,DROID-W 仍然有机会利用其中可靠的信息继续跟踪。这种“软抑制”策略,比一刀切的动态 masking 更适合真实世界。

不只是改方法,还做了更“野”的测试集



图3: DROID-W 数据集实例。

为了验证方法是否真的适用于真实场景,作者并没有把实验局限在常见的室内动态数据集上。除了 Bonn、TUM 和 DyCheck 这些常用数据集外,论文还引入了新的 DROID-W 数据集:这是一组更偏室外、更加开放、也更接近真实拍摄条件的数据,包含 7 段 Downtown 序列,并配有 RTK 支持的真值轨迹。DROID-W 数据集包含高动态场景、图像过曝、镜面反射、太阳光晕等高难度片段,很好的模拟了真实野外环境中的复杂场景。除此之外,作者还进一步测试了多段来自 YouTube 的动态视频片段,用来评估系统在真正“in-the-wild”视频中的通用性与鲁棒性。

实验结果


DROID-W 在多个动态数据集上都取得了最优的表现。作者指出,在 Bonn、TUM、DyCheck 等数据集上,方法依靠更稳定的不确定性估计,在高动态序列中明显优于原始 DROID-SLAM,也优于多种现有动态 SLAM 方法。 尤其值得注意的是在作者新提出的 DROID-W Dataset --更大尺度、更偏真实世界的室外动态数据集--作者提出的方法在该数据集上平均轨迹误差仅为 23 厘米,而 DROID-SLAM 误差却为 1.46 米。



图4:动态不确定性估计定性对比。第一行:输入的视频帧;其余行:基线方法与 DROID-W 的对比。DROID-W 能够在各种场景下输出准确可靠的动态不确定性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“我从未停止过爱你”“你就是我的亲人”,贵州一中学男教师多次发微信骚扰女学生,当地政府:马某某已被停职,公安部门已立案调查

“我从未停止过爱你”“你就是我的亲人”,贵州一中学男教师多次发微信骚扰女学生,当地政府:马某某已被停职,公安部门已立案调查

都市快报橙柿互动
2026-09-20 16:19:04
这一次房价的上涨大概率还是普涨

这一次房价的上涨大概率还是普涨

流苏晚晴
2026-09-20 14:32:01
女篮亚运最倒霉的球队!中国队坑惨他们了:65分惨败后被直接淘汰?

女篮亚运最倒霉的球队!中国队坑惨他们了:65分惨败后被直接淘汰?

篮球快餐车
2026-09-20 09:26:06
选择党拿下第二个州议会,德政坛“防火墙”缘何失灵

选择党拿下第二个州议会,德政坛“防火墙”缘何失灵

上观新闻
2026-09-20 06:55:47
为什么近两年3D电影彻底消失了?

为什么近两年3D电影彻底消失了?

潮式呼吸
2026-09-19 22:05:35
603061,半导体大牛股,逾百家机构调研!多只千亿市值科技股被盯上

603061,半导体大牛股,逾百家机构调研!多只千亿市值科技股被盯上

数据宝
2026-09-20 07:33:52
越南:我攒了二十年的产业红利,竟然被广西的一条运河给切走了?

越南:我攒了二十年的产业红利,竟然被广西的一条运河给切走了?

北海史记
2026-09-20 08:24:55
保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

z千年历史老号
2026-09-07 11:43:45
亚运会乒乓球今天开打!9月20日赛程:国乒团体4战,或对决朱雨玲

亚运会乒乓球今天开打!9月20日赛程:国乒团体4战,或对决朱雨玲

生活新鲜市
2026-09-20 15:44:04
全球首艘!中国自研大国重器,一旦落地,将重塑中美深海作战格局

全球首艘!中国自研大国重器,一旦落地,将重塑中美深海作战格局

观锐器
2026-09-17 19:17:01
这位DeepSeek工程师的文章,为什么会火爆全网?

这位DeepSeek工程师的文章,为什么会火爆全网?

星图金融研究院
2026-09-19 15:06:51
世界第3遭冒名顶替,高芙刚警告完诈骗又轮到她了

世界第3遭冒名顶替,高芙刚警告完诈骗又轮到她了

体坛观察猿
2026-09-19 14:12:13
广东队放弃得到梅克,因薪资合同没谈拢,尝试两外援模式征战

广东队放弃得到梅克,因薪资合同没谈拢,尝试两外援模式征战

只扣篮的教练
2026-09-20 14:38:39
董明珠再卸任

董明珠再卸任

第一财经资讯
2026-09-20 15:24:32
他和毛主席发生争执,互相拍桌子,阵亡时毛主席不由地默默流泪

他和毛主席发生争执,互相拍桌子,阵亡时毛主席不由地默默流泪

品点历史
2026-08-08 10:15:16
韩媒:中国13岁初二游泳天才太惊人,200米蝶泳预赛压倒性第一

韩媒:中国13岁初二游泳天才太惊人,200米蝶泳预赛压倒性第一

新杀猪的秀才
2026-09-20 10:46:03
女人默许你越界的8个暗号:尤其是已婚女人越“反常”越是动真心

女人默许你越界的8个暗号:尤其是已婚女人越“反常”越是动真心

匹夫来搞笑
2026-09-20 15:21:38
70岁以上老人,有这四种能力,日子堪比神仙,有二种就非常优秀了

70岁以上老人,有这四种能力,日子堪比神仙,有二种就非常优秀了

暖风吹过竹林
2026-09-20 10:19:48
亚运会乒乓球今天开打!9月20日赛程:国乒4场团体对决,或将迎战朱雨玲

亚运会乒乓球今天开打!9月20日赛程:国乒4场团体对决,或将迎战朱雨玲

全言作品
2026-09-20 01:48:04
“新能源”汽车这个名字,本身就是种语言腐败

“新能源”汽车这个名字,本身就是种语言腐败

神不隆通
2026-09-15 09:13:37
2026-09-20 17:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14032文章数 142735关注度
往期回顾 全部

科技要闻

谷歌承认:AI模型“黑”进3家公司

头条要闻

村民称自家菜地焚烧1平方米杂草要被罚500元 官方通报

头条要闻

村民称自家菜地焚烧1平方米杂草要被罚500元 官方通报

体育要闻

2026亚运会开幕式 胡明轩吴愉担任旗手

娱乐要闻

许嵩刚官宣结婚,冯禧黑历史就被扒

财经要闻

伪造票据洗白药品 回流药黑色产业链曝光

汽车要闻

FREELANDER神行者8开启交付 首批新车正式交付用户

态度原创

游戏
时尚
艺术
亲子
军事航空

法媒称《GTA6》遭质疑"过度觉醒" R星内部或已生变

关上浴室门,把世界留在门外。

艺术要闻

列维坦罕见的静物花卉,寓意很好!

亲子要闻

看看两岁的小孩能多会表达

军事要闻

伊朗称已向美政府传达7项谈判条件

无障碍浏览 进入关怀版