网易首页 > 网易号 > 正文 申请入驻

新型3D传感器同时看清镜子与墙面,精度达亚毫米级

0
分享至



让机器人看清墙壁不难,然而一旦遇到镜子、玻璃或金属,很多 3D 传感器就“不灵”了。

为了解决上述问题,美国亚利桑那大学与莱斯大学、西北大学联合团队开发了一种新型 3D 传感器,他们将整个环境变成“虚拟屏幕”,通过事件相机和扫描激光,可在 70 毫秒内同时重建出漫反射和镜面反射物体的三维形状,精度控制达亚毫米级。

这项技术的创新在于,不用提前分物体材质、不用外置标定屏、靠环境本身就能进行混合反光场景 3D 建模。不仅有望在玻璃、金属、塑料、布料混杂的场景中应用,例如自动驾驶、手术机器人、工业检测和生物医学成像等领域,还未来还有望延展到更广泛的领域,例如从手术中测量血管到数字化整个房间或建筑物。相关论文发表在 Nature Communications[1]。


图丨相关论文(来源:Nature Communications)

如何同时看清镜子和墙面?这个问题对于人眼来说似乎是一件很自然的事:眼睛与大脑实时构建出动态场景的三维精确图像,再不断计算各种形状、大小和表面的物体之间的距离。

然而,这却是光学三维测量领域长期以来的难题之一,镜子、玻璃、抛光金属等高反射表面,与墙面这类漫反射表面的成像机制截然不同,前者以镜面反射为主,后者则以漫散射为主。大多数先进的 3D 传感器都针对漫反射(哑光)或镜面反射(高光)表面进行优化,但往往只能在两种情景中“二选一”。


(来源:Nature Communications)

然而,现实世界的场景中存在着介于这两种极端情况之间的各种表面反射率。对机器人手术应用来说,也迫切需要可精确测量表面的三维传感技术,其难度在于手术部位环境复杂,通常包含液体和湿润的组织,以及皮肤等分散的表面。

而在整车漆面检测这类工业场景下,传统方案可能需要搭建可容纳整台车的隧道式大型幕布装置。而且,这类硬件方案局限性同样明显,不仅造价高昂、难以移动,应用场景也十分受限。

该团队的理念建立在成熟的技术偏折测量法之上,后者通过观察屏幕上的图案在反射面的形变来测量镜面形状。然而,要用偏折测量法测量高度复杂的形状,通常需要大型屏幕才能覆盖较大的表面方向角度范围。

研究人员通过一种巧妙的测量构建了新系统:他们放弃了使用大型屏幕,而是利用房间内需要测量的镜面物体,将整个周围环境变成一个“虚拟屏幕”。

研究人员并未采用逐帧捕捉整个场景的传统相机,而是使用了一种神经形态事件相机,它仅以极高的时间分辨率捕捉测量过程中的关键部分,其能够以高帧率拍摄包含运动物体的混合反射场景的 3D 视频。


(来源:Nature Communications)

具体而言,他们用事件相机配合双轴扫描激光投影仪,先对场景进行快速扫描。等激光扫过漫反射表面时,光线向四面八方散射,事件相机则异步捕捉亮度变化信号,利用三角测量重建出漫反射物体的三维形状。该研究的创新之处在于,系统会将这些被重建出来的漫反射表面,识别成“虚拟屏幕”,再用它来测量场景中的镜面物体。

“我们可以使用激光扫描仪捕捉房间内的所有物体,包括镜面、光泽和哑光表面的物体以及哑光墙面。然后,使用算法将漫反射表面与镜面反射表面分离,最终将所有测量到的漫反射场景部分用作虚拟屏幕,用于对镜面反射部分进行偏折测量,”该论文第一作者、莱斯大学博士生 Aniket Dashpute 说道。

激光从墙面某点反射后,经镜面再次反射进入相机这条两次反射的光路被系统识别为间接反射事件,与直接反射事件通过极线几何约束分离开。镜面表面的法向量可由入射光线与反射光线之间的几何关系求解,然后基于迭代优化算法从法向量场恢复出深度图。


图丨实验室中的原型机(来源:Nature Communications)

值得关注的是,在场景内漫反射表面,一块普通的纸板、一堵墙、甚至一个雕塑的背面,都可以充当偏折测量的光源,整个过程不需要任何额外的硬件。

在实际实验中,这套系统表现出强适应能力。以一块纯白色的平板为参照,在漫反射场景下,该系统可在 4 毫秒内完成一次扫描,对应 250 赫兹的帧率,重建误差约 210 微米。

对于混合了漫反射大卫雕像、镜面气球和金属锁扣的复杂场景,系统扫描时间 70 毫秒,约每秒 14 帧。从实现效果来看,仍然可以清晰地捕捉到气球的旋转和纸巾被快速抽走的动作。

在定量测试实验中,漫反射球的精度约 310 微米,镜面球的精度为 450 微米。相比之下,使用事件相机的现有方法在同等条件下的深度误差高达 6 毫米。而英特尔 RealSense 和微软 Kinect v2 等商用产品,面对镜面容易出现数据缺失或直接给出错误深度的问题。

总体来看,这项研究展示了一条新的路径:通过不同反射类型之间的信息互补,粗糙的表面可以作为光滑表面的参照物,从而让事件相机的高速和高动态范围来弥补激光扫描稀疏带来的信息缺口。

参考资料:

1.Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

2.https://techxplore.com/news/2026-05-virtual-screen-machines-3d.html

运营/排版:何晨龙

注:封面/首图由 AI 辅助生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
亚运会重磅奖项奖金出炉,中国选手成热门人选,张展硕基本稳了

亚运会重磅奖项奖金出炉,中国选手成热门人选,张展硕基本稳了

南海浪花
2026-09-30 12:30:27
过分了!林诗栋金牌颁奖,现场球迷疯狂嘲讽,网友建议连夜去德国

过分了!林诗栋金牌颁奖,现场球迷疯狂嘲讽,网友建议连夜去德国

宗介说体育
2026-09-29 13:03:50
跨性别工程主管遭中国岳父母枪杀,他曾由女变男,这家人的纠纷很复杂

跨性别工程主管遭中国岳父母枪杀,他曾由女变男,这家人的纠纷很复杂

西楼知趣杂谈
2026-09-30 07:20:24
阿斯:恩德里克新赛季前8场仅出场4分钟,球员在冬窗可能离队

阿斯:恩德里克新赛季前8场仅出场4分钟,球员在冬窗可能离队

懂球帝
2026-09-30 22:58:11
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
挺着大肚也能飞!身高166体重170门将6次神扑 FIFA147非预赛逼平昔日冠军

挺着大肚也能飞!身高166体重170门将6次神扑 FIFA147非预赛逼平昔日冠军

狍子歪解体坛
2026-09-30 17:46:15
恭喜,全红婵正式上任,亮相新岗位,薪酬曝光,新造型惊艳

恭喜,全红婵正式上任,亮相新岗位,薪酬曝光,新造型惊艳

可读
2026-09-29 22:47:25
离婚9年,傅程鹏程愫高调认爱,给内娱上了一课,终是周励淇输了

离婚9年,傅程鹏程愫高调认爱,给内娱上了一课,终是周励淇输了

眼底星碎
2026-09-29 00:33:20
马斯克这一改口,为何让特朗普都会谢

马斯克这一改口,为何让特朗普都会谢

澎湃新闻
2026-09-30 12:22:23
奥委会这下尴尬了:2036年奥运会,中国上海、成都、广州都没申办

奥委会这下尴尬了:2036年奥运会,中国上海、成都、广州都没申办

轻扬墨雨
2026-08-14 13:21:23
原来他是刘欢的亲家,重庆有头有脸的人物,经济实力雄厚还宠儿媳

原来他是刘欢的亲家,重庆有头有脸的人物,经济实力雄厚还宠儿媳

凡知
2026-09-27 12:23:36
2-0!巴萨飞翼2场2球,贝林厄姆遭遇神扑,英格兰知耻后勇

2-0!巴萨飞翼2场2球,贝林厄姆遭遇神扑,英格兰知耻后勇

我的护球最独特
2026-09-30 04:51:30
演员潘粤明画的一幅鬼画,网友:狗链子画的好!

演员潘粤明画的一幅鬼画,网友:狗链子画的好!

乡野小珥
2026-09-21 04:03:10
45岁母亲雾天开车买菜失踪,10年后女儿打车上班,发现是妈妈的爱车

45岁母亲雾天开车买菜失踪,10年后女儿打车上班,发现是妈妈的爱车

今天说故事
2025-07-02 17:31:55
骑行圈里的熟女穿搭,紧身骑行服巧妙勾勒丰腴曲线,氛围感拉满

骑行圈里的熟女穿搭,紧身骑行服巧妙勾勒丰腴曲线,氛围感拉满

只要高兴就好
2026-09-25 09:08:23
当你接触的男人越多,就会发现:那些情商极高,会哄你,情绪价值拉满的男人,爱最飘,钱最不舍得花,心也最容易变

当你接触的男人越多,就会发现:那些情商极高,会哄你,情绪价值拉满的男人,爱最飘,钱最不舍得花,心也最容易变

犀利强哥
2026-08-12 06:59:52
美股三大股指期货全线转跌

美股三大股指期货全线转跌

每日经济新闻
2026-09-30 19:08:05
李思自述:生父李连杰抛弃妈妈和我,如果可以的话我宁愿没这父亲

李思自述:生父李连杰抛弃妈妈和我,如果可以的话我宁愿没这父亲

瑾瑜聊情感
2025-10-10 13:12:06
浓眉:以我们的人员和天赋 我们应该成为联盟前十的防守球队

浓眉:以我们的人员和天赋 我们应该成为联盟前十的防守球队

北青网-北京青年报
2026-09-30 20:30:03
穆里尼奥气炸!皇马钉子户坑惨全队!拒走一人毁掉整个夏窗

穆里尼奥气炸!皇马钉子户坑惨全队!拒走一人毁掉整个夏窗

澜归序
2026-09-30 08:07:19
2026-10-01 00:52:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17325文章数 515223关注度
往期回顾 全部

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

头条要闻

美国著名演员史泰龙发声:我糟蹋了自己的身体

头条要闻

美国著名演员史泰龙发声:我糟蹋了自己的身体

体育要闻

30天30队·火箭:乌度卡的控制欲

娱乐要闻

胡歌现身游本昌遗体告别仪式

财经要闻

“杭州六小龙”迎来价值重估

汽车要闻

燃油车的最佳平替 长城大狗HEV简单好开更经济

态度原创

亲子
艺术
手机
家居
公开课

亲子要闻

8岁男童深夜突发脑出血,医生提醒:警惕儿童突发剧烈头痛、喷射性呕吐

艺术要闻

一池睡莲,竟藏着印象派最绝美的光影秘密

手机要闻

部分用户反馈iPhone 18 Pro扬声器爆音异响,苹果或通过iOS 27系统更新修复

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版