网易首页 > 网易号 > 正文 申请入驻

新型3D传感器同时看清镜子与墙面,精度达亚毫米级

0
分享至



让机器人看清墙壁不难,然而一旦遇到镜子、玻璃或金属,很多 3D 传感器就“不灵”了。

为了解决上述问题,美国亚利桑那大学与莱斯大学、西北大学联合团队开发了一种新型 3D 传感器,他们将整个环境变成“虚拟屏幕”,通过事件相机和扫描激光,可在 70 毫秒内同时重建出漫反射和镜面反射物体的三维形状,精度控制达亚毫米级。

这项技术的创新在于,不用提前分物体材质、不用外置标定屏、靠环境本身就能进行混合反光场景 3D 建模。不仅有望在玻璃、金属、塑料、布料混杂的场景中应用,例如自动驾驶、手术机器人、工业检测和生物医学成像等领域,还未来还有望延展到更广泛的领域,例如从手术中测量血管到数字化整个房间或建筑物。相关论文发表在 Nature Communications[1]。


图丨相关论文(来源:Nature Communications)

如何同时看清镜子和墙面?这个问题对于人眼来说似乎是一件很自然的事:眼睛与大脑实时构建出动态场景的三维精确图像,再不断计算各种形状、大小和表面的物体之间的距离。

然而,这却是光学三维测量领域长期以来的难题之一,镜子、玻璃、抛光金属等高反射表面,与墙面这类漫反射表面的成像机制截然不同,前者以镜面反射为主,后者则以漫散射为主。大多数先进的 3D 传感器都针对漫反射(哑光)或镜面反射(高光)表面进行优化,但往往只能在两种情景中“二选一”。


(来源:Nature Communications)

然而,现实世界的场景中存在着介于这两种极端情况之间的各种表面反射率。对机器人手术应用来说,也迫切需要可精确测量表面的三维传感技术,其难度在于手术部位环境复杂,通常包含液体和湿润的组织,以及皮肤等分散的表面。

而在整车漆面检测这类工业场景下,传统方案可能需要搭建可容纳整台车的隧道式大型幕布装置。而且,这类硬件方案局限性同样明显,不仅造价高昂、难以移动,应用场景也十分受限。

该团队的理念建立在成熟的技术偏折测量法之上,后者通过观察屏幕上的图案在反射面的形变来测量镜面形状。然而,要用偏折测量法测量高度复杂的形状,通常需要大型屏幕才能覆盖较大的表面方向角度范围。

研究人员通过一种巧妙的测量构建了新系统:他们放弃了使用大型屏幕,而是利用房间内需要测量的镜面物体,将整个周围环境变成一个“虚拟屏幕”。

研究人员并未采用逐帧捕捉整个场景的传统相机,而是使用了一种神经形态事件相机,它仅以极高的时间分辨率捕捉测量过程中的关键部分,其能够以高帧率拍摄包含运动物体的混合反射场景的 3D 视频。


(来源:Nature Communications)

具体而言,他们用事件相机配合双轴扫描激光投影仪,先对场景进行快速扫描。等激光扫过漫反射表面时,光线向四面八方散射,事件相机则异步捕捉亮度变化信号,利用三角测量重建出漫反射物体的三维形状。该研究的创新之处在于,系统会将这些被重建出来的漫反射表面,识别成“虚拟屏幕”,再用它来测量场景中的镜面物体。

“我们可以使用激光扫描仪捕捉房间内的所有物体,包括镜面、光泽和哑光表面的物体以及哑光墙面。然后,使用算法将漫反射表面与镜面反射表面分离,最终将所有测量到的漫反射场景部分用作虚拟屏幕,用于对镜面反射部分进行偏折测量,”该论文第一作者、莱斯大学博士生 Aniket Dashpute 说道。

激光从墙面某点反射后,经镜面再次反射进入相机这条两次反射的光路被系统识别为间接反射事件,与直接反射事件通过极线几何约束分离开。镜面表面的法向量可由入射光线与反射光线之间的几何关系求解,然后基于迭代优化算法从法向量场恢复出深度图。


图丨实验室中的原型机(来源:Nature Communications)

值得关注的是,在场景内漫反射表面,一块普通的纸板、一堵墙、甚至一个雕塑的背面,都可以充当偏折测量的光源,整个过程不需要任何额外的硬件。

在实际实验中,这套系统表现出强适应能力。以一块纯白色的平板为参照,在漫反射场景下,该系统可在 4 毫秒内完成一次扫描,对应 250 赫兹的帧率,重建误差约 210 微米。

对于混合了漫反射大卫雕像、镜面气球和金属锁扣的复杂场景,系统扫描时间 70 毫秒,约每秒 14 帧。从实现效果来看,仍然可以清晰地捕捉到气球的旋转和纸巾被快速抽走的动作。

在定量测试实验中,漫反射球的精度约 310 微米,镜面球的精度为 450 微米。相比之下,使用事件相机的现有方法在同等条件下的深度误差高达 6 毫米。而英特尔 RealSense 和微软 Kinect v2 等商用产品,面对镜面容易出现数据缺失或直接给出错误深度的问题。

总体来看,这项研究展示了一条新的路径:通过不同反射类型之间的信息互补,粗糙的表面可以作为光滑表面的参照物,从而让事件相机的高速和高动态范围来弥补激光扫描稀疏带来的信息缺口。

参考资料:

1.Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

2.https://techxplore.com/news/2026-05-virtual-screen-machines-3d.html

运营/排版:何晨龙

注:封面/首图由 AI 辅助生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
德国总理公开对付中国的毒计,26国震惊:就连特朗普也不敢!

德国总理公开对付中国的毒计,26国震惊:就连特朗普也不敢!

兵鉴史
2026-06-22 19:55:13
中国052D舰冲之鸟礁实弹射击,向日本宣示公海主权

中国052D舰冲之鸟礁实弹射击,向日本宣示公海主权

超喜欢我的狗子
2026-07-22 21:06:53
中共中央批准,开除田学斌党籍

中共中央批准,开除田学斌党籍

新京报
2026-07-23 16:38:11
广东省交通运输厅安全监督处处长刘峰被查

广东省交通运输厅安全监督处处长刘峰被查

广东建设报围城
2026-07-23 10:00:37
中外合办裂成三截!西浦宁诺排位暴跌,六十万谁在买单?

中外合办裂成三截!西浦宁诺排位暴跌,六十万谁在买单?

侃故事的阿庆
2026-07-22 17:25:29
抽烟又火了?医生研究发现:糖尿病病人在抽烟时,需要多注意7点

抽烟又火了?医生研究发现:糖尿病病人在抽烟时,需要多注意7点

健康科普365
2026-07-23 13:40:11
拉夫罗夫当面“警告”鲁比奥:对俄而言,进一步对乌提供武器“不可接受”

拉夫罗夫当面“警告”鲁比奥:对俄而言,进一步对乌提供武器“不可接受”

环球网资讯
2026-07-23 16:52:33
杰西卡·阿尔芭踩33美元人字拖出街,优雅不输高跟鞋,同款已开抢

杰西卡·阿尔芭踩33美元人字拖出街,优雅不输高跟鞋,同款已开抢

赴一场山海啊
2026-07-24 01:41:19
黎力 16 岁考入北科大,23 岁抢劫获刑,29 岁出狱再考 598 分考入西安交大

黎力 16 岁考入北科大,23 岁抢劫获刑,29 岁出狱再考 598 分考入西安交大

唠叨说历史
2026-07-10 10:56:36
《生化危机》新片太疯狂 男主演拍丧尸戏险些丧命

《生化危机》新片太疯狂 男主演拍丧尸戏险些丧命

游民星空
2026-07-23 23:29:07
谢贤扶灵人员全部揭晓,名单藏着老港圈独有的相处情义

谢贤扶灵人员全部揭晓,名单藏着老港圈独有的相处情义

草莓解说体育
2026-07-24 00:00:07
独家:罗德里与皇马达成原则协议!球迷热议:大伤后赴西甲或双赢

独家:罗德里与皇马达成原则协议!球迷热议:大伤后赴西甲或双赢

智道足球
2026-07-23 21:39:46
李小璐全网删除嘻哈视频!

李小璐全网删除嘻哈视频!

嘻笑堂
2026-07-23 16:36:14
备降杭州的A380客机依然滞留机场,专家解读为何备降后不能随意上下飞机

备降杭州的A380客机依然滞留机场,专家解读为何备降后不能随意上下飞机

极目新闻
2026-07-23 18:59:15
湖底惊现39年前失踪的运钞车,钞箱毫发无损,撬开后却傻眼了

湖底惊现39年前失踪的运钞车,钞箱毫发无损,撬开后却傻眼了

青青会讲故事
2025-09-17 11:32:38
除了性生活,就是打麻将!2000多县城普通人的生活现状只能这样?

除了性生活,就是打麻将!2000多县城普通人的生活现状只能这样?

流史岁月
2026-07-06 18:00:06
警钟:月嫂、月子中心托管,正在悄悄毁掉孩子,让安全感缺失!

警钟:月嫂、月子中心托管,正在悄悄毁掉孩子,让安全感缺失!

小武侃风云
2026-06-28 07:47:51
台湾问题或将突破“临界点”,两大迹象表明,大陆可能准备动手了

台湾问题或将突破“临界点”,两大迹象表明,大陆可能准备动手了

风干迷茫人
2026-07-22 01:16:01
孙子到底跟谁最亲?DNA早已给出答案,爷爷和姥姥才是最大赢家

孙子到底跟谁最亲?DNA早已给出答案,爷爷和姥姥才是最大赢家

一口娱乐
2026-07-20 15:22:02
毛主席开会讲红军干部,吴瑞林猛地起身,毛主席:你想干什么?

毛主席开会讲红军干部,吴瑞林猛地起身,毛主席:你想干什么?

云霄纪史观
2026-07-23 17:11:57
2026-07-24 02:27:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17002文章数 515146关注度
往期回顾 全部

科技要闻

中国数学家王虹、邓煜获菲尔兹奖

头条要闻

女副部王峻被处理:大搞权钱交易 泄露工作秘密

头条要闻

女副部王峻被处理:大搞权钱交易 泄露工作秘密

体育要闻

勇士24岁的MVP,也是个勒布朗?

娱乐要闻

梁朝伟汤唯19年后境遇反转

财经要闻

梁文锋当不成赛博圣人

汽车要闻

满配华为乾崑六件套 东风奕派M8限时权益价16.58万起

态度原创

家居
数码
时尚
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

苹果未来产品路线图曝光,大量新品等待发布

我花40万追的老公,被公司亲手毁了

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

"镐山"之后美再威胁袭伊基础设施 伊朗:将以牙还牙

无障碍浏览 进入关怀版