网易首页 > 网易号 > 正文 申请入驻

ICRA 2026 | EndoDDC:扩散模型赋能稀疏到稠密深度重建

0
分享至

来源:公众号“labren”

原文链接:https://mp.weixin.qq.com/s/97_CzzOnRfXvVUV_q30wKQ?scene=1&click_id=26



香港中文大学任洪亮教授团队论文《EndoDDC:通过扩散深度补全学习稀疏到密集重建用于内窥镜机器人导航》被机器人领域顶会 IEEE International Conference on Robotics and Automation (ICRA 2026) 录用。


论文题目:EndoDDC: Learning Sparse to Dense Reconstruction for Endoscopic Robotic Navigation via Diffusion Depth Completion

论文作者:林胤恒†(香港中文大学),黄一鸣†(香港中文大学),崔贝雷(香港中文大学), 白龙(阿里巴巴达摩院,香港中文大学), 高沪昕(香港中文大学),任洪亮(香港中文大学), 赖捷文*(香港中文大学)

论文简介

在微创外科手术中,内镜机器人的精准导航是提升手术精度、保障患者安全的核心。而精准导航的关键,在于获取可靠的三维深度信息 —— 但内镜环境下的弱纹理组织、镜面反射等问题,一直让深度估计成为技术难题。现有方法要么依赖难以获取的稠密标注数据,要么在复杂内镜场景中鲁棒性不足,稀疏深度重建的有效性大打折扣。

我们提出的EndoDDC方法,为内镜机器人导航的深度估计难题提供了创新解决方案。该方法通过融合图像、稀疏深度信息与深度梯度特征,借助扩散模型优化深度图,成功攻克弱纹理、光反射带来的技术痛点。

主要贡献

  • EndoDDC针对内镜场景量身设计稀疏到稠密重建框架,有效解决传统微调方法对标注数据的依赖,以及自监督学习的尺度模糊问题,仅通过 RGB 图像和稀疏深度图即可输出精准稠密深度图。

  • 创新引入深度梯度融合模块,通过卷积门控循环单元(ConvGRU)迭代处理深度值与梯度信息,为重建过程提供精准几何引导,大幅提升弱纹理区域的重建精度。

  • 提出基于深度梯度的条件扩散模型,以初始粗深度图为起点,利用深度梯度特征约束去噪过程,迭代优化深度值,确保重建结果的全局一致性与物理合理性。

  • 在 C3VD 和 StereoMIS 两大公开内镜数据集上完成全面验证,所有评估指标(RMSE、MAE、REL、δ 准确率)均超越当前 SOTA 方法。相较于最优深度补全模型 OGNI-DC,C3VD 数据集上 RMSE 降低 5.28%、MAE 降低 7.84%;即使面对 50~50000 不同稀疏度的输入,仍能稳定输出高质量稠密深度图。


EndoDDC方法概览和可视化样例


EndoDDC 概述:在从 RGB 图像和稀疏深度图提取特征后,Depth Grad Fusion 模块会基于深度和梯度特征迭代地更新状态隐藏网络。然后,将该输出输入到 Depth Diffusion 模型进行条件引导下的补全。


在 C3VD 和 STEREOMIS 数据集上与SOTA方法的深度补全结果比较。


在 C3VD 和 StereoMIS 数据集上的比较。我们将 EndoDDC 与最先进的深度估计和深度补全方法进行比较;我们的方法在组织细节方面产生的误差更少。

【香港中文大学任洪亮教授课题组】

香港中文大学(CUHK)医学机器人感知与人工智能研究课题组欢迎博士/博士后/研究助理加入,主要领域包括:医学机器人与智能系统、图像引导手术中的AI学习与控制、医疗机电一体化、连续和柔性机器人与传感器、变刚度调控技术、AI辅助内窥诊断、医学图像处理等。更多详情,请参阅任洪亮教授Google Scholar信息页与实验室网站http://labren.org/

参考文献:

Lin, Y., Huang, Y., Cui, B., Bai, L., Gao, H., Ren, H. & Lai, J. (2026). EndoDDC: Learning Sparse to Dense Reconstruction for Endoscopic Robotic Navigation via Diffusion Depth Completion. ICRA 2026.

雷峰网

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
坠崖女驴友45分钟被秃鹫啃成白骨,杀伤力多恐怖?

坠崖女驴友45分钟被秃鹫啃成白骨,杀伤力多恐怖?

普陀动物世界
2026-07-12 08:18:08
美国驻华大使馆发文!谁说中国以1敌14,现在明明是3:2的大好局面

美国驻华大使馆发文!谁说中国以1敌14,现在明明是3:2的大好局面

青青衫书生
2026-07-14 15:05:14
热搜上细思恐极“女儿的新裙子”事件:有毒的家庭,摧毁天才孩子

热搜上细思恐极“女儿的新裙子”事件:有毒的家庭,摧毁天才孩子

小椰子专栏
2026-07-14 13:02:29
34国介入南海问题,中方一夜间见识到了:日本的愚蠢,韩国的精明

34国介入南海问题,中方一夜间见识到了:日本的愚蠢,韩国的精明

影孖看世界
2026-07-13 19:00:51
官媒曝光!成本5.5元卖788元,暴利百倍!网友:智商税

官媒曝光!成本5.5元卖788元,暴利百倍!网友:智商税

财经八卦
2026-07-13 20:38:05
“背后空无一人”的LV,这次中国人彻底不买账了

“背后空无一人”的LV,这次中国人彻底不买账了

金错刀
2026-07-13 09:58:12
中国女队4×100米接力43.75秒强势夺冠,力压日印

中国女队4×100米接力43.75秒强势夺冠,力压日印

观察者海风
2026-07-14 14:51:27
票房已破6亿,周星驰:感到惭愧

票房已破6亿,周星驰:感到惭愧

极目新闻
2026-07-14 11:10:27
2026车市最大骗局:省油电车全亏钱,烂大街油车才是真赢家

2026车市最大骗局:省油电车全亏钱,烂大街油车才是真赢家

民间胡扯老哥
2026-05-24 13:40:40
从小就注定在2米长的铁罐子里度过一生,美国最后一个铁肺使用者,走了...

从小就注定在2米长的铁罐子里度过一生,美国最后一个铁肺使用者,走了...

英国那些事儿
2026-07-12 23:22:59
480万冠军奖金只剩210万!温网最残酷真相:夺冠暴富只是假象

480万冠军奖金只剩210万!温网最残酷真相:夺冠暴富只是假象

网球之家
2026-07-13 14:23:26
反常一幕出现,中国已断供日本稀土这么久,日方却还没出现危机

反常一幕出现,中国已断供日本稀土这么久,日方却还没出现危机

触摸史迹
2026-07-12 03:06:07
女同事蹭我车从不掏钱,服务区我趁买烟离开片刻,回来我愣住了

女同事蹭我车从不掏钱,服务区我趁买烟离开片刻,回来我愣住了

千秋文化
2026-07-06 19:13:11
“别绿茶了,你就是个普通中年妇女”,家长会过度打扮,成了小丑

“别绿茶了,你就是个普通中年妇女”,家长会过度打扮,成了小丑

蝴蝶花雨话教育
2026-07-12 01:45:03
“高市早苗道歉”!日民众东京集会:高举“中国对不起”标语

“高市早苗道歉”!日民众东京集会:高举“中国对不起”标语

咸鱼金脑袋
2026-07-14 13:22:42
香油拌洋葱的“神奇功效”,中老年养生必备,简单又实用

香油拌洋葱的“神奇功效”,中老年养生必备,简单又实用

开心美食白科
2026-05-17 20:05:52
浙大校花撞脸赫本!24岁混血颜值封神,172cm90斤魔鬼身材,被叫“娱乐圈的天花板”

浙大校花撞脸赫本!24岁混血颜值封神,172cm90斤魔鬼身材,被叫“娱乐圈的天花板”

营销报
2026-07-14 13:16:14
1961年,贺龙视察南京军区,见到许世友大怒:你个“和尚”不老实

1961年,贺龙视察南京军区,见到许世友大怒:你个“和尚”不老实

浩渺青史
2026-07-13 18:55:20
一遇徐克误终身!传奇电影制片人施南生逝世,被迫丁克、一生无子

一遇徐克误终身!传奇电影制片人施南生逝世,被迫丁克、一生无子

天天热点见闻
2026-07-14 05:49:56
李弥率领残军在金三角享乐,1954年被老蒋召回台湾,最终结局如何

李弥率领残军在金三角享乐,1954年被老蒋召回台湾,最终结局如何

云霄纪史观
2026-07-14 00:56:46
2026-07-14 15:51:00
雷峰网 incentive-icons
雷峰网
关注智能与未来!
70112文章数 656176关注度
往期回顾 全部

科技要闻

Meta投1.7万亿元建一个AI园区,配10座电厂

头条要闻

韩国司机失去意识大巴失控 中国女乘客救了一车人

头条要闻

韩国司机失去意识大巴失控 中国女乘客救了一车人

体育要闻

33岁成为法国主力,他将在世界杯防守亚马尔

娱乐要闻

施南生离世,成龙、甄子丹等发文悼念

财经要闻

为什么说智谱是中国版Anthropic是伪命题

汽车要闻

小米澎程N90 Max工信部信息曝光 全尺寸旗舰 露营版首秀

态度原创

亲子
旅游
健康
手机
公开课

亲子要闻

想让阿杜改变对恩泽瑶瑶的态度,看来是难上加难,他认知就到这

旅游要闻

质感“心”旅行 | 新加坡圣淘沙名胜世界:以业态升级与内容深耕推进度假消费升级

这几类人离中风最近!有你吗?

手机要闻

Q2国内十大品牌出炉,华为、苹果成赢家,剩下的全在降

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版