Nat Mach Intell | 利用高保真合成影像，实现 X 射线辅助下微型医疗器械的自动化追踪与控制

在微创手术室里，医生们穿着沉重的铅衣，在充满辐射的 X 光下，靠肉眼试图在模糊、噪声巨大的屏幕上捕捉手术器械的踪迹。这种如同在暴雨浓雾中驾驶的“盲操”，不仅费时费力，更让医患双方承担着巨大的风险。长期以来，医疗影像数据的极端稀缺和标注难题，让手术器械的操作“自动化”看起来遥不可及。

2026年2月23日，香港城市大学康文斌教授、美国夏威夷大学王添路教授，土耳其Koc大学Metin Sitti校长合作（第一作者为德国马普智能系统所王春翔博士）在Nature Machine Intelligence期刊上发表了文章Synthetic X‑ray‑driven tracking and control of miniature medical devices。研究团队提出了 MicroSyn-X 框架，证明了不需要真实的临床标注数据，仅靠生成式 AI 创造的“伪数据”，就能训练出在真实活体动物中拥有“超人视觉”的视觉大脑。

一、研究背景

在众多手术器械中，毫米级微型医疗器械（MMDs）以其在狭窄解剖空间内的精准导航与操作的优势受到了关注，是实现靶向治疗和精细介入的一条高潜力的技术路径。然而，在临床常用的 X 射线透视成像（Fluoroscopy）环境下，由于成像对比度低、背景噪声强以及骨骼遮挡等因素，该类器械的实时精准定位始终面临挑战。

目前，这类器械的识别与操控高度依赖医生的手工操作和经验判断。尽管深度学习在医学影像识别领域表现出潜力，但针对特定微型医疗器械的高质量标注 X 射线数据极度匮乏。由于医疗场景的多样性以及新器械的不断涌现，传统的“数据采集-人工标注-模型训练”范式在时间和人力成本上难以维系。可总结为：

• 数据成本极高： 每一张 X 光片的采集都意味着辐射暴露，伦理审批周期漫长。

• 标注是场噩梦： 医生需要手工标注数万张低对比度影像，极其耗时且易出错。

• 迭代速度太快： 医疗器械每年都在推陈出新。如果每出一个新产品都要重新采集、标注一遍数据，这在逻辑上就是不可持续的。

二、 换个思路：如果数据能“凭空生成”？

基于此，这项发表于

Nature Machine Intelligence

基于合成X光的微型器械追踪与部署

在此前的研究中，视觉模型的训练往往受限于真实影像的获取难度。而本次工作结合了生成式 AI（扩散模型）与强域随机化（Domain Randomization）策略，建立了一个高保真合成影像生成管线。

该框架能够自动生成包含复杂组织背景、骨骼结构及金属器械干预的 X 射线场景，并模拟真实的物理衰减、噪声分布与运动伪影（很多场景是真实世界中难以采集的）。由于合成过程完全可控，系统能够自动生成像素级的精确标注，摆脱了对人工标注数据的依赖。

数据生成流程

三、 真实手术场景下的验证

研究团队发现，通过这种“合成数据驱动”训练出的视觉模型，表现出极强的泛化能力。实验结果显示，该模型不仅在离体（Ex vivo）组织中运行稳定，在活体小鼠（In vivo）实验中也展现了出色的稳健性。

在活体场景下，微型机器人常被脊柱严重遮挡，且受到呼吸、心跳带来的剧烈动态干扰。在这种极低对比度的环境下，MicroSyn-X 训练出的模型依然能够实现实时的鲁棒追踪。测试数据表明，模型的识别结果与临床专家的共识高度一致，在某些极端条件下，模型甚至能捕捉到人眼难以可靠判别的微弱信号。

四、核心亮点总结

与以往依赖海量临床影像或特定硬件改进的方法相比，MicroSyn-X 的核心优势在于其通用性与可扩展性。当面对一种形状、材质完全不同的新型医疗器械时，研究人员无需重新进入手术室采集影像，仅需通过合成管线进行数小时的自动化训练，即可实现对新器械的部署与控制。

• 打破数据壁垒： 首次证明仅通过高保真合成数据，即可训练出能够胜任真实临床环境（Ex vivo & In vivo）的医疗视觉模型，彻底摆脱对人工标注和海量真实影像的依赖。

• 真实手术场景下的高精度鲁棒检测： 在毫米级器械被脊柱严重遮挡、且伴随强烈心跳干扰的极端噪声环境下，系统实现了比经验医生更稳定、更敏锐的实时追踪，鲁棒性大幅提升。

• 即插即用范式：面对未来层出不穷的新型手术器械，无需重新采集临床数据，数小时合成训练即可实现快速部署。极大降低了新型微创器械的应用门槛，大幅缩短从实验室到手术室的距离。

• 工程与临床的闭环： 该工作不仅是算法的突破，更在真实机器人系统和活体动物实验中完成了闭环验证，获得了《Nature Machine Intelligence》审稿人“为微型医疗器械的未来医疗应用奠定重要技术基础”的高度评价。

• 开源赋能： 代码和数据已开源（Hugging Face），有很强的社区影响力。

五、应用前景：

在应用前景上，这项工作为微创介入手术的自动化奠定了基础。通过将该视觉方案集成至机器人闭环控制系统中，可以实现微型器械在血管分叉或复杂管腔内的自动导航。

这不仅有望显著降低手术中医生的操作负担与辐射暴露时间，还能提升手术的精准度与可重复性。目前，该研究团队已将相关的代码与数据集开源，旨在降低领域门槛，推动新型微创医疗器械从实验室向临床应用的转化。

https://www.nature.com/articles/s42256-026-01190-3

制版人： 十一

学术合作组织

（*排名不分先后）

战略合作伙伴

（*排名不分先后）

转载须知

【非原创文章】本文著作权归文章作者所有，欢迎个人转发分享，未经作者的允许禁止转载，作者拥有所有法定权利，违者必究。

BioArt

Med

Plants

人才招聘

近期直播推荐

点击主页推荐活动

关注更多最新活动！