网易首页 > 网易号 > 正文 申请入驻

清华开启物理驱动光场显微AI革命,首次活体三维高清监测超30万帧

0
分享至

近期,清华大学团队开发了一种新型自监督学习网络 SeReNet(Self-supervised Reconstruction Network),用于光场显微镜及其变体的快速、高分辨率、鲁棒的 3D 重建。

4D 信息先验赋予 SeReNet 在强噪声、光学像差、样本运动等不利条件下,实现了比现有深度学习方法更具优势的泛化能力。而且,相比于传统迭代方法,SeReNet 将处理速度提高了 700 倍,达到毫秒级处理速度。

作为新一代显微镜技术,这一技术突破有望用于细胞生物学、神经科学、免疫学等生物医学成像领域,为活体生物样本的高速、高精度三维成像提供了全新解决方案。

值得注意的是,SeReNet 仅需估计点扩散函数即可适配应用,这种高度通用的特性使其应用范围远超生物医学领域,在高速摄影、天文成像、水下探测等依赖计算成像技术的专业领域同样展现出巨大的应用潜力。

日前,相关论文以《基于物理驱动的自监督学习实现光场显微镜快速、高分辨、鲁棒的三维重建》(Physics-driven self-supervised learning for fast high-resolution robust 3D reconstruction of light-field microscopy)为题发表在Nature Methods[1],目前相关代码已完全开源。

清华大学博士后卢志和复旦大学博士生金满昌是共同第一作者,清华大学戴琼海院士、吴嘉敏副教授和天津大学杨敬钰教授担任共同通讯作者。

该课题组长期致力于基于光场的活体介观显微镜研究,近年来已开发了一系列成果计算成像仪器成果,包括 SLiM1100 扫描光场显微镜 [2] 和 SLiM2000 共聚焦扫描光场显微镜 [3]、RUSH3D 活体介观显微仪 [4] 等。

然而,领域内的共性问题体现在:早期的方法依赖硬件与算法的松散耦合,重建过程需复杂数学运算,尽管重建质量尚可但速度慢;后期发展的有监督深度学习方案在速度方面提升显著,却受限于特定样本的训练数据需求,这导致泛化能力与成像保真度难以兼顾。

“这些方法需要用户为每种新的样本,重新训练神经网络来学习显微成像与重建过程。”卢志对 DeepTech 解释道。

为解决上述问题,该团队在 2021 年 9 月时萌生了创新思路,最终发展出“物理信息嵌入神经网络”的方案。这种自监督深度学习算法无需依赖大量成对训练数据,即可实现更高效的三维重建。

SeReNet 主要由三个模块组成:深度分解模块、卷积神经网络模块和自监督模块。卢志指出,该网络通过结合物理先验信息与多视角图像变化,实现三维体积的高效重建。

这种设计使模型无需标注数据即可学习光场成像的本质物理规律。深度分解模块采用固定点卷积和方向复制策略,用极少参数(169 个)实现精准的深度定位;卷积神经网络模块利用 3D 卷积层恢复高分辨率结构;自监督模块则通过 4D 波前光学点扩散函数约束网络训练,将微观光学衍射物理方程建模到神经网络,使光场三维重建耗时从迭代算法的分钟级缩短至 50 毫秒。

该技术进一步成功解决了针对实际应用中的五大实用性挑战:噪声环境下的鲁棒重建、样本快速运动导致的伪影(motion artifacts)、光学像差校正、跨样本泛化能力(如斑马鱼、小鼠、果蝇等不同生物样本),以及全自动化重建(无需人工超参数干预)。

具体来说,研究人员专门设计了新的噪声鲁棒损失函数,引入 preDAO 方法校正光学像差,并开发轻量级网络抑制样本运动伪影,同时通过优化的数据集和训练策略实现从仿真数据到真实生物样本的泛化。“这些改进旨在确保技术能在真实场景中实用,而不仅仅停留在论文层面。”卢志强调。

在斑马鱼断尾带来的炎症损伤实验中,研究团队观察到一个持续 48 小时的免疫风暴现象,其中中性粒和巨噬两种免疫细胞的动态活动被以每秒 1 个体积的速率完整记录,共获取超过 34 万帧高分辨率数据,首次在国际上清晰呈现了损伤后大规模免疫细胞迁移的完整动力学特征。

需要了解是,传统迭代处理方法需要近两年(约 500 天)才能完成这些数据的重建,而采用新型 SeReNet 技术仅需不到 5 天即可完成。重建视频清晰显示,断尾后数小时内斑马鱼体内的巨噬细胞(绿色标记)和中性粒细胞(黄色标记)数量显著增加并呈现高度活跃状态。

该技术获得审稿人高度评价:“我们对系统的整体性能、作者解决的问题数量以及广泛的应用范围印象深刻。”

SeReNet 技术还展现出对光学像差和样本运动的卓越鲁棒性,这一特性在活体成像中具有关键价值。在小鼠肝损伤模型研究中,研究人员利用该技术成功捕捉到中性粒细胞与 Kupffer 细胞间的精细相互作用以及细胞信号传递过程,这些发现为深入理解哺乳动物先天免疫系统的修复机制提供了全新视角。

据介绍,该技术目前将该技术已嵌入荷湖科技公司产品软件,以提升重建效率,为生命科学研究提供更便捷的工具。

此外,该技术的应用潜力远不止于当前展示的光场成像(基于多视角点扩散函数)。研究人员近期发现,这种方法同样适用于单视角成像系统,原则上只要能够估计点扩散函数,就可以拓展到任意计算成像领域。

在这项研究基础上,该课题组计划在两个方向继续探索:首先是扩大成像尺度,目前技术可覆盖几百微米范围,未来计划扩展至数十毫米级活体介观成像,实现小鼠全器官(如脑、肝脏)的细胞级追踪;其次是结合具身智能技术,让显微镜具备“人”的思维能力,能够对介观世界自主理解和分析,高通量揭示生物规律,助力药物筛选等应用。

参考资料:

1.Lu, Z., Jin, M., et al. Physics-driven self-supervised learning for fast high-resolution robust 3D reconstruction of light-field microscopy.Nature Methods(2025). https://doi.org/10.1038/s41592-025-02698-z

2.Wu, J., et al. Iterative tomography with digital adaptive optics permits hour-long intravital observation of 3D subcellular dynamics at millisecond scale.Cell184, 3318-3332 (2021).https://doi.org/10.1016/j.cell.2021.04.029

3.Lu, Z., et al. Long-term intravital subcellular imaging with confocal scanning light-field microscopy.Nature Biotechnology43, 569–580 (2025).https://doi.org/10.1038/s41587-024-02249-5

4.Zhang, Y., et al. Long-term mesoscale imaging of 3D intercellular dynamics across a mammalian organ.Cell187, 6104-6122 (2024).https://doi.org/10.1016/j.cell.2024.08.026

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
医院一线医护被逼走投无路,霸权式管理闹剧何时休?

医院一线医护被逼走投无路,霸权式管理闹剧何时休?

峰哥跑交通
2026-11-21 16:39:17
就在刚刚,WTT马斯喀特球星赛:国乒五项全军覆没,男单独苗0-3负于日本,无缘决赛

就在刚刚,WTT马斯喀特球星赛:国乒五项全军覆没,男单独苗0-3负于日本,无缘决赛

篮球热嗖
2026-11-21 18:48:51
墨总统:墨西哥不打算与中国签署自贸协定

墨总统:墨西哥不打算与中国签署自贸协定

俄罗斯卫星通讯社
2026-11-21 16:09:51
选战倒数!宋楚瑜罕见表态 吁不分党派挺童子玮

选战倒数!宋楚瑜罕见表态 吁不分党派挺童子玮

金牛传声
2026-11-21 15:18:45
钱学森当年纳闷地问张爱萍:搞科研为啥要设政治部?张爱萍反问得他哑口无言:你当年到底为啥非要从美国回来?

钱学森当年纳闷地问张爱萍:搞科研为啥要设政治部?张爱萍反问得他哑口无言:你当年到底为啥非要从美国回来?

唠叨说历史
2026-11-20 14:05:41
大南山隧道研究了十年,到底什么时候动工

大南山隧道研究了十年,到底什么时候动工

娱乐的硬糖吖
2026-11-21 09:20:19
2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

北京作家编剧肥猪满圈
2026-11-18 17:23:20
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
A股:股民都准备好了,不出所料,后天11.23,A股或迎更大变盘调整吗?

A股:股民都准备好了,不出所料,后天11.23,A股或迎更大变盘调整吗?

趋势清风侠
2026-11-21 15:24:27
跟普京谈了30分钟!高市马不停蹄致函欧洲:日本将继续支援乌克兰

跟普京谈了30分钟!高市马不停蹄致函欧洲:日本将继续支援乌克兰

深蓝的航迹
2026-11-21 18:34:45
炸桥也没用,美欧要强逼泽连斯基低头特朗普挑明:乌克兰正在输

炸桥也没用,美欧要强逼泽连斯基低头特朗普挑明:乌克兰正在输

秋枫未语
2026-11-21 00:31:10
C罗回击滕哈赫:能接受穆里尼奥批评,为何不能接受前曼联主帅?

C罗回击滕哈赫:能接受穆里尼奥批评,为何不能接受前曼联主帅?

雅儿姐姐爱侃剧
2026-11-21 11:23:07
这TM十六岁?

这TM十六岁?

中场阴谋家
2026-11-21 16:06:19
库里要的帮手来了!一笔三方交易,让勇士从摆烂重返争冠行列

库里要的帮手来了!一笔三方交易,让勇士从摆烂重返争冠行列

小齐说球
2026-11-21 19:06:13
“全国最霸气的车次”?V587次列车火了!

“全国最霸气的车次”?V587次列车火了!

环球网资讯
2026-11-20 13:41:47
库什纳称俄方接受乌克兰获北约式安全保障,近40国柏林开会争取“上桌”

库什纳称俄方接受乌克兰获北约式安全保障,近40国柏林开会争取“上桌”

澎湃新闻
2026-11-20 17:44:40
余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

快科技
2026-11-20 18:40:09
耻辱罚球!火箭124-133掘金,看数据:他是头号罪人!

耻辱罚球!火箭124-133掘金,看数据:他是头号罪人!

运筹帷幄的篮球
2026-11-21 12:17:53
CBA猛料!赵睿离开国家队原因曝光,深圳13+5+4国手赛季报销,巩晓彬丁彦雨航和解

CBA猛料!赵睿离开国家队原因曝光,深圳13+5+4国手赛季报销,巩晓彬丁彦雨航和解

中国篮坛快讯
2026-11-20 17:19:04
日方确认高市早苗与普京在深圳聊了30分钟,对话由日方主动提出

日方确认高市早苗与普京在深圳聊了30分钟,对话由日方主动提出

凤凰卫视
2026-11-20 16:23:06
2026-11-21 19:55:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17512文章数 515391关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
手机
教育
游戏
军事航空

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

PC Gamer试玩GTA6百小时:双主角出色但任务重复

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版