网易首页 > 网易号 > 正文 申请入驻

清华开启物理驱动光场显微AI革命,首次活体三维高清监测超30万帧

0
分享至

近期,清华大学团队开发了一种新型自监督学习网络 SeReNet(Self-supervised Reconstruction Network),用于光场显微镜及其变体的快速、高分辨率、鲁棒的 3D 重建。

4D 信息先验赋予 SeReNet 在强噪声、光学像差、样本运动等不利条件下,实现了比现有深度学习方法更具优势的泛化能力。而且,相比于传统迭代方法,SeReNet 将处理速度提高了 700 倍,达到毫秒级处理速度。

作为新一代显微镜技术,这一技术突破有望用于细胞生物学、神经科学、免疫学等生物医学成像领域,为活体生物样本的高速、高精度三维成像提供了全新解决方案。

值得注意的是,SeReNet 仅需估计点扩散函数即可适配应用,这种高度通用的特性使其应用范围远超生物医学领域,在高速摄影、天文成像、水下探测等依赖计算成像技术的专业领域同样展现出巨大的应用潜力。

日前,相关论文以《基于物理驱动的自监督学习实现光场显微镜快速、高分辨、鲁棒的三维重建》(Physics-driven self-supervised learning for fast high-resolution robust 3D reconstruction of light-field microscopy)为题发表在Nature Methods[1],目前相关代码已完全开源。

清华大学博士后卢志和复旦大学博士生金满昌是共同第一作者,清华大学戴琼海院士、吴嘉敏副教授和天津大学杨敬钰教授担任共同通讯作者。

该课题组长期致力于基于光场的活体介观显微镜研究,近年来已开发了一系列成果计算成像仪器成果,包括 SLiM1100 扫描光场显微镜 [2] 和 SLiM2000 共聚焦扫描光场显微镜 [3]、RUSH3D 活体介观显微仪 [4] 等。

然而,领域内的共性问题体现在:早期的方法依赖硬件与算法的松散耦合,重建过程需复杂数学运算,尽管重建质量尚可但速度慢;后期发展的有监督深度学习方案在速度方面提升显著,却受限于特定样本的训练数据需求,这导致泛化能力与成像保真度难以兼顾。

“这些方法需要用户为每种新的样本,重新训练神经网络来学习显微成像与重建过程。”卢志对 DeepTech 解释道。

为解决上述问题,该团队在 2021 年 9 月时萌生了创新思路,最终发展出“物理信息嵌入神经网络”的方案。这种自监督深度学习算法无需依赖大量成对训练数据,即可实现更高效的三维重建。

SeReNet 主要由三个模块组成:深度分解模块、卷积神经网络模块和自监督模块。卢志指出,该网络通过结合物理先验信息与多视角图像变化,实现三维体积的高效重建。

这种设计使模型无需标注数据即可学习光场成像的本质物理规律。深度分解模块采用固定点卷积和方向复制策略,用极少参数(169 个)实现精准的深度定位;卷积神经网络模块利用 3D 卷积层恢复高分辨率结构;自监督模块则通过 4D 波前光学点扩散函数约束网络训练,将微观光学衍射物理方程建模到神经网络,使光场三维重建耗时从迭代算法的分钟级缩短至 50 毫秒。

该技术进一步成功解决了针对实际应用中的五大实用性挑战:噪声环境下的鲁棒重建、样本快速运动导致的伪影(motion artifacts)、光学像差校正、跨样本泛化能力(如斑马鱼、小鼠、果蝇等不同生物样本),以及全自动化重建(无需人工超参数干预)。

具体来说,研究人员专门设计了新的噪声鲁棒损失函数,引入 preDAO 方法校正光学像差,并开发轻量级网络抑制样本运动伪影,同时通过优化的数据集和训练策略实现从仿真数据到真实生物样本的泛化。“这些改进旨在确保技术能在真实场景中实用,而不仅仅停留在论文层面。”卢志强调。

在斑马鱼断尾带来的炎症损伤实验中,研究团队观察到一个持续 48 小时的免疫风暴现象,其中中性粒和巨噬两种免疫细胞的动态活动被以每秒 1 个体积的速率完整记录,共获取超过 34 万帧高分辨率数据,首次在国际上清晰呈现了损伤后大规模免疫细胞迁移的完整动力学特征。

需要了解是,传统迭代处理方法需要近两年(约 500 天)才能完成这些数据的重建,而采用新型 SeReNet 技术仅需不到 5 天即可完成。重建视频清晰显示,断尾后数小时内斑马鱼体内的巨噬细胞(绿色标记)和中性粒细胞(黄色标记)数量显著增加并呈现高度活跃状态。

该技术获得审稿人高度评价:“我们对系统的整体性能、作者解决的问题数量以及广泛的应用范围印象深刻。”

SeReNet 技术还展现出对光学像差和样本运动的卓越鲁棒性,这一特性在活体成像中具有关键价值。在小鼠肝损伤模型研究中,研究人员利用该技术成功捕捉到中性粒细胞与 Kupffer 细胞间的精细相互作用以及细胞信号传递过程,这些发现为深入理解哺乳动物先天免疫系统的修复机制提供了全新视角。

据介绍,该技术目前将该技术已嵌入荷湖科技公司产品软件,以提升重建效率,为生命科学研究提供更便捷的工具。

此外,该技术的应用潜力远不止于当前展示的光场成像(基于多视角点扩散函数)。研究人员近期发现,这种方法同样适用于单视角成像系统,原则上只要能够估计点扩散函数,就可以拓展到任意计算成像领域。

在这项研究基础上,该课题组计划在两个方向继续探索:首先是扩大成像尺度,目前技术可覆盖几百微米范围,未来计划扩展至数十毫米级活体介观成像,实现小鼠全器官(如脑、肝脏)的细胞级追踪;其次是结合具身智能技术,让显微镜具备“人”的思维能力,能够对介观世界自主理解和分析,高通量揭示生物规律,助力药物筛选等应用。

参考资料:

1.Lu, Z., Jin, M., et al. Physics-driven self-supervised learning for fast high-resolution robust 3D reconstruction of light-field microscopy.Nature Methods(2025). https://doi.org/10.1038/s41592-025-02698-z

2.Wu, J., et al. Iterative tomography with digital adaptive optics permits hour-long intravital observation of 3D subcellular dynamics at millisecond scale.Cell184, 3318-3332 (2021).https://doi.org/10.1016/j.cell.2021.04.029

3.Lu, Z., et al. Long-term intravital subcellular imaging with confocal scanning light-field microscopy.Nature Biotechnology43, 569–580 (2025).https://doi.org/10.1038/s41587-024-02249-5

4.Zhang, Y., et al. Long-term mesoscale imaging of 3D intercellular dynamics across a mammalian organ.Cell187, 6104-6122 (2024).https://doi.org/10.1016/j.cell.2024.08.026

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

罗说NBA
2026-11-18 07:39:17
彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

磊子讲史
2026-11-18 14:51:40
发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

補懂事的孩紙
2026-11-17 01:00:42
12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

温读史
2025-11-09 09:25:54
太硬核了!实拍武汉一小学告示:作业、衣物、乐器等忘带不用送,引导孩子承担相应后果

太硬核了!实拍武汉一小学告示:作业、衣物、乐器等忘带不用送,引导孩子承担相应后果

火山詩话
2026-11-18 12:29:50
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

健康科普365
2026-11-08 18:30:10
告别倒数第一!爵士大胜快船终结12连败 森萨博40+11+8三分

告别倒数第一!爵士大胜快船终结12连败 森萨博40+11+8三分

醉卧浮生
2026-11-18 13:49:24
普京在深圳北理莫斯科大学演讲 下台前挥手示意

普京在深圳北理莫斯科大学演讲 下台前挥手示意

看看新闻Knews
2026-11-18 19:19:47
亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

中场阴谋家
2026-11-18 21:49:52
ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

好火子
2026-11-18 23:29:25
中方敦促以色列:尽快撤出!

中方敦促以色列:尽快撤出!

极目新闻
2026-11-17 16:39:40
内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

裕丰娱间说
2026-11-18 11:39:59
陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

露珠聊影视
2026-11-18 14:36:57
一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

球场新视角1号
2026-11-18 07:14:28
蒙古国总统辞职,暂不离岗

蒙古国总统辞职,暂不离岗

新民周刊
2026-11-18 09:04:53
社媒:穆里尼奥对居莱尔续约极为兴奋

社媒:穆里尼奥对居莱尔续约极为兴奋

懂球帝
2026-11-18 21:19:15
CBA杯-天津胜NBL上海玄鸟拒爆冷 尼克斯34+7+7+5+9失误

CBA杯-天津胜NBL上海玄鸟拒爆冷 尼克斯34+7+7+5+9失误

醉卧浮生
2026-11-18 17:55:57
瑞士网红坐火车掏出奶酪炉,现场开吃!铁路公司惊了:你闻闻这味

瑞士网红坐火车掏出奶酪炉,现场开吃!铁路公司惊了:你闻闻这味

新欧洲
2026-11-17 21:13:13
一文读懂美俄元首访华差距:专机是面子,运输机搞后勤才是里子

一文读懂美俄元首访华差距:专机是面子,运输机搞后勤才是里子

装甲铲史官
2026-11-17 10:24:38
12万亿美元:兰德公司给国内地方债做了一次诊断

12万亿美元:兰德公司给国内地方债做了一次诊断

罗sir财话
2026-11-18 19:38:54
2026-11-18 23:51:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17503文章数 515373关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
教育
时尚
家居
军事航空

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版