网易首页 > 网易号 > 正文 申请入驻

CMU博士造出像素级自动对焦相机,开辟成像新范式

0
分享至

未来,相机或可彻底告别模糊照片!

无论是拍照、显微成像,还是自动驾驶摄像头,大多数成像系统数百年来受限于同一个物理规则:

一片透镜,在同一时刻,只能形成一个统一的焦平面。

这意味着相机必须在大光圈、景深、分辨率之间不断妥协——景深可以扩大,但代价是亮度下降、衍射变糊。长久以来,这条规则定义了相机的结构,也限制了相机的能力。

近日,来自美国卡内基梅隆大学 CMU 的一项研究彻底突破了这一规则。研究团队提出了一个全新的成像范式:Spatially-Varying Autofocus 空间可变自动对焦。该成果获得 ICCV2025 最佳论文荣誉提名奖。论文一作 CMU 博士生秦颖思向 DeepTech 介绍道:

“我们构建了首个能够在单次曝光中,实现像素区域级自动对焦的成像系统。”


图 | 秦颖思(来源:https://yingsiqin.github.io/)

这项技术让相机第一次摆脱“只有一个焦平面”的限制——把对焦从一个平面升级为可自由编程、可随场景变化的焦曲面。


图|空间可变自动对焦(来源:https://imaging.cs.cmu.edu/svaf)

具体来说,它能做到哪些过去相机做不到的?

它可以让相机在任何复杂、起伏剧烈的三维场景中做到真正的“全场景清晰”。无论深度多么不规则,相机都能在一次曝光中让各区域自动对到正确的位置,让对焦成为一个可编程的维度,不再受光圈与景深的物理限制,可以自由、直观地交互调控。




(来源:https://imaging.cs.cmu.edu/svaf)

它可以让相机“看穿”前景的小遮挡。比如,拍人像时,如果前面有铁丝网、树枝,传统相机会把它们拍进去。而新系统可以让这些遮挡在光学上直接变得极其模糊甚至不可见,只聚焦在主体与背景。


(来源:https://imaging.cs.cmu.edu/svaf)

它可以让你进行创意虚化。告诉相机“让凯旋门和远方楼群清晰对焦,其他地方都要模糊”,相机就能直接拍出这种效果,无需任何后期处理。


(来源:https://imaging.cs.cmu.edu/svaf)

核心突破来自光学与算法的共同创新

秦颖思告诉 DeepTech:“这一系统级突破由两大核心创新共同支撑:在光学硬件层面,我们实现了首个可对不同传感器像素赋予不同焦距的可编程光学结构。在算法层面,我们同样首次提出了能够驱动不同图像区域进行独立自动对焦的算法框架。”

正是这两项各自具备首创性的硬件与算法的结合,才产生了这个首个具备像素区域级独立自动对焦能力的成像系统,而“自动”这一关键特性,正是由上述算法所驱动的。


图|原型机(来源:https://imaging.cs.cmu.edu/svaf)

总的来说,这一成果让相机拥有了任意控制不同图像区域的对焦距离的能力,首次实现了一种能让相机不同像素同时对焦在不同深度上的成像系统。


(来源:https://imaging.cs.cmu.edu/svaf/static/pdfs/Spatiall

它成功地将焦平面拓展为可自由编程的焦曲面,能够根据场景的实际深度分布,动态调整并让光学系统直接适配不同区域的焦距,从而在保持大光圈和高通光量的前提下,一次性光学捕获整个场景都清晰的高分辨率图像,无需依赖后期合成。

给相机的每个像素装上专属“智能眼镜”

秦颖思表示,本次这项空间可变自动对焦的研究,是光学与算法上的综合提升,而其核心的光学技术创新其实源自她之前在 VR 显示的一项研究工作:Split-Lohmann 多焦面 3D 显示技术。

在显示领域,一个场景的 RGB-D 信息(即颜色与深度)是已知的,显示的目标是输出信息,将场景的不同像素光学聚焦到不同深度,最终呈现到人眼中。

而同样的光学创新也可以应用于成像系统,只不过方向相反,即从“输出信息”转变为“输入信息”,也就是要捕捉现实世界的信息。

研究团队利用光路可逆这一概念,将显示技术中的光学突破,应用到成像系统中。于是,一个新型成像系统诞生了。

此次研发的核心光学结构名为“Split-Lohmann 计算透镜”——它打破了传统镜头只能产生单一焦平面的限制,把焦距变成可像素区域级控制的维度。这个结构的核心是两个特殊的镜片即立方相位板,以及一块名为空间光调制器(SLM,Spatial Light Modulator)的“智能画布”。

当两面特殊镜片以特定方式组合时,它们的功能就相当于一个焦距可变的透镜。而“智能画布”能够通过编程,精确地控制它穿过不同区域的光线的聚焦。

在这套系统中,相机传感器的每一个像素点,都能对应到“智能画布”上的一个特定区域。通过编程可以对画布不同区域施加不同的影响。这就等于给相机的每一个像素点都配了一副独一无二的“眼镜”。

假如你要给朋友拍摄一张他站在樱花树下的照片,使用这一相机时等于给靠近你朋友的像素点戴上了“看近处”的眼镜,而拍摄远处花朵的像素点则戴上了“看远方”的眼镜。通过此相机实现了空间变焦,即在同一张照片里不同地方的焦点可以完全不同。


图|光学系统(来源:https://imaging.cs.cmu.edu/svaf)

相机如何学会对焦?

只有可以空间变焦的智能透镜是远远不够的,相机还得知道照片里的每个东西到底距离它有多远,只有这样才能给对应的像素分配合适的眼镜。就像人类的眼睛需要先判断物体的远近,大脑才能指挥眼球肌肉进行对焦一样。为此,秦颖思给这台相机设计了两种自动对焦算法。

第一种算法是对比度探测法(CDAF),它可以让相机边试边找。这种方法有点像我们在黑暗中摸索开关。具体来说,相机会首先在整个焦距范围内拍摄三张略有不同对焦深度的照片。然后,它会分析照片中每个小区域的对比度也就是颜色和明暗的反差,而对比度最高的位置往往对应最佳对焦深度。

随后,相机会把搜索范围减半,再在更小的范围内试拍并比较新一组图像。通过这样逐步收缩范围、每次拍摄三张左右的方式,相机可以在极少的试拍次数内迅速收敛到最佳对焦深度,而不需要像传统方法那样做全面穷举式扫描,最终为每个小区域找到那个能让它变得最清晰的对焦深度。


图|CDAF 介绍(来源:https://imaging.cs.cmu.edu/svaf)

第二种算法是相位探测法(PDAF),能为相机带来一眼看穿的能力。这个方法需要一种双像素传感器,这种传感器的每个像素点(微透镜)下面都有两个眼睛(光电二极管),能够同时捕捉到略有视差的两个图像。当物体清晰对焦的时候,这两个图像是完美重合的。

如果物体模糊了,这两个图像就会错开。通过计算错开的距离和方向,相机就能判断出物体距离和对焦距离之间差了多少,从而瞬间自动对焦。


图|PDAF 介绍(来源:https://imaging.cs.cmu.edu/svaf)

秦颖思表示:“这两种方法的根本任务都是精确计算场景深度,它们与 AI 或主动感知等方法并非互斥,未来完全可以相互结合、互补,以进一步提升结果的精度、物理可靠性和鲁棒性。”

实时全场景动态对焦成为可能

值得强调的是,这并非停留在静态场景上的成像系统,研究团队的相位探测法原型机已经实现了 21FPS 的实时全场景动态对焦。


(来源:https://imaging.cs.cmu.edu/svaf)

或将创业进行产品孵化

据秦颖思介绍,在那些需要对整个场景清晰成像和信息获取的领域,本次技术将发挥至关重要的作用。

一个典型的应用是自动驾驶。在自动驾驶中,我们需要实时感知周围环境的所有动态。大家都不希望因为一个行人从车前走过,相机的自动对焦发生改变,导致模糊忽略了远方正快速驶来的车辆。

自动驾驶需要确保环境感知的全面性和连续性。传统自动对焦难以实现这一点,常在两者之间来回切换,导致延迟。而本次成果全场景聚焦技术正好可以满足这一需求,避免对焦延迟可能带来的风险。

另一个重要应用是显微成像,实现一次性看清厚样本。对于具有厚度的组织样本,传统显微镜必须逐层扫描再后期合成。而这台相机可以让整个厚样本同时变得清晰,为观察动态样本、实时监测生物过程提供可能。

此外,在监控安防领域,对于监控摄像头而言全面掌握整个场景的清晰细节和信息是核心需求,本次系统能够确保画面中的所有区域始终聚焦,满足安防对信息完整性的高要求。

最后,在医疗成像和机器人远程手术中,医生通过远程操控机器人进行精密操作时,对视觉反馈的清晰度和准确性要求极高。本次相机则能提供实时全场精准对焦的画面,为手术的“稳”与“准”提供关键的技术支持。

秦颖思表示,团队已围绕核心技术布局全球专利,美国专利正在申请中。她说:“随着工程推进,我相信这项技术会自然进入那些需要高可靠视觉的应用场景,成为下一代视觉系统的底层能力。同时,应用层面的反馈与需求也能反过来驱动科研,持续提升性能。我期待在未来推动这项技术成为产品落地,改善和提升大家的生活。”

参考资料:

研究论文:Spatially-Varing Autofocus

论文地址:https://imaging.cs.cmu.edu/svaf/static/pdfs/Spatially_Varying_Autofocus.pdf

项目网站:https://imaging.cs.cmu.edu/svaf/

作者网站:https://yingsiqin.github.io/

演讲视频:https://www.youtube.com/watch?v=kbIFbTkv1l0

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
酷派集团独董郭敬晖被立案调查并实施留置,公司长期亏损,市值约2亿港元

酷派集团独董郭敬晖被立案调查并实施留置,公司长期亏损,市值约2亿港元

红星资本局
2026-03-26 13:23:04
退役体操冠军,直播“擦边”之后

退役体操冠军,直播“擦边”之后

中国新闻周刊
2026-03-25 21:34:08
一个21岁中国姑娘在阿根廷机场,给所有为人父母者上了深刻的一课

一个21岁中国姑娘在阿根廷机场,给所有为人父母者上了深刻的一课

男孩派
2026-03-25 10:00:06
51岁港星广东县城卖10元云吞,凌晨5点起床,擦桌子收碗筷超勤快

51岁港星广东县城卖10元云吞,凌晨5点起床,擦桌子收碗筷超勤快

韩小娱
2026-03-17 11:28:35
清明将至,俗话说:“坟头三不动,一动穷三代”今年应如何祭祖?

清明将至,俗话说:“坟头三不动,一动穷三代”今年应如何祭祖?

磊子讲史
2026-03-20 16:07:07
别信什么“瘦了就好”,看看蒋欣,瘦了20多斤,代价是脸垮了

别信什么“瘦了就好”,看看蒋欣,瘦了20多斤,代价是脸垮了

西楼知趣杂谈
2026-03-18 11:48:25
13分优势遭15-0逆转!两大解说怒批:乌度卡完败,这输法真活该

13分优势遭15-0逆转!两大解说怒批:乌度卡完败,这输法真活该

体育见习官
2026-03-26 13:06:25
赖清德“返核”让绿营崩溃?谢寒冰酸:苗博雅、黄捷精神错乱了

赖清德“返核”让绿营崩溃?谢寒冰酸:苗博雅、黄捷精神错乱了

海峡导报社
2026-03-25 08:17:03
长期外派甲方工作是一种什么体验?网友:一年也不回公司一次

长期外派甲方工作是一种什么体验?网友:一年也不回公司一次

另子维爱读史
2026-03-24 20:37:44
张凌赫和田曦薇,谢谢你俩让我看到了真人秀有多假

张凌赫和田曦薇,谢谢你俩让我看到了真人秀有多假

草莓解说体育
2026-03-26 14:17:01
警醒!中国该提防巴基斯坦了,他们的小孩,随口就说“秦腔穷”

警醒!中国该提防巴基斯坦了,他们的小孩,随口就说“秦腔穷”

原来仙女不讲理
2026-03-25 17:54:03
美媒:“未来战争”轮廓在伊朗清晰浮现

美媒:“未来战争”轮廓在伊朗清晰浮现

参考消息
2026-03-25 10:25:08
广东不仅持续发放原民办代课教师生活补助而且还不断新增发放人数

广东不仅持续发放原民办代课教师生活补助而且还不断新增发放人数

郭爱华追问教育
2026-03-26 06:29:01
公益一类二类事业单位改革,多种事业编实行员额制,签订劳动合同

公益一类二类事业单位改革,多种事业编实行员额制,签订劳动合同

马蹄烫嘴说美食
2026-03-26 13:59:16
爆料广东队教练组大调整,杜锋面临下课,替代者现身,球迷支持

爆料广东队教练组大调整,杜锋面临下课,替代者现身,球迷支持

宗介说体育
2026-03-25 10:31:37
83岁赵朴初归乡,站在陈独秀墓前直言:墓碑上少了两个字太不应该

83岁赵朴初归乡,站在陈独秀墓前直言:墓碑上少了两个字太不应该

老谢谈史
2026-03-23 12:07:01
杜淳宠妻太狠了!王灿戴4条金手链,口红整箱买像批发?

杜淳宠妻太狠了!王灿戴4条金手链,口红整箱买像批发?

娱乐领航家
2026-03-26 00:00:03
不能只让特朗普出风头,俄罗斯宣布重磅消息:跟中国有大事要谈

不能只让特朗普出风头,俄罗斯宣布重磅消息:跟中国有大事要谈

爱看剧的阿峰
2026-03-26 14:00:36
江苏一男子为控制血糖,每天坚持走路9000步,半年后他的身体咋样

江苏一男子为控制血糖,每天坚持走路9000步,半年后他的身体咋样

徐医生健康讲坛
2026-03-26 13:57:18
48小时突袭!美国正想停火,以色列战机却在伊朗头顶抢炸最后一波

48小时突袭!美国正想停火,以色列战机却在伊朗头顶抢炸最后一波

Ck的蜜糖
2026-03-26 14:24:22
2026-03-26 15:31:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
16487文章数 514797关注度
往期回顾 全部

科技要闻

Meta高管狂分百亿期权,700名员工却下岗

头条要闻

担心特朗普突然停战 以总理下令48小时尽力摧毁伊设施

头条要闻

担心特朗普突然停战 以总理下令48小时尽力摧毁伊设施

体育要闻

35岁替补门将,凭什么入选英格兰队?

娱乐要闻

张雪峰家人首发声 不设追思会丧事从简

财经要闻

黄仁勋:芯片公司的时代已经结束了

汽车要闻

一汽奥迪A6L e-tron开启预售 CLTC最大续航815km

态度原创

房产
时尚
家居
公开课
军事航空

房产要闻

质价比标杆!三亚首创浮岛全景舱亮相,还得是万科!

2026年了,最好看的还是“这件针织”!

家居要闻

傍海而居 静观蝴蝶海

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

担心特朗普突然停战 以总理下令48小时尽力摧毁伊设施

无障碍浏览 进入关怀版