网易首页 > 网易号 > 正文 申请入驻

95后青年科学家,创办公司,发Nature,师从潘建伟院士!

0
分享至


无需眼镜的三维(3D)显示技术,也称为自动立体显示,能够为用户提供沉浸式视觉体验而无需佩戴任何设备,被视为实现“终极显示”愿景的关键路径。然而,实现高质量3D成像一直受限于光学系统的空间带宽积(SBP),该物理量描述了空间分辨率与角多样性之间的固有耦合关系,并受拉格朗日不变量的约束。传统的3D显示方法主要分为全息显示和自动多视点显示两大类:前者能在厘米级尺度上实现精确光场控制,但显示尺寸过小,不适用于自然观看;后者可扩展至桌面级尺寸,但视角有限或只能提供预设视点,牺牲了视角的连续性和适应性。尽管近年来人工智能技术的引入在一定程度上缓解了这些限制,但它们仍受限于固定的SBP,无法同时实现大尺寸显示和宽视角。因此,如何在有限的SBP下实现大尺度、宽视角、全视差的3D显示,仍是当前领域面临的核心挑战。

鉴于此,上海人工智能实验室钟翰森研究员与欧阳万里教授提出了一种名为EyeReal的新型无需眼镜3D显示系统,通过深度学习实时优化有限的SBP,首次实现了桌面显示器尺度下的全视差3D显示,并具备无缝的超宽视角范围。该系统结合了精确的双目视觉建模与深度学习实时优化算法,能够为每只眼睛生成最优的光场输出。EyeReal在低成本光场传输装置上实现了超过100°的视角、1920 × 1080的空间分辨率以及50 Hz的刷新率。实验表明,该系统不仅支持立体视差、运动视差和焦距视差,还能在任意双目观看位置下实时合成高质量光场,为教育工具、3D设计和虚拟现实等应用提供了潜在可能。相关研究成果以题为“Glasses-free 3D display with ultrawide viewing range using deep learning”发表在最新一期《nature》上,第一作者为复旦大学Weijie Ma。


动态SBP利用:从静态妥协到实时优化

传统3D显示系统对SBP的利用是被动和静态的,导致在显示尺寸、视角和视差完整性之间必须做出妥协。EyeReal通过实时优化SBP的使用,将有限的光学信息集中在眼睛及其周围区域,从而实现了在广泛视角范围内的高质量3D成像。根据傅里叶光学,SBP定义为系统信息容量,其数学表达式为 S= A δ x δ y =4A( t x, max , t y, max ) 。例如,一台24英寸、1920 × 1080分辨率的显示器在532 nm绿光波长下的视野角仅为约 0.1 ∘ × 0.1 ∘ ,而完整光场所需SBP高达565G,远超当前显示技术极限。EyeReal通过模拟人脑对视角切换的响应间隔,实时优化双目周围的光信息流,从而在有限SBP下实现最优显示效果。


图 1. 在有限 SBP 使用下,不同自立体模型与 EyeReal 显示结果的示意比较

光场生成:物理建模与神经网络结合

EyeReal采用多层液晶面板堆叠作为光场传输装置,无需复杂定制光学元件。其光强输出遵循马吕斯定律,表示为 I= ⋃ i∈[ F i ] ( I 0 (i) sin ⁡ 2 ( ∑ d∈D ϕ d )) 。系统通过建立双目相机模型,将光场与双目成像平面对应,利用6D位姿矩阵实现几何编码(图2a、d)。随后,通过轻量级全卷积网络将视网膜图像分解为分层相位图(图2e),并结合结构化损失函数进行优化,实现实时、高质量的光场合成。


图 2. EyeReal 光场生成方法

实验结果:全视差3D显示的有效性验证

EyeReal在多种场景下进行了全面评估。在计算机生成内容中,无论是物体级(扩展数据图4a、b)还是场景级(图3a)重建,均表现出高质量的立体输出。真实场景捕捉结果(图3b、扩展数据图5a–d、6a–b)也验证了其在不同尺度和光照条件下的鲁棒性。系统在水平、垂直和径向运动范围内均能保持视图一致性(图3c),并支持焦距视差,在不同焦平面下呈现清晰的深度选择性(图3d)。物理设备测试中,左右眼视图具有明显视觉分离(图3e),且在多维空间运动中保持稳定性(图3e右)。焦距评估显示前景与背景可根据焦点位置清晰或模糊(图3f),有效缓解了辐辏-调节冲突(VAC)。此外,动态内容实时渲染(补充视频4)进一步展示了其在实际应用中的潜力。


图 3. EyeReal 的全视差自动立体演示

性能基准测试:局部与全局一致性优势

与现代视图分段自动立体显示相比,EyeReal在双目周围区域提供了更广的高质量视野(图4a左)。视图分段模型的有效视点范围(<20 mm)甚至小于人眼直径(约25 mm),且易因预设眼位与实际瞳距不匹配导致视觉失真。而EyeReal通过优化眼睛周围的光场生成,确保了广域内的高质量一致性和运动容错(图4a右)。在视图密集模型中,现有方法如基于非负张量分解的迭代视图密集方法和神经视图密集方法在近距离或斜向视角下泛化能力差(图4c、d),而EyeReal凭借精确的物理建模在所有视野范围内均表现优异。此外,EyeReal的实时运行速度达50.2帧/秒,比现有方法快1–2个数量级(图4e)。景深连续性评估显示其在不同焦深下均具有平滑过渡和清晰峰值(图4f)。任意视点性能的热图(图4g)进一步证实了其在超100°视角和无缝运动范围内的优异表现。


图 4. 对大型显示中 EyeReal 和被动 SBP 利用模型的多层次一致性能评估

总结与展望:动态SBP利用开启自然3D显示新途径

EyeReal通过将物理原理与AI驱动的数学模型相结合,实现了对有限SBP的动态优化利用,首次在大尺度、实时、超宽视角的无需眼镜3D显示方面取得了突破。该系统不仅解决了传统显示中图像尺度与视角之间的根本矛盾,还通过低成本硬件和消费级组件展示了实际应用的可行性。未来,通过集成时间复用、定向背光等技术,EyeReal有望扩展至多用户场景。此外,其动态SBP利用策略也有潜力应用于其他光场显示技术,如大规模可更新全息显示,为实现真正自然的无需眼镜3D显示开辟了新的技术路径。

作者简介


钟翰森(1995年-),中国科技大学博士,潘建伟院士团队核心成员,主要从事光量子计算研究。上海奇算光启信息技术有限公司的创始人,上海量子科学研究中心/上海人工智能实验室研究员,上海创智学院的全时导师 。作为“九章”系列量子计算原型机论文的第一作者,他主导了光量子计算原型机的研发工作,实现了12光子纠缠等多项世界级科研成果。其参与的“九章二号”原型机在2021年以113个光子创下量子计算优越性新纪录。2024年,他因在量子计算领域的突出贡献获得青橙奖“最具潜力奖”。2025年5月23日,入选2024年度《麻省理工科技评论》“35岁以下科技创新35人”中国区名单。

编辑、审核:艾克旦

版权声明:本文由“TOP大学来了”综合自“高分子科学前沿”,文章转摘只为学术传播,如涉及侵权问题,请联系我们,我们将及时修改或删除。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
河南项城15岁女孩离家失联16天被找到,已不幸遇难,其母亲称孩子平时成绩优秀,性格开朗

河南项城15岁女孩离家失联16天被找到,已不幸遇难,其母亲称孩子平时成绩优秀,性格开朗

极目新闻
2026-02-26 18:32:28
白鹿带剧组韩国团建,被骂没边界感?凭实绩随心所欲怎么了

白鹿带剧组韩国团建,被骂没边界感?凭实绩随心所欲怎么了

无心小姐姐
2026-02-27 09:41:45
医学类最稳的5个专业:1、口腔;2、麻醉;3……就业好、薪酬高!

医学类最稳的5个专业:1、口腔;2、麻醉;3……就业好、薪酬高!

户外阿毽
2026-02-24 12:54:09
造不出就买!260 亿吞下美国打印机巨头,珠海破解暴利垄断

造不出就买!260 亿吞下美国打印机巨头,珠海破解暴利垄断

知识TNT
2026-02-24 12:30:09
日本主帅:当廖三宁登场时我们需要用协防去针对,他比赵睿更难防

日本主帅:当廖三宁登场时我们需要用协防去针对,他比赵睿更难防

林小湜体育频道
2026-02-27 03:05:04
为啥很多人不要面子也要悔婚?网友:到时候带拖油瓶离开更惨!

为啥很多人不要面子也要悔婚?网友:到时候带拖油瓶离开更惨!

解读热点事件
2026-02-12 04:20:44
女子在上海捡到一张合影,上网急寻失主:害怕是失主珍贵的东西…

女子在上海捡到一张合影,上网急寻失主:害怕是失主珍贵的东西…

上海圈
2026-02-26 18:20:12
回顾“91女神”琪琪:五官出众,却因天真让自己“受伤”

回顾“91女神”琪琪:五官出众,却因天真让自己“受伤”

就一点
2025-11-22 10:36:39
朝鲜阅兵现场,武装力量方阵齐声高喊“誓死拥护金正恩”,三声"万岁"震天响,金正恩竖大拇指点赞

朝鲜阅兵现场,武装力量方阵齐声高喊“誓死拥护金正恩”,三声"万岁"震天响,金正恩竖大拇指点赞

新浪财经
2026-02-27 08:53:06
“真的没人管管江西小炒嘛?”浙江网友喊话江西小炒快开工

“真的没人管管江西小炒嘛?”浙江网友喊话江西小炒快开工

环球网资讯
2026-02-27 08:58:57
不被任何人拿捏的顶级思维:不要回答别人的问题,要回答别人的目的

不被任何人拿捏的顶级思维:不要回答别人的问题,要回答别人的目的

古代经典
2026-02-25 15:40:12
1930年杨开慧牺牲,表嫂70年后透露收殓遗体经过:她本有可能活命

1930年杨开慧牺牲,表嫂70年后透露收殓遗体经过:她本有可能活命

历史龙元阁
2026-02-26 09:30:08
人均40的面馆,集体押注“现炒浇头”

人均40的面馆,集体押注“现炒浇头”

餐饮老板内参
2026-02-26 10:56:35
真·防守型主教练,郭士强本场比赛“抢断”富永启生引发日媒热议

真·防守型主教练,郭士强本场比赛“抢断”富永启生引发日媒热议

懂球帝
2026-02-26 23:33:12
华为重返欧洲高端市场!Mate 80 Pro海外发布:系统不是鸿蒙

华为重返欧洲高端市场!Mate 80 Pro海外发布:系统不是鸿蒙

快科技
2026-02-27 00:27:08
外媒:巴基斯坦防长称“耐心已经耗尽”,巴方对阿富汗政府“公开宣战”

外媒:巴基斯坦防长称“耐心已经耗尽”,巴方对阿富汗政府“公开宣战”

环球网资讯
2026-02-27 09:29:11
42岁王冠定居上海,住800平独栋别墅穿188拖鞋,老公手上纹她名字

42岁王冠定居上海,住800平独栋别墅穿188拖鞋,老公手上纹她名字

揽星河的笔记
2026-02-19 17:15:17
许家印侄子豪宅拍卖,被苏老板5016万元拍下!房产总面积317平方米,配有5个洗手间

许家印侄子豪宅拍卖,被苏老板5016万元拍下!房产总面积317平方米,配有5个洗手间

每日经济新闻
2026-02-26 22:00:09
篮协快上诉!中国队逆转仅一夜:外国球迷围攻裁判 FIBA必须调查

篮协快上诉!中国队逆转仅一夜:外国球迷围攻裁判 FIBA必须调查

侃球熊弟
2026-02-27 09:22:35
白宫再现麦当劳盛宴!川普宴请奥运冠军引爆全网骂战

白宫再现麦当劳盛宴!川普宴请奥运冠军引爆全网骂战

华人生活网
2026-02-27 05:28:36
2026-02-27 12:04:49
TOP大学来了 incentive-icons
TOP大学来了
高等教育|学术|高校与学科|
10541文章数 12737关注度
往期回顾 全部

科技要闻

英伟达业绩亮眼仍跌5% 两大因素成核心隐忧

头条要闻

特朗普在白宫"宴请"夺金的美国男子冰球队:吃麦当劳

头条要闻

特朗普在白宫"宴请"夺金的美国男子冰球队:吃麦当劳

体育要闻

一场必须要赢的比赛,男篮何止击败了裁判

娱乐要闻

继网暴谷爱凌后 美国欲没收其全部收入

财经要闻

魅族手机,终成弃子?

汽车要闻

宝马X5传承版发布:给经典G05的一场体面谢幕?

态度原创

游戏
本地
旅游
公开课
军事航空

《FF7重制版》第三部顺利开发因仍然使用虚幻4

本地新闻

津南好·四时总相宜

旅游要闻

整整俩月!河南这家5A级景区对全国游客免门票

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国11架F-22隐形战机抵达以色列

无障碍浏览 进入关怀版