Nature一作！C9大学博士生突破裸眼3D显示难题

北京时间11月27日，上海人工智能实验室/香港中文大学欧阳万里、上海人工智能实验室钟翰森为共同通讯作者在全球顶级期刊《Nature》上发表题为“Glasses-free 3D display with ultrawide viewing range using deep learning”的研究论文。复旦大学/上海人工智能实验室二年级博士研究生马炜杰为本文第一作者。

上海人工智能实验室钟翰森研究员与欧阳万里教授提出了一种名为EyeReal的新型无需眼镜3D显示系统，通过深度学习实时优化有限的SBP，首次实现了桌面显示器尺度下的全视差3D显示，并具备无缝的超宽视角范围。该系统结合了精确的双目视觉建模与深度学习实时优化算法，能够为每只眼睛生成最优的光场输出。EyeReal在低成本光场传输装置上实现了超过100°的视角、1920 × 1080的空间分辨率以及50 Hz的刷新率。实验表明，该系统不仅支持立体视差、运动视差和焦距视差，还能在任意双目观看位置下实时合成高质量光场，为教育工具、3D设计和虚拟现实等应用提供了潜在可能。

动态SBP利用：从静态妥协到实时优化

传统3D显示系统对SBP的利用是被动和静态的，导致在显示尺寸、视角和视差完整性之间必须做出妥协。EyeReal通过实时优化SBP的使用，将有限的光学信息集中在眼睛及其周围区域，从而实现了在广泛视角范围内的高质量3D成像。根据傅里叶光学，SBP定义为系统信息容量，其数学表达式为 S= A δ x δ y =4A( t x, max , t y, max ) 。例如，一台24英寸、1920 × 1080分辨率的显示器在532 nm绿光波长下的视野角仅为约 0.1 ∘ × 0.1 ∘ ，而完整光场所需SBP高达565G，远超当前显示技术极限。EyeReal通过模拟人脑对视角切换的响应间隔，实时优化双目周围的光信息流，从而在有限SBP下实现最优显示效果。

图 1. 在有限 SBP 使用下，不同自立体模型与 EyeReal 显示结果的示意比较

光场生成：物理建模与神经网络结合

EyeReal采用多层液晶面板堆叠作为光场传输装置，无需复杂定制光学元件。其光强输出遵循马吕斯定律，表示为 I= ⋃ i∈[ F i ] ( I 0 (i) sin ⁡ 2 ( ∑ d∈D ϕ d )) 。系统通过建立双目相机模型，将光场与双目成像平面对应，利用6D位姿矩阵实现几何编码（图2a、d）。随后，通过轻量级全卷积网络将视网膜图像分解为分层相位图（图2e），并结合结构化损失函数进行优化，实现实时、高质量的光场合成。

图 2. EyeReal 光场生成方法

实验结果：全视差3D显示的有效性验证

EyeReal在多种场景下进行了全面评估。在计算机生成内容中，无论是物体级（扩展数据图4a、b）还是场景级（图3a）重建，均表现出高质量的立体输出。真实场景捕捉结果（图3b、扩展数据图5a–d、6a–b）也验证了其在不同尺度和光照条件下的鲁棒性。系统在水平、垂直和径向运动范围内均能保持视图一致性（图3c），并支持焦距视差，在不同焦平面下呈现清晰的深度选择性（图3d）。物理设备测试中，左右眼视图具有明显视觉分离（图3e），且在多维空间运动中保持稳定性（图3e右）。焦距评估显示前景与背景可根据焦点位置清晰或模糊（图3f），有效缓解了辐辏-调节冲突（VAC）。此外，动态内容实时渲染（补充视频4）进一步展示了其在实际应用中的潜力。

图 3. EyeReal 的全视差自动立体演示

性能基准测试：局部与全局一致性优势

与现代视图分段自动立体显示相比，EyeReal在双目周围区域提供了更广的高质量视野（图4a左）。视图分段模型的有效视点范围（<20 mm）甚至小于人眼直径（约25 mm），且易因预设眼位与实际瞳距不匹配导致视觉失真。而EyeReal通过优化眼睛周围的光场生成，确保了广域内的高质量一致性和运动容错（图4a右）。在视图密集模型中，现有方法如基于非负张量分解的迭代视图密集方法和神经视图密集方法在近距离或斜向视角下泛化能力差（图4c、d），而EyeReal凭借精确的物理建模在所有视野范围内均表现优异。此外，EyeReal的实时运行速度达50.2帧/秒，比现有方法快1–2个数量级（图4e）。景深连续性评估显示其在不同焦深下均具有平滑过渡和清晰峰值（图4f）。任意视点性能的热图（图4g）进一步证实了其在超100°视角和无缝运动范围内的优异表现。

图 4. 对大型显示中 EyeReal 和被动 SBP 利用模型的多层次一致性能评估

总结与展望：动态SBP利用开启自然3D显示新途径

EyeReal通过将物理原理与AI驱动的数学模型相结合，实现了对有限SBP的动态优化利用，首次在大尺度、实时、超宽视角的无需眼镜3D显示方面取得了突破。该系统不仅解决了传统显示中图像尺度与视角之间的根本矛盾，还通过低成本硬件和消费级组件展示了实际应用的可行性。未来，通过集成时间复用、定向背光等技术，EyeReal有望扩展至多用户场景。此外，其动态SBP利用策略也有潜力应用于其他光场显示技术，如大规模可更新全息显示，为实现真正自然的无需眼镜3D显示开辟了新的技术路径。

马炜杰简介

马炜杰，现为复旦大学计算与智能创新学院二年级博士。本科就读于郑州大学电子信息类中的通信工程专业，硕士就读于香港中文大学（深圳）计算机与信息工程专业。

编辑、审核：吴佳阳

版权声明：本文由“TOP大学来了”综合自“复旦大学、Nature、高分子科学前沿”，文章转摘只为学术传播，如涉及侵权问题，请联系我们，我们将及时修改或删除。