26岁上海人工智能实验室联培博士研究成果登《自然》正刊，破解裸眼3D显示技术难题

近日，上海人工智能实验室与复旦大学联合培养博士生马炜杰，在《Nature》（《自然》）杂志发表其历时两年打磨的裸眼3D技术研究成果——新一代裸眼3D显示系统书生·瞳真EyeReal。该成果利用AI技术首次实现桌面级显示尺寸下超宽范围的全视差裸眼3D显示。

26岁的马炜杰日前在接受澎湃科技专访时形容自己是反常规的“掉队”学生，但正是这样的经历给了他审视自我、辨识方向的契机，能够沉下心来纯粹做事。当肯下“笨功夫”的年轻人，扎根于鼓励创新的科研“沃土”，一颗看似微小的科研种子，便有了生根发芽的底气，最终结出《Nature》期刊上令人瞩目的科研果实。

裸眼3D显示。AI驱动实现眼睛到哪里，信息就跟到哪里。

AI助力“鱼和熊掌”兼得

和VR/AR设备相比，裸眼3D技术彻底“去设备化”，更适合长时间舒适自然地观看与交互。数字全息显示可提供极高的视角和画质，但不得不压缩显示尺寸至指甲盖大小，而裸眼3D显示则可以更大尺寸提供3D观感。

但受限于物理光学中“空间带宽积”这一极其有限的“光学信息预算”，马炜杰介绍，传统裸眼3D显示技术只能以静态方式将有限信息量均匀分配至所有可视角度，难以兼顾大尺寸、宽角度和视觉连续性这个“不可能三角”，导致要么牺牲尺寸，要么牺牲视角，要么牺牲连续性，三种方案都无法获得舒适的3D观感。

“在现有物理约束下，要实现大尺寸、宽角度和视觉连续性，就得利用AI实时优化。”为此，他提出一种动态最优利用有限信息预算的主动式解决方案，在不增加硬件成本的情况下，通过AI驱动引擎，将全部信息量实时聚焦于观看者视线落点。深度学习算法在毫秒级时间内实时计算出人眼在每一个观察方向的最佳显示方案，实现眼睛到哪里，信息就跟到哪里。

该成果因此突破了既往技术中的权衡关系，让大尺寸画面和超宽的自由连续观看范围可以共存。在完全兼容消费级液晶面板、无需复杂光学元件或特制硬件情况下，实现了桌面级显示尺寸内超100度超宽视场角，包含水平、垂直等全部视差类型的实时三维显示，也从根本上避免了传统3D显示常见的因瞳距失配而产生的眩晕不适感，做到“鱼和熊掌”兼得。

EyeReal提供了一种更高效、自然的人机协同模式，有望加速科学发现进程。上海人工智能实验室青年科学家白磊介绍，“EyeReal是一种光学信息运用全新范式，它不仅为全新的探索工具提供技术基础，使科学研究者得以用更直观、沉浸式的方式进行数据交互，从而实现更高效、更自然的人机协同；同时，通过探索提升光场信息利用效率的新路径，可帮助大模型更精准地捕捉、理解和模拟现实世界中复杂的物理现象，从而推动AI4S大模型向真实物理世界的全面融合迈进。”

此外，《Nature》称，该技术亦有望在教育工具、虚拟现实等领域开拓创新应用。

“掉队”学生的逆袭

“做这个课题是纯粹的兴趣驱动，换句话说，如果没有这样的出发点，我是坚持不下来的，因为这非常难。”从淘二手器件、拧每一颗螺丝，搭建出实验原型，到打磨出最终的论文，马炜杰心无旁骛地一头扎进研究，一做就是两年。

他形容自己是一个“反常规”的学生，喜欢尝试新领域，不追求论文高产，始终关注探索人工智能赋能多元领域的应用可能。从早期在机器人领域夺得世界冠军，到随后将探索触角延伸至智慧医疗与交通等多个应用场景，在加入上海人工智能实验室联培博士专项后，他开始主攻交叉综合的裸眼3D显示技术领域，有志挑战传统难题。

有时候，一个领域的“不可能”是另一个领域的“常识”。正是这些多样化的跨领域实践，让他构建了扎实的能力基础、培养了他的“交叉思维”，进而想到了用AI计算主动管理信息预算的思路解决传统裸眼3D显示技术“不可能三角”这一难题。从0到1的研究意味着没有现成路径可循，研究者只能硬着头皮从头探索。“当时实验室的导师鼓励我不要以论文为导向，专心做科研更有意义。导师还告诉我，在这条技术路线上，我就是一个先行者，没有先例可以参考，实验室可以为我提供支持，但落地必须靠自己。”

“许多优秀的同学在读博之前就已经有很多论文加身了，而我走的路比较反常规，一直在探寻自己想要挑战的方向，这一点上来看可以说已经 ‘掉队’了。但也正因如此，我反而更能沉下心来，纯粹地把事情做好。”两年“真空期”里，他只做两件事：革新技术、打磨结果。

“在AI圈子里，一般有主结果出来一两个月内就会形成一篇会议投稿文章，相比之下用一两年时间去打磨一篇论文显得天方夜谭。”尽管已经得出了定性结果，但若要将文章真正做扎实、做透彻，仍需持续投入时间深入打磨。AI领域热点迭代频繁，在追求“短平快”的学术氛围中，尽快发表初步成果是多数人的选择，但在他看来，扎实推敲的工作从不会缺价值认可的机会。

上海人工智能实验室与复旦大学联合培养博士生马炜杰。

创新的土壤

马炜杰于2024年加入上海人工智能实验室联培博士专项。据悉，上海人工智能实验室于2022年正式启动这一专项，依托高校培养优势和实验室世界级科研平台，让优秀青年在顶尖科学家的指导下挑战前沿难题、参与重大科研项目，目前已吸引近800名来自全国顶尖学府的优秀学子加入。

除了联培博士专项，上海人工智能实验室还创新性地提出“三梯合一”发展通道、“奥斯卡”式激励等人才机制，鼓励青年人才挑大梁、助力青年人才实现多维价值。这些不到30岁的青年科研人员已经是实验室的中流砥柱，正以年轻人的活力和智慧成就人工智能年轻的事业。

同时，上海人工智能实验室通过构建浦江科学社区，广泛链接国内外优秀科研团队和人才，鼓励有志于挑战科学边界的科学家发现问题、提出问题，并结合“AGI4S攀登者行动计划”等扶持机制，让突破性技术从实验室走向更广阔的世界舞台。

正是在这样的环境下，“天才”的想法有了生根发芽、开花结果的机会。

谈及未来，马炜杰表示，“毕业后将继续打磨裸眼3D显示技术，进一步优化算法、提高显示质量，并尝试将其投入实际应用。”他期望未来的裸眼3D显示能成为一扇“数字任意门”——关机时便是一块普通的透明玻璃，一旦开启就变成一个通往数字世界的深邃窗口，变革人机交互方式。“在这个窗口里，无论是人还是物，都具备真实的体积感和光影，交互自然流畅，彻底模糊虚拟与现实的边界。”