李飞飞发表长文：空间智能是AI下一个前沿

11月10日，斯坦福大学教授、World Labs 联合创始人李飞飞发表长文《From Words to Worlds: Spatial Intelligence is AI’s Next Frontier》（从语言到世界：空间智能是AI的下一个前沿）。李飞飞认为，当前以大型语言模型为代表的AI虽然擅长处理抽象知识，却如同在“黑暗中行走”，缺乏对物理世界的真实理解。而空间智能，即人类用以理解、导航并与三维世界交互的底层能力，将是实现机器真正智能的关键突破。

李飞飞在其个人社交平台发布长文解释空间智能

空间智能是指AI系统通过对三维空间和时间的理解，实现感知、推理和行动的能力。

李飞飞解释道，空间智能是人类认知的“脚手架”，它不仅是我们在日常生活中停车、接物等无缝操作的基础，更是科学发现、建筑设计和个人叙事的核心。

她指出，人类对世界的理解是整体性的——不仅关乎我们“看见了什么”，还包括事物在空间上的关系、它们的意义以及彼此的关联。通过想象、推理、创造与互动来理解世界，而非仅仅依赖语言描述，这正是空间智能的力量。

为了赋予机器这种能力，我们需要构建一种全新的“世界模型”。这种模型必须具备三种核心能力：首先是生成性，能够创造出在几何、物理和语义上都保持一致性的虚拟世界；其次是多模态性，能理解和整合文本、图像、动作等多种指令；最后是交互性，能根据动作输入预测世界的下一步变化。

实现这一愿景面临诸多挑战，包括寻找新的训练方法、处理海量复杂的空间数据以及开发新型模型架构。

空间智能的应用前景极为广阔。在短期内，空间智能将赋能创造力，为电影、游戏和建筑领域的创作者提供强大工具，例如李飞飞团队正在开发的Marble平台，能快速生成可探索的3D环境；中期来看，它将推动具身智能机器人的发展，通过高仿真训练使其成为人类在家庭、实验室中的协作伙伴；长远看，空间智能有望在科学、医疗和教育领域引发革命，通过模拟实验、辅助诊断和沉浸式学习，极大增强人类在各自专业领域的能力。

李飞飞强调，她致力于开发人工智能的初心始终是增强人类能力，而非取代人类。构建具备空间智能的机器，最终目标是让AI成为人类应对重大挑战的得力伙伴，共同创造一个更美好、人类潜能得以更大发挥的未来。

近期，李飞飞多次在公开场合强调空间智能的重要性。此前，她与黄仁勋、约书亚·本吉奥、杰弗里·辛顿、扬·勒昆以及比尔·达利，齐聚伦敦，在参加《金融时报》（FT）主办的 “未来人工智能峰会”（FT Future of AI Summit）时提出，当前大语言模型与智能体，这些仍主要基于语言维度。但若深入反思人类智能的本质，就会发现智能的范畴远超越语言层面。而空间智能，正是感知与行动之间的关键纽带——人类与动物拥有远超语言范畴的非凡能力，能够感知、推理、交互并创造立体世界。

“即便当今最强大的语言模型或大语言模型，在基础空间智能测试中仍然表现不佳。从这个维度来看，作为一门科学与学科，人工智能仍有太多有待攻克和开拓的疆域，而这必将催生更广阔的应用场景。”李飞飞说。

在她和杨立昆（Yann LeCun）、谢赛宁等AI领域的领军学者联合发表的论文《Cambrian-S: 迈向视频中的空间超感知》中，提出实现AGI需先突破“超感知”能力。研究指出，当前以大语言模型为核心的AI系统缺乏对现实世界的真实感知能力，无法像人类一样理解视频中的空间关系与动态变化。

李飞飞在2024年4月创立科技公司World Labs，去年9月，World Labs正式宣布完成2.3亿美元的巨额融资，投资方包括硅谷知名投资机构a16z、NEA、加拿大风投公司Radical Ventures，以及英伟达公司的风险投资部门等。今年9月，World Labs 推出了空间智能模型 Marble 预览版，目前处于限量开放阶段。