属于AI的世界补完计划｜「AI 开放世界」活动回顾

1995年，TV动画《新世纪福音战士》里提出一个近乎疯狂的愿望「人类补完计划」，试图打破人与人之间的 AT 力场，让彼此隔绝的心重新连成一个整体。

借用这个名字，今天的 AI 也在进行一场「世界补完计划」，弥合词语与物体、图像与空间、感知与行动之间的断裂，再把看见、理解、预测、行动和反馈，连成一条不断更新的链条。

这场补完最初发生在语言里。

2018 年，一台配有 8 块 GPU 的机器，读进了数千本没有人工标注的书。那是第一代 GPT 的训练现场。没有人替它解释一句话的含义，也没有人标注人物、情绪和因果。训练者下了一道指令，要求它根据已经出现的词，猜下一个词。猜错，调整参数，再猜一遍。

就在这种近乎机械的重复中，语言的纹理逐渐沉入模型。一句话变成概率，一段故事变成可以计算的序列。后来，机器越来越擅长把人类写出的句子接续下去。

八年后，人们希望它补完的不再只是一句话，而是一个世界。

一只杯子从桌边滑落，语言模型可以描述接下来会发生什么，视觉模型也能识别杯子坠地的画面。但如果要让机器人伸手接住它，模型还得回答更多问题。杯子离桌边多远？手应该以什么速度靠近？什么时候发生接触？用多大的力？以及一旦没有接住，下一步该怎么办？

从预测下一个词，到预测行动之后的世界，AI 跨过的不只是模态的边界，更是因果的门槛。真实世界没有唯一正确的续写，每一次选择，都会改变下一道题。

8 月 21 日，火山引擎 V-START 创业加速器、Aseed+ Lab、深圳河套学院在深圳南山联合举办「AI 开放世界」活动。活动由 NVIDIA 赞助，动察 Beating 协办，出海同学会 Seamate 支持。

研究者、创业者和工程师围绕世界模型、多模态 Agent、具身智能与空间智能，反复追问同一个问题：「当规则不再预设，AI 要怎样理解并进入真实世界？」

路线还没收敛，正是最好的时候

火山引擎 V-START 创业加速器负责人贾瑞在开场中介绍，V-START 创业加速器希望从市场中寻找具有潜力的 AI 创业公司，通过模型资源、技术专家、字节生态合作、市场活动和业务连接，帮助产品完成从技术验证到市场增长的过程。

NVIDIA 初创加速计划 (NVIDIA Inception) 经理朱敏随后介绍了该项目。该项目已在中国落地 10 年，持续为科创企业提供产品折扣，技术支持，市场宣传，融资对接，业务推荐等一系列服务，助力初创企业接入创新生态。目前，NVIDIA 初创加速计划在中国已有超过 3000 家会员企业。

深圳河套学院双聘助理教授刘桂良从教育与人才培养的角度补上了另一块拼图。作为人工智能拔尖创新人才培养试验区，深圳河套学院注重打通科研、人才与产业之间的边界，鼓励学生走出实验室、深入真实产业场景，在解决实际问题的过程中探索创新与创业机会。

Aseed+ Lab 的 Thomas Tang 说，投资只是帮助早期研究者和创业者的一种方式。更早发生的，应该是知识上的交流：先理解彼此在研究什么、相信什么，再判断还缺少什么工具、资源和连接。

这也为后面的讨论定下了基调。世界模型尚未形成统一定义，具身智能也远没有固定答案。分歧不是需要被迅速消灭的噪音，恰恰是机会仍然存在的证明。

预测下一帧，不等于理解一个世界

随后，圆桌「当世界不再预制：下一代模型往哪走？」从一个看似基础、实际上没有标准答案的问题开始，「什么才算真正的世界模型？」

深圳河套学院双聘助理教授刘桂良认为，今天以视频为基础的世界模型仍处在早期。一个更完整的模型，不只要预测二维画面，还要逐步吸收三维空间、重力、摩擦、触觉和其他传感信号，最终理解一个主体在世界中能够感受到什么、做出什么，以及行动之后会发生什么。

但这不会一步到位。互联网首先提供了规模最大的二维数据，行业随后进入三维空间与仿真，再往后才是更复杂的物理规律。世界模型不是把上帝创造的一切一次性装进模型，而是在数据和任务允许的范围内，逐层扩大它能够解释的世界。

香港科技大学(广州)助理教授许人镜把人的认知作为参照。他在自我介绍时给出了一句简短的 Slogan：「以人为镜。」

人看到杯子的正面，也知道它有背面；伸手拿起一件没有见过的工具，也能在极少尝试后调整动作。人的内部世界模型不仅预测下一步，还保留了对物体、空间和相互作用的稳定理解。以此为标准，单纯做好 Next-step Prediction，还不能说明模型真正抓住了世界。

香港大学计算机系博士生吴成岳则从多模态理解与生成出发，提醒大家不要过早把两种能力画上等号。理解与生成可以共享一部分表征，理解信号也能帮助生成，但实验并没有证明两项任务会自然合并成同一种能力。让模型生成逼真的下一帧，与让它理解为什么会出现这一帧，仍然存在距离。

香港大学博士生任旭滨更关心行动。对机器人或数字 Agent 来说，世界模型的价值在于预测每一个 Action 的后果，并连续推演多步行动。如果模型还能把执行结果重新变成训练数据，就可能形成一个自我改进的循环：行动、观察、修正，再行动。

换句话说，世界模型不能只会做梦，还要知道梦里的动作有多大概率能变成现实。

圆桌很快进入具身智能最现实的争论，数据到底从哪里来？

互联网视频数量巨大，但大多数只是旁观记录。机器人需要的，却是行动、接触、失败、恢复和反馈。一个人戴着 GoPro 完成任务，与一台具体机器人在同一环境里完成任务，中间隔着本体结构、控制方式和物理约束。

香港大学计算与数据科学学院助理院长、助理教授李弘扬认为，互联网数据和人类第一视角数据依然有价值，尤其在上半身操作中，大规模数据已经显示出泛化潜力。但全身人形机器人仍然更难：动作空间更大，跌倒与恢复更复杂，人的运动也不容易被完整映射到机器人本体。

更重要的是，行业习惯用「多少小时」「多少条轨迹」描述数据规模，却没有回答这些数据究竟让模型学会了什么。

一小时重复搬运相同物体，信息量可能不如一次关键的接触、失误和纠正。李弘扬提出，具身数据的计量单位未来可能更接近 Intervention 或状态转移，而不是简单的时长。许人镜也强调，数据是否覆盖足够多样的动作和状态，比总小时数更重要。

这场讨论最终没有选出唯一的模型架构，却形成了几个相对清晰的判断：

世界模型需要从画面进入空间，从观察进入行动，从数据数量进入数据质量；具身智能的「ChatGPT 时刻」，也不能只以能否输入 Prompt 判断，而要看它是否真的能在生产或生活中稳定完成任务。

路线仍然分散。有人相信 Scaling Law，有人更期待持续学习、自我进化和 Test-time Training；有人押注统一模型，也有人认为感知、推理和控制仍会长期分层。

主持人 Thomas Tang 在圆桌末尾说，这是一个特别好的时代，因为路线还没有收敛。

Agent 的记忆，不能只靠更长的上下文

圆桌之后，两场 Keynote 把讨论从物理世界带回 Agent 的工作空间。

火山引擎高级工程师秦浩杰介绍了开源上下文数据库 OpenViking。

当Agent 执行一个复杂任务时，需要同时处理工具说明、短期记忆、长期经验、任务规划与执行结果。把所有信息塞进上下文窗口，既昂贵，也容易让无关内容干扰下一步行动。

OpenViking 的做法，是像文件系统一样组织上下文，把 Memory、Resources 和 Skills 放进有层级的目录；检索时先定位相关目录，再向下递归寻找内容；加载时则把信息分成摘要、概览和原文，让 Agent 按需读取，而不是一次吞下全部材料。

在这个逻辑里，记忆不只是聊天记录。一次任务执行完成后，系统还可以从轨迹中提炼用户偏好、有效方法和历史经验，在下一次任务中重新使用。随着 Agent 开始长期工作，上下文也从临时输入变成了可以持续积累的资产。

NVIDIA 资深解决方案架构师赵元青随后介绍了 OpenViking 与 NVIDIA 的联合实践。

当一个 Agent 变成一支 Agent Fleet，检索问题会迅速放大。不同 Agent 可能独立工作，也可能由主 Agent 调度，或者以去中心化方式交换信息。系统面对的不再是一次问答，而是大量并发、持续发生的小型读写和向量检索。

联合方案把 NVIDIA cuVS 集成进 OpenViking，以 GPU 加速大范围向量搜索，同时保留 CPU 索引，并根据检索范围选择更合适的路径。窄目录查询不必动用 GPU，跨大量目录的宽检索则更适合并行计算。现场展示的测试中，全量搜索场景的吞吐获得了约四倍提升。

Agent 数量可以迅速增加，但上下文、权限和检索能力不会自动长出来。给 AI 办理入职之后，组织仍然需要回答：它能看什么，应该记住什么，下一次又该从哪里找到这些经验。

八个项目，八种进入开放世界的解法

项目交流环节，八位分享者从世界模型、机器人泛化、物理数据、空间智能和生成式游戏等不同方向，给出了各自的解法。

先认识物体，再学习规律

视启未来联合创始人刘昊认为，具身智能的数据缺口不可能只靠真机采集填满。世界模型的机会，是从互联网视频和第一视角数据中学习物理规律与因果交互，再把这些经验迁移到机器人操作中。

视启未来把路线概括为三个关键词：以物体为中心、动作对齐、因果驱动。

模型要先知道苹果是一个物体，才可能进一步理解它为什么掉落；也要把人手与机械臂看似不同的动作，对齐为相似的交互关系。基于 DINO 系列视觉模型、动作理解和 EgoTwin 第一视角人手 3D 对齐引擎，团队希望让机器人从人类操作数据中学习，并在世界模型的想象空间里进行强化学习，减少真实世界中昂贵且危险的试错。

当数据追不上世界的变化

夏仙创新创始人兼 CEO 刘浚嘉类比宇宙红移提出了一个描述当前数据困境的新词：「数据红移」。

开放世界里物体的位置、姿态、形状、颜色和场景组合不断变化，逐项采集的速度，可能永远追不上真实世界产生新组合的速度。问题不只是数据不够，更可能是模型没有从数据中找到可以被泛化的操作表征。

夏仙创新把模型的重点从轨迹模仿转向了直指操作本质的空间物理交互关系学习上。人学会削黄瓜，并不是记住了每个关节的轨迹，而是理解削皮这个技能中刀和物体之间是怎样的空间交互关系。把这种关系抽象出来，技能才能跨物体、跨场景、跨机器人本体零样本迁移泛化，从而解决具身落地的最核心卡点。

让机器人知道自己用了多大的力

真觉万象硬件产品负责人梁宇把注意力放在视觉看不见的部分。摄像头能看到手拿起杯子，却很难判断手指何时接触、用了多大力、杯子是否开始滑动——这些恰恰决定精细操作能否成功。

选路线之前，团队系统评估过 EMG、MMG、FMG、EIM、OMG、LMG 等六种肌信号模态，最终选了 FMG。因为真觉要解决的不是实验室场景，而是户外真实劳作的大规模采集：EMG 怕出汗、易漂移、还有静态握持盲区，恰好错过拧瓶盖这类最关键的发力瞬间；FMG 直接测肌肉形变的压力分布，抗干扰、信号稳，才能支撑“千万小时级”采集。

视觉管场景与空间关系，IMU 记录运动状态，自研 HD-FMG 补上接触与用力趋势。他们想做的不是一只臂环，而是一套能长期佩戴、规模化采集、最终进入模型训练的物理交互数据系统。

只预测真正需要的未来

深度跃迁联合创始人、首席科学家杨龙对逐帧生成的世界模型提出了质疑。

机器人真正需要的是下一步动作和关键未来状态。若模型为了得到这一结果，必须把中间每一帧画面完整生成出来，大量算力就会被消耗在与决策无关的视觉细节上。

深度跃迁的世界动作模型尝试直接连接当前状态、目标状态与动作，把计算集中在机器人真正需要知道的变化上。对他们来说，世界模型的价值不在于把未来画得多漂亮，而在于能否用更低的数据和计算成本，让机器人做出正确动作。

一份可以回看的空间记忆

映界科技创始人金依力关注的是四维空间智能。

机器人进入真实环境，不只要知道此刻看见了什么，还需要记住某个空间过去发生过什么，并据此推演接下来可能出现的变化。

映界科技希望通过硬件入口实时重建和理解四维空间，把历史环境保存为可以调用的长期记忆，再结合当下的多模态信号预测未来。空间感知由此不再是一张即时地图，而成为一段可以被检索、比较和推演的时间记录。

把人类劳动变成可用数据

人加智能市场负责人陶帅介绍了他们正在构建的具身数据的采集、标注与加工平台。

人加智能的思路，是先把机器人数据采集做得更便宜、更自然。团队在成熟硬件平台上集成多目视觉、音频和 IMU，开发出可穿戴、可规模化部署的采集设备，降低传统方案成本高、干扰强、稳定性不足的问题。

采集只是第一步。第一视角视频、仿真数据和真机数据会进入同一套处理流程，依次完成同步、标定、清洗、自动切片、语义标注、质量筛选和去重。大部分工作由系统自动完成，人工只需处理少量高价值样本，从而减少无效数据和重复标注。

面对人类视频缺少动作标签、不同机器人动作空间不统一的问题，团队采用两种对齐方式，一是根据连续画面推断潜在动作，二是把高置信度轨迹映射到统一的“状态—动作”空间，同时保留手部姿态、夹爪控制等精确信息。

人加智能最终想做的，是打通从低成本采集、自动化处理、跨数据对齐到机器人策略交付的完整链路，持续降低有效数据的获取成本，让机器人能够跨本体迁移，并在真实生产环境中稳定完成任务。

开放世界也可以先发生在游戏里

全灵网络 SEELE AI 联合创始人郭正栋把现场从机器人带进了虚拟世界。

游戏同时包含代码、3D 资产、动画、材质、物理和交互逻辑，是一种比普通应用复杂得多的内容形态。SEELE 希望让用户通过自然语言生成可以真正运行和游玩的游戏，把过去按年计算的制作周期缩短到天甚至小时。

为此，团队训练了面向游戏的原生多模态模型，并继续补足模型对 3D 资产、工程结构和物理状态的理解。模型不仅要写代码，还要知道代码控制的角色、材质和空间关系究竟是什么。

郭正栋说，他最开心的事情，是看用户在平台上创建自己的世界。开放世界在这里不只是一项模型能力，也是一种新的表达方式：一个人脑中的场景，可以被做出来、走进去，再与别人共同体验。

让快思考和慢思考相遇

最后一位项目嘉宾、华威大学计算机博士左凯文在线分享了概率推演世界模型。

他把 VLA 看作机器人的反应系统：它能够根据视觉和语言直接给出动作，却不天然具备对复杂未来的多步推演。生成式世界模型可以补上预测能力，但又面临推理速度慢、难以实时控制的问题。

他的方案尝试把两者放进同一个系统：慢速规划器负责生成和评估多条未来路径，快速执行器持续读取规划结果并进行高频控制。机器人既要有时间想清楚，也必须在真实世界来不及等待时立即行动。

这也为八个项目画出了一条隐约的共同线索。有人解决物体表征，有人解决数据，有人补充力觉，有人建立空间记忆，有人把预测接入控制，也有人先在游戏里生成新的世界。

他们口中的「世界模型」，实际上并不是同一个产品。

开放世界，不等于没有规则

从圆桌到 Keynote，再到八个方向各异的项目，这场活动没有为世界模型给出一个统一定义，反而是几道边界变得更清楚了。

《楚门的世界》里，楚门生活的海景镇近乎完美，天气、交通、相遇，甚至意外，都在导演预设的秩序里发生。真正的开放世界，始于他驾船撞上布景的边界，沿着台阶走向那扇门。门外没有脚本，也没有人保证下一个镜头会安全抵达结局。

AI 从数字世界走向物理世界，也要推开这样一扇门。它至少要跨过三道门槛，从像素进入物体和空间，从观察进入行动与反馈，从一次推理进入持续记忆和自我修正。因为在真实世界里，动作不是画面的后续，而是会改变世界状态的原因；一次错误也不会在下一帧自动消失，它会留下位置的偏差、物体的损坏，甚至无法撤回的后果。

开放世界并非毫无规则。重力、摩擦、遮挡和因果始终存在。真正改变的是，这些规则不再由人类提前写成一套完整的程序，模型必须在行动中发现它们，在失败后修正判断，并为下一步选择承担后果。

语言模型学会了把一句话接下去。

世界模型需要扔掉那张无限精确的地图，推开摄影棚尽头的门，在没有剧本、也无人喊停的地方，仍然拥有把下一步做对的精准与敏锐。