黄仁勋GTC开场：「AI-XR Scientist」来了！

AI 读了那么多 paper，会做实验么？LabOS: 当 AI 不仅会思考，更能 “看见”、“指导” 并“操作”真实实验，一个人类与机器智能共同进化的科学发现新时代，正悄然开启。

在一个看似常规的生物实验室里，科学家在 XR 智能眼镜的指导下配制溶液，镜片实时浮现提示：“干细胞培养已完成，请取样。” 这时，机器人自动接管了他手中的试管，启动涡旋混合器进行混合。当科学家取回细胞，视野中已同步 CRISPR 基因编辑的下一步流程。

这一切的幕后总指挥，正是具备实验室场景 “世界模型” 的 AI 协研科学家 ——LabOS，它如同一位洞察全场的指挥家，以多模态数据为乐谱，精准指挥着多智能体、人类科学家与实验机器人。在这个深度融合的实验生态中，三者不再各自为战，而是共同奏响高效、可复现并持续进化的科学发现交响曲。

这一颠覆性的实验室人机协作场景，正是来自于英伟达 CEO 黄仁勋在 10 月 29 日的华盛顿 GTC 大会上亲自展示的突破性研究。由美国斯坦福大学丛乐教授与普林斯顿大学王梦迪教授团队联合英伟达，正式发布了一个名为 LabOS 的智能平台系统，全球首个融合 AI 与 XR（扩展现实）的 Co-Scientist (协研科学家)。

• LabOS 网站：https://ai4labos.com
• 论文链接：https://arxiv.org/abs/2510.14861

LabOS 的突破性在于，它首次将多模态感知、自我进化智能体与扩展现实（XR）技术融为一体，把干实验的 AI 计算推理与湿实验的实时人机协同操作无缝衔接，构建出一个从假说生成到实验验证的端到端闭环。这不仅为科学研究打造了一个动态演进的 “世界模型”，更正式开启了人类与机器智能协同进化的科学发现新纪元。

斯坦福大学丛乐教授表示：“借助与英伟达合作达成的这项突破，我们可以将过去需要数年才能完成的工作缩短到数周，将原本耗资数百万美元的研究降至几千美元，将培训顶尖科研人才的周期从几个月降至几天。我们非常激动能与 NVIDIA 紧密合作，展示这项成果。更令人兴奋的是，这仅仅是开始，随着自主化科研实验室的兴起，这一创新不仅在改变生活，更将以更快的速度、更低的成本来拯救生命！”

图 1：LabOS 系统架构，融合了干实验的自我进化 AI 智能体与湿实验的 XR + 机器人的人机交互，实现端到端的科学发现

1. 从计算推理到物理协作：AI 实验室的具身进化

以往的科学 AI，无论是 AlphaFold 还是 Deep Research，大多在纯数字世界中运行。它们是天生的 “理论家”，但无法触及真实的物理实验。实验室的 “最后一步” 依然高度依赖科学家的手工操作与隐性经验，这成为科研效率与可复现性的瓶颈。

LabOS 的突破，正是为 AI 构建了一个能够进入真实实验室的具身系统。它将抽象智能与物理操作融为一体，构建出一个具备 “脑‑眼‑手” 协同能力的 AI 协研科学家：

• 会思考的 “脑”：自我进化的 AI 智能体。基于此前的研究 STELLA 框架，LabOS 包含规划、开发、评审与工具创建四大智能体。它们不仅能分解科研任务、编写分析代码，更能通过 “工具海洋” 模块，从海量文献和数据中自主创建新工具，实现推理能力的持续进化。这种内在的自我进化能力，使其能够通过 “推理时扩展” 解决新颖的科研任务。
• 能理解的 “眼”：专为实验室打造的视觉语言模型。团队收集了超过 200 段第一视角的实验视频，构建了 LabSuperVision（LSV）基准。他们发现，即便是最强的通用大模型，在理解精细实验操作上也表现不佳。为此，他们训练了专用的 LabOS-VLM，使其在错误检测等任务上准确率远高于通用模型。
• 可协作的 “手”：实时人 - 机器人一体化的实验执行系统。研究人员佩戴轻量 AR 眼镜进行实验，LabOS 每 5-10 秒对视频流进行一次分析，实时提供步骤指导、错误告警和操作建议，并协同调度 LabOS Robot 机器人参与实验操作。所有交互都通过 XR 界面以手势和语音完成，确保在无菌环境下的流畅人机协作。

图 2：物理实验室场景的 4D 重构，LabOS 通过 XR 眼镜实现人 - 机器人一体化的实时协作

2. 世界模型如何理解实验室？

实验室环境的复杂性对 AI 的视觉理解提出了极高要求。为评估 AI 模型的实验室感知与推理能力，团队构建了 LabSuperVision（LSV）基准 —— 包含 200 多个由研究人员佩戴摄像头录制第一人称视角的实验视频会话，并由专家标注操作步骤、错误类型及关键参数。结果令人意外，当前领先的 AI 模型在此基准上表现不佳：Gemini、GPT-4o 等在协议对齐与错误识别任务中得分仅 2-3 分（满分 5 分），远未达到实验室应用标准。

为解决这一瓶颈，团队通过结合公开实验视频、内部录制数据和专家标注，对专注于实验室场景的视觉语言模型（VLM）进行了后训练。得到的 LabOS-VLM 能够解码 XR 眼镜的视觉输入，并将视觉嵌入与语言模型对齐，实现对实验室场景的解读与推理。经监督微调与强化学习优化后，该模型在科学环境中展现出显著提升的视觉推理能力 —— 例如在细胞转染实验中，可实时识别实验员没有按照实验的标准操作程序（SOP）操作而产生的错误，并生成步骤指导。其 235B 参数版本在错误检测准确率突破 90%，远超其他通用模型。

同时，为进一步提升系统对实验室物理空间的理解，LabOS 为 AI 构建了一个具备时间感知与语义理解的三维实验室环境。在这个环境中，AI 不仅能识别实验室中的每个器皿、设备与样品，更能理解它们在实验室场景下的语义关系与时间演化，知道实验正在进行哪一步、哪些操作已完成、哪些反应仍在持续、哪一步出了什么问题等等。这套高精度的世界模型，也构成了 LabOS Robot 机器人在实验室中自主执行各种实验任务的空间认知基础。

这一从数据构建、模型训练到实时交互的完整技术路径，使 LabOS 系统具备科学视觉推理能力，成功构建了 AI、人类与机器人在真实实验场景中的高效协同闭环。

图 3：从 LSV 基准测试数据构建到 LabOS-VLM 模型训练，在实验室场景中实现实时人机交互

3. 人机协作的三大实证：从靶点发现到技能传承

LabOS 的论文通过三个前沿生物医学研究案例，展示了 LabOS 作为协作科学家的强大功能：

• 自主发现癌症免疫治疗新靶点

癌症免疫学的关键挑战在于识别介导肿瘤免疫逃逸的关键基因。传统筛选方法受限于通量且依赖专家经验分析。LabOS 在此展现了其 “干实验 - 临床分析 - 湿实验” 全流程研究能力：系统首先通过 CRISPR 激活筛选技术，在黑色素瘤细胞中自主识别并迭代优化 NK 细胞杀伤抵抗的候选基因 CEACAM6；随后利用癌症基因组图谱（TCGA）数据进行生存分析，建立 CEACAM6 基因表达与患者预后的临床相关性；最终通过湿实验验证，确认 CEACAM6 的激活显著增强肿瘤对 NK 细胞的抵抗能力。这一从计算推理到实验验证的端到端闭环，体现了 LabOS 在靶点发现中的系统性研究能力。

图 4：LabOS 在靶点发现中的应用

• 机制研究中的科学假说生成与验证

在细胞融合这一基础生物过程的机制研究中，LabOS 展现出强大的科学假说生成和验证能力。LabOS 通过整合通路富集分析、互作先验与功能性证据，自主将 ITSN1 提名为核心调控基因。随后，研究团队通过 CRISPR 干扰技术，在 U2OS 细胞模型中进行细胞融合的功能性验证。定量成像与细胞实验结果显示，ITSN1 的敲低确实显著抑制了细胞融合过程。这一从 AI 生成的科学假说到湿实验验证的完整闭环，充分体现了 LabOS 作为协科学家在推动机制发现层面的独特价值。

图 5：LabOS 在机理研究中的应用

• 干细胞工程的技能传承

复杂湿实验的可复现性长期受困于难以言传的隐性知识与操作偏差。LabOS 通过 XR 智能眼镜与视觉推理，在干细胞 CRISPR 基因编辑等复杂实验中实现实时指导与操作捕捉，并能自动记录专家实验，形成标准化数字流程，最终作为 AI 导师助力新手快速掌握关键技术，显著提升实验复现性与技能传承效率。

图 6：LabOS 在干细胞研究中的应用

4. 未来：走向自主科学发现的 “北极星”

LabOS 的诞生，标志着科学发现范式的根本性跃迁。丛乐教授和王梦迪教授在阐述其愿景时强调，LabOS 旨在 “Scale Science with AI Together”—— 与 AI 共同拓展科学的边界。

科学探索长期受限于人类认知的速度与实验操作的精度，传统实验室如同孤岛，依赖难以复现的 “手艺” 与无法规模化的个人经验。LabOS 正在打破这一桎梏：它让 AI 和未来的机器人真正 “走进” 实验室，理解并参与每一个实验环节，成为与人类科学家并肩工作的协作者。无论成功或失败，每一次实验都成为这位 AI Scientist 的成长养分，推动其持续进化。这种人类与机器智能协同进化的科研生态系统，将从根本上加速科学发现的进程。

作者团队介绍

丛乐 (Le Cong)，斯坦福大学医学院病理学系和遗传学系教授。他被公认为是 CRISPR 基因编辑领域的奠基人之一。早在哈佛大学攻读博士学位期间，丛乐在导师张锋（Feng Zhang）和乔治・丘奇（George Church）的指导下，作为第一作者在 Science, Cell, Nature 杂志上发表了数篇标志性论文，首次证实 CRISPR/Cas9 系统可以在哺乳动物和人类细胞中实现基因编辑，为这一革命性技术的后续应用奠定了基石。之后在 Aviv Regev 教授指导下，转向单细胞基因组学方向，之后在斯坦福建立独立实验室，发布了一系列将机器学习，AI 及生物医学结合的新技术，横跨基因编辑，细胞追踪，免疫靶点发现等多个方向。近年来致力于通过建立 “AI 科学家” 加速生物医学，发布了 RNAGenesis 基座模型，CRISPR-GPT 智能体，和 LabOS 等一系列工作 —— 将 AI 智能体，XR 眼镜，Robotics 自动化结合。

王梦迪 (Mengdi Wang) 教授，普林斯顿大学人工智能创新中心主任、普林斯顿大学电子与计算机工程系教授，此前她 14 岁考取清华自动化系，18 岁进入麻省理工学院 (MIT) 攻读计算机系博士，师从美国国家工程院院士 Dimitri P.Bertsekas，博士毕业后一年进入普林斯顿任教并担任博士生导师，成为普林斯顿最年轻终身教授。

本工作由斯坦福大学丛乐教授，普林斯顿大学王梦迪教授领衔，普林斯顿大学张载熙博士、斯坦福大学 David Smerkous、斯坦福大学王晓童博士、尹笛博士等为第一作者。