丛乐/王梦迪再出手！打造首个AI-XR协同科学家，可实时指导和纠偏

这对华人学术伉俪再次出手！美国斯坦福大学教授丛乐和美国普林斯顿大学教授王梦迪二人和团队以及合作者研发出一款名为 LabOS 的 AI 应用，并在相关论文中表示 LabOS 是业内首个 Al-XR Co-Scientist。他们在论文中写道：“LabOS 可以充当 AI 导师，指导新手达到专家级水平，无需进行手把手培训或长时间试错。”假如一个真人科学家进入实验室却没遵循无菌操作规范？或者一个真人科学家的试剂孵育时间与标准方案不符？LabOS 都会记下这些操作偏差并提供指导。而当向 LabOS 提供实验记录和参考方案的时候，它不仅能够识别每个步骤，还能生成分步指导，更能将实验操作和参考方案进行匹配，必要时还能做出情境感知警告，并能给出下一步操作的建议，这意味着 LabOS 已经具备在真实湿实验室中开展科研工作的能力。更关键的是，随着使用时间的叠加以及测试时扩展系统性能的提升，LabOS 能够实现自我进化，这让它拥有像真人科学家一样的成长规律，从而能够持续应对科研探索中的新挑战。

在构造上，LabOS 集成了多模型 AI 智能体、智能眼镜与人机协作界面，这让 LabOS 能够观察到真人科学家所看到的内容，以及让 LabOS 能够理解实验情境并提供实时辅助。研究中，本次团队通过癌症免疫学、生物机制研究和干细胞工程这三项生物医学研究方向展现了 LabOS 的能力。

在癌症免疫学的案例中，他们要求 LabOS 去发现一个癌症免疫治疗靶点，为此他们先是让 LabOS 生成假设，并通过多步推理分析进行靶点识别，期间 AI 智能体推荐将 CEACAM6 作为推定靶点，随后他们在增强自然杀伤细胞抗肿瘤活性的实验中验证了这一靶点。

在生物机制研究的案例中，他们利用 LabOS 成功识别出了能够调控细胞融合的基因 ITSN1。

在干细胞工程的案例中，他们通过佩戴智能眼镜来与 LabOS 进行交互，每隔 5 秒-10 秒 LabOS 都能将第一人称视角的数据流传输到服务器并能调用视觉语言模型（VLM，Vision-Language-Model）智能体。

LabOS 的本领也获得了第三方的认可。在 Humanity's Last Exam 中，LabOS 达到大约 32% 的最高准确率；在 LAB-Bench: DBQA 和 LAB-Bench: LitQA 中，LabOS 分别达到 61% 与 65% 的最高准确率，较次优模型最高高出 8%。其中，Humanity's Last Exam 是一个由全球近千名领域专家共同打造的多模态基准测试，涵盖数学、自然科学和人文社科等上百个学科的数千个高难度问题。

既然 LabOS 是一个 XR Co-Scientist，那么它的人机交互必然要通过 XR 界面进行。当前，市面上的 XR 硬件基本都支持界面渲染、手势识别以及运行 Unity/Android 应用成语。基于此，在使用 LabOS 的时候，既可以将眼镜数据流传输到本地 GPU 服务器，也可以将眼镜数据流传输到云端，从而进行实时的智能体推理。当本地 GPU 服务器接收到 5 秒-10 秒的短视频片段之后，就能将视频转发到 LabOS AI 智能体进行分析和推理，并能将结构化的 JSON 输出返回到 XR 眼镜，在 JSON 信息获得解析之后，就能为真人科学家提供实时的视觉反馈与音频反馈。

研究中，该团队分别测试了 AR/XR 眼镜和 VR/XR 头显，其中 AR/XR 眼镜的效果更好。原因在于，AR/XR 眼镜拥有开放式的周边视野，其重量一般低于 85 克可以确保真人佩戴的舒适度，同时支持 2 小时以上的续航时间，以及支持 6 自由度和手势识别的三维感知人机交互。通过 AR/XR 智能眼镜界面和实时多模态感知，LabOS 可以将 AI 推理直接连接到实验室，使用时只需佩戴 XR 眼镜即可获得 AI 智能体提供的自适应情境感知指导，这些指导包括分布指令、错误检测与修正提示，甚至包括适用于无菌流程的手势或语音交互。

为了让 LabOS 具备“实验室视觉”，研究人员收集了 200 余段他们在真实实验中使用相机和佩戴智能眼镜时拍摄的第一人称视角视频，基于此合成了一个名为 LabSuperVision（LSV）的基准数据集，以用于评估 AI 模型的实验室感知能力和实验室推理能力。研究人员在论文中写道，LSV 是一个由真人标注的实验室视频数据集，能被用于实验室操作视频的理解和推理设计。LSV 中包含 200 个高质量的视频会话，每个视频的长度一般在 2 分钟-10 分钟，最长的达到 45 分钟，这些视频会话由 7 名真人科学家在仪器区、试验台和组织培养室等实验室场景录制，确保捕捉到了真实的科研操作过程。

由于一些主流 AI 模型在 LSV 上数据集表现较为平淡，所以研究人员使用了一些公开的科研实验视频、他们自己内部录制的数据以及真人标注的数据来针对 VLM 进行后期训练。通过此，他们打造出一款名为 LabOS VLM 的模型，该模型可以解析 XR 眼镜的视觉输入，并能将视觉嵌入和语言模型加以对齐，从而能够针对和实验室场景相关的视频进行解读和推理，这让 LabOS 能够监控操作、检测偏差和验证结果，以及能将多模态数据流与其他科研方案进行同步，这让 LabOS 能以协研科学家的身份真正地在实验室中实现感知、理解与协同操作。LabOS 还支持科研工作流程的三维空间建模和四维空间建模，能够捕获仪器、样品和真人操作之间的时空关系，并能实现过程回放、假设分析和基于模拟的培训。

据了解，LabOS 采用多智能体推理架构，其中包含规划、开发、评审和工具创建等智能体，它们可以共同执行假设生成、实验设计、数据分析和自适应改进。LabOS 还具备自我进化的能力，通过基于网络搜索、科学文献和相关数据它可以自主生成一种名为“工具海洋”的模块，从而能够不断扩展分析能力。这种自我进化的特性让 LabOS 尤其擅长通过推理时扩展来解决新的科研课题。基于此，LabOS 让科研实验室具备了 AI 可感知能力和 AI 可操作能力，故能被用于干实验推理的智能体 AI 系统，也能和支持 XR 的多模态人机协同湿实验操作界面相集成，借此创建一个端到端的框架，从而能够连接假设生成、实验设计、物理验证和自动文档记录。

从相关论文可知，LabOS 希望解决的问题是：科学成果的诞生依赖于以下两个相互关联的领域：第一个是提出预测或猜想的计算领域，第二个是能够证明猜想的实验领域。近年来，AI 通过加速模拟、预测和设计已经彻底改变了计算领域，但物理实验室依然是未能被 AI“攻克的山头”。此前，AI 在感知能力、协调性和重复性上仍然存在一定不足，而科研实验结果往往要依赖于那些难以从人类这里“继承”给 AI 的真人操作技能。与此同时，此前的智能体 AI 主要活跃在数字领域，即根据文本、数据和模拟来规划实验和合成工具。但是，智能体 AI 无法感知动态实验室环境，更无法进行实际操作。另一方面，类似于实验室机械臂之类的自动化机器人固然具备一定能力，但大多必须遵循已被设计好的规则，这不仅导致重新部署的成本较高，而且很难适应真实科研环境的变化。

而 LabOS 通过多模态感知、自主进化智能体以及 XR 赋能的人机协作，将计算推理与物理实验融为一体。如前所述，LabOS 已能在癌症免疫治疗靶点和干细胞工程等领域得到应用，这表明 LabOS 能够突破计算设计的局限，直接地参与实验过程，从而能将真实世界中的科研实验室转变为人类与机器共同进化、智能协作的发现场域。

参考资料：

论文原文https://arxiv.org/pdf/2510.14861

https://ece.princeton.edu/people/mengdi-wang

https://profiles.stanford.edu/186687