AI「看见」实验，哈佛颠覆性突破！一副AR眼镜，新手秒变资深专家

新智元报道

编辑：好困

【新智元导读】当AI能「看」见实验室的细节，能「听」见研究员的每一次反应，能「感知」实验进展的每一点变化——它的推理将不再局限于硅基世界。那时，AI将通过人类的双手，直接参与并改变物理现实。它或许将成为实验室中最勤奋、最可靠的「智能伙伴」。如今，这一幕正在发生在微纳加工的超净间与生命实验室AI不仅能理解电子器件的诞生，也开始洞察细胞与类器官的生长。从芯片到细胞，从材料到生命，「人机共融」的边界，正在被重新定义。

科学研究和制造车间里，最让人崩溃的瞬间是什么？

想象一个场景：

刚入行的新手小李在柔性电子制造的超净间中。

一个典型的反应离子刻蚀步骤中，标准操作规程SOP（Standard Operating Procedure）要求参数设为30秒、50瓦。

他手忙脚乱输成了300秒、100瓦，自己还没察觉；旁边的资深工程师忙着记录数据，也没留意这个失误。

要是按错参数运行，整批器件可能直接报废，几天的准备工作全白费。

或者是：

研究员老王花了3个月摸索出新的材料合成方法。

可实验日志记的零散，新手想复刻时，对着SOP里「适度调整温度」的模糊描述无从下手，只能再花几个月试错。

类似的情况，同样出现在生命科学实验室：

在类器官培养的显微台前，研究生小张刚完成细胞消化步骤。

她比SOP规定的时间多消化了40秒，细胞融合度下降、类器官结构塌陷；或是换液时温度略低几度，整个分化周期的关键指标都受影响。

实验日志里只写着「细胞状态一般」，没有任何可追溯的信息。几周的培养成果，就这样在一次看似微小的操作偏差中被抹去。

这些不是极端案例，而是科研和高端制造的常态。

无论是硅片还是细胞，人类的双手都极其灵巧，却也难免出错；而传统AI的「数字大脑」再聪明，也看不见这些微妙的现实世界的实验细节。

但现在，哈佛大学刘嘉教授团队研发的人机共融智能（Human-AI Co-Embodied Intelligence）系统，让这些麻烦有了破解之道。

这一系统首次将人类研究者、具身AI智能体与可穿戴混合现实与增强现实（MR/AR）硬件深度融合，构建出一个与人类能够同时感知、推理并直接共同参与真实世界实验和制造过程的集成化智能平台。

人机共融智能范式：APEX系统与人合作完成智能制造

Agentic Lab——人机共融智能平台实现AI与研究员在类器官实验与生产中的实时协作

AI「脑瓜灵」，人类「手脚巧」，但很难配合

科学实验和高端制造，从来都是「精细活」。

既要严守SOP，又要根据实时情况灵活调整——这依靠的是人类专家多年积累的「手感」和判断力。

但无论是在芯片制造车间，还是在类器官培养皿前，一个共通难题始终存在：

1. 人类试错成本太高，新手成长慢。

哪怕是经验丰富的研究员，也可能因疏忽输错参数、漏记步骤，导致整批样品报废；新手要掌握 SOP 里没写的「隐性技巧」，往往需要数月甚至数年的师徒传承。

在生命科学实验室中，这种「隐性经验」尤其昂贵——培养一批细胞或类器官往往需要数周到数月，一次多消化几秒、试剂温度偏低几度，都可能让整个周期前功尽弃。

2.AI与物理世界「脱节」。

当下的AI模型已经能写出看似完美的实验设计、能解析数据图表，但仍被困在数字世界里——

看不见培养皿中细胞的状态变化，听不见实验台上的设备提示，也无法即时理解人类手部的操作。即便规划得再精密，也难落地到真实执行环节。

近几年虽有「自主实验室」出现，但受限于机器人「手脚」不够灵巧、环境感知不足，许多精密实验仍需人类临场应变与判断。

于是，一个尴尬的矛盾愈发凸显：

• AI拥有强大的推理与记忆，却缺少匹配的「具身感知」；

• 人类拥有灵巧的双手与直觉，却难免出错、遗漏、遗忘。两者各有所长，却始终隔着一道「看不见的墙」。

那有没有可能——

·让人类与AI真正「组队干活」？

·让AI不再只是冷冰冰的算法，而是能与人类共享视野、感知与操作的「实验伙伴」？

·把人类的灵活操作与长期经验，和AI的强大记忆力、上下文推理与不知疲倦的专注力结合，实现「1+1>2」的智慧共研？

人机共融智能

AI眼镜与多智能体协作的闭环

哈佛大学刘嘉教授团队正在打造一种全新的科研范式——人机共融智能（Human-AI Co-Embodied Intelligence）。

在这一范式中，人类与AI不再是「指令与执行」的单向关系，而是通过多智能体的协作，共同感知、推理、决策与行动。

AI不只是屏幕里的大脑，而是真实世界中的合作者。

在微纳加工中：让AI理解「人」的动作

在微纳制造车间里，刘嘉团队开发的APEX（Agentic-Physical Experimentation）系统通过混合现实（MR）眼镜，以8K分辨率、32ms超低延迟捕捉研究员的手部动作、视线与环境变化。

这些实时信息成为AI理解物理世界的「感官输入」。

系统内部由四个智能体协作完成闭环：

• 规划智能体：把研究目标拆解成可执行的工序；

• 上下文智能体：识别设备状态、工艺参数与操作者行为；

• 步骤跟踪智能体：精准比对当前操作与SOP，判断进度；

• 分析智能体：整合视频、语音、设备数据，给出纠错与指导。

这四个智能体像一个默契的科研小组，让AI的推理与人类的动作实时对齐，在高速、复杂的加工现场实现「人机共研」。

实测中，APEX在工具识别和步骤追踪任务的准确率比GPT-4o、Gemini等多模态模型高出24%至53%，在动态物理环境下的稳定性与理解力均处于领先水平。

在生命实验中：让机器理解「生命」的细节

在生物实验室与生产中，团队开发的Agentic Lab让AI通过增强现实（AR）眼镜进入生命科学的世界。

系统由多个协作智能体组成——

以虚拟PIMolAgent为核心，连接知识检索智能体（knowledge retrieving subagent）、多尺度数据分析智能体（multi-scale data analysis subagent），单细胞分割与解释智能体（SingleObjectVision subagent），AR观测智能体（ObserverVision subagent），写作智能体（Composer subagent）等子智能体模块。

研究员在显微镜前操作时，AR眼镜捕捉第一人称视角，AI能即时识别实验阶段、监测潜在偏差，并以视觉提示或语音方式给出指导。

它还能自动解析显微图像：借助Cellpose-SAM分割+VLM文本描述+CLIP/SigLIP嵌入，构建出可解释的表型表示——AI不仅「看见」细胞，还能「理解」它们的状态。

在复杂的类器官培养中，系统可发现微小的形态异质性，指出可能的原因（如培养液营养不足或过度消化），并建议调整条件。

实测显示：Agentic Lab 的 ObserverVision在关键帧判断上与专家一致率72.3%，部分一致9.2%，合并一致率超过80%，实现了生命实验场景下真正意义的「人机共融协作」。

APEX人机共融界面，通过多智能体协作实现超净间里芯片制备阶段识别、操作纠错与实时指导，支持芯片制备的闭环协作

Agentic Lab的增强现实（AR）人机共融界面，通过多智能体协作实现实验阶段识别、操作纠错与实时指导，支持细胞与类器官实验的闭环协作

实测封神

三大核心能力，颠覆科研制造流程

在柔性电子制造的超净间里，APEX接受了严格的实战检验；而在细胞与类器官实验室中，Agentic Lab同样经历了真实场景的挑战。

两套系统从不同维度证明了：当AI与人类共融协作时，科研流程将被彻底改写。

APEX技术帮助工程师检查芯片制备参数和帮助新手使用仪器

1. 实时纠错：一秒预警，零失误操作

还记得开头那位「小李」吗？

在RIE反应刻蚀环节中，APEX通过MR眼镜的实时监测，在他输错参数的那一刻便弹出提示：

警报：当前设置不正确……所需参数为30秒和50瓦。

即时反馈、即时修正——让潜在的损失在出现之前被扼杀。

而在Agentic Lab的AR环境中，当研究员在细胞传代或消化阶段操作超时、液体体积不符时，AR眼镜会在第一时间检测异常并发出提醒，避免细胞过度消化、培养液污染等不可逆错误。成为实验台上真正的「第二双眼」。

Agentic Lab的持续学习与知识记忆演化示意图

2. 自动记录与分析：让每一步都可追溯

在制造车间里，APEX能自动记录每一个操作参数、设备读数、环境快照和时间戳，形成一份结构化、可搜索的数字化实验日志。

当研究员事后追问：

上一次RIE步骤我设了多久计时器？

系统能立刻回应：

您在步骤5中设定了30秒，该步骤于[具体时间]完成。

无需再翻找零散记录——科研过程实现全链条可追溯。

不仅如此，APEX系统具备定制化实验记忆与智能分析能力，可实时记录、反馈并优化操作，结合历史数据，用户偏好，设备状态，与科研人员共同分析实验并共创新的实验方案。

在Agentic Lab中，这一理念同样被延伸至生命科学领域：系统不仅记录实验动作与参数，还能自动生成多模态分析报告。

通过VLM模型解析显微图像、表格与文本，AI能实时给出细胞状态评估、分化进度判断及优化建议。

每一次实验都会沉淀为结构化的「数字实验记忆」，可被搜索、复现、甚至被AI用来反思与改进下一次实验。

3. 技能迁移与智能共研：让新手秒变专家

在APEX的3D视觉提示与语音指导下，新手仅需一次训练，就能流畅完成复杂的八步RIE流程。

他们的操作水平几乎与专家无异——过去需要数月才能掌握的技能，如今几天即可。

在生命实验室里，Agentic Lab的表现同样惊艳。

借助AR指导界面与Agentic Lab的智能推理，新手研究员在仅有一次示范后便能完成类器官培养的关键步骤，准确率接近资深专家水平。

系统还能根据用户习惯调整提示方式，实现真正意义上的「个性化实验伙伴」。

从「人机配合」到「人机共融」

物理AI的未来已来

APEX的出现，让AI第一次真正走进制造现场；Agentic Lab的诞生，则让AI开始理解生命本身。

它们共同构成了「人机共融智能」的两翼——一个在工厂中与人共造器件，一个在实验室里与人共育细胞。

这种范式的跃迁，让智能不再局限于数字世界，而是通过人类的双手，延伸进物理现实。

未来，这一体系将进一步拓展：从柔性电子到生物医学，从化学合成到组织制造，AI将与研究员共同构建一个跨学科、自进化的实验生态。

过去，我们追求让AI替代人类；如今，我们正让AI与人类共生。

最强大的智能，不是取代，而是共融。

从芯片到细胞，从器件到类器官——人机共融的时代，已经到来。

APEX：http://arxiv.org/abs/2511.02071

Agentic Lab：https://www.biorxiv.org/content/10.1101/2025.11.11.686354v1

参考文献：

[1] Akinwande, D. et al. Graphene and two-dimensional materials for silicon technology. Nature 573, 507-518 (2019).

[2] Tang, X. et al. Flexible brain-computer interfaces. Nat. Electron. 6, 109-118 (2023).

[3] Jordan, M. I. & Mitchell, T. M. Machine learning: Trends, perspectives, and prospects. Science 349, 255-260 (2015).

[4] Achiam, J. et al. GPT-4 technical report. Preprint at arXiv (2023).

[5] Lin, Z. et al. Spike sorting AI agent. Preprint at bioRxiv (2025).

[6] Swanson, K. et al. The Virtual Lab of AI agents designs new SARS-CoV-2 nanobodies. Nature 646, 716-723 (2025).

[7] Jia, Y. K. et al. Robot-assisted mapping of chemical reaction hyperspaces and networks. Nature 645, 922-931 (2025).

[8] Darvish, K. et al. ORGANA: A robotic assistant for automated chemistry experimentation and characterization. Matter 8, 101897 (2025).

[9] Lin, X. et al. Human-AI co-embodied intelligence for scientific experimentation and manufacturing. Preprint at arXiv (2025).

[10] Wang, W et al. Agentic Lab: An Agentic-physical AI system for cell and organoid experimentation and manufacturing. Preprint at bioRxiv (2025).

秒追ASI⭐点赞、转发、在看一键三连⭐点亮星标，锁定新智元极速推送！