前华为小艺大模型负责人创业，押注“主动式物理AI”

程浅 发自 凹非寺
量子位 | 公众号QbitAI

机器人开始替人操心了。

想象一下。你在饭店吃饭，结账付款正准备离开时，手表突然震动并显示信息：

“你的手机忘拿了，还在刚才的桌子上！”

再想象一下，你正在厨房做饭，突然家里的小机器人发出尖锐爆鸣：

“小孩快从床上摔下去了！”

你一个闪身步冲回卧室，发现家崽丝毫没意识到自己已经蠕动到了床的边缘。

△图片系AI生成

让机器有“眼力见儿”，主动发现人之所需，这是唐都钰提出“主动式物理AI”这个概念时的设想。

过去几年，物理AI主要聚焦在解决“如何更好地执行人类提出的要求”这个问题。

于是机器人走得更稳了、抓得更准了、能规划得更久了……但，这一切都发生在人类的指令之后。

能不能让AI自己去发现当下要做什么，然后主动去做呢？

华为前AI首席专家、小艺大模型前负责人唐都钰，在做了多年大模型与终端AI之后，盯上了这个方向。

于是他创办了观行数智，致力打造面向物理世界的主动式AI系统。

观行，先观世界，后行于世界。

主动式物理AI，主动在哪？

迄今为止，物理AI开始行动的起点大多来自人类的某条具体指令。

“把苹果放进篮子里”“从冰箱里取出一瓶水”，或者“将散落的玩具整理好”……

在接到任务后，机器人开始识别环境，规划行动，再调用身体开始执行任务。

这是一条“任务链”。

△图片系AI生成

在唐都钰看来，这些物理AI是“被动式”的，即，整个任务的起点来自人类明确提出的指令。

在这里，AI主要解决的是如何完成任务（How），而不是自主判断需要做什么（What）以及何时行动（When）。

相较之下，“主动式物理AI”面对的是一条持续展开的“事件流”。

它需要持续接收来自现实环境的信息，理解其中正在发生的事件，并判断某种变化是否已经形成了需要。

在这样一套流式判断（StreamingJev）后，系统才会决定要不要介入、以什么方式介入、调用何种设备介入，以及应当在什么时候介入。

从这个角度看，“主动式物理AI”其实是向前补齐了一次完整行动链路，而非仅做链路后半部分的执行。

这样的设想并非第一次出现。

实际上，人类为了让机器更主动些，已经努力了很久。

1998年，微软研究院就做过一个叫LookOut的原型。你打开一封邮件，读到对方约你周五下午见面，它会判断你是否需要查日历或者填写日程。

△Lookout System

次年，微软研究员还系统讨论了这种「主动式交互」，希望使人和机器都可以根据情境接过主动权。

到了2000年，微软研究院对主动交互的研究也来到了现实世界：他们让摄像头追踪人的位置，当人走向一块屏幕，正在使用的电脑界面也可以随之切换过去。

△微软摄像头追踪方案

这些探索已经触及一个关键问题，即：

机器能否根据情境理解人的潜在意图，并在没有明确命令的情况下提供帮助？

这势必是困难的。

一方面，目前智能对现实世界的干预能力滞后。

另一方面，“主动”这件事本身也非常难……提醒得早一步，很容易变成打扰和责备，出手得晚一步，帮助又没了意义。

看见需求对机器来说是第一步，更重要的是边界的判断和时机的把握。

毕竟在物理环境中，同一个动作可能有完全不同的含义：一个人突然倒坐在地，可能只是随性休息，也可能是突然昏厥；孩子伸手靠近水杯，可能只是主动观察，也可能是无意识将其碰倒。

尽管随着大模型能力提升，机器能够更准确地识别画面，更好地描述正在发生的事情，但唐都钰认为，“主动做事”的能力并不会随着智能增长而涌现。

因为这还涉及到风险判断、职责边界以及行动时机，是一个需要单独去研究攻克的复杂问题。

唐都钰还向我们表示，这项能力的重要意义将在未来被显著放大。

据他判断，届时人类身边将会出现非常多的智能终端，而如果每台设备都需要等待用户逐一发出命令：

“Hi，小蓝，拉开窗帘”

“Hi，小红，播放音乐”

“Hi，小橙，制作早餐”

“Hi，小绿，清洁地面”

那么它们本质上仍是一种需要用户主动去判断能力边界的复杂工具。

一种更自然的人机交互，可能不再需要一句以“Hi”为开头的唤醒词。

唐都钰，从多模态大模型走进物理世界

唐都钰，此前曾任华为智能助手“小艺”多模态大模型的研发负责人，职级达到21级。

△唐都钰

此番走进物理世界做能主动理解人类需求的AI，不算太有“跨度”。

一方面，从0到1开发一个小艺大模型，并落地到数亿台终端上，意味着不仅要做模型训练，还要打通数据工程、推理部署、端云协同与终端适配的整条链路。

这些经验同样也是物理AI所要求的：把模型能力落到具体硬件，在真实环境与用户反馈中持续迭代。

另一方面，让AI更好地理解人类，本就是唐都钰延续了十余年的研究兴趣。

时间拨回2015年。

彼时，唐都钰还在哈尔滨工业大学攻读博士学位，师从哈工大SCIR研究中心主任、中国中文信息学会情感计算专委会主任秦兵教授，研究的正是如何让机器理解人类情感。

同年，他凭借情感计算领域的研究成果，入选了IBM全球博士英才计划。

而唐都钰所在的哈工大社会计算与信息检索研究中心（SCIR），也是国内自然语言处理（NLP）领域的重要研究力量。这里培养出了一批活跃于学术界和工业界的AI研究人才。

2016年博士毕业后，唐都钰进入微软亚洲研究院，继续从事人工智能研究。

在这里，他将研究领域进一步拓展至代码智能，主导了CodeBERT、CodeGPT等相关研究。

科研之外，他还曾带着一批年轻研究者共同开展研究。

其中，就包括后来成为DeepSeek-V3、DeepSeek-R1核心贡献者之一的郭达雅。

据唐都钰回忆，两人的科研渊源始于郭达雅本科四年级，并一直延续到其博士阶段。

目前，唐都钰的论文累计引用已超过3万次，并入选全球前2%顶尖科学家榜单的终身科学影响力名单。

在他看来，此行去取物理AI的真经，三个方面的能力缺一不可：

源头技术创新、大模型训练与终端落地，以及基于真实用户反馈的数据回流和持续迭代。

回顾过往，这或许就是他此番创业的底气。

不过，如今物理AI世界群雄并起，从VLA到世界模型，再到WAM各有拥趸，远未像LLM那般收敛。

尽管技术路线尚无定论，路线转换成本也极其高昂，但创业者必须提前下注。

不过在唐都钰看来，这场下注并不难。

因为AI从数据世界走向物理世界是趋势，从被动走向主动也是大趋势。

顺应趋势，所谓的“豪赌”也不过是顺势而为的必然选择。

当被问到，在一个远未收敛的领域里搞创新是否过于冒险时，唐都钰说：“我先把我认为最难、最有意义的事情做好就行了。”

创业伊始，百端待举。

技术上，主动式物理AI没有成熟的数据体系，也缺少统一的模型架构和评测标准。这意味着需要从需求定义开始，重新建立训练数据、决策模型与硬件之间的关系。

团队建设上，他们则沿着产学协同展开，与哈工大实验室保持着深度合作。

△唐都钰在中关村学院

最近，唐都钰刚多了一个新身份——中关村学院的老师，更具体一点，是这里的“AI模型杰出技术专家”。

这是一所2024年刚刚成立的国家级高等教育科研机构，它的特别之处在于，这里不仅关注学术，也鼓励科研人员将技术带出实验室，尝试创业。

这恰好契合唐都钰当下的状态。

在他看来，创业与加入高校并不矛盾，只是在不同维度推动同一个长期目标。

并且，在AI进入物理世界的阶段，很多关键突破需要学术与产业更紧密地结合。

△唐都钰朋友圈

唐都钰希望之后，一边在产业一线做出有价值的产品，一边继续探索前沿问题并培养年轻研究者。

如何让模型学点“眼力见儿”？

主动式物理AI，虽然不至于“读空气”般察言观色，但是必须做到“心里有谱，眼里有活”。

但，现实世界并不是一段剪辑好的，需要喂给模型观测的视频。

在线性的时间流里，给出回应是偶尔，保持沉默才是常态。

为此，观行数智设计了一套双模型协同架构，ProAgent。

其中，第一部分的StreamingJev负责持续读取现实环境中的事件流，进行轻量化判断，给出“是否需要介入”的讯号，如同哨兵。

相较之下，第二部分的Response Model更像指挥员。当StreamingJev识别出需求，Response Model会进一步判断事件的性质，规划回应方式，并决定调用何种设备。

△双模型协同架构示意图

唐都钰表示这种分工很大一部分出于现实考虑。

如果让一个大模型持续处理环境中的所有信息，不仅推理成本高，反应速度也将大幅变慢。

通过轻量模型完成前置判断，再让Response Model处理真正需要介入的事件，系统可以把更多计算资源留给关键时刻。

长期来说，唐都钰的目标是训练一个面向物理世界的原生主动智能模型。

对于这样一个模型，数据问题恐怕是关键。

显而易见，普通的互联网视频通常只记录发生内容，不会标注合适的、AI需要介入的时点。

观行数智的解法是建立一套自动化数据流程，从公开视频中提取场景变化，并将其转化为带有推理过程的决策序列。

这些序列中，既包含应该提醒或行动的正向样本，也包含应该继续观察的监督信号。团队希望借此让模型学会区分“出现了变化”与“形成了需要”。

据透露，目前观行数智已与具身公司合作，让系统真正进入具体设备，从而补充推理过程、动作空间与执行反馈——真正在现实世界解决问题，让数据闭环。

训练之外，观行数智还重新建立了一套评测体系ProactiveXBench，希望评估AI从发现需求到完成介入的完整轨迹。

其中，Timing关注反应时机，Progress观察介入时长和任务状态，Outcome关注最终结果。

三个维度对应着主动式物理AI最易出错的三环节：没赶上趟、撂挑子、白忙活。

根据团队给出的测试结果，在介入时效等特定指标上，其ProAgent模型已优于GPT-6等通用模型。

目前，团队也将这套能力首先放在了Reachy Mini机器人上，在60个案例中验证导引、警示与互动。

One More Thing

实际上，目前的人机关系尚不平衡，大部分时间，这种关系都建立在人的命令与AI的执行之上，关于“主体性”的争夺从未调和。

从这个角度看，一个能主动做出行动的物理AI也许可以打开一个新场面：

人不必完整表达每一项需求，机器能够从共同环境的变化中察觉问题，在约定的职责与权限内作出判断，并在适当的时候承担一部分责任。

这是让机器变得更具“生命感”，迈向人与AI共存的关键一步。

就像《钢铁侠》中的Jarvis。它知道用户此刻正在做什么，也知道自己应该在何时主动出击。

△《钢铁侠2》电影截图

不只是具身，未来，从家庭到汽车，千万种形态的主动式AI终端都将如此。

届时，命令的语言不再流行了，因为机器已经学会了理解，以及理解后的适时行动。

毕竟对机器而言，最终要抵达的，始终是“恰到好处”。

文中提及论文可参考：

http://arxiv.org/abs/2610.16967