前星海图首席科学家创业做具身智能，融资1.4亿美金后发布第一款产品

follow us

AING硬迹

用一句 prompt 下达指令，机械臂就要在陌生环境里完成没有专门训练过的任务。

10月30日凌晨，今年4月成立的破壳机器人（PokeBot）发布了第一款模型产品 RoboAPI，自研世界-动作模型 Poke-Aurora 同步首次亮相。这不是一段演示视频，而是一个面向真实物理世界、可公开访问的具身 API——在适配的机械臂上接入，不采数据、不训模型，用一句 prompt 下达指令，机械臂就要在陌生环境里完成没有专门训练过的任务。技术预览期内，RoboAPI 对所有人免费，入口是 developers.pokebot.com，目前为非商业化应用，不向盈利性第三方提供产品或服务。

它替开发者省掉的，是一个月

RoboAPI 的起点是一个老问题：具身模型的 demo 视频看着都很惊艳，真要用起来是另一回事。一个高校实验室想跑通一套开放模型，得采数据、微调、验证、补采，几轮折腾下来常常一个月。难点有两层，一层是构型——机器人不像文字和图片那样有统一格式，臂的结构、传感器的数量和位置、控制方式千差万别，动一处模型就可能水土不服；另一层是泛化本身，即便在同一台机器上，模型往往只在训练过的物体和场景里稳。破壳把它类比到 GPT-3 API 那一刻：开发者不必自己训练部署语言模型，就能调用前沿能力。RoboAPI 接收机器人的观测与状态，结合用户指令，近乎实时地预测并输出接下来的动作块。

先把"构型"这一层打平

模型侧的难题之外，破壳在后训练阶段做了一件更工程的事：受 UMI 启发，把观测与控制都收敛到"腕部鱼眼相机 + 末端位姿控制"这一构型上，以夹爪所在的末端为中心，用的还是消费级运动相机，搭这套配置的门槛和成本都低。官网给出的两个观察值得留意——把 Insta360 Ace Pro2 换成 DJI Action 6，效果几乎不受影响；更能说明问题的是从 UR7e 迁移到 YAM Standard 这类差异相当大的构型，也能跑通。只要机械臂本身的反解够用，手腕上装一颗运动相机，就够 RoboAPI 控制它干活。官网列出的组合包括 UR7e/UR5e 与 Franka FR3/Panda 配 Robotiq 2F-85、YAM Standard 配 YAM 夹爪，以及浮动底盘天机配 YAM 夹爪。

MRC：让"看懂世界"和"动手"共用一个方向

支撑 RoboAPI 的是 Poke-Aurora，破壳的第一个世界-动作模型。世界-动作模型的路子是靠预测未来画面学物体运动与交互规律，为操作经验跨物体、跨场景迁移打基础，但世界建模能力强并不自动等于动作可靠，视频与动作怎么互相促进一直是卡点。破壳为此提出"调制残差耦合"（MRC）：在保留视频与动作各自原有计算路径的前提下，让两者之间建立可学习的交互，观察到结果是视频预测与动作预测的梯度更对齐。更多细节要等后续的技术报告。

物理世界还没有公认的评测基准，破壳干脆自建了一套：覆盖近 1000 个常见可操作物体实例、近 10000 条不同指令，任务分物品转移与整理、姿态与形状对齐、环境交互与工具使用三类。按官网公布的数据，Poke-Aurora 三类成功率分别是 86.0%、54.1%、87.7%，对照的 Astra 为 71.3%、36.3%、67.9%，π0.5 为 30.9%、14.8%、32.9%，MolmoAct2 为 26.9%、7.9%、23.6%。姿态与形状对齐那一档的 54.1%，是这张成绩单上最该被记住的数字——对位、堆叠这类活儿，离"家务可靠"还有一段路。官网自己也留了一句：无法保证你的实际体验与统计结果完全一致。

API 成了新的赛点

破壳的弹药不缺。4月29日宣布数千万美元天使轮，云启资本领投，顺为资本、弘晖基金、小米战投、星海图、BV百度风投、英诺天使、东方嘉富等参与；8月3日再宣亿美元级 Pre-A 轮，顺为资本与经纬创投双领投，九坤创投、钧山资本、SEE Fund、猎聘投资、元诺资本、钟鼎资本等跟投，老股东继续加注，两轮累计超 1.4 亿美元。创始人许华哲清华大学电子系本科、UC Berkeley BAIR 博士、斯坦福博士后，现任清华交叉信息研究院助理教授，2023年联合创办星海图并任首席科学家，今年2月离职创业，选的是一条更难的落点——家庭。公司介绍的技术体系是 WAM×RL×DATA，即世界动作模型、全链路真机强化学习与自采数据三者闭环。

这条路上不是它一家。10月中旬，一家美国机器人模型公司推出 API 测试版，走的是上传自有数据、在其托管算力上微调后调用的路子；几天后，另一家美国初创公司发布零样本 API，面向带夹爪的双臂机器人。同期通用大模型也开始直接控制机械臂，但在本月发布的 AA-Robotics 评测中，它们的速度比人类慢约 100 倍。路线各有取舍，方向几乎一致：让用户亲手检验模型，而不只是观看演示。

到目前为止，RoboAPI 已在破壳自有场地数十个不同设置里做过内测，也向美国、新加坡等多地高校实验室开放过私测。许华哲的说法是：真正的泛化能力，需要在不同的机器人构型、任务和环境中，经受更加广泛的验证。机器人只有在足够多的真实环境中经受过检验，未来才可能真正走进家庭，面对更多样的环境。

过去两年具身智能的信用来自演示视频，接下来要靠接口被反复调用——模型能力的定价权，正从"发布者说它行"转向"用户试出来它哪里不行"。这也是我们看这件事的角度：免费开放接口换来的不只是开发者生态，更是别人机器上、别人家里跑出来的失败样本，而这批样本恰恰是家庭场景最贵的东西。破壳的第一步已经落地，接下来要证明的，是当调用量从几十个实验室涨到几千个开发者，这套接口还能不能扛住真实世界的混乱。

硬迹正在打造AI硬件社区，对加入社群感兴趣的读者，欢迎扫码下方二维码加入【AING硬迹产业交流群】。

AING硬迹

AING，取自“AI+ING”的缩写，中文谐音“硬迹”，寓意着“人工智能正当其时”，致力于追寻硬科技发展的足迹，不断探索人工智能与智能硬件的深度融合。

未来，AING硬迹将不断发布AI大模型技术、AI产业生态、AI硬件产品等行业资讯、发展趋势与市场动态，我们相信大多数硬件都值得用AI重做一遍，AING硬迹期望与AI大模型厂商、与AI硬件厂商共同成长，迎接AI时代的来临。

人工智能正当时

一起追寻AI+硬件的足迹