Detail Future 细节未来探索人机双向交互数据研发

让机器人更懂人，正在成为具身智能走向真实场景必须解决的问题。

在不少机器人演示中，抓取杯子、搬运物品已经较为常见。更难的是，当人临时改变指令时，机器人能否重新判断人的意图，意识到任务已经变化，并及时调整动作？

围绕这一方向，Detail Future 细节未来核心研发团队联合北理工李秀星博士课题组，正式启动人机双向交互多模态数据研发项目，同步搭建人机交互数据采集试验平台，全面探索面向具身智能的人机交互数据采集与产品化路径。

在我看来，这项合作值得关注的地方，是把“人在场”真正写进机器人训练数据。过去的数据更多围绕机器人动作展开，这一次，人的介入与机器人的响应被放进了同一套数据框架。

Detail Future 细节未来正在补上具身智能数据体系中较少被关注的一环。

1.

会做动作，还不等于会与人协作

这个项目最直接的价值，是把人机协作中的变化完整记录下来，让模型看到人为什么介入、任务何时改变，以及机器人随后如何响应。

目前，不少具身智能数据主要记录机器人怎样完成抓取、搬运等动作，却很少呈现人与机器人共同执行任务时发生的临时变化。这会让机器人学会一套操作流程，却不一定知道流程被打断后该怎么办。

针对这一缺口，项目将采集人体行为、语音、生理感知信号、机器人本体传感及多视角环境数据，并通过时序同步，把同一时刻发生的事情对应起来。

我们举一个简单的例子：当人说出“换个任务”，系统需要同时记录这句话出现的时间、人的动作、周围环境，以及机器人当时正在执行哪一步、之后是否停下。模型看到的由此不再是几段分散的数据，而是一次有前因后果的交互。

简单说，这个项目采集的不只是“机器人做了什么”，还包括“动作为什么发生变化”。这类数据可以帮助机器人更好地理解人的介入和任务调整，也是机器人从执行固定指令走向真实人机协作所需要补上的一块数据基础。

细节未来将按照“原型链路验证—场景扩充与试点测试—标准化数据集发布”的节奏推进，并面向人形机器人本体企业开放联合共建。随着场景逐步扩充，项目还有望沉淀出可以复用的数据规范，为不同机器人平台开展训练和测试提供支持。

2.

采集只是第一步，难的是让数据真正可用

人机交互数据不是多装几台摄像机、多接入几类传感器就能完成的。

不同设备有各自的采样频率、数据格式和时间基准。

采集完成后，数据还要经过筛选、清洗、事件标注和质量检查，最终被整理成模型能够读取的交互事件。哪一刻有人发出指令，当时环境发生了什么，机器人正在执行哪一步，后续又作出了什么响应，这些信息要能前后对应。

Detail Future 细节未来正在打通任务定义、场景设计、多模态采集、时序同步、事件标注和质量评测等环节。在采集端，团队可以组合第一视角设备、动作捕捉设备、数据手套、IMU穿戴设备、视觉传感器和机器人本体，并根据不同平台调整设备与数据规范。

在产品端，项目形成的数据将服务科研、算法团队与本体厂商。前者关注数据能否支持模型研发，后者则需要数据适配具体的机器人形态、传感器配置和应用任务。

所以，Detail Future 细节未来要做的其实是一件很具体的事：从模型需求出发设计数据，再回到真实任务中检验数据。具身智能数据公司的技术含量，也恰恰藏在这段不太容易被看见的工程里。

3.

郑明凯：从模型需要什么，反推数据怎么做

此次项目由Detail Future 细节未来CTO郑明凯牵头技术研发。

郑明凯拥有澳大利亚新南威尔士大学及悉尼大学的学习与研究经历，并获得悉尼大学计算机科学博士学位，师从陶大程教授。其研究覆盖视觉表征学习、自监督与半监督学习、高效机器学习，以及多模态大模型、世界模型与具身智能等方向，相关成果发表于CVPR、ICCV、NeurIPS、IEEE T-PAMI等会议和期刊。

这些经历与此次项目的联系，不在于为数据套用某一个现成算法，而在于帮助团队判断什么样的数据值得采。

机器人在交互中同时接收图像、语言、人体动作和本体状态。哪些信号需要保留，怎样建立对应关系，会直接影响模型从数据中学到什么。视觉表征学习帮助模型提取有效信息，自监督和半监督学习则研究如何在标注有限的情况下利用数据。

作为CTO，郑明凯将统筹人机交互、多模态感知、视觉语义理解及高效模型学习等研发方向，把模型问题拆解为可以采集、标注和评测的数据任务。

我更看重这种“算法前置”的思路。很多数据项目要到模型研发阶段才发现，某类状态没有记录，某个事件缺少定义。让理解模型的人提前参与数据设计，可以更早发现采集与算法之间的错位。这套“算法前置”的方法，也为郑明凯的学术积累转化为公司的工程能力提供了一条具体路径。

4.

团队的价值，是把各个环节接起来

人机双向交互数据横跨算法、传感系统、训练平台和空间建模，单靠一种专业很难完成。

Detail Future 细节未来的技术团队围绕这些环节展开分工。王焯负责类脑智能、大模型推理、多模态感知与复杂数据建模；全球产品负责人郭晓林负责数据产品规划，将技术需求转化为数据规范、质量评测和交付标准。

AI系统架构专家罗友阳长期从事大规模AI训练系统、分布式计算与云基础设施建设，负责解决海量数据如何进入训练系统的问题。冯学兵则聚焦时空数据融合、三维建模与数字孪生，为空间标定、虚实对齐和精度评测提供支持。

这支团队的价值，不在于履历的叠加，而在于能否接成一条真正运转的数据链路：算法团队提出模型需要什么，产品团队把需求变成采集标准，系统团队负责数据处理，空间数据团队处理环境与坐标关系。任何一环脱节，最后交付的都可能只是文件，而不是数据产品。

接下来，项目将进入训练和实际测试阶段，重点验证这套数据能否完整反映人的介入过程，并支持不同机器人平台开展交互学习。

Detail Future 细节未来将以杭州为研发与交付中心推进技术研发和项目落地，并通过新加坡全球商务运营中心连接海外客户。方向已经足够清楚：机器人要进入真实世界，先得学会理解和回应身边的人。