港中文团队发布7模态人体动作数据集，揭开大模型理解能力短板

近日，香港中文大学信息工程系邢国良教授团队的博士生蒋思阳作为第一作者，完成了一项名为 CUHK-X 的大型多模态人体动作数据集，这个数据集能让 AI 真正看懂人在做什么、为什么这么做以及接下来要做什么。这项研究成果已被移动计算领域顶级国际会议 ACM MobiSys 2026 接收。

有了它，服务机器人可以更聪明地理解你的需求，养老院能提前预警老人摔倒风险，康复系统能分析病人的动作是否标准。他们用这个数据集测了市面上好几款主流的大模型，发现即便是最聪明的 AI，在理解人类真实动作这件事情上，平均正确率也只有四成左右，还有很长的路要走。

这项研究其实是被现实需求逼出来的，该团队之前在做边缘部署的 AI 系统时发现，现有的数据集都只停留在识别层面，比如拍一个人摔倒，AI 知道这是摔倒。不过大模型时代需要的不只是认出来，还要理解这个人是怎么摔倒的，是绊到了椅子还是被东西砸到，以及摔倒之后应该怎么办。

理解和推理这两个能力，恰恰是 AI 要走进家庭、医院、养老院这些真实场景时最需要的。市面上的主流大模型主要针对彩色照片优化，面对深度图、热成像、毫米波雷达这些非常规传感器时表现很差，根本原因就是缺少这类传感器的配对数据。

CUHK X 的数据收集走了一条反常规的路径，传统做法是先随便拍一堆视频，然后找人一帧一帧打标签，效率极低还容易出错。该团队先设计好动作场景，再用大模型把动作串成一段有逻辑的剧情，最后让参与者照着剧情演。比如刷牙洗脸梳头穿衣服这几个动作，大模型会生成一段从起床到洗漱完毕的完整描述，参与者照着演就行了。数据收集前标签就已经定好了，准确性大大提高。

整个数据集包含 40 个动作，分成了七个大类。这套动作清单是从 12 个公开数据集的 349 个动作中筛选出来的高频动作。

数据收集使用的传感器阵容相当豪华，主摄像头是一台 Goermicro Vzense NYX 650，同时输出彩色、深度和红外三种信号。热成像用的是海康威视 TB4117，毫米波雷达是德州仪器 IWR6843ISK。惯性传感器用的是五台 WitMotion WT9011DCL BT50，分别绑在双手手腕、双脚脚踝和腰部。

所有传感器通过主机的全局时钟同步，用场记板标记起始点，确保七路信号精确对齐。整个数据收集在两个室内环境中完成，覆盖了客厅、厨房、卧室和卫生间四个典型居室场景。

（来源：https://arxiv.org/pdf/2512.07136）

CUHK-X 数据集中，光是视觉类模态就包括 4,029 段视频，总时长达 19 小时 29 分钟。该团队利用这套数据开展了一系列基准测试。在传统的动作识别任务上，热成像表现最好，准确率 92.57%，彩色摄像头 90.89%，深度摄像头 90.46%，红外 90.22%，骨架数据 79.08%。毫米波雷达和惯性传感器因为信号噪声大，准确率只有 46% 和 45% 左右，说明非视觉传感器在动作识别上还有很大提升空间。

最考验 AI 水平的是理解和推理，因此该团队设计了四个理解层面和一个推理层面的的任务。

第一个是描述生成，让 AI 看一段视频，然后写出一段话描述画面里的人在干什么。测试结果显示，表现最好的模型在热成像和深度数据上也只能拿到三四十分的匹配度，和真实描述差得很远。

第二个是情境分析，让 AI 判断视频里的人是悠闲还是匆忙。目前主流模型平均正确率与随机猜测无异。

第三个是动作排序，把一段打乱顺序的视频片段重新排好，比如先拿杯子后倒水最后喝水。这个任务的挑战在于 AI 必须理解动作之间的因果链条。

第四个是动作选择，从 40 个动作里选出视频中出现的动作。这项测试平均正确率不到 25%，说明当前大模型在多动作复杂场景下几乎无能为力。

（来源：https://arxiv.org/pdf/2512.07136）

推理任务的难度则更进一步，通过让 AI 观察一段动作序列，预测下一秒会发生什么，来判断现有大模型的推理能力。该团队发现，普通的描述型大模型在这个任务上表现很差，它们只会照搬表面特征，比如看到有人在餐桌前就猜吃饭，完全不管餐具拿没拿。

不过有推理能力的模型表现好很多，它会分析上下文，看到桌子上有衣服、人在擦手、旁边放着包，就会推断出接下来很可能是要穿衣服出门。这种模型还会给出推理过程，让人知道它是怎么得出结论的。

（来源：https://arxiv.org/pdf/2512.07136）

不过，这些看似条理清晰的实验结果，并不是一蹴而就的。从设备选型到场地搭建，从志愿者招募到数据清洗，团队遇到的麻烦远比想象中多，而其中最惨痛的一次教训，来自毫米波雷达。

据介绍，毫米波雷达那次失利让整个团队刻骨铭心。在实验室里调得好好的，搬到新场地信号全乱套了，十几个小时的采集全部作废，二十多个参与者得重新叫回来。蒋思阳说这个教训很昂贵，那就是永远不要觉得在一个环境跑通了，换个地方就理所当然能跑通。

图 | 第一作者照片（来源：受访者）

另据悉，蒋思阳本科主修数学专业，硕士毕业于中国台湾大学，研究方向为硬件系统，博士就读于香港中文大学信息工程系，从事计算机系统方向的研究。

他即将博士毕业，并计划继续从事学术研究，进一步深化和完善这一数据集。下一步计划把参与人数从 30 人扩展到 100 人，加入 WiFi 信号和音频等新模态，还要去真正的养老机构做实地验证。在他看来，AI 要真正理解人，光靠识别远远不够，必须在场景里建立起完整的因果链条。CUHK-X 数据集的搭建为算法研究者提供了验证模型的平台。

参考资料：

相关论文 https://arxiv.org/pdf/2512.07136

http://aiot.ie.cuhk.edu.hk/

运营/排版：何晨龙

注：封面/首图由 AI 辅助生成