让机器人读懂情感：从多模态感知到理解与控制

情感机器人主要通过多模态感知与理解、情感语义分析、情感驱动的轨迹规划与控制等技术，深入分析情感和意图信息，实现自然人机交互。随着人机交互多场景应用需求的不断提升，情感机器人在感知、理解与控制三个层面都面临着新的挑战。在感知层面，面部表情、语音、姿态等多模态信号存在相关性、差异性和耦合性的特点，如何实现多模态情感特征的有效提取与融合成为首要问题；在理解层面，情感语义往往具有模糊性与复杂的上下文依赖关系，如何构建多模态情感与个人意图的量化描述模型是需要解决的关键问题；在控制层面，如何将情感状态映射到机器人的行为决策与控制上，实现动作与情感表达的一致性是人机交互的重要问题。

图1 多模态情感识别与理解

《情感机器人多模态感知、理解与控制》沿着“多模态感知—情感意图理解—机器人控制”展开：从语音、面部表情与姿态特征的提取和融合，到深度学习与模糊推理相结合的情感意图建模，再到WEBO情感机器人的系统设计与应用，涉及机械臂手势跟踪、情感偏向轨迹控制等。全书把基础方法、模型构建和场景实验连在一起，帮助读者理解情感信息如何从感知线索逐步进入机器人的决策与行动。

图2 情感机器人建模与交互

对于情感机器人，自然交互不是识别出一个表情或情绪标签就能实现的，而是需要把多模态感知、情感意图理解与机器人行为控制衔接起来。面部表情、语音和人体姿态等信号，既能相互补充，也可能存在差异与耦合；情感表达还受到语境影响，具有模糊性。机器人需要根据这些线索进行判断，理解交流者的情感与意图，并作出与当前情境相适应的响应。围绕这一主线，本书聚焦情感机器人研究中的三个核心问题。

一

如何有效融合语音、面部表情和人体姿态等多模态信息，解决模态间的相关性、差异性和时序耦合问题，突破不同模态特征信息冗余与难以融合的技术难题；

二

如何针对交互过程情感表达具有模糊性且依赖上下文的特点，融合多模态信息，实现多模态情感与个人意图的量化描述，促进人机交互深层认知信息的理解；

三

如何将情感与意图理解信息转化为行为决策和控制策略，建立机器人的情感模型，提出多机器人行为协调机制，实现实现情感的反馈与表达。

这三个问题分别对应多模态情感感知、意图理解与行为控制，共同指向一个更深层的科学问题：如何在多模态信息彼此关联又存在差异、情感表达具有模糊性、交互情境不断变化的条件下，使机器人形成从感知、理解到行动的连贯能力。围绕这一问题，本书从基础方法延伸到情感机器人的场景应用，探讨情感机器人多模态感知与理解、机械臂建模与轨迹跟踪控制。

图3 情感机器人WEBO走进课堂应用场景

《情感机器人多模态感知、理解与控制》是国家出版基金项目“智能机器人基础理论与关键技术丛书”中的一部学术著作。全书以情感机器人从感知、理解到行动的实际需求为主线，将多模态情感识别、情感意图理解与机器人系统控制贯通起来，形成三条彼此衔接的技术路径：面向语音、面部表情和人体姿态等信息的特征提取与融合，面向情感模糊性和上下文依赖的意图建模，以及面向具体交互任务的情感机器人控制与应用。书中结合宽度学习、长短期记忆网络、核典型相关分析、模糊深度神经网络等方法，并通过WEBO情感机器人的多模态感知与理解、机械臂建模与控制、情感偏向轨迹跟踪控制开展应用研究。这些内容共同回应三个关键问题：机器人如何综合多模态信息识别情感，如何从情感线索理解交流意图，以及如何将理解结果转化为行为决策与控制策略。

《情感机器人多模态感知、理解与控制》购买

陈略峰 吴 敏 刘振焘 佘锦华 著

北京: 科学出版社, 2026. 9

(智能机器人基础理论与关键技术丛书)任选

ISBN： 978-7-03-085138-3

责任编辑：朱英彪

全书共11章，围绕情感机器人的多模态感知、情感意图理解与行为控制展开，覆盖语音、面部表情和人体姿态等情感信息，以及情感机器人教育教学、机械臂手势跟踪、情感轨迹控制等应用场景。

※第1和2章从情感机器人的基本概念和交互过程出发，介绍情感识别与感知、情感意图理解及机器人控制等内容；随后讲解语音信号预处理与声学特征提取、人脸检测与表情特征提取、人体姿态估计与肢体情感特征提取。这部分由整体框架推进到具体信号处理，为后续情感识别与多模态融合研究建立基础。

※第3~5章聚焦面部及多模态情感识别。第3章结合卷积特征、宽度学习与长短期记忆网络，研究多维度面部情感识别；第4章围绕 K均值聚类、核典型相关分析和支持向量机，构建多模态情感识别方法；第5章进一步分析面部与姿态等特征之间的耦合关系，介绍基于三维卷积神经网络和宽深度融合网络的特征分析方法。这部分通过不同模型与实验，呈现从特征提取、筛选到融合和分类的研究路径。

※第6和7章围绕情感意图理解展开。第6章介绍基于 Candide3 模型的动态情感识别，并结合模糊 C 均值聚类和带稀疏自动编码器的模糊深度神经网络，构建情感意图理解模型；第7章进一步讨论基于宽深度网络的模糊推理模型，将情感识别与意图推断相衔接。这部分关注情感表达的模糊性及其上下文影响，探索对情感状态和个人意图进行建模与量化。

※第8~11章从情感机器人WEBO的系统设计延伸到应用研究。第8章介绍机器人的硬件组成、多模态交互功能和系统架构；第9章结合情感意图理解与 V-A 空间模糊推理，开展教学效果定量评价；第10章利用种群随机多目标遗传算法研究机械臂手势跟踪控制；第11章则结合情感偏向与快速搜索随机树方法，研究机械臂轨迹规划与跟踪控制。这部分展示了相关方法从系统构建走向教学评价和机械臂控制任务的实践过程。

本书主要特点如下：

一

以“感知-理解-控制”贯通研究主线。本书从多模态情感线索的提取与识别讲起，逐步推进到情感意图建模，再讨论如何将理解结果用于机器人的行为决策和运动控制。全书涉及语音、面部表情和人体姿态等信息，也介绍面部情感识别、多模态特征融合及情感意图理解方法，呈现从采集线索、分析状态到形成机器人响应的完整技术链路。

二

以多模态融合感知与推理应对复杂交互信息。不同模态信号各自提供情感线索，又可能存在关联、差异和耦合；情感表达还受到语境影响，具有模糊性。针对这些问题，书中介绍 K 均值聚类与核典型相关分析、宽深度融合网络，以及带稀疏自动编码器的模糊深度神经网络等方法，并讨论模糊推理在情感意图理解中的应用，为读者梳理从特征分析到情感与意图建模的多种思路。

三

以情感机器人案例连接方法与应用。本书介绍自主研发情感机器人WEBO的硬件组成、多模态交互功能和系统架构，并将相关方法用于具体任务：在教学场景中开展教学效果评价，在机械臂控制中研究手势跟踪与情感偏向轨迹规划和跟踪。由系统设计延伸至场景应用，展示情感机器人技术在教学评价和机械臂控制等场景的应用探索。

本书兼顾基础概念、算法方法与系统应用，可为自动化、人工智能、情感计算、多模态识别与智能交互、具身智能、智能机器人及机器人控制等领域的科研人员、高校师生和工程技术人员提供理论基础、方法支撑和应用参考。其参考价值在于，全书沿着“多模态特征提取与情感识别-情感意图理解-机器人控制与应用”的技术链路展开，既梳理了宽度学习、长短期记忆网络、核典型相关分析、模糊深度神经网络等方法，也介绍了WEBO情感机器人的系统架构，以及情感建模、机械臂手势跟踪、情感偏向轨迹控制等内容。读者可以据此建立对情感机器人关键环节的整体认识，并在算法研究、系统设计和应用场景选择中找到具体参照。

国家出版基金项目

“十四五”国家重点出版物出版规划项目

智能机器人基础理论与关键技术丛书

↑ 点击图片选购

为深入贯彻落实《“十四五”机器人产业发展规划》，加快推动机器人产业高质量发展，持续促进我国科研成果知识产权保护和研究成果示范推广，科学出版社策划出版了“十四五”国家重点出版物出版规划项目“智能机器人基础理论与关键技术丛书”。本丛书集中展现了我国学者在智能机器人领域的自主创新研究成果，内容涵盖基础前沿技术、新一代机器人、关键共性技术、工业机器人、服务机器人、特种机器人等研究方向，对机械、自动化、信息技术尤其是机器人领域的广大科研人员、高等院校师生具有重要的参考价值。

（本文编辑：刘四旦）

专业品质 学术价值

原创好读 科学品位

一起阅读科学