计算机学院（软件学院）刘瑞、张怀文研究员团队3篇论文被多媒体领域国际顶级会议录用

近日，我校计算机学院（软件学院）刘瑞、张怀文研究员团队3篇论文被ACM MM 2024录用。ACM MM 2024也称为第32届ACM国际多媒体大会，英文全称The 32nd ACM International Conference on Multimedia (ACM MM)，是CCF推荐的A类国际会议。ACM MM 2024将于2024年10月28日至11月1日在澳大利亚墨尔本举行。本次录用的3篇论文研究内容涵盖对话语音合成、跨模态检索和模态增强语义建模等，以下为论文简述。

图1 ACM MM 2024会议官网

01生成式对话语音合成

题目：Generative Expressive Conversational Speech Synthesis

作者：刘瑞1，胡一帆1，任意2，殷翔2，李海洲3

单位：1:内蒙古大学，2:字节跳动，3:香港中文大学(深圳)

简介：

对话语音合成（CSS）旨在在用户-代理（User-Agent）对话设置中以适当的说话风格表达目标话语。现有的CSS方法采用有效的多模态上下文建模技术来实现移情、理解和表达。为了解决上述问题，论文提出了一种新颖的生成式表达式CSS大模型系统，称为GPT-Talker，将多轮对话历史的多模态信息转换为离散的标记序列，并将它们无缝集成，形成一个全面的用户-代理对话上下文。利用 GPT 的强大功能，预测代理响应的标记序列，其中包括语义和风格知识。之后，富有表现力的对话语音由对话丰富的 VITS 合成，以向用户提供反馈。

图2 GPT-Talker模型结构，包括对话GPT和对话VITS

制作了一个名为NCSSD的大规模自然CSS数据集，包括即兴风格的自然录制的对话语音和从电视节目中提取的对话。

图3 NCSSD数据集构建过程

主观和客观评估都表明，这一模型在自然性和表现力方面明显优于其他最先进的CSS系统。代码、数据集和预训练模型可在以下网址获得：。

02基于多实例多标签的文本运动跨模态检索

题目：Multi-Instance Multi-Label Learning for Text-motion Retrieval

作者: 杨洋，曹力元，时浩宇，张怀文

单位: 内蒙古大学

简介：

文本三维运动序列检索是一项重要的跨模态任务，它旨在检索语义上与给定查询文本相似的运动序列。现有的方法主要利用单个嵌入来表示和对齐文本和运动序列。然而，运动序列通常包含多个具有复杂语义的原子运动，其语义很难通过单个全局嵌入精确捕获。此外，原子运动还会同时发生，耦合在一起。这进一步对有效对齐文本和运动序列提出了重大挑战。

为了解决多实例多标签学习问题，论文提出了一种新的多粒度语义交互方法，该方法可以在不同层级对齐文本和运动序列。利用图神经网络显式地建模它们的语义相关性，并在这些各自的层级上进行语义交互，精确地捕获多个粒度的语义。为了识别和建模同时发生的原子运动，测量运动之间的帧语义一致性，然后融合和交互一致的运动以改进它们的表示。最后，利用字符、实例和包级的语义交互来全面对齐文本和动作序列。所提出的方法在两个广泛使用的基准数据集取得了显著的改进。

图4 多粒度语义交互方法

03面向细粒度三维人体运动检索的模态增强语义建模方法

题目：Modal-Enhanced Semantic Modeling for Fine-Grained 3D Human Motion Retrieval

作者：时浩宇，张怀文

单位：内蒙古大学

简介：

文本到三维人体运动检索是一项重要的跨模态检索任务，旨在通过自然语言描述检索出语义相似的运动序列。传统方法在训练和测试阶段依赖于原始的粗粒度文本描述，这种描述缺乏对动作细节和相关身体部位的精确描述，导致跨模态对齐困难。此外，运动序列中包含连续的细微动作，这些动作往往发生在身体的局部，且变化幅度较小，传统方法难以准确识别和分辨这些细微的动作。

论文提出了“模态增强的语义建模”（MESM）方法，该方法分别从文本和人体运动两个模态进行语义增强。具体来说，在文本表示方面，MESM利用大语言模型将原始的粗粒度文本扩展成细粒度的文本描述，并通过设计合适的提示信息，确保文本描述按照动作的发生顺序详细描述相关身体部位的运动。在运动表示方面，MESM采用图卷积网络来对人体关节点进行建模，增强不同关节之间的空间依赖关系，同时聚合有代表性的运动特征，从而提升了模型对细微动作的捕捉能力。最终，通过对增强后的多模态特征进行细粒度对齐，实现高效的检索性能。实验结果表明，该方法有效地对齐了文本和运动模态的数据，显著提升了文本和三维人体运动的检索性能。

图5 模态增强的语义建模方法

1.

2.

来源 ：内蒙古大学新闻网

编辑 ：王灿

责编 ：杨磊

校审 ：安若素 张嘉方

审核 ：吴栓虎