网易首页 > 网易号 > 正文 申请入驻

重塑人体动作生成,融合扩散模型与检索策略的新范式ReMoDiffuse

0
分享至

机器之心专栏

作者:MMLab@NTU

来自南洋理工大学和商汤科技的研究者联合提出了一种全新的文本驱动动作生成框架——ReMoDiffuse。

人体动作生成任务旨在生成逼真的人体动作序列,以满足娱乐、虚拟现实、机器人技术等领域的需求。传统的生成方法包括 3D 角色创建、关键帧动画和动作捕捉等步骤,其存在诸多限制,如耗时较长,需要专业技术知识,涉及昂贵的系统和软件,不同软硬件系统之间可能存在兼容性问题等。随着深度学习的发展,人们开始尝试使用生成模型来实现人体动作序列的自动生成,例如通过输入文本描述,要求模型生成与文本要求相匹配的动作序列。随着扩散模型被引入这个领域,生成动作与给定文本的一致性不断提高。

然而,生成动作的自然程度离使用需求仍有很大差距。为了进一步提升人体动作生成算法的能力,本文在 MotionDiffuse [1] 的基础上提出了 ReMoDiffuse 算法(图 1),通过利用检索策略,找到高相关性的参考样本,提供细粒度的参考特征,从而生成更高质量的动作序列。



  • 论文链接:https://arxiv.org/pdf/2304.01116.pdf
  • GitHub:https://github.com/mingyuan-zhang/ReMoDiffuse
  • 项目主页:https://mingyuan-zhang.github.io/projects/ReMoDiffuse.html

通过巧妙地将扩散模型和创新的检索策略融合,ReMoDiffuse 为文本指导的人体动作生成注入了新的生命力。经过精心构思的模型结构,ReMoDiffuse 不仅能够创造出丰富多样、真实度高的动作序列,还能有效地满足各种长度和多粒度的动作需求。实验证明,ReMoDiffuse 在动作生成领域的多个关键指标上表现出色,显著地超越了现有算法。



图 1. ReMoDiffuse 概览

方法介绍

ReMoDiffuse 主要由两个阶段组成:检索和扩散。在检索阶段,ReMoDiffuse 使用混合检索技术,基于用户输入文本以及预期动作序列长度,从外部的多模态数据库中检索出信息丰富的样本,为动作生成提供强有力的指导。在扩散阶段,ReMoDiffuse 利用检索阶段检索到的信息,通过高效的模型结构,生成与用户输入语义一致的运动序列。

为了确保高效的检索,ReMoDiffuse 为检索阶段精心设计了以下数据流(图 2):





图 2:ReMoDiffuse 的检索阶段

扩散过程(图3.c)由正向过程和逆向过程两个部分组成。在正向过程中,ReMoDiffuse 逐步将高斯噪声添加到原始动作数据中,并最终将其转化为随机噪声。逆向过程专注于除去噪声并生成逼真的动作样本。从一个随机高斯噪声开始,ReMoDiffuse 在逆向过程中的每一步都使用语义调制模块(SMT)(图3.a)来估测真实分布,并根据条件信号来逐步去除噪声。这里 SMT 中的 SMA 模块将会将所有的条件信息融入到生成的序列特征中,是本文提出的核心模块。



图 3:ReMoDiffuse 的扩散阶段



3.V 向量提供了动作生成所需的实际特征。类似 K 向量,这里 V 向量也综合考虑了检索样本、用户输入以及当前动作序列。考虑到检索样本的文本描述特征与生成的动作之间没有直接关联,因此在计算 V 向量时我们选择不使用这一特征,以避免不必要的信息干扰。

结合 Efficient Attention 的全局注意力模板机制,SMA 层利用来自检索样本的辅助信息、用户文本的语义信息以及待去噪序列的特征信息,建立起一系列综合性的全局模板,使得所有条件信息能够被待生成序列充分吸收。

实验及结果

我们在两个数据集 HumanML3D [4] 和 KIT-ML [5] 上评估了 ReMoDiffuse。在与文本的一致性与动作质量两个角度上,实验结果(表 1、2)展示了我们提出的 ReMoDiffuse 框架的强大性能和优势。



表 1. 不同方法在 HumanML3D 测试集上的表现



表 2. 不同方法在 KIT-ML 测试集上的表现

以下是一些能定性展示 ReMoDiffuse 的强大性能的示例(图 4)。与之前的方法相比,例如,在给定文本 “一个人在圆圈里跳跃” 时,只有 ReMoDiffuse 能够准确捕捉到 “跳跃” 动作和 “圆圈” 路径。这表明 ReMoDiffuse 能够有效地捕捉文本细节,并将内容与给定的运动持续时间对齐。



图 4. ReMoDiffuse 生成的动作序列与其他方法生成的动作序列的比较

我们对 Guo 等人的方法 [4]、MotionDiffuse [1]、MDM [6] 以及 ReMoDiffuse 所生成的相应动作序列进行了可视化展示,并以问卷形式收集测试参与者的意见。结果的分布情况如图 5 所示。从结果中可以清晰地看出,在大多数情况下,参与测试者认为我们的方法 —— 即 ReMoDiffuse 所生成的动作序列在四个算法中最贴合所给的文本描述,也最自然流畅。



图 5:用户调研的结果分布

引用

[1] Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. Motiondiffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022.

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020, 2021.

[3] Zhuoran Shen, Mingyuan Zhang, Haiyu Zhao, Shuai Yi, and Hongsheng Li. Efficient attention: Attention with linear complexities. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 3531–3539, 2021.

[4] Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural 3d human motions from text. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5152–5161, 2022.

[5] Matthias Plappert, Christian Mandery, and Tamim Asfour. The kit motion-language dataset. Big data, 4 (4):236–252, 2016.

[6] Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H Bermano. Human motion diffusion model. In The Eleventh International Conference on Learning Representations, 2022.

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
此人的父亲是甘肃提督,岳父是两江总督,女婿是政治局常委

此人的父亲是甘肃提督,岳父是两江总督,女婿是政治局常委

探史笑君
2024-02-24 07:35:35
黄晓明旗下公司16个艺人,居然没有一个红的,网友:好心疼

黄晓明旗下公司16个艺人,居然没有一个红的,网友:好心疼

匆匆谈奇闻
2024-02-23 10:48:11
突发事故后,市委书记、副省长紧急赶赴现场

突发事故后,市委书记、副省长紧急赶赴现场

政知新媒体
2024-02-23 22:36:03
突然踩刹车!中国海军军舰为何从2023年开始,增加频率变慢了?

突然踩刹车!中国海军军舰为何从2023年开始,增加频率变慢了?

科学知识点秀
2024-02-21 00:12:26
杨振宁慌了,危机来袭!翁帆“强势崛起”扬帆起航,恐难以应对

杨振宁慌了,危机来袭!翁帆“强势崛起”扬帆起航,恐难以应对

陈二建
2023-10-29 20:05:21
千万不要做廉价的人

千万不要做廉价的人

柚子人情世故
2024-02-18 09:50:54
打爆日本队,中国男篮正名之战,胡金秋、杨翰森领衔最强内线出战

打爆日本队,中国男篮正名之战,胡金秋、杨翰森领衔最强内线出战

小鬼头体育
2024-02-24 13:20:49
世乒赛突然变阵!国乒面临用人难题,日本女队预测:王曼昱会出场

世乒赛突然变阵!国乒面临用人难题,日本女队预测:王曼昱会出场

低调的体育王者
2024-02-24 14:49:26
哪些生肖犯太岁却反而运气好?

哪些生肖犯太岁却反而运气好?

牛锅巴小钒
2024-02-24 14:32:09
骆明:国足找名气小的西班牙教练可能比现在强,但这很难实现

骆明:国足找名气小的西班牙教练可能比现在强,但这很难实现

懂球帝
2024-02-24 18:28:11
贾玲犯众怒了!评论区彻底沦陷,著名评论员郭松民的点评一针见血

贾玲犯众怒了!评论区彻底沦陷,著名评论员郭松民的点评一针见血

小徐讲八卦
2024-02-24 18:22:50
孙颖莎对战张本美和,王艺迪对战早田希娜,陈梦对战平野美宇

孙颖莎对战张本美和,王艺迪对战早田希娜,陈梦对战平野美宇

二郎神侃球
2024-02-24 12:06:19
华科险入前20,武大不敌哈工大!全国大学声誉排行榜出炉

华科险入前20,武大不敌哈工大!全国大学声誉排行榜出炉

小李子体育
2024-02-24 10:02:08
马卡:皇马球员钟爱售价5.5万欧元床垫,可以帮助比赛后更快恢复

马卡:皇马球员钟爱售价5.5万欧元床垫,可以帮助比赛后更快恢复

直播吧
2024-02-23 20:18:14
巴萨曼联阿森纳都想要!22岁前拜仁瑰宝,成意甲现象级

巴萨曼联阿森纳都想要!22岁前拜仁瑰宝,成意甲现象级

米奇兔
2024-02-23 19:38:15
准备打仗?台万吨级战舰进入导弹装填状态,机不可失时不再来

准备打仗?台万吨级战舰进入导弹装填状态,机不可失时不再来

奉壹数码
2024-02-24 01:00:23
高合创始人丁磊公开露面:恳请留下的员工,大家再战斗一次!

高合创始人丁磊公开露面:恳请留下的员工,大家再战斗一次!

互联网那些破事
2024-02-22 21:53:15
叶檀:复查结果120分将回归社会,肺部有新阴影专家说倾向于炎症

叶檀:复查结果120分将回归社会,肺部有新阴影专家说倾向于炎症

荷兰豆爱健康
2024-02-24 21:55:47
厦门大学教授:有钱人愿意买房就让他买,房地产不好所有人都没钱

厦门大学教授:有钱人愿意买房就让他买,房地产不好所有人都没钱

光宇吐楼市
2024-02-23 12:17:32
知名企业停工停产6个月?办公室大门紧闭,员工:曾有300号人,如今不到150人

知名企业停工停产6个月?办公室大门紧闭,员工:曾有300号人,如今不到150人

21世纪经济报道
2024-02-24 19:08:55
2024-02-25 02:40:49
机器之心Pro
机器之心Pro
专业的人工智能媒体
8722文章数 141817关注度
往期回顾 全部

科技要闻

中国载人月球飞船,名字定了!

头条要闻

广州沥心沙大桥被撞断后:三民岛的出行之困正在缓解

头条要闻

广州沥心沙大桥被撞断后:三民岛的出行之困正在缓解

体育要闻

福登为曼城打进44粒英超进球,进球数超越前队友马赫雷斯

娱乐要闻

王阳高斯登顶热搜,一家同框幸福满溢

财经要闻

超万字!第47封巴菲特股东信来了

汽车要闻

后排体验全面升级 新款智己L7售29.99万起

态度原创

本地
游戏
艺术
手机
公开课

本地新闻

寻年味 过大年| 元宵节来永清,一起赏百米神龙和特色灯会

牙膏才是孟获?面对Knight已经10连败!JDG粉丝吐槽:对不起Ruler

艺术要闻

在成都看「永恒的巴黎」人文摄影大师维利·罗尼摄影展

手机要闻

真我12 Pro系列开启预约:最轻薄潜望长焦手机来了

公开课

何为人生第一等事?

无障碍浏览 进入关怀版