网易首页 > 网易号 > 正文 申请入驻

AI终于能生成流畅3D动作片了,不同动作衔接无bug,准确识别文本

0
分享至

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

让3D动画小人做一套丝滑的动作,需要手动渲染多久?

现在交给AI,输入几句话就能搞定(不同颜色代表不同动作):

看向地面并抓住高尔夫球杆,挥动球杆,小跑一段,蹲下。

此前,AI控制的3D人体模型基本只能“每次做一个动作”或“每次完成一条指令”,难以连续完成指令。

现在,无需剪辑或编辑,只需按顺序输入几条命令,3D人物就能自动完成每一套动作,全程丝滑无bug。

这只新AI的名字叫TEACH,来自马普所和古斯塔夫·艾菲尔大学。

网友们脑洞大开:

这样以后拍3D动画电影,是不是只用剧本就能搞定了?

显然,游戏和仿真行业可以考虑一下了。

那么,这样的3D人物动作神器是怎么来的呢?

用编码器“记住”前一个动作

TEACH的架构,基于团队不久前提出的另一个3D人体运动生成框架TEMOS

TEMOS基于Transformer架构设计,利用人体真实运动数据进行训练。

它在训练时会采用两个编码器,分别是动作编码器(Motion Encoder)和文本编码器(Text Encoder),同时通过动作解码器(Motion Decoder)输出。

但在使用时,原本的动作编码器就会被“扔掉”、只保留文本编码器,这样模型直接输入文本后,就能输出对应的动作。

与其他输入单一文本、输出确定性动作的AI不同,TEMOS能通过单一文本,生成多种不同的人体运动

例如“人绕圈”和“站着走几步路停下来”这种单一指令,就能生成好几种不同的运动方式:

△转圈方式、走路步幅都不一样

TEACH的架构正是基于TEMOS设计,动作编码器直接就从TEMOS那儿搬了过来。

但TEACH重新设计了文本编码器,其中包括一个名叫Past Encoder的编码器,它会在生成每一个动作时,提供前一个动作的上下文,以增加动作与动作之间的连贯性。

如果是一系列指令中的第一个动作,就禁用Past Encoder,毕竟没有前一个动作可以学了。

TEACH在BABEL数据集上进行训练,这是一个时长43小时的动捕数据集,包含过渡动作、整体抽象动作、以及每一帧的具体动作。

在训练时,BABEL的这一系列动捕数据会被切分成很多个子集,每个子集中包含一些过渡动作,让TEACH能学会过渡并输出。

至于为什么不用另一个数据集KIT进行训练,作者们也给出了自己的看法。

例如在动词类型上,BABEL出现要比KIT更具体,相比之下KIT更喜欢用do/perform这种“模糊的”词汇。

研究人员将TEACH与TEMOS就连续动作生成效果进行了对比。

比TEMOS效果更好

先来看看TEACH生成一系列动作的效果,连续不重样:

随后,研究人员将TEMOS与TEACH进行了对比。

他们使用两种方法对TEMOS模型进行了训练,并分别将它们称之为Independent和Joint,区别在于训练用的数据上。

其中,Independent直接用单个动作训练,在生成时将前后两个动作用对齐、球面线性插值等方式融合在一起;Joint直接用动作对和分隔开的语言标签作为输入。

Slerp是一种线性插值运算,主要用于在两个表示旋转的四元数之间平滑插值,让变换过程看起来更流畅。

以生成“挥挥右手,举起左手”连续两个动作为例。

Independent的表现效果最差,人物当场坐下了;Joint效果好一点,但人物并没有举起左手;效果最好的是TEACH,在挥动右手后又举起了左手,最后才放下。

在BABEL数据集上测试表明,TEACH的生成误差是最低的,除此之外Independent和Joint的表现都不太好。

研究人员还测了测使用上一个动作的最佳帧数,发现当使用前一个动作的5帧时,生成的过渡动作效果最好。

作者介绍

Nikos Athanasiou,马普所在读研究生,研究方向是多模态AI,喜欢探索人类行动和语言背后的关系。

Mathis Petrovich,在古斯塔夫·艾菲尔大学(Université Gustave Eiffel)读博,同时也在马普所工作,研究方向是基于标签或文字说明产生真实的、多样化人体运动。

Michael J. Black,马克思·普朗克智能系统研究所主任,如今谷歌学术上论文引用次数达到62000+次。

Gul Varol,古斯塔夫·艾菲尔大学助理教授,研究方向是计算机视觉、视频特征学习、人体运动分析等。

目前TEACH已经开源,感兴趣的小伙伴们可以戳下方地址体验了~

GitHub地址:
https://github.com/athn-nik/teach

论文地址:
https://arxiv.org/abs/2209.04066

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
台积电外派员工抱怨与美国员工福利差距大:到麦当劳打工  薪水更高

台积电外派员工抱怨与美国员工福利差距大:到麦当劳打工 薪水更高

海外网
2022-12-07 10:16:05
搜了搜蒋劲夫的近照,被这肌肉惊到了

搜了搜蒋劲夫的近照,被这肌肉惊到了

你的健身房
2022-12-06 21:21:16
美方违背承诺,拒绝取消对华加征关税后,计划对中国钢铁行业加税

美方违背承诺,拒绝取消对华加征关税后,计划对中国钢铁行业加税

袁周院长
2022-12-07 11:30:43
追悼会上照本宣科,焉能不出笑话

追悼会上照本宣科,焉能不出笑话

乐糕民生资讯
2022-12-06 19:52:44
经历三段婚姻的巩俐终于承认她有一个儿子

经历三段婚姻的巩俐终于承认她有一个儿子

娱乐GOGOGOGO
2022-12-06 14:51:20
行动升级!33国“群殴”俄罗斯,俄媒问中国跟不跟?毛宁火速表态

行动升级!33国“群殴”俄罗斯,俄媒问中国跟不跟?毛宁火速表态

海拔新观察
2022-12-07 09:51:23
中美战争实质爆发,美情报局最神秘部门出手,发动“无接触战争”

中美战争实质爆发,美情报局最神秘部门出手,发动“无接触战争”

强国新武器
2022-12-07 14:24:40
李四川担任台北市副市长,蒋万安“尊重专业”又“尊朱”“尊韩”

李四川担任台北市副市长,蒋万安“尊重专业”又“尊朱”“尊韩”

红葱点评
2022-12-07 10:36:40
48岁贝嫂出席晚宴,新造型大翻车,网友吐槽:披个窗帘就出门?

48岁贝嫂出席晚宴,新造型大翻车,网友吐槽:披个窗帘就出门?

你干嘛呢
2022-12-07 02:18:33
夫妻恩爱、每月巨额零花钱、深圳豪宅...模范夫妻大翻车?

夫妻恩爱、每月巨额零花钱、深圳豪宅...模范夫妻大翻车?

非问先生
2022-12-07 09:14:19
徐妈妈否认自己是舞女,网友晒铁证:基因不会骗人,你看吧

徐妈妈否认自己是舞女,网友晒铁证:基因不会骗人,你看吧

豪豪路飞
2022-12-06 15:17:32
黑龙江:不得采取任何形式的封控,缩小核酸检测范围

黑龙江:不得采取任何形式的封控,缩小核酸检测范围

豆爸聊世界
2022-12-07 15:16:16
合肥的坚守和保定的放开,不同防疫样本的比较

合肥的坚守和保定的放开,不同防疫样本的比较

温柔的大马猴
2022-12-05 19:05:32
第一家破产的核酸检测公司

第一家破产的核酸检测公司

智成企业研究院
2022-12-06 17:25:05
没想到一夜之间,方向突然变了!一夜之间就解封,疫情不用怕了?

没想到一夜之间,方向突然变了!一夜之间就解封,疫情不用怕了?

毒眼视线
2022-12-06 19:11:31
外媒:华为不会再像“过去”那样了

外媒:华为不会再像“过去”那样了

DH火以
2022-12-06 21:42:25
什么叫效率!莱奥替补出场跑了913.8米打进一球,目前62分钟2球

什么叫效率!莱奥替补出场跑了913.8米打进一球,目前62分钟2球

直播吧
2022-12-07 12:21:07
李雪健:自己最遗憾的事就是演了宋江这个角色,也成了采访的禁忌

李雪健:自己最遗憾的事就是演了宋江这个角色,也成了采访的禁忌

妍如说娱乐
2022-12-06 15:37:50
最近几天,很多人都等着看广州市和重庆市的笑话,很可惜没看到

最近几天,很多人都等着看广州市和重庆市的笑话,很可惜没看到

重剑藏锋
2022-12-06 20:08:16
天安门毛主席像会挂到何时?早在1980年时,邓小平就给了标准答案

天安门毛主席像会挂到何时?早在1980年时,邓小平就给了标准答案

洞鉴历史
2022-09-23 02:44:12
2022-12-07 17:34:44
量子位
量子位
追踪人工智能动态
7161文章数 163944关注度
往期回顾 全部

科技要闻

苹果造车史诗级降级,8年自动驾驶梦碎

头条要闻

政治局会议释放6大信号:明年着重扩大内需 消费有望恢复

头条要闻

政治局会议释放6大信号:明年着重扩大内需 消费有望恢复

体育要闻

摩洛哥最纯粹的主帅,80天前被解雇了

娱乐要闻

蔡卓妍与男友恋爱5年 笑称考虑生子

财经要闻

汽车要闻

全新AMG S63 E PERFORMANCE全球首发

态度原创

艺术
旅游
家居
数码
游戏

艺术要闻

大雪|故宫藏画里的苍松:拔地干霄势,清阴覆绿苔

旅游要闻

石家庄市灵寿县的中山湖畔美成了诗

家居要闻

家居升级进行时!这款具有黑科技魔力的智能马桶,将如何颠覆你的使用体验?

数码要闻

2023影像行业八大现状解析:开放拥抱?坚定自我的矛盾困扰

DOINB暗示UZI复出无望?

进入关怀模式