网易首页 > 网易号 > 正文 申请入驻

一个摄像头就能让虚拟人唱跳rap,抖音即可玩

0
分享至

允中 发自 凹非寺
量子位 | 公众号 QbitAI

全身动作捕捉,现在无需昂贵的动捕设备,只要一个摄像头就能轻松实现。

并且就在抖音上,人人都能上手体验。

上面这段虚拟数字形象跳舞的视频采用了抖音直播伴侣功能背后的全身驱动技术,主播仅需要单个普通摄像头并开始跳舞,就可以实时、精准地驱动虚拟形象。

相较于以往的轻量化动作捕捉,这项来自字节跳动智能创作团队的全身驱动技术具有高真实性,可以体现空间的距离感和地面感。

并且具有更高的鲁棒性,能够在复杂的环境、穿戴等场景下实现良好的结果。

同时,还具备更高的还原性,人物的姿态、手势和动作的姿态、速度都能更加准确地还原。

值得一提的是,普通的惯性动捕手套在一定时间后就会产生漂移损耗,无法支持长时间的直播,而全身驱动技术则可以有效规避这一问题,能够更好地适应直播场景。

据介绍,全身驱动技术的技术方案包含了数据、估计、修正以及驱动四个步骤,具体的实现方案如下:

△全身驱动技术方案全流程

构建高精度3D数据供应链

技术团队使用了混合3D数据构建方式,其来源包括自建多目工装动捕系统、2D数据、伪标签3D数据,基于此,团队构建了包含800万以上高精3D标签的数据集。

为了获取接近业务场景的高精度3D人体数据,团队搭建了一套完整的基于多目摄像头的无标记物视觉动捕系统,并基于自研的人体重建算法,实现了对人体的位置,姿态和体型的准确估计。

尽管在多数情况下,自动化的重建算法能够给出精度满足要求的重建结果,但对于一些遮挡严重,运动过快导致模糊的样本,仍需要通过人工筛选修正的方式进行数据清洗。通过搭建3D数据筛选标注系统,可以实现高效的半自动化数据生产,并通过将人工审核后的样本用于相关模型的训练,持续优化数据产线相关模型的性能,最终实现数据质量的自举式提升。

△高精度3D数据构建流程

高还原性与高鲁棒性的全身估计模型

据介绍,通过上述步骤,团队积累了样本量高达近千万的大规模数据集。

在此基础上,团队训练了一个基础特征表示底座进行3D-Aware的共享特征抽取,基于共享特征构建了姿态估计分支、相机估计分支、Root点估计分支。

其中,姿态估计分支负责为表演者的关节点进行局部3D坐标估计,相机估计分支以及Root点估计分支为当前表演者的全局位置进行估计。

基于多分枝的估计模块结合积累的大量自有数据,人体估计模型可以在较少的计算量下取得高还原性与高鲁棒性的结果。

另外,针对全身场景下的手部姿态估计,团队统计了手腕关节旋转的先验分布辅助模型训练,保证模型输出符合人体结构约束;设计了手腕关节的时序模型,保证手腕姿态的稳定性;对关键点预测进行概率建模从而预测模型输出的置信度进行难样本过滤;将以上优化点与大量的自有手部数据结合,智能创作团队的手部姿态算法模型在复杂遮挡模糊场景下结果仍可有不错的表现。

以下为人体在复杂遮挡服饰场景下的优化对比。左边为原始预测结果,右边为异常遮挡优化结果。

再来看看手腕在旋转动作下的优化对比。左边为原始预测结果,右边为手部姿态还原性&鲁棒性优化结果。

时空关联建模强化鲁棒性

在身体估计模块获取了基本的3D关节点信息后,技术团队训练了时序完整性模块对原始结果进行修正。

在时序完整性模块中,引入关节点在时序上的关联关系以及同时刻关节点的空间关联关系,同时引入了关节点位置感知模块,使得具体关节点位置可以被显式编码为高维向量加入训练。

在时序建模的基础上,团队同时设计了异常检测模块对分布外的姿态结果进行过滤修正。时空关联建模的设计保证了人体估计算法可以进一步获得高鲁棒性的驱动信号。

人体在复杂遮挡服饰场景下的优化对比(左为原始预测结果,右为时空关联建模修正后结果):

自研算法,实现高真实感驱动

在通过一些算法模型计算后,团队获得了精准且可靠的人体关节点输出,但这距离驱动一个活灵活现的虚拟人仍然还有最后几个步骤,需要通过IK算法获取特定虚拟角色的旋转角以对其完成驱动。

对此,团队自研了EasyIK算法,其可以对大臂小臂、大腿小腿等容易出现自旋错误的关节提供合理姿态。

同时,为了保证驱动虚拟角色的真实感,团队研发了接地算法,对驱动虚拟角色的地面进行估计,并为单脚以及双脚姿态在地面上自然姿态以及移动的距离进行估计。

EasyIK以及接地算法的引入使得虚拟人驱动可以获得更好的真实感。

足部稳定性优化对比(左为原始预测结果,右为高真实感驱动效果):

随着虚拟数字人技术的发展和虚拟偶像的兴起,虚拟数字人在游戏、虚拟社交,在线健身、在线教育、虚拟主播等领域都将有更加广阔的应用空间。更加实时、轻量化、低成本的动作捕捉技术也将成为行业的趋势。

全身驱动技术方案能大大降低了真人驱动虚拟数字人的应用门槛,助力打造更加趣味、沉浸式的交互体验。

关于字节跳动智能创作团队:

智能创作团队通过建设领先的计算机视觉、音视频编辑、特效处理等技术,支持抖音、剪映、头条等公司内众多产品线;同时通过火山引擎为外部ToB合作伙伴提供业界前沿的智能创作能力与行业解决方案。

体验抖音直播伴侣,可访问:https://streamingtool.douyin.com/

*本文系量子位获授权刊载,观点仅为作者所有。

— 完 —

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
菲律宾总统:将对中国在南中国海攻击行为予以反制措施

菲律宾总统:将对中国在南中国海攻击行为予以反制措施

花尔街之狼
2024-03-28 17:51:17
今年清明不一般,60年一遇,上坟要慎重,别犯了民间的这7个忌讳

今年清明不一般,60年一遇,上坟要慎重,别犯了民间的这7个忌讳

西山来客
2024-03-26 09:22:56
中方打法变了!不再警告直接出手,24小时内,消息迅速传遍全球

中方打法变了!不再警告直接出手,24小时内,消息迅速传遍全球

星辰故事屋
2024-03-27 23:07:15
4月8日,全球首款搭载“超快充固态电池”的汽车将正式发布,续航超1000公里

4月8日,全球首款搭载“超快充固态电池”的汽车将正式发布,续航超1000公里

封面新闻
2024-03-27 13:04:40
理想MEGA夺冠中国纯电MPV单周销量排行榜

理想MEGA夺冠中国纯电MPV单周销量排行榜

三言科技
2024-03-28 09:48:08
搞不懂的状元!27岁全明星首发,28岁断崖下滑,8项数据生涯最低

搞不懂的状元!27岁全明星首发,28岁断崖下滑,8项数据生涯最低

球毛鬼胎
2024-03-28 13:02:26
头发有点像鸡窝

头发有点像鸡窝

白宸侃片
2024-03-28 19:25:46
小米汽车一车未卖,但已经赚了1323.9万!卖工服都是小钱!

小米汽车一车未卖,但已经赚了1323.9万!卖工服都是小钱!

户外小阿隋
2024-03-28 13:28:10
俄至少30天前知晓莫斯科音乐厅140死枪击事件,乌克兰情报曝光

俄至少30天前知晓莫斯科音乐厅140死枪击事件,乌克兰情报曝光

亡海中的彼岸花
2024-03-28 08:31:12
扬科维奇不带,伊万不用,首位出局归化国脚浮现:13场0球遭冷落

扬科维奇不带,伊万不用,首位出局归化国脚浮现:13场0球遭冷落

球场没跑道
2024-03-28 13:42:08
5年4胎,越生越漂亮,2024上海时装周蒋丽莎诠释什么是人鱼之美

5年4胎,越生越漂亮,2024上海时装周蒋丽莎诠释什么是人鱼之美

室内设计师阿喇
2024-03-28 00:31:51
另谋高就!曝哈维将接手英超土豪!4员大将离开巴萨,换1.8亿欧

另谋高就!曝哈维将接手英超土豪!4员大将离开巴萨,换1.8亿欧

头狼追球
2024-03-28 15:25:32
彻底告别!韩媒:孙准浩获释后哭了,他说永远不会再去中国

彻底告别!韩媒:孙准浩获释后哭了,他说永远不会再去中国

国足风云
2024-03-26 10:24:30
12幅幽默漫画,画出女生夏天的尴尬!

12幅幽默漫画,画出女生夏天的尴尬!

MICU设计
2024-03-28 09:15:27
禁止使用!微信抖音发布公告

禁止使用!微信抖音发布公告

宁夏新闻网
2024-03-27 23:39:51
爆冷逆转!狂轰94+44+24,湖人三巨头打疯了,詹姆斯浓眉联盟第一

爆冷逆转!狂轰94+44+24,湖人三巨头打疯了,詹姆斯浓眉联盟第一

康泳哥看体育
2024-03-27 23:24:02
难绷!网友评小米汽车:已提车一年 经常黑屏死机

难绷!网友评小米汽车:已提车一年 经常黑屏死机

手机中国
2024-03-27 15:13:15
央视和陈凯歌共同发声:现在的张颂文,完全验证了范伟当年的话

央视和陈凯歌共同发声:现在的张颂文,完全验证了范伟当年的话

舞娱天地
2024-03-23 11:53:59
青岛力克北控3连胜巩固第七 杨瀚森32+12+4+5帽创生涯纪录

青岛力克北控3连胜巩固第七 杨瀚森32+12+4+5帽创生涯纪录

醉卧浮生
2024-03-28 21:54:00
国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

曾经年少
2024-03-05 11:38:53
2024-03-29 00:30:44
量子位
量子位
追踪人工智能动态
9218文章数 175121关注度
往期回顾 全部

科技要闻

李斌李想何小鹏喊你买小米汽车

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

体育要闻

疯狂的格林,冲刺的火箭

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

中国版QE要来?国内外机构观点罕见一致

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

旅游
艺术
教育
亲子
手机

旅游要闻

在广西不洗澡,是不是犯了天条啊?

艺术要闻

艺术开卷|从闺阁、庭院到郊野,古画中的女性生活空间

教育要闻

出国留学遇到不公平对待你会怎么做?

亲子要闻

3月龄宝宝自己讨奶喝

手机要闻

华为新机突然通过3C认证:疑似麒麟芯片加持,定位并不高!

无障碍浏览 进入关怀版