网易首页 > 网易号 > 正文 申请入驻

连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班

0
分享至

  

子豪 发自 凹非寺
量子位 报道 | 公众号 QbitAI

  我们在打游戏、看动漫的时候,遇到过不少这样的情况:

  

  感觉哪里不太对……

  现在,这些3D人体模型可以得到改进了~体态更逼真、褶皱更自然、肌肉更饱满:

  

  连情绪都显得更投入了……

  甚至肌肉颤动也清晰可见:

  

  这么一对比,差距很明显了~

  不仅动画质量更高,这种新方法还大量减少了人工参与,制作速度更快了。

  要知道,以前的动画需要繁琐的步骤,比如:搭建骨骼、蒙皮、刷权重等等……动画师往往要为此修炼数年,效果还常常不尽人意。

  

  现在,只需一个神经网络就能搞定。

  不仅如此,它还可以从形象中预测骨骼,并绑定权重,更容易地用运动捕捉来制作动画。

  

  这一研究成果,由北京大学、北京电影学院等高校和机构合作完成。

  相关论文《Learning Skeletal Articulations with Neural Blend Shapes》在SIGGRAPH 2021上发表,代码现已开源。

  

  提出神经融合形状技术

  团队开发了一套神经网络,用来生成具有指定结构的骨骼,并且精准绑定骨骼的蒙皮权重。

  它由两个部分组成:包裹变形分支(envelope deformation branch)和补偿变形分支(residual deformation branch)。

  

  其中,包裹变形分支通过间接监督,学习由偏移量组成的特定骨架层次的装配参数,最后从输入角色中预测出骨架、蒙皮和权重绑定。

  

  你可能会说,常用的动画制作工具Mixamo中,也有绑定和蒙皮。

  但是新方法能做的不只这些,它还可以准确预测与模型高度匹配的骨骼,并绑定权重。

  

  从而更容易进行动作捕捉,制作动画:

  

  并且,利用一种神经融合形状(neural blend shapes)技术,补偿变形分支可以根据输入的网格连接,来预测对应的融合形状(blend shapes)。

  

  与此同时,根据关节旋转预测融合系数,然后基于此插值得到补偿变形

  

  比如,神经混合形状会纠正肌肉的形状,准确保留鼓起的肌肉:

  

  与LBS(线性混合蒙皮)算法的效果相比,细节处理得更好:

  

  与三维动画制作软件Blender的效果对比:(小肚腩被完美保留了)

  

  除此之外,研究团队还对神经混合形状系数进行了可视化,可以看到左侧输出的形象,与右侧相应的姿势绑定。

  并且,通过颜色变化,表现各关节的混合形状系数激活程度

  

  利用这一方法,神经网络只需观察变形后的人物模型进行间接学习,而不需要对训练数据集的变形方法有任何限制,极大扩大了适用范围。

  最终实现了,实时、高质量的三维人物模型动画端到端自动生成。

  

  一作来自北大图灵班

  团队由来自北京大学陈宝权教授研究团队、北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学,以及苏黎世联邦理工学院的研究人员组成。

  论文一作,是来自北大图灵班的一名本科生——李沛卓

  

  他毕业于重庆一中,曾入选信息学竞赛省队,2017年高考以687分考入北大。

  目前,李沛卓师从陈宝权教授,研究方向是深度学习和计算机图形学,正在北京大学视觉计算与学习实验室和北京电影学院未来影像高精尖创新中心(AICFVE)实习。

  此前,他已有论文登上SIGGRAPH。在与量子位交流时,他曾表示对图形学特别感兴趣。

  

  论文的更多细节,感兴趣的小伙伴,可以戳链接了解详情。

  

  项目主页:
https://peizhuoli.github.io/neural-blend-shapes/
论文地址:
https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf

  参考链接:
[1]https://peizhuoli.github.io/
[2]https://twitter.com/RanaHanocka/status/1391867020732424197?s=05
[3]https://mp.weixin.qq.com/s/IuvyNRJ6amJn5ya7fr8L6A
[4]https://mp.weixin.qq.com/s/uU1-DwHnU4pPMLtQZNQyVQ
[5]https://www.youtube.com/watch?v=antc20EFh6k

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

大连别墅失金案揭秘!小偷如何独自偷走重40多公斤的360万元现金

法治周末报
2021-06-11 12:00:55

“堕落天使”莫文蔚的奇妙情史,和她背后的6个超级男神

叶公子
2021-06-12 17:17:16

紧急提醒!近期接到这个电话,一定要及时接听

佛山电视台小强热线
2021-06-12 17:18:20

和朋友的妻子发生了关系,完事之后我也有些许后悔,却值得回味

奇闻故事阁
2021-06-12 11:01:00

书记、市长双双被处分当天,白银市委表态:全市干部一定要深刻反思!

政知新媒体
2021-06-12 16:41:41

印度“毒王”引爆世界!广州140例,专家:毒性更强,重症率更高……

北国小甜瓜
2021-06-12 09:48:10

一个“强奸罪人”自证清白20年:她丈夫报的警 我否认却遭殴打 家属被通知交7000就能解决

海峡都市报
2021-06-12 11:00:15

35大龄未婚女人愤怒咆哮:玩够了,凭什么老实男人不娶咱们?

安远故事铺
2021-06-11 11:18:36

全裸服务,按摩乳房,灰色产业被深挖:“你以为的保养,是在送命!”

哈市大呲花
2021-06-12 19:07:50

山东隐形富豪:疫情18个月暴赚130亿,欲收割30亿,被韭菜骂翻

首席商业评论
2021-06-12 17:50:43

重大发现:这些人接种新冠疫苗不会产生抗体

中外医讯
2021-06-12 15:40:41

5岁孙子对奶奶灵魂拷问:爸爸见你5次,打了妈妈3次,你高兴了吗

木棉与橡树
2021-06-12 10:10:02

打疫苗被吓成表情包!这届成年人都不如穿尿不湿的勇敢

VIKAN薇
2021-06-12 19:37:10

电影之夜红毯:贾玲胖得不成人形,景甜拖地裙压场,张小斐又赢了

顾小北说娱乐
2021-06-12 18:54:43

洛阳新发现的汉尺,告诉你“身长九尺”的武圣关羽,放现在有多高

天涯看点历史S
2021-06-12 17:19:58

出轨又复婚后,我当着老公面睡了情夫

笔尖岛二
2021-06-12 14:04:29

陈坤不再回避儿子生母身份,网友:为什么会是她?

恋爱是个技术活儿
2021-06-11 18:44:49

河南大叔占山为王44年,吃狼肉打猫豹养32头牛,看生活是啥样

荆卫定人文摄影
2021-06-11 14:35:34

快讯 | 杨洁篪与美国国务卿布林肯再次交锋:话题尖锐 具建设性

风云大外交
2021-06-12 19:12:46

刘亭,刘少奇与王光美的女儿,任联亚集团董事长兼总裁

甬说
2021-06-12 19:48:18
2021-06-12 23:41:08
量子位
量子位
追踪人工智能动态
5033文章数 111357关注度
往期回顾 全部

科技要闻

终于落地!《数据安全法》来了,特斯拉火速回应

头条要闻

博纳总裁:猫眼淘票票服务费太高 你比国家收得还多吗

头条要闻

广州居民:隔离来得猝不及防 有人缺卫生巾没米下饭

体育要闻

武磊打动足协领导 将推动球员留洋

娱乐要闻

陈数穿钻石流光长裙雪肤若隐若现

财经要闻

汽车要闻

能坐着上车 传祺M8双车上市售25.98万起

态度原创

时尚
手机
亲子
公开课
军事航空

新青年UP|专访王琳凯:“幼稚鬼”不必长大

手机要闻

Android 12 Beta 2 发布:更好看,也更安全了

亲子要闻

儿童做家务年龄对照表,舍不得用孩子才会耽误他!

公开课

985毕业做道士,家里人觉得我疯了:月薪5万?

军事要闻

印度扩建靠近马六甲海峡的跑道 威胁我商船军舰