“虚拟人”的发展、技术与市场（一篇通吃）

TLDR；

1. 本文致力于帮您迅速了解虚拟人的发展、在不同场景的应用，以及技术路径。通读本文，您将获得，对虚拟人历程的了解，及对落地技术链路的掌握。
2. 虚拟身份，包含虚拟人和数字人，虚拟人包含了虚拟角色、虚拟主播、虚拟IP（偶像），数字人代表AI Being 为某一项具体的业务服务，比如智能客服、智能催收。当前，我们容易理解的虚拟人，外显在虚拟主播、虚拟偶像，也是近期大家吵的最火的。但，虚拟人真的是，必要的，元宇宙身份的呈现方式吗？未必。
3. 大家理解的虚拟人（主播）技术，最早应用在各大影视CG公司。标准Pipeline：建模->骨骼->绑定->动捕(面捕)->渲染。其中建模、动捕、渲染引擎是商业点，动捕是各应用服务商容易变现赚钱的，不论是买设备还是买软件。
4. 虚拟人要有变现能力，除了呈现的技术外，最重要，最核心的，还是在于内容运营能力。
5. 文章转载请联系作者。

虚拟人的发展

09年初进老和山职业技术学校，师从CAD&CG国家重点实验室。那时，还没有深度学习，天很蓝很纯粹，也还要手推个公式。进入实验室，第一个项目，跟师兄做个性化Avatar，看下图就能对流程有了解。通过摄像头获取纹理、深度，提特征点，RBF对预设人脸模型做调整，再做皮肤纹理映射。（翻了几天旧照片，12年前清晰度，看官们看过就好）。此外，年初筹备了虚拟人的创业项目，期间做了不少调研，于是起本篇，希望对诸君有益。

（愿YE师兄别看到，如果师兄要面基，请先付医疗费）

谈市场和技术路径前，有必要说下虚拟人的概念。部分研报把数字人和虚拟人的绕来绕去，不易理解。小冰的ceo李迪，有个对数字人更有趣的说法AI Being。我们整体再往上抽象一层，就是虚拟身份，不论你在web1、web2还是web3都有一个虚拟身份，拿着这个凭证，就可以登录网站、游戏和元宇宙。为此，我们重新组织了一下逻辑，希望能把概念和名词，一张图让大家看明白。本文提及的虚拟人，主要代表虚拟主播、虚拟偶像，这也是近期大家最有感知的。

在用光猫拨号上网时，IP就是你的“虚拟身份”。90年代，小马哥的创业项目OICQ（Oh I Seek You），给我们带来了QQ号、QQ秀，那一串数字就是唯一的虚拟身份，好比身份证。同阶段，桌游产业迅猛发展，CS、传奇这类竞技、角色扮演游戏，则是通过控制一个“虚拟角色”，来获得协作、打怪、荣誉的虚拟体验。

10年开始，以电商为代表的互联网业务迅速膨胀，激增了客服类诉求，NLP技术支撑了智能客服类的“虚拟助理”。智能客服，如支付宝app的支小宝（15年笔者曾负责该项目的算法部分），后续也有网易的七鱼云客服。虚拟助理，微软小冰、苹果Siri，他们比拼是NLU自然语言理解、NLG自然语言生成和DST多轮对话能力。至于小冰衍旗下的夏语冰，则是虚拟助理的升级版，是将人工智能技术外化的IP运营。

18年前后，国外火爆的Vtuber，造就了不少的“虚拟偶像”。国内，也有爆出合作问题的ASoul，也不妨碍嘉然一夜吸金百万的辉煌。依靠单个视频，柳夜熙吸粉260w。这类虚拟偶像，除了比拼技术外，主要拼的是人设及内容运营实力。

近期，大家最容易理解的虚拟人，是是不是在抖音上刷到的，号称来自元宇宙的“虚拟主播”balabla~~。而虚拟主播，对应有两个版本。

“虚拟主播1.0”，在15年前后开始一些大厂如百度、搜狗为央视做的虚拟主播，负责新闻的念搞、口语、手语的自动生成，他们贴近于李笛说的Ai Being，是服务型的，比如获得“2021年度万科优秀新人奖”崔筱盼，她在2021年2月正式入职万科集团财务部，负责催办预付应收逾期单据的工作，负责催办的核销率达到了91.44%。

“虚拟主播2.0”则是消费级的，想要达到toc的目的，如金桔2049、许安一、JuJu等，也是主要考验“中之人”的内容趣味性与延续性。比如金桔的招牌恶搞奥特曼变身，许安一椅子穿模，JuJu胖嘟嘟可爱的二次元女孩形象。他们吸引人处，在于差异化的呈现形式，恶搞、有趣的整活能力。

在“虚拟主播2.0”场子利，不得不提的是CodeMiko，她是一名自称 The Technician“技术员”的韩裔女生，就职的动画公司疫情裁员时不幸被“优化”，自此失去收入来源，走上了Twitch游戏主播创业之路，自此在Twitch上大杀四方，成为美国疫情期间Twitch上粉丝增速最快的游戏主播，每天7000人在线围观，累积70万粉丝。 从被公司扫地出门，到月入300美金的小透明主播，再到一人养活一支7人团队的顶级主播，这位韩裔小姐姐用了2w美刀的设备，加自己的建模经验，成功的引爆了CodeMiko这个虚拟角色。

再看近期加入抖音阵列的虚拟人们，如猴塞雷，几乎同样的恶搞人设，甚至在语气上都 copy 许安一、金桔2049。可以预判的是，审美疲劳会很快到来，同类型虚拟主播涌入越多，疲劳则加速越快，大家分流量就越卷。

MCN的“虚拟主播”，伴随精良内容策划和运营，升级到了“虚拟IP”（虚拟偶像）。Travis Scott的虚拟人，作为他“延伸自我的边界”，严格按照其本人的身材比例和细节来做，精确到他脚上所穿的鞋子型号。堡垒之夜演唱会效果炸裂，感兴趣的朋友，可以去小破站自行观赏，一方面是fortnite的营销能力，一方面也展示了Epic Games 实时渲染水准。另外一个现象级，是柳夜熙，一条视频3天涨粉260万，柳夜熙诞生于创壹科技，更偏向于传统美术特效，但这类机构的单条视频成本，在几十万到百万不等，对应变现的思路也很直接，比如和小鹏汽车视频软广。

总结一下，无论是虚拟人还是数字人，都可以抽象到虚拟身份。有了虚拟身份，发展到游戏的虚拟角色，到虚拟助理类的AI Being，再到虚拟主播、虚拟偶像。进化过程，体现了在更加的富媒体、定制化和表现力，从产品和技术使用者的视角看，是逐渐从B端走向C端过程，并且每个厂商都想做到消费级。

虚拟人的技术

阿凡达的电影英文名是AVATAR，是头像、代表的意思，衍生为虚拟化身。下图是阿凡达的制作过程，用光学实验室+marker+动捕服，最早成型于影视CG公司。当下，最被广泛应用的虚拟人技术路线，Pipeline是“建模->骨骼->绑定->动捕(面捕)->渲染”。

建模、骨骼由美术师们完成，业界一个完整的模型，报价差不多在7、8K水平。

而动捕和渲染有不同平台，主流是Unreal Engine、Unitiy，各自都有一些辅助骨骼绑定、动捕面捕的插件。两家还有些微妙的故事，Unitity 早期的渲染真实性一直较差，后来索性把 UE 创始人挖过去了，自从用了 UE 的光线渲染算法，Unity 在视觉体验上起飞。此外，开源引擎 Blender 这几年的发展也非常快，有丰富的插件市场，从建模、骨骼绑定（autorig、nerorig）啥都有，关键会用Python的话，啥都能自动化的串起来。

在消费级的虚拟主播2.0下， 服务供应商的赢利点主要在动捕环节和直播软件。动捕依据不同技术手段，可以分为光学动捕、惯性动捕和计算视觉动捕，精度从前到后递减。不同方案对应的造价和面向市场也不同，听闻腾讯的光学实验室的搭建成本在大几百万。

转自国海证券，《2020年数字虚拟人发展白皮书》

惯性动捕，对应的价格范围幅度较大，天价影视专用的如Vicon，亲民比如诺亦腾 noitom （国内公司，公司名就很有趣是motion的倒写，想带来颠覆性的mocap方案），再如Rokoko、HTC VIVE&Valve Index，一套设备3K到2万刀不等。

也有基于纯计算视觉方案，如iPhone&kinect， move.ai 提供的计算视觉动捕方案是8台 GoPro8，价格在2万人民币。我朋友的公司杭州元筑，也在探索稳定的视觉动捕方案，在6月下旬推出了，纯计算视觉的虚拟人直播平台。视觉动捕判断好坏的标准，就是看脚抖不抖、飘不飘。（对于技术感兴趣的同学，要实操一把，比较好的开源包有openpose，mediapipe的holistic，笔者实测holistic更优，openpose是学术作品，性能和mediapipe不在一个层面）

除姿态动捕之，表情和神态的捕捉，主要通过面捕解决。当前最成熟的解决方案是，Apple ARKit+Live Link Face。因此，大家市场看到，市面上的服务商，都会要求你得有一台 iphoneX 以上的手机，版本以上才有深度摄像头，结合 ARKit 和 Live Link Face，在 UE 中，这套面捕方案，已接近完美。

up主 iesoxj

所谓，生意就是信息差，好的生意就是好的信息差。为了防止部分观众，被知识收费（被收智商税）。再给大家科普两个开源、免费的虚拟人工具 Make Human，以及 UE 的 MetaHuman Creator，MetaHuman Creator 近日还升级了可以通过摄像头扫描定制形象。在B站，有很多好心人，出了不少教程，动手就能学废。

总结一下，现阶段，市面上虚拟人技术，在10几年前的影视CG公司就已经比较成熟。路径是“建模->骨骼->绑定->动捕(面捕)->渲染”。按照最亲民的方案，如果你想投身于虚拟主播，预算大概在3万上下的设备+8k/年的直播软件服务费。成本大头在建模和动捕投入，也有厂商探索纯计算机视觉的方法替代动捕设备，并且效果也能达到相对稳定。

动捕的另一个应用场景，是当做动画师的辅助工具。有几家做的不错的视觉公司 plask.ai 和 move.ai，可以通过视频获取到对应动画的 fbx，极大的降低动画师的成本。不仅节省制作时间，提高了工作效率。结合面捕，还大大增强了动画人物的面部细节，比如人物的眼神、神态、气质以及更深层次的情感。

虚拟人的市场

虚拟人的应用市场，国外比较火热都在的VTuber刷刷钱，也有Travis Scott 类的突破想象力的演艺、虚拟场景和展台布置的联动。此外，大多厂商还是在底层技术，如 metahuman creator 、ominiverse（黄老师真假难辨），意在解决进入到元宇宙身份呈现的技术。在日本，有一个有意思的场景“虚拟陪护”，对初音未来痴迷的小哥，花10万块迎娶了虚拟偶像初音未来，2年后这家公司不再维护，他的老婆“停止了服务”。。。

国内，注意力主要集中离钱比较近的场景，依次按toG、toB、toC依次展开。

toG 思路，稳健前行。主要在文旅类的宣传场景，据一个业内朋友透露，和地方文旅有合作，单子近两年比较稳定增长。毕竟民族要有文化自信。数字典藏、数字文旅，在数字化进程中，这样的投资热度，站得住脚！典型代表如敦煌的飞天、杭州文旅代言人杭小忆等。在6月3日，浙江卫视宋韵文化数字推广人谷小雨正式“入职”。她的“入职”首秀，是在当晚播出的《天赐的声音》收官之夜上，与张韶涵带来一曲跨越次元、穿越古今的《但愿人长久》。（腾讯提供的虚拟人技术）

toB 层面，更贴合 AI Being。建模上平台大包方案定制（科大讯飞、百度等都有自己的虚拟人平台），服务于企业文化的宣传、员工服务等，比如万科的最佳新人虚拟员工崔筱盼。这个航道里，科大讯飞、百度、阿里都是一把好手。（提到阿里就顺道提一下AYAYI吧，AYAYI更像是企业在虚拟人赛道外化的一个代言人，跟夏语冰的定位差不多）

崔筱盼-万科最佳新员工

toC场景，难易相成。某音平台上，层出不穷的虚拟主播们，MCN公司包装出来的ASoul们，都是快钱思路。能吸引流量，主要依靠了表现形式的新颖灵活可变，Z世代也更加容易接受虚拟角色。例如小IP许安一、金桔2049，大IP贤二、柳夜熙，盈利模式也简单，就是流量变现。

虚拟人/IP的好处在于：1）品牌延续性，比如在直播场景中，大多数是人主播不认品牌的，那么在企业的合作分润。2）没有伦理风险，明星网红爆个负面新闻会影响企业品牌效应。3）抗流动性能力强，以虚拟IP运营品牌，内容团队的人员流动性就没有那么的重要了。这三点对于企业而言非常友好。

也有几个明显的问题。第一、虚拟人只是一种呈现方式，内容是否有趣决定了你吸金能力。第二、成本问题，如果要成为元宇宙的如果，就要做到消费级，好歹要把成本做到2000上下的低端智能机水平。第三、行业预判，最容易实现低成本打击的始终在底层建筑，例如unreal、unity、robolox。第四、最致命的，进入元宇宙，是不是非得有一个虚拟人呢？未必吧韩国首尔对元宇宙的虚拟城市demo、com2us公司的元宇宙上班，其中人物都是卡通化+一个视频头像，我们要的知识一种身份代表，完全可以用键盘等设备操控任务动作。

com2us 元宇宙上班

末了，提一下市场估值，近期大家都在说2700亿的虚拟人市场规模，前阵子找钱时，也是拿这个数字去说事儿的。数字靠谱程度不展开，简单说同步下我们的几点思考：第一，对于元宇宙，虚拟人是入口方式之一，到底需不需要这种形态是一个问号，比如用更逼真的视频技术（Google的Starline光场视频通话）。第二，虚拟人是早期的元宇宙，最有体感的，阶段产物，当前百花齐放，但最终一定会收到局部的几个厂商，大概率他们会是游戏引擎/物理引擎。第三，从3D内容视频的制作、企业/文化IP角度，虚拟人一直会具备较大价值。

手头有一套纯视觉的 toy demo 源的代码方案，以及一打虚拟人的行业研报。大家感兴趣，欢迎关注、留言、私信获取。

我们是三界外团队，聚焦XR技术，3D重建与生成。持续探索Web3 MEV和合成资产。 为了让前行过程不孤单，我们打造了一个账号，每天100+的元宇宙、web3咨询中，精选1-3条在做分享，加入我们的社群，您将获得最实时、一手元宇宙、XR、Web3资讯和研报。当然，我们在下行周期中找钱不止10余家天使，提供BP资讯服务。