国产3D虚拟人版《Her》「杀向」迪拜

衡宇 发自 Gitex
量子位 | 公众号 QbitAI

好久没出门，AI产品的世界已经快进到这个样子了？

在全球三大IT展之一的GITEX GLOBAL上，量子位在某个展台，先后体验了和Chatbot聊天、用AI创建属于自己的3D数字人形象、和3D形象实时语言、肢体互动。

也就是说，《Her》有了3D虚拟人版。

旁边的展商过来神神秘秘说了句：

看上去是三个功能体验，但以后，这三个功能在产品里是要合并到一起的。

量子位还没反应过来，展商又补了一句：

创立这些数字形象，是希望以后用户下线后，ta们的数字形象还能接着在社区里帮ta们聊天，减少自己聊聊到不合适的好友浪费时间的情况。

啊……这……我……行吧，有了AI，和人聊天都有预制版了。

如果我说这家展商是个中国公司，也许不少朋友立马能猜出来。

没错，它就是Soul。

量子位在现场拉着Soul的工作人员大聊特聊了一番，其中不仅仅有Soul AI某子板块负责人和他的组员，还被量子位捉到了这家公司的CTO陶明。

△Soul CTO陶明

这么好的机会，那还等什么？体验完展台互动，直接再安排库库一顿聊。

Gitex展会，Soul它Show了啥？

整个Soul的展位上，主要互动区摆着三块体验屏幕。

面向展位从左至右，分别可以体验：

• 左边屏幕：与自己创建的3D数字人流畅互动
• 中间屏幕：创建能语音文本对话、多语言交流的逼真3D数字人形象
• 右边屏幕：和聊天机器人语音或文本聊天

量子位在这个展台前站了很久，发现在此驻足的人，更喜欢体验左边和中间的两个功能。

而且大家去Soul展台体验，仿佛有一个无形的规则，那就是选择先在中间的屏幕前探索Soul的实时3D建模功能。

掰开了讲，那就是现场拍一张体验者的照片，在几秒钟的时间内，通过分析90多个面部形状参数和6个属性参数，快速重建虚拟的面部特征，完成虚拟3D形象的生成。

然后，体验者就可以与3D形象对话了。

但光有语言的交流还不够——

到这个时候，大家就会（不自觉地）挪到左边那块屏幕前面。

屏幕上也是自己创造出的虚拟3D形象。基于实时的人体动作识别、数字还原以及多模态对话交互能力，现场可以实现3D虚拟人与真人的沉浸式互动。

多沉浸呢？由于配备了实时运动跟踪，你可以说一些话or摆动身体、四肢，来与屏幕那头的ta低延迟交互。

值得多提一嘴，得益于Soul自家多模态AI模型在背后的支持，这两个屏幕承载的AI体验，允许语音、文本和物理交互同时进行。

AI社交，场景、模型的认知与感知都很重要

尽管这家公司已经推出了Soul海外版，但参加本次Gitex，其实是Soul在海外展会上的第一次亮相，

“从体验层面来说，海外产品希望给用户端创造更好的粘性。”Soul CTO陶明解释道，“主要还是以Soul这个主平台，来传递我们关于AIGC+社交的概念。”

陶明表示，以他所见，AI+社交这条赛道，无论国内外市场，都要有两个必要条件。

一，是要持续地继续往前发展。

二，是探索的场景和业务，其实现在还不是很明朗。

而Soul拥有的，是「人机对话」这个基础点（或者称为原子能力）。

在Soul的理念中，因为用户和业务之间其实存在鸿沟，所以要做的事不是把原子能力直接推向用户，而是要建一个AI being和Human being共存的社区。

单点的聊天会在这个社区发生，但是社区无法靠单点聊天维持，“大模型六小强做的一些AI聊天产品，都有支持单点聊天的能力，但持续的聊天难以为继，这就是因为任何AI不在场景里，人机单点聊天其实门槛很高。”

Soul更希望打造不同的场景（比如语聊房），利用一些规则和策略，让人和AI在一起社交，过程难辨真人还是AI。

这里的社交不会局限在聊天这一件事情上，AI NPC和真人用户共同做同一件事，也很容易构建彼此之间的链接。

如陶明所说，Soul的AI+社交理念，最基础的一点是“必须要保证人和AI在同一时空下”。类似于现实世界和现实世界的仿真，人和人的仿真对AI和人建立联系非常重要。

“如果只是单纯聊天这件事，不太成立……一定要要发现场景，才能够说能让用户有更好的体验。”

这一方面，Soul是怎么基于理念来设计产品的呢？

举几个例子。

第一个栗子，在人和人、人和AI的交互过程当中去打造更多的场景。

比如用户和AI聊天，你发一张照片让它知道你感冒了，然后就能围绕感冒这个话题继续对话，而不是非要硬找话题。

第二个栗子，和AI语音通话时，它听到你周围的环境音，判断你在咖啡馆或者音乐派对上，话题也能自然而然地展开了。

这就不难理解为什么Soul在大模型方面坚持GPT-4o的方向，因为团队认为一个AI，应当具有统一的感知能力和认知能力。

纯有认知能力，并不能给用户带来价值，因为用户是希望被感知到的。

而o1的方向同样重要，因为o1加强了大模型的认知能力，其实就能给用户带来很好的体验。

社交平台做AI《Her》会有什么不一样吗？

在社交平台这条赛道上，Soul是绝对的头部梯队玩家。很多人不知道的是，它也是国内最早将AI融入社交互动的平台之一。

App上线之初，Soul就开始搭建一些AI能力的基础建设，两个基于AI的引擎。

一个是灵犀引擎，基于Soul用户站内全场景画像的智能推荐系统，通过AI技术，持续挖掘有效特征，通过算法方式提高用户在内容方向的消费和互动体验，提高用户建立关系的效率和质量。

另一个是NAWA引擎，为集AI、渲染与图像处理于一体的集成化SDK，提供AR视频技术、基于多模态感知与驱动的交互技术和基于重建的虚拟形象技术，能够输出包含Avatar表情驱动、美颜美妆、卡通化等数十种图像处理与2D/3D渲染能力的引擎。用它创建的个性化3D头像表现力更强，还能动起来。

2020年（ChatGPT掀起大浪之前），Soul就开始启动对AIGC相关的算法研发工作，并在智能对话、图像生成、语音&音乐生成等方面有了能力积累。

Soul在多模态领域发力很早，2023年Soul就推出自研垂类语言大模型Soul X，垂直应用于平台上多元社交互动场景。

例如智能对话机器人“AI苟蛋”、AI辅助聊天、虚拟陪伴等诸多工具和功能什么的。

当时的Soul是这么说的：

AIGC带给社交的不仅仅是交互效率、交互质量和交互体验的提升，同时以智能体和虚拟人为代表的交互对象也在发生变革，这意味着社交出现代际的迭代，社交的范围也会被重新定义，社交产品的形态也在发生改变。

今年，Soul持续开搞“AIGC+社交”。

目标很明确：

在有技术能力基础、有用户实际需求、认准“模应一体”方向的情况下，推动AIGC和社交场景的深度融合。

Soul推出了最新的端到端多模态AI模型，该模型集成了文本、语音和视觉交互，具备超低延迟、声音拟真、情绪感知等特点。

端到端尤其显著地降低了聊天的延迟。

陶明披露，Soul现在的语音对话延迟不到200毫秒，“这不再像以前那样是一个连续的过程，我们首先生成文本和图像，然后将它们转换为语音。现在，我们将语音和 NLP 统一到一个集成流程中，从而消除了滞后问题。”

而同时期的“数字孪生”功能，则允许用户根据过去的交互或自定义设置，创建自己的个性化虚拟版本。

现在，刚刚在Gitex上秀了一把的Soul，又快宣布自己的新进展了。

陶明表示，预计到了11月，平台将推出全双工视频通话能力， Soul的AI NPC就能“看得见了”。

也就是说，下个月，用户们就能在Soul里实时和AI的视频聊天了，对方还是有形象、有表情、有记忆，会对前几天不经意咳嗽过一句的你，说感冒好了没有的那种。

这就很《Her》！

之前国内外很多团队都发过各种版本的《Her》，但这次的期待有所不同——

不是在期待语音是否最逼真、延迟是否最低，口型是否对得最好，而是期待，加入AI元素的社交平台公司，熟谙搞社交那一套，在这个人机交互的产品/功能上，会不会有特别的设计。

不过时间还没到，只有先期待一波咯～

关于Gitex

Soul参加的这个海外展会，GITEX GLOBAL全球三大IT展之一，本周五在阿联酋迪拜落下帷幕。

这是第44届GITEX GLOBAL，不出意外创下新高，规模迄今为止最大：

吸引了超过6500家参展商、1800家初创企业、1200名投资者以及来自180多个国家的政府参与。

连迪拜王室也组团莅临现场视察……

这阵仗，让本来就肩膀挨着肩膀的场馆现场更是水泄不通了。

尽管如此，量子位还是拿出go shopping的激情，在二十几个展馆里一个挨一个地认真逛。

终于，不仅打卡了很多中国企业出海来参展的展台，比如阿里、华为、腾讯、涂鸦智能、普渡机器人等等；

也看到了全球范围内很多AI公司的身影出现在现场，比如英国AI独角兽Builder.ai（对没错，背后微软支持，但创始人一直官司不断的那家）、中国的智谱华章等。

当然，如果对电子方面感兴趣的朋友们，一定会逛得更快乐，现场连表情最丰富的机器人阿美卡和小鹏的飞行汽车都有，还有很多没太看明白设计（但中东土豪们肯定喜欢）的飞行器。

不简单啊不简单。