Vidu S2实时互动模型上线，技术实力才是金标准

大家好，我是佩妮。

9 月 15 号，生数科技发布了Vidu S2，是一个全球领先的实时交互与编辑的视频大模型。

10 号团队提交了技术论文，15 号产品就上线了，而且是直接海外和国内同时发布，不是内测，而是全量用户可体验，还免费。

新模型在测评中， 在 StreamAV-Bench 表的九项指标都达到了领先，全球 Sota 成就达成。当然这个数据是团队自己测的，其他人也可以去比较一下，但是也可以看出团队对自己技术实力的信心。

过去的视频模型，主流还是抽卡的形式，用户需要提交明确的指令和参考图，等待一段时间，出来一段视频。

如果有哪里不满意，再次提交修改，继续等待，直到得到完整和满意的分镜片段。最后把这些片段拼在一起，得到一段完整的成片。

上述过程，其实替代的还是这种异步的，离线式的视频生产和消费需求，但是在当下，其实人们还有一大块的视频消费和网络带宽，是消耗在类似直播/游戏这样的 online 实时互动场景上的。

这种讲究的就不是画面有多精美，而是那种身临其境，实时和人/场景/游戏 NPC面对面聊天的互动和陪伴和体验感。不单是要生成，还要理解，更要实时交互，实时反馈。难度可想而知。

这个领域相比纯视频模型来说，还在非常早的阶段，现在海外和国内都有一些公司 正在探索这个方向。

如果换一个最近更加火热的名词，就是“通用世界模型”。

难得有公 司能够放出全量的体验，于是我也赶紧跑去尝了个新，很有意思！

感觉公司挺财大气粗的，因为我试了不少的场景和视频段落，但是产品没有跳出任何积分/额度消耗相关的提示，感觉就是刚上线，放开了给用户用。毕竟这每一帧都是在烧钱啊～～

此次上线的是两个产品（待会儿下面会有实例展示）：

1）Vidu S2-Avatar。是一个支持用户通过语音跟数字角色实时互动，可以驱动角色完成连续动作和反馈的实时交互模型。

2）Vidu S2-Editing。这个模型支持在直播过程中（也可以上传已有视频）直接改变画面的内容和视觉表现，比如说换人物、换装、换风格、换背景。

此外还发了 Real-Time Spatial Video ， 基于 S2 模型，可以生成实时的左右眼双目空间视频，可以给头显用。

之前 VR/AR 苦于缺乏优质内容，未来人们戴上头显，有这类模型的加持，光凭语言就可以改变那个虚拟世界里的场景、人物、风格，有种真的成为了那个世界的造物主一样。。。

（感觉元宇宙的梦想还在科技行业上空飘荡，英灵从未散去……）

当然，今天还是第一步。咱们先看看Vidu S2-Avatar 的表现：

首先我先用我的头像（我自己手绘的，是平面图，先把它转成了一个 3D 版本的），在 S2-Avatar 中直接创建角色。

下一步，没了……对，就这么简单，你已经生成完了，现在可以来看看效果了。

（有声音，可以调大点听）

你别说，这个动作和反应真的很自然。。。哈哈哈，有被震惊到。

Avatar 可以跟用户在实时对话的时候，进行连续的、相对复杂的动作控制，比如说跳个舞啥的都行。这里也是能替换场景背景服装的。输出分辨率可以达到 720P。

我看产品也能直接分享 avatar 的链接，我附在下面了，可以点进来跟我对话。因为没有上传知识库，所以应该缺乏背景信息，但大家也可以试试玩玩。如果未来我把我写过的东西全部放进去，她应该就会更像我了～

传送门 https://www.vidu.cn/vidu-stream/share-avatar/3468369925372939

我们再来看看实时编辑模型 Vidu S2-Editing 的表现：

（界面是这样子的，比较简洁）

如果你打开摄像头，大概效果就是这样：

（不好意思，这我没想到声音同步录进去了，所以背景有点杂音～）

（企鹅跳舞之场景替换效果，哈哈哈哈哈哈哈）

（人物换装和视频风格展示）

这次负责 S2 研发的生数科技的张金涛，是清华朱军教授的博士生，之前做的 SageAttention、TurboDiffusion 等工作，有一条很明确的主线，就是让模型算得更快、更省。

你做一段视频，慢一点，可以去喝杯咖啡再回来。但你跟一个角色说话，她/他要是 5 秒才回应，那这直播间人数早掉光了。

而且你聊得越久，后台就得持续生成，既要快，还要保持人物和动作连贯，成本也得撑得住。我觉得团队之前在视频生成和推理加速上的积累，刚好对应上了这件事最难的几道题。

要让这种产品变成大家日常愿意用、也用得起的东西，底下这些看不见的工程功夫，最后都会体现在我们的体验里。

公司今年 2 月完成了超 6 亿元融资，4 月又拿到阿里云领投的近 20 亿元 B 轮，资金支持也充裕。

我觉得实时交互模型最让人期待的，就是它可能长出一些新的未来产品和平台形态。

不光是一些能陪你练外语的角色、根据你的要求展示商品的导购、可以自由对话的游戏 NPC，更大的想象力来自于那个实时生成互动的虚拟世界，你在其中可以成为造物主，拥有全部自由的沉浸式世界。

生数科技和智谱，代表中国从语言智能和空间智能攀爬 AGI 南北坡的两个典型样本，而最近几个月港股大模型双雄走势分化也说明，现在仍在技术红利期，技术实力会带来更好的用户体验，真技术才是最被市场认可的硬核资产。

还蛮期待这一天的，希望各位公司都好好努力。

让我老了可以在（虚拟）理想世界里，被我的 idol 们和猫猫狗狗们环绕着，躺在椰林树影、水清沙白的人间天堂里，养老。

（点击文末阅读原文，可以去试用产品。如果填写我的邀请码“Penny” 可以多获得 500 积分哦哈哈哈）

我是佩妮，关注我，一个只说真话的创投人。