实时交互视频的GPT-3时刻，可能被一个国产团队摸到了

来源：市场资讯

（来源：冷逸沃垠AI）

昨天，中国团队Xmax AI发布了一款实时交互AI视频模型「X2.0」，我参与内测体验了几天，有点离谱，也有点好玩。

它不像Seedance、Kling、Wan那样卷画质，也不跟你比谁的电影感更强。它从交互方式上另辟了一条路，让视频从“只能看”变成了“可以上手玩”。

比如，输入提示词“双眼发射激光”，右边的output界面立刻就会有画面，光影、人物面部和运动细节全都对得上。

选择一个角色，人物秒变早川秋，动作、表情完全同步。

选择一件衣服，一键换装，只有服装变，其他都不变。

在手机里捏一下小狗的头，它就跟着我的手指活了过来。

而且，全都是实时生成的。

先搞明白，X2.0到底是个啥

我们现在熟悉的AI视频模型，不管是Seedance、可灵还是Wan，逻辑都一样：写一段prompt，点生成，然后等。等它渲染完，吐给你一个固定的视频文件。你只能看，改不了。

Xmax AI走的是完全不同的一条路。

打个比方，其他AI视频模型像“看电影”，片子早就拍完剪好了，你坐那儿从头看到尾，剧情一个字都改不了；X2.0像“打游戏”，画面是跟着你的操作实时长出来的，你往左它就往左，你伸手它就变。你不再是观众，你是玩家。

官方给它的定位叫“视频流的操作系统”。这个说法有点大，但玩过之后我承认，它确实抓住了那个感觉：视频不再是一段结果，而是一个你能实时操控的交互媒介。

响应有多快？毫秒级，几乎0延迟。真的就跟刷抖音一样，手指划到哪画面变到哪，中间没有那个让人抓狂的转圈等待。

今年2月，Xmax AI发布了第一代模型X1，在海外社交媒体上引起不小的关注，但那会儿的能力还停留在“秀技术”的阶段。

时隔5个月，他们带来了X2.0，几方面都做了升级：

• 画质升级，从480p提到了960p、24fps；

• 速度提升，毫秒级响应，几乎0延迟；

• 交互升级，新增实时换人、换装等能力，也支持自定义prompt。

目前，X2.0已经在platform.xmaxai.com开放体验。首次注册送600积分，大概够你玩10分钟的视频。同时也开放了商用API，可以直接接进自己的产品里。

我上手玩了玩

这次X2.0带来了三大类、五项主打能力，我一个个说。

1）实时重渲

说白了，就是实时替换摄像头或视频里的主体，角色、服装、视觉风格都能换。

它拆成三个：CharX换人（人变、背景不变）、ClothX换装（只换衣服）、VibeX换风格（连背景一起换）。

比如对着摄像头随手一点，自己就变成了马斯克，动作跟得死死的，几乎没延迟。

不仅单人，多人换装也支持。只有服装变，动作和背景保持不动。

而且主体角色、服装、背景的参考图全都能自定义。你把指定素材传上去，它就照着参考图实时生成，渲染出新的视频。

想接API的话，填入这段命令，就能把它搬进你自己的产品：

// npm install @xmaxai/sdkimport { createXmaxClient, models } from "@xmaxai/sdk";// Select the realtime model.const model = models.realtime("x2.0");// Create an Xmax client with your API key.const client = createXmaxClient({  apiKey: "",});// Request camera access using your preferred video settings.const stream = await navigator.mediaDevices.getUserMedia({  video: {    frameRate: model.fps,    width: model.width,    height: model.height,  },});// Select the element that displays generated video.const remoteElement = document.querySelector("#video-output") as HTMLElement;// Establish an Xmax realtime session, publish the camera stream, and bind the remote output element.const realtimeClient = await client.realtime.connect(stream, {  model,  remoteElement,});// Start generation with a prompt, a reference image, or both.await realtimeClient.set({  prompt: "视频中人物衣服替换成参考图中衣服", // This Chinese prompt delivers more consistent outputs.  image: "",});

2）触屏交互（MoX）

这个也很好玩。只需要在屏幕上轻轻拖拽（鼠标和触屏都行），就可以让静态图里的主体瞬间“变活”，也可以在任意视频中进行实时操纵。

比如鼠标在屏幕上一拖，里面的小猫就活了，能跟着我的手走。

3）次元互动（DimX）

这个最魔幻。

可以把虚拟角色直接召唤到现实里。

可以把手里的蛋糕换成一只小猪。

也可以让现实中的IP活过来，用语音控制它眨眨眼。注意啊，这不是AI生成的，这是实拍。

除了这三类，他们还有一个Free模式。打开摄像头或上传视频，自己写prompt，比如眼睛发射激光、嘴里喷火、全身着火变骷髅，右边就会立即出一个特效视频。

这说明 X2.0 在范式上已经取得了很大突破，能撑得起更多开放的场景和玩法。

这事到底难在哪里？

看着是好玩，但底下这套技术真不简单。

传统视频模型用的是双向attention，把整段视频一起建模，全算完你才能看到结果，这就是为什么要等。Xmax改成了逐帧自回归生成，算一帧给一帧，把响应时间压到了极致。

但这里有个“不可能三角”：速度、成本、质量，很难同时得到。

堆算力能变快，但成本上天，普通人玩不起；硬加速又容易把画质搞崩。Xmax的解法是多阶段融合蒸馏，加上FP8量化这类压缩手段，最后做到单张消费级显卡就能满血跑。

更狠的是端侧。他们做到了把模型塞进了iPhone本地运行，成为第一个能在手机上本地运行实时交互的模型。当然这里要实事求是，端上目前是384分辨率、16fps，比屏幕端的960p、24fps低不少。但能在一台手机上本地实时跑起来，这个场景一下子就打开了。

另外，成本上也值得单独说一说。

海外做实时交互AI视频比较有代表性的公司，是以色列的Decart，它的API是每秒0.02美元（720p），算下来是72美元/小时。X2.0的API海外定价是6美元/小时，不到Decart 的1/12；国内更低，只要20元/小时。

拿一个具体场景，你就明白这笔账有多省。按Decart的价，一个电商用户花2分钟在线试穿，成本是2.4美元，这个价格我相信很多商家都难以接受；换成X2.0，同样2分钟只要0.2美元，国内更是只要6毛钱。到了这个价位，大规模部署才真正算得过账来。

哪些场景能跑？

端侧能跑，云端也用得起，这两件事放在一起，就意味着X2.0有了足够宽的商用空间。

我随手列几个真实能跑通的：

• 电商/服装：镜前实时换装，站着不动一分钟换99套，加速下单，还能降退货率。

• 文旅：站在景区对着镜头，一秒换上古装或超级英雄，古迹前直接拍科幻大片。

• 直播社交：主播一键变身，观众发弹幕就能实时操控你的衣服和动作，互动感彻底拉满。

• 虚拟陪伴：隔着屏幕跟纸片人老公老婆互动，摄像头对着立牌，人就在屏幕里活了。

• 短剧/影视：看短剧嫌演员不行？实时把他换掉，也可以把自己换上去，过把主角瘾。

• IP潮玩：拿镜头对准桌上的labubu，它能在桌面上走动跳舞，从摆件变成伙伴。

还有视频社交也很有意思。跟好友视频不想素颜出镜，直接把自己实时换成一只喝咖啡的猫。这需求，懂的都懂。

这些不是demo花活，是能直接接API进生产流的东西。覆盖智能硬件、消费、文旅、社交、互动视频，横跨2B和2C。

体验完Xmax X2.0，我想聊得远一点。

一百多年前，卢米埃尔兄弟放《火车进站》，观众看到火车冲过来吓得四散奔逃。从那天起到今天，视频这个媒介进化了无数轮：黑白到彩色，电影到电视，长视频到短视频，胶片到4K再到AI直出。画质越来越好，生产越来越快，节奏越来越猛。

但你有没有发现，有一件事一百多年都没变过——你始终是坐在屏幕另一头的那个人，只能看。视频再精彩，也是拍好了、剪好了、推到你面前的一段结果。你和画面之间，永远隔着一层玻璃。

Xmax AI真正动的，是这层玻璃。

它变的不是画质，也不是速度，是人和画面的关系。你从观众变成了玩家，从被动接收变成了随手就改。抖音把内容的分发权交到了每个人手里，而X2.0是想把内容的生成权也实时地交出来。视频第一次不再是一段你只能看的结果，而是一个你能伸手进去操纵的世界。

这事的想象力，比又一个视频模型大得多。往小了说，是换衣不出门、看剧能换脸；往大了说，当每一块屏幕、每一个摄像头、每一副眼镜里的画面都能实时响应你，那很多商业场景都有了可以被重新定义的可能。

当然，得实事求是。X2.0现在不完美，960p只到消费级的合格线，端侧还只有384，内测版也有小bug。它离终点还远。但当所有人都在卷画质、卷电影感、服务专业创作者的时候，Xmax掉头去啃“人人可玩、实时交互”的视频，我打心眼里喜欢这个选择。

团队来自清华KEG和HCI实验室，智谱也出自KEG，这个出身不用我多说。他们自己说，正在逼近交互视频模型的GPT-3时刻。这话有点大，但方向我信。

u1s1，这一轮最好玩的AI视频，可能真不在硅谷了。

想玩的，现在就可以去他们官网体验。玩完记得回来告诉我，你把自己变成了啥。