Xmax AI 发布 X2.0，把视频变成可以「玩」的界面

对着摄像头比了个手势，桌上凭空多了只企鹅

作者｜汤一涛

编辑｜郑玄

在屏幕上拖拽一只小猫的照片，它跟着你的手指跑了起来。

把手机摄像头对准一起吃饭的同事，屏幕里的他变成了狐耳少年。

打开自由模式，输入一句「我手上有个火球」，掌心真的燃起了火焰。

这些画面没有经过后期，也不是预渲染的特效，每一帧都是 AI 根据摄像头捕捉的实时画面和你的操作即时生成的。

实现这套技术方案的是本土团队 Xmax AI，创始人史佳欣为清华计算机本博，博士就读于清华 KEG 实验室。团队核心研发人员也大多出自清华大学 KEG 实验室和 HCI 实验室。智谱就诞生于 KEG 实验室，是国内顶级的 AI Lab；HCI 实验室则是国内人机交互研究的重镇。

其实早在今年2月，Xmax AI就发布了世界首个虚实融合的实时交互视频模型X1，尽管在海外社媒平台关注度很高，但当时的能力还停留在技术层面突破的阶段。而时隔 5 个月，Xmax AI 于今日凌晨在 X（Twitter）正式发布 X2.0 模型，并同步开放商用 API。

过去两年，AI 视频赛道最热闹的故事是生成质量的军备竞赛。从 Sora 到 Seedance、Kling、Veo，大家卷的是画质、时长和逼真度。到 2026 年年中，头部模型在基础画质上的差距已经很难用肉眼分辨。

与此同时，商业化路线也在逐渐分化。字节即梦和快手可灵把视频生成嵌入自家内容生态，Runway 和 Pika 走专业创作工具路线，PixVerse 主攻海外社交媒体创作者市场。

方向各有不同，但底层逻辑一致：持续优化视频生成画质，面向创作者实现商业化变现。

在全民内卷画质升级的行业趋势下，AI 视频也涌现出了另一条差异化的技术路线。重点不放在画质上，而是从交互方式入手，让视频变成可以被实时操作的交互媒介。

海外进展最快的是以色列公司 Decart，今年 5 月刚完成 3 亿美元融资，估值 40 亿美元，总融资额超过 4.5 亿美元。它的 Lucy 系列模型已经在直播和虚拟试穿等场景中开始测试应用。

在国内，这个方向基本空白，Xmax AI 是落地进度最快的团队，也是目前国内唯一可商用规模化部署实时编辑和交互模型的公司。

01

从 X1 到 X2.0

今年 2 月，Xmax AI 发布了全球首个虚实融合的实时交互视频模型 X1。它用四种玩法（次元互动、世界滤镜、触控动图、表情捕手）第一次让人直觉地理解了「玩视频」是什么意思。

X2.0 在 X1 的基础上完成了两个关键升级。

第一个是画质的改变。首先 X2.0 将画质从 480p 提到 960p、24fps，对直播、社交、电商这些消费级场景来说，画质已经可以覆盖。

比画质更重要的是延迟控制。X2.0 将视频生成速度做到了毫秒级响应，几乎 0 延迟。如果说画质提升是体验优化，那延迟从可感知降至毫秒级近乎无感，则是产品体验的维度切换：用户从「等待 AI 渲染结果」，转变为「实时参与、实时操控画面」，这也是持续沉浸式交互的核心前提。

X2.0 的实时性让持续交互成为可能，底层是一套端到端的流式重渲染架构，模型以帧为单位做自回归生成，每一帧的输出不依赖前面整段视频渲完。

然后是交互方式的进一步泛化。X2.0 搭建了一套统一的多模态交互架构，一个模型同时理解触屏拖拽、手势控制、摄像头画面和文字指令，并且这些方式可以自由组合。

在此基础上，X2.0 开放了三大类五项能力：实时换人（CharX）、实时换装（ClothX）、实时换风格（VibeX）、触控交互（MoX）、次元互动（DimX），外加一个支持自定义 prompt 的 Free 模式。

这一套能力覆盖面很广，但要训出这样的模型，最难的环节不在架构设计，而在数据。虚实融合交互效果，高度依赖真人与虚拟元素自然联动的实景素材，而这类高质量合成数据在公开互联网中极度稀缺，无法通过通用数据集完成训练。Xmax 团队为此搭建了一条半自动化的数据合成管线来批量生产这类素材。

这也解释了为什么全球做虚实融合实时交互的团队这么少：模型架构的难度是一方面，训练数据的稀缺是另一个同样关键的瓶颈。

02

基础设施就位

一项技术能走多远，能力本身只是一半，另一半取决于落地条件，比如硬件适配、客户接入门槛、部署成本这些工程问题。X2.0 在这一层有两个关键进展。

第一个是端侧推理。团队通过混合精度量化、结构化剪枝和针对移动芯片的专属优化，让模型在 iPhone 上实现了实时流式推理。目前端侧能实现的分辨率是 384p，离直接可用的消费级产品还有距离，但据团队介绍，这已经是全球首个在移动设备上跑通实时交互视频生成的模型。这意味着将来端侧推理这条路彻底跑通之后，端侧设备就不用再强绑定云端算力，理论上任何有摄像头的终端设备都可以成为载体。

第二个是API 的开放。X2.0 的五项核心能力和 Free 模式，都已经通过商用 API 对外开放。对于想要在自己的产品中接入实时交互视频能力的团队来说，这一套能力就可以直接调用，团队可以把精力放在自己的产品和场景上。

成本值得单独说一下。Decart 目前的实时视频编辑 API 定价是每秒 0.02 美元（720p），换算下来每小时 72 美元。而X2.0 的 API 调用成本在海外 6 美元/小时，约为 Decart 的十二分之一；国内则更低，为 20 元人民币/小时。

用一个具体场景来算账：按 Decart 的价格，一个电商用户花 3 分钟在线试穿，成本是 3.6 美元，对绝大多数零售商来说可能无法承受。如果这个数字降到十分之一，就进入了可以规模化部署的范围。

端侧能跑，云端用得起，这两件事放在一起，意味着实时交互视频这条路线第一次有了可供中小团队和垂类企业低成本复用的标准化基础设施。

03

谁会第一个用起来

从目前的能力成熟度和场景匹配度来看，直播和电商试穿是实时互动视频两个最接近商业化落地的方向。

中国直播行业的日活用户早已突破 3 亿，但互动方式从诞生至今没有发生过结构性变化。打开任何一个直播间，观众和主播最常见的互动方式就是发弹幕、刷礼物、连麦。

这些互动方式有一个共同的局限：弹幕、礼物特效都属于叠加在画面表层的独立图层，和主播实景画面相互割裂。即便送出火箭、豪车这类大额礼物，仅会悬浮弹出动画特效，无法和主播本人、真实直播场景产生联动交互，不能改变实景内的人物与环境状态。

平台和 MCN 一直在寻找提升互动深度的办法。快手试过弹幕游戏，抖音做过直播间互动道具，但始终没有跳出「评论区互动」的底层逻辑，核心瓶颈在于：传统直播视频流是单向、不可编辑的。

实时交互视频能力接入之后，互动可以直接发生在画面层。

比如说观众在弹幕里喊「变成早川秋」，主播的形象实时变成角色，动作、表情完全同步。

Free 模式让观众用任意文字指令触发画面变化，例如「眼睛射激光」「召唤小猫互动」。

CharX 负责换人，ClothX 负责换装，VibeX 可以连人带背景一起换风格，Free 模式让观众用任意文字指令触发画面变化。这些能力组合起来，直播间变成了一个观众可以实时操控的画布。

对于直播平台和 MCN 来说，这是把用户互动从「文字反馈」升级到「视觉反馈」的结构性变化，观众的每一条指令都能直接改变内容本身。

直播解决的是互动深度的问题，而在电商领域，实时交互视频瞄准的是一个更具体、也更容易算账的痛点。

线上买衣服的核心痛点所有人都知道：模特穿着好看，买回来穿在自己身上是另一回事。中国女装电商的退货率长期在 40% 以上，部分品类甚至超过 60%，退货带来的逆向物流成本是每年千亿级别的行业损耗。

围绕这个问题，行业已经尝试了很多方案。阿里、京东都做过基于 3D 建模的虚拟试穿功能，海外的 Zeekit（后被沃尔玛收购）走的也是这条路。这些方案的共同问题是：效果是静态的，把一件衣服贴到一个固定姿势的人体模型上，用户看到的是一张合成图，不是自己真实穿着的样子。

各家方案的成熟度和技术路径不同，但行业共识已经形成：让消费者在下单前看到「这件衣服穿在我身上」的效果，是降低退货率最有效的手段。

X2.0 的 ClothX 做的就是这件事：打开手机摄像头对着自己，衣服实时替换，你自己的体型、动态、光线环境全部保留。和静态合成图的体验不同，你看到的就是「这件衣服穿在我身上、在当下这个环境」的真实效果。

电商详情页可以嵌入实时试穿功能；直播间里主播一边讲解一边让观众远程试穿；甚至线下门店也能放一面接入了 API 的智能试衣镜。

对于退货率长期困扰的女装电商来说，这是一个可以直接算账的能力：如果实时试穿能把退货率压低哪怕几个百分点，省下来的逆向物流成本就足以覆盖 API 的调用费用。

直播和电商之外，虚拟陪伴和 AR 交互也是 X2.0 正在探索的另一个方向。

目前市面上的 AI 社交产品和虚拟陪伴应用，角色都困在屏幕里面。不管是文字聊天还是 Live2D 动态形象，交互方式都是打字和点击，虚拟角色和你所处的现实环境没有任何关系。

X2.0 的 DimX 能力试图打破这层隔离。对着空桌面做一个手势，虚拟角色凭空出现在桌上，它能感知你的手势和位置，跟随你的动作做出反应。

对于做虚拟陪伴、IP 潮玩、甚至类宝可梦 AR 游戏的团队来说，DimX 提供了一条不同于传统 AR 的技术路径。不需要 SLAM 定位和 3D 建模，用 2D 视频流直接输出虚实融合画面，技术门槛和接入成本低一个量级。

另外，端侧推理意味着这套能力不绑定在某一类设备上。手机是最现成的载体：桌面壁纸上的小猫按一下就活了过来，看短剧时把演员换成自己的脸。

往外延伸，景区入口放一块互动屏，游客对着镜头一秒换上古装；智能眼镜接入后，肉眼所见的世界可以实时切换视觉风格。同一个模型、同一套交互逻辑，适配的终端越多，长出来的产品形态就越多。

04

视频的下一次跃迁

视频这个媒介诞生一百多年，形态变过很多次，从胶片到数字，从录播到直播，从专业制作到 UGC。但有一个属性始终没变：观众和画面的关系是单向的。你可以选择看什么，但你不能改变正在发生的事。

实时交互视频正在尝试改变这个属性，把视频从只能被观看的内容，变成可以被操作的界面。

这个转变让人想起网页的演化。早期的网页只是电子版的印刷品，只能读、不能动。当网页变成可以被操作的界面之后，长出了电商、社交网络、SaaS，几乎整个互联网经济都建立在这个转变之上。

1993 年底，Aliweb 上线。用户可以输入内容发给服务器并返回结果，是第早期真正实现 「输入 - 反馈」 双向交互的代表网页（同时也是世界上第一个万维网搜索引擎）｜图片来源：webdesignmuseum.org

当然，网页成为交互界面的前提是 PC 的大规模普及、宽带基础设施的铺设和一整代开发者的涌入。视频要完成类似的跃迁需要的条件可能同样复杂，但方向本身值得注意：当一种主流媒介从单向变成双向，它能承载的商业形态和用户行为会发生根本性的扩展。

Xmax X2.0 开放 API，做的是把交互视频的基础设施铺好。至于这个界面上最终会长出什么样的产品，还有太多未知。但这恰恰是开放平台最有趣的地方。

*头图来源：Xmax

本文为极客公园原创文章，转载请联系极客君微信 geekparkGO

极客一问

你会想使用 Xmax AI 吗？