网易首页 > 网易号 > 正文 申请入驻

通用级PixVerse R1的技术突破,揣着进入平行世界的密码

0
分享至




编辑|冷猫、+0

原来,视频生成卷到极致,就是突破大脑和视觉的边界,让想象力进入 AI 构建的虚拟空间。

昨天,PixVerse R1突然上线。一开始我们以为这只是一次普通的版本更新,但那种「即时响应、即看即创」的全新交互体验,却是前所未有的。读完技术报告我们发现,这不仅仅是一次卷到极致的性能提升,更是量变带来的质变。

回顾过去,23 年推出第一版模型,随后 Web 端、移动端全面铺开,爱诗科技在 DiT 路线上一路狂奔:从 24 年底的 10 秒生成,到 25 年 2 月实现 5 秒生成社交级视频,再到 11 月将 1080P 视频生成压缩至 30 秒。在自研模型技术和工程化落地的思想下,PixVerse 确实将「传统视频生成」的速度推向了极限。

与此同时,行业加速从未停歇。就在上个月,生数科技宣布其与清华大学团队研发的 TurboDiffusion 框架,也让视频生成正式迈入「秒级」门槛。

但时间上的「卷」就是视频生成的全部吗?

显然,再快的速度,如果不能生产出符合制作需求的画质和一致性,依然无法成为通用的标准。

PixVerse 曾是业界第一个把 5 秒视频生成做到 5 秒之内的团队,而当一切看似达到极限时,在 2026 年开年,PixVerse R1 模型与产品同步横空出世。

通过将计算效率提升数百倍,它不再局限于「秒级」,而是做到了人类肉眼感知范围内的「实时」生成。发布即实装,这是一款真正的「通用」实时世界模型。这已不仅是单点的技术突破,而是一步到位、直接实现应用层级质变的代际跨越。

以下,我们将通过技术报告,为您详细解析 R1 的这次突破。



文中视频链接:https://mp.weixin.qq.com/s/LybgC6RD9cu0kJyGbTJlog

看了这个视频,大家或许理解了什么是「无限内容」的视频生成。

在这个模型创造的世界里,「汉语竟是上古禁咒」,你只要说出「春」即刻绿草如茵,说出「鸟」即刻飞鸟成群。一切都是如此连续,直白,世界实时响应你的呼唤,时间和空间都在你的掌控之中。或许,PixVerse R1 已经彻底掌握了「无限流」的真谛。

简单来说,PixVerse R1 是全球首个支持最高 1080P 分辨率通用实时世界模型。

这也是第一次,AI 可以基于用户的意图实时生成一个持续演化、物理上合理的世界,标志着视频生成正式从「静态输出」迈入「实时交互」的全新阶段。

回顾视频生成技术的发展路径,行业始终受困于速度、质量与成本的不可能三角:高画质往往意味着高延迟(如传统扩散模型),而追求速度又不得不牺牲物理一致性。PixVerse R1 没有盲目追求参数军备竞赛,而是找到了一条通往「通用」的平衡之路:

当一个模型首先做到了打破物理极限的实时响应(IRE),并以此为基础结合了通用全模态(Omni)与长时序世界模拟(自回归),它就已经超越了传统意义上的视频生成工具。



  • 技术博客链接:https://pixverse.ai/en/blog/pixverse-r1-next-generation-real-time-world-model

交互的物理极限:

瞬时响应引擎(IRE)

在通往通用世界模型的路径上,「实时性」始终是阻碍技术从实验室走向大规模应用的核心工程障碍。

传统扩散模型的生成逻辑本质上是一种精细的迭代去噪过程,通常需要 50 步甚至更多的采样步骤,才能将高斯噪声转化为清晰的视觉内容。这种机制虽然在一定程度上保证了生成质量,但其带来的秒级甚至分钟级的高延迟,使得 AI 视频生成长期停留在「离线制作、预录制回放」的阶段,无法满足即时交互的严苛需求。

不过,生成速度始终是 PixVerse 的强项,其在响应时间上一骑绝尘。早在 PixVerse V4.5 的时候我们就实测过,即使我们将各项生成指标拉满,平台输出结果的时间也没有超过 1 分钟

但是,为了更进一步,实现彻底的「实时响应」,PixVerse 在 R1 上决心彻底重构底层推理架构,提出了瞬时响应引擎(Instantaneous Response Engine,IRE)。

这是一套针对采样过程的系统级加速方案,通过三大关键技术,在保持 1080P 高分辨率生成的前提下,将推理时间压缩到极致。

时间轨迹折叠

不同于传统方法在加噪去噪过程上进行漫长的逐步逼近,该技术引入「直接传输映射」作为结构先验,建立噪声到数据的直线通路,能够直接预测干净数据的分布路径。

这种方法在数学上有效地「折叠」了原本冗长的时间维度,将传统扩散模型所需的 50+ 采样步数暴力压缩至仅需1-4 步。这一数量级的步数缩减,直接从源头上解决了计算量过大的问题,实现了推理速度的质变。

引导校正

针对为了保证生成质量通常采用的无分类器引导策略(Classifier-Free Guidance,CFG)所带来的双倍计算开销问题,PixVerse R1 团队通过将条件梯度直接融合进模型内部,使得系统在推理阶段无需再进行正负样本的双重计算。

这一优化成功绕过了传统 CFG 的计算瓶颈,在不牺牲指令遵循能力的情况下,进一步降低了计算复杂度。

自适应稀疏注意力

为了应对高分辨率视频生成带来的巨大显存与计算压力,IRE 采用了自适应稀疏注意力机制。

该机制能够动态分析视频生成过程中的上下文依赖,智能识别并剪除长程依赖中的冗余计算,从而显著压缩了计算图,大幅提升了整体推理效率。



即时响应引擎由三个模块组成:时间轨迹折叠、引导修正和自适应稀疏注意力学习。

通用的认知底座:

Omni 原生多模态基础模型

如果说「瞬时响应引擎」解决了传输的速度问题,那么一个强大的底座模型,则决定了传输内容的质量与上限。

底座模型是一切新功能新特性的基础。构建通用实时世界模型的第一步,在于打破单一模态的感知壁垒,只有设计一个完全端到端的原生多模态基础模型,才能彻底超越传统生成流程的局限。

在当前的视频生成技术栈中,多为非端到端的生成方式。往往需要生成一种模态之后通过级联的方式生成另一种模态,这种方式下需要反复的铺路搭桥,尤其是在处理复杂的跨模态交互上,自然显著影响了生成的效率,也限制了模型的通用性。

为了实现无限的通用性,模型必须强调:原生,原生,还是原生。

PixVerse R1 提出的 Omni原生端到端多模态基础模型,正是通过底层架构的重构,实现了「因原生而通用」。

原生统一表示

Transformer 架构给了生成模型无穷的想象和可能性。

Omni 模型引入了统一 Token 流架构。该架构基于 Transformer,摒弃了异构模型拼接的传统路径,将文本、图像、音频与视频等不同模态的数据,统一编码为单一的生成序列。

在这一框架下,模型不再是将文本「翻译」为视觉信号,而是在原生层面上实现了对多模态数据的联合处理与理解。这种全模态的「通感」能力,使得模型能够精准捕捉文本指令与视听内容之间的深层关联,从而支撑起游戏、影视等多领域的通用化应用。

原生分辨率

除了多模态数据的原生处理,第二个原生,是实现高分辨率视频生成的核心特性:原生分辨率。

Omni 模型引入这一机制,旨在解决传统视频生成模型中因数据预处理而导致的画面构图破坏与几何失真问题。

为了适配固定的模型输入结构,传统方案往往采取「强制裁剪」或「缩放拉伸」的策略。这种「削足适履」的方式,会导致画面关键信息被裁切丢失,或使物体形态发生非物理的扭曲变形(如被压扁或拉长)。

相比之下,Omni 模型坚持在原生分辨率和原始比例下进行端到端的学习。这一架构使其能够自适应处理任意长宽比的素材,从根源上消除了因裁切或缩放带来的视觉偏差,确保了生成内容在构图完整性与物理几何上的真实感。



Omni 原生多模态基础模型的端到端架构,统一设计使 Omni 模型能够接受任意多模态输入并同时生成音频和视频。

值得一提的是,模型通过原生学习大量真实世界视频数据,来确保真实世界的内在物理定律和动态的真实性。因此,Omni 模型的功能,似乎不仅限于生成引擎,更具备构建世界模型的潜力。

世界的连续演化:

自回归流式生成机制

构建「世界模型」的挑战之一,在于如何从生成分段的「切片」,跨越到模拟连续的「过程」。在这一维度上,PixVerse R1 重点解决的是长视频生成中普遍存在的「长时序一致性」难题,以及伴随而来的显存成本瓶颈。

在传统的视频生成流程中,模型通常受限于固定时长的生成窗口。当试图延长视频长度时,往往面临「时间误差累积」的问题:随着生成帧数的增加,微小的预测偏差会不断叠加,导致画面内容逐渐偏离初始设定,例如角色的外貌特征发生漂移,或物理环境逻辑出现崩坏。

此外,为了维持上下文的一致性,传统架构需要保存海量的历史状态,导致显存消耗呈指数级上升,使得长视频生成在计算成本上变得不可控。尤其是在 PixVerse R1 追求的「无限内容」的生成模式下,以上问题如果没有妥善处理,会出现严重的问题。

针对上述痛点,PixVerse R1 摒弃了传统的全局预测模式,构建了自回归流式生成机制。

无限流式生成

在生成范式上,R1 采用了自回归建模。系统将视频合成任务重构为逐帧预测的流式过程,而非一次性生成固定片段。

这种架构从根本上解除了时长的硬性约束,实现了理论上的「无限流式生成」。视频不再是受限的帧组合,而成为可以根据即时输入,无限向前延展的时间流。

时间一致性

为了在无限延展中保持逻辑自洽,传统方法下基于帧上下文的特征记忆,大多有着数十秒的时间限制,显然是不够用的。

为此,R1 引入了记忆增强注意力模块。该模块能够显式地提取并锁定视频中的关键特征(如角色的身份特征、场景的空间布局等),将其转化为紧凑的记忆单元。

在生成后续内容时,模型无需回头重算所有历史数据的全量注意力,而是直接调用「记忆」。这一设计在维持长程依赖的同时,极大地优化了计算效率,避免了显存资源的爆炸式增长。



集成自回归建模与全能基础模型。

从技术逻辑上看,这一机制赋予了 AI 模型「长期记忆」的能力,打破了传统帧间上下文的限制,确保了 PixVerse R1 生成的内容不再是孤立、破碎的视觉片段,而是一个具备持续演化能力的「平行时空」。

无论生成时长如何延伸,核心主体的统一性与环境逻辑的连贯性始终保持稳定,这种物理与逻辑的持久性,正是「通用实时世界模型」成立的关键基石。

结语:

正在发生的现在

正如爱诗科技 CEO 王长虎所言:传统视频是被记录的历史,而 PixVerse R1 开创了「正在发生的现在」。

PixVerse R1 开启的是 AI 原生游戏、互动电影、实时仿真等全新媒介形态的大门,是未来「可交互的数字世界」的计算基础设施。

视频内容的消费边界正在消融。

媒体形态将不再局限于预先渲染的固定画面,而是转向由用户意图驱动的即时生成流。

PixVerse R1 以「通用实时世界模型」的形态,为这一未来提供了可落地的技术样本,也让视听媒介真正从「回放过去」迈向了「未来创作」。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
蒋介石孙子召开发布会,提出“两蒋”移灵大陆,2句话让世人唏嘘

蒋介石孙子召开发布会,提出“两蒋”移灵大陆,2句话让世人唏嘘

老谢谈史
2026-03-18 18:33:35
退役女优桃乃木香奈现身中国台北棒球场「球迷疯抢合照」全场轰动

退役女优桃乃木香奈现身中国台北棒球场「球迷疯抢合照」全场轰动

孤独的独角兽影视
2026-04-23 09:50:03
穆铁柱的最后一天:在家中蹬自行车健身,突然两眼一黑瘫倒在地

穆铁柱的最后一天:在家中蹬自行车健身,突然两眼一黑瘫倒在地

大运河时空
2026-04-21 16:30:03
伊朗否认举行美伊新谈判,指特朗普“又说谎了”

伊朗否认举行美伊新谈判,指特朗普“又说谎了”

澎湃新闻
2026-04-23 00:01:03
白酒再次被关注医生研究发现:喝得越多,寿命或越短,来看真相

白酒再次被关注医生研究发现:喝得越多,寿命或越短,来看真相

白宸侃片
2026-04-23 08:56:42
电影《诺曼底72小时》官宣引进,档期待定

电影《诺曼底72小时》官宣引进,档期待定

界面新闻
2026-04-23 10:18:30
为什么观众明知有毒却嗑到上头?

为什么观众明知有毒却嗑到上头?

晚风也遗憾
2026-04-21 11:54:52
官方:澳U17女足因违规使用球员,22-0获胜的比赛被判0-3告负

官方:澳U17女足因违规使用球员,22-0获胜的比赛被判0-3告负

懂球帝
2026-04-23 00:38:23
《人民的名义》沙瑞金最大的问题,不是能力强,是缺乏政治手段

《人民的名义》沙瑞金最大的问题,不是能力强,是缺乏政治手段

剧有梗
2026-04-23 07:23:26
宁德“回击”比亚迪:充电快2分多钟,称高端车磷酸铁锂是减配

宁德“回击”比亚迪:充电快2分多钟,称高端车磷酸铁锂是减配

明镜pro
2026-04-22 16:55:17
为什么华为和三星的差距,越追反而越大了?

为什么华为和三星的差距,越追反而越大了?

春雨说科技
2026-04-22 11:27:53
被豆包害惨了的大学生们!网友:豆包就是愚蠢且勤劳的老实人

被豆包害惨了的大学生们!网友:豆包就是愚蠢且勤劳的老实人

夜深爱杂谈
2025-12-02 20:51:10
火狐把VPN塞进浏览器,免费午餐能吃吗?

火狐把VPN塞进浏览器,免费午餐能吃吗?

报错免疫体
2026-04-22 00:36:29
刚刚,欧盟批准向乌克兰发放900亿欧元以及第20轮对俄制裁方案

刚刚,欧盟批准向乌克兰发放900亿欧元以及第20轮对俄制裁方案

山河路口
2026-04-22 20:03:26
西蒙尼:球员们拼尽全力想至少带走一分,责任全在我

西蒙尼:球员们拼尽全力想至少带走一分,责任全在我

懂球帝
2026-04-23 04:31:04
消息称阿里巴巴等巨头洽谈投资DeepSeek 估值超过200亿美元

消息称阿里巴巴等巨头洽谈投资DeepSeek 估值超过200亿美元

财联社
2026-04-22 19:24:36
历史罕见一幕!WCBA总决赛G4山西女篮临阵换帅 助理教练力挽狂澜

历史罕见一幕!WCBA总决赛G4山西女篮临阵换帅 助理教练力挽狂澜

狼叔评论
2026-04-22 22:20:16
美日菲最大军演开始,四川舰、辽宁舰、山东舰齐聚南海

美日菲最大军演开始,四川舰、辽宁舰、山东舰齐聚南海

兵国大事
2026-04-22 21:51:50
儿子回国当晚国安上门,说他指纹虹膜全不对,这人是谁?

儿子回国当晚国安上门,说他指纹虹膜全不对,这人是谁?

晓艾故事汇
2026-01-07 10:14:33
2013年,江青拍摄的照片以34万元的高价拍出,毛泽东曾称赞并题词

2013年,江青拍摄的照片以34万元的高价拍出,毛泽东曾称赞并题词

南书房
2026-04-21 07:25:06
2026-04-23 11:03:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
12831文章数 142634关注度
往期回顾 全部

科技要闻

车没卖爆,利润却大涨,特斯拉发布财报

头条要闻

牛弹琴:伊朗开始反击了 若战火复燃全世界都倒霉

头条要闻

牛弹琴:伊朗开始反击了 若战火复燃全世界都倒霉

体育要闻

莱斯特城降入英甲,一场亏麻了的豪赌

娱乐要闻

十大烧脑电影天花板:全程高能反转

财经要闻

全球第一个国家宣布:储备6月耗尽

汽车要闻

长安"1445"战略:一张走向"世界长安"的行军地图

态度原创

旅游
时尚
房产
教育
本地

旅游要闻

春天倒计时!在家门口邂逅“花花世界”

卷首语|“这些书有啥用?”“没用,但好看!”

房产要闻

官宣!今年9月起,广州中小学“重点班”将成历史!

教育要闻

家长无奈与教育真谛:爸爸问女儿考试成绩差点气晕,戳中教育痛点

本地新闻

春色满城关不住|白鹃梅浪漫盛放,吴山藏了一片四月雪

无障碍浏览 进入关怀版