网易首页 > 网易号 > 正文 申请入驻

13.8倍吞吐提升!浙大上海AI Lab等提出视觉生成新范式

0
分享至

  • NAR团队 投稿
    量子位 | 公众号 QbitAI

在图像/视频生成任务中,传统的“下一个token预测”方法正面临严重的效率瓶颈。

怎么办?

来自浙大、上海AI Lab等机构的研究人员提出了一种全新的视觉生成范式——邻近自回归建模(Neighboring Autoregressive Modeling, NAR)。与传统的“下一个token预测”不同,NAR模型采用了“下一个邻域预测”的机制,将视觉生成过程视为一种逐步扩展的“外绘”过程。

具体来说,NAR模型从初始token开始,按照与初始token的曼哈顿距离从小到大依次生成token。这种生成顺序不仅保留了视觉内容的空间和时间局部性,还允许模型在生成过程中并行预测多个相邻的token。

为了实现这一点,研究人员引入了维度导向的解码头,每个头负责在空间或时间的一个正交维度上预测下一个token。

通过这种方式,NAR模型能够在每一步中并行生成多个token,从而大幅减少了生成所需的模型前向计算步骤。

下面具体来看。

从“下一个token”到“下一个邻域”

在当今的AI领域,视觉生成任务(如图像和视频生成)正变得越来越重要。无论是生成逼真的图像,还是创造连贯的视频,AI模型的表现都在不断提升。

然而,现有的视觉生成模型,尤其是基于自回归(Autoregressive, AR)的模型,面临着严重的效率瓶颈

传统的自回归模型通常采用“下一个token预测”的范式,即按照光栅顺序逐个生成图像或视频的token。这种方法虽然简单直观,但在生成高分辨率图像或长视频时,模型需要进行数千次甚至数万次的前向计算,导致生成速度极其缓慢。

更糟糕的是,现有的加速方法往往以牺牲生成质量为代价。

例如,一些方法尝试通过并行生成多个token来提高效率,但由于邻近图像token之间的强相关性以及上下文信息的缺失,这种方法容易导致生成质量下降。

因此,如何在保持高质量生成的同时,大幅提升生成效率,成为了视觉生成领域的一个关键挑战

为了解决上述问题,研究人员提出了邻近自回归建模(NAR)。

正如一开头提到的,通过引入维度导向的解码头,使每个头负责在空间或时间的一个正交维度上预测下一个token,最终让NAR模型能够在每一步中并行生成多个token,从而大幅减少了生成所需的模型前向计算步骤。

值得一提的是,维度导向的解码头设计非常灵活,能够轻松扩展到更高维的视觉内容生成

例如,在视频生成任务中,视频可以被视为三维数据(时间、行、列),NAR模型只需增加一个时间维度的解码头,即可在时间、行、列三个正交维度上并行生成token。

对于由 t×n×n 个token表示的视频,NAR模型仅需 2n+t−2 步即可完成生成过程,远远少于传统“下一个token预测”模型所需的 tn2步。

这一显著的效率提升使得NAR模型在处理高分辨率视频生成任务时具有极大的优势。

13.8倍吞吐提升

研究人员在多个视觉生成任务上对NAR模型进行了全面评估,实验结果令人振奋:

1、类别图像生成

在ImageNet 256×256数据集上,拥有372M参数的NAR-L取得了比拥有1.4B参数的LlamaGen-XXL更低的FID(3.06 vs. 3.09),同时将生成步数减少了87.8%并带来了13.8倍的吞吐提升(195.4 images/s vs. 14.1 images/s)。

与VAR-d16模型相比,NAR-M取得了更低的FID的同时(3.27 vs. 3.30),能带来92%的吞吐提升(248.5 images/s vs. 129.3 images/s)。

这说明与现有的自回归生成方法相比,NAR模型在生成效率和质量上均取得了显著提升。

2、类别视频生成

在UCF-101数据集上,NAR模型相比基于“下一个词预测”(next-token prediction)的自回归模型在生成步骤上减少了97.3%。

相比并行解码方法PAR,NAR在FVD更低的同时将吞吐提升了8.6倍。

这得益于NAR模型在时间维度上的并行生成能力,确保了视频帧之间的连贯性和高质量生成。

3、文本到图像生成

在GenEval基准测试中,NAR模型仅使用了0.4%的训练数据(6M)便获得了和Stable Diffusion v1.5相持平的综合得分。

与参数量更大且拥有1.4B训练数据的Chameleon-7B模型相比,NAR的综合得分更高(0.43 vs. 0.39)且将吞吐率提高了166倍。

这些实验结果不仅证明了NAR模型在生成效率上的巨大优势,还展示了其在生成质量上的卓越表现。

概括而言,NAR模型为视觉生成任务提供了一种高效且高质量的解决方案,有望在未来的AI应用中发挥重要作用。

更多细节欢迎查阅原论文。

论文地址:
https://www.arxiv.org/abs/2503.10696
项目主页:
https://yuanyu0.github.io/nar/
代码地址:
https://github.com/ThisisBillhe/NAR

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
碾压斯科特!阿隆索锁定切尔西重磅引援!6000 万抢阿森纳弃将

碾压斯科特!阿隆索锁定切尔西重磅引援!6000 万抢阿森纳弃将

澜归序
2026-11-20 10:01:56
破唇语了!原来当时两人在聊走红毯牵手的事,好有老夫老妻即视感

破唇语了!原来当时两人在聊走红毯牵手的事,好有老夫老妻即视感

阿废冷眼观察所
2026-11-20 08:06:44
21岁女孩在泰国潜水时失踪,4年后出现在寺庙别墅,和僧人举止亲密

21岁女孩在泰国潜水时失踪,4年后出现在寺庙别墅,和僧人举止亲密

流萤叙情
2025-09-11 18:03:10
王毅:中俄美三国元首历史上首次举行会晤,意义重大,影响深远,是载入史册的标志性事件;开创了三国最高领导人交往的新纪录

王毅:中俄美三国元首历史上首次举行会晤,意义重大,影响深远,是载入史册的标志性事件;开创了三国最高领导人交往的新纪录

扬子晚报
2026-11-20 07:51:35
加速脑梗的原因:喝酒仅排第6,排第1的,很多人经常做

加速脑梗的原因:喝酒仅排第6,排第1的,很多人经常做

路医生健康科普
2026-11-20 14:40:03
不出意外,明年开始,油价、电车充电费将面临行业新一轮洗牌

不出意外,明年开始,油价、电车充电费将面临行业新一轮洗牌

阿芒娱乐说
2026-11-18 15:55:54
观众不好骗了!电影上映9天仅199人看,票房6980元!王晶尴尬回应

观众不好骗了!电影上映9天仅199人看,票房6980元!王晶尴尬回应

头号电影院
2026-11-18 09:01:28
东亚正在无声崩塌

东亚正在无声崩塌

经济学教授V
2026-11-20 06:34:04
银行开始头痛!大批储户宁可少拿利息,也要把钱拆开存多家银行

银行开始头痛!大批储户宁可少拿利息,也要把钱拆开存多家银行

一些小事
2026-11-05 06:10:53
中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

扶苏聊历史
2026-10-30 14:34:51
中金公司首席经济学家缪延亮:稳市政策持续加力,中国资产重估有长期支撑

中金公司首席经济学家缪延亮:稳市政策持续加力,中国资产重估有长期支撑

每日经济新闻
2026-11-20 13:57:06
北京国安0-2上海海港,赛后评分:不是武磊第1,上海海港10号第1

北京国安0-2上海海港,赛后评分:不是武磊第1,上海海港10号第1

侧身凌空斩
2026-11-20 21:31:56
贺龙资历突出,为何解放战争没受重用?因造成过一次严重军事失败

贺龙资历突出,为何解放战争没受重用?因造成过一次严重军事失败

阿胡
2025-02-17 15:07:05
地下捐精有多乱!女的被约到宾馆,捐精者:直接怀孕只收800元

地下捐精有多乱!女的被约到宾馆,捐精者:直接怀孕只收800元

芊芊子吟
2026-11-10 07:05:06
台军爆发大规模"逃亡潮",洪秀柱重磅发文:两岸走向国家统一大道

台军爆发大规模"逃亡潮",洪秀柱重磅发文:两岸走向国家统一大道

贵州霖霖
2026-11-19 16:30:42
黄仁勋其实是美国版的年羹尧,老美已经养不起他了,他却不自知

黄仁勋其实是美国版的年羹尧,老美已经养不起他了,他却不自知

言过于诚
2026-11-15 23:10:33
红薯被发现!再次提醒:糖尿病患者常吃红薯,很快或迎来这 6 后果

红薯被发现!再次提醒:糖尿病患者常吃红薯,很快或迎来这 6 后果

王医生健康讲坛
2026-11-19 20:00:13
WTT球星赛:国乒5项仅剩“独苗”!男单一人3-2逆转晋级4强争冠

WTT球星赛:国乒5项仅剩“独苗”!男单一人3-2逆转晋级4强争冠

全言作品
2026-11-20 23:27:25
谁也没想到,1998年纽约这张合影,竟埋下命运伏笔:52岁的特朗普,身旁是28岁的梅拉尼娅

谁也没想到,1998年纽约这张合影,竟埋下命运伏笔:52岁的特朗普,身旁是28岁的梅拉尼娅

扶苏聊历史
2026-09-30 16:46:18
美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

磊子讲史
2026-11-03 16:23:26
2026-11-21 03:36:49
量子位 incentive-icons
量子位
追踪人工智能动态
13705文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
健康
时尚
亲子
军事航空

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

医生眼里"很伤腰"的椅子,很多人天天坐

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

亲子要闻

宝宝气人但是聪明的4个行为

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版