网易首页 > 网易号 > 正文 申请入驻

英伟达发布TiDAR:单步生成多个Token,吞吐量提升近600%

0
分享至

IT之家 12 月 2 日消息,科技媒体 Tom's Hardware 今天(12 月 2 日)发布博文,报道称英伟达在最新论文中,详述名为 TiDAR 的新型 AI 解码方法,巧妙融合了自回归(Autoregressive)与扩散(Diffusion)两种模型机制,利用 GPU 的“空闲槽位”加速文本生成。

自回归(Autoregressive)是一种生成方式,AI 必须根据上一个字才能猜出下一个字,像接龙一样,只能按顺序一个接一个生成。

扩散(Diffusion)常用于 AI 绘画的技术,通过逐步去除噪点来生成内容,在 TiDAR 中,它被用来一次性“猜”出好几个可能的词,供后续筛选。

IT之家援引博文介绍,当前的语言模型通常一次生成一个 Token(词元),这种逐个生成的机制导致了极高的计算成本和延迟。

TiDAR 的核心理念在于利用模型推理过程中未被使用的“空闲槽位”,在不牺牲生成质量的前提下,通过单步生成多个 Token 来大幅提升响应速度并降低 GPU 运行时长。

在技术原理方面,TiDAR 创新性地训练单个 Transformer 模型同时执行两项任务:标准的自回归“下一词预测”和基于扩散的“并行起草”。

不同于以往依赖独立草稿模型的投机解码(Speculative Decoding),TiDAR 通过结构化的注意力掩码(Attention Mask)将输入分为三个区域:前缀区、验证区和起草区。

投机解码是一种加速技术,先用一个小模型快速草拟一段话,再由大模型进行检查和修正。TiDAR 试图在同一个模型内完成这两步。

这种设计让模型在利用扩散头并行起草新 Token 的同时,还能通过自回归头验证这些草稿,最关键的是,它确保了 KV 缓存(KV Cache)的结构有效性,解决了早期扩散解码器面临的部署难题。

研究团队基于 Qwen 系列模型进行了测试。在 HumanEval 和 GSM8K 等基准测试中,TiDAR 的准确率与基准模型持平甚至略有提升。

在速度方面,15 亿参数版本的 TiDAR 模型实现了 4.71 倍的吞吐量增长;而 80 亿参数版本的表现更为抢眼,吞吐量达到了 Qwen3-8B 基准的 5.91 倍。这表明在当前测试规模下,TiDAR 能有效利用 GPU 的显存带宽,在不增加额外显存搬运的情况下生成更多 Token。

该媒体指出尽管实验数据亮眼,TiDAR 目前仍面临规模扩展的挑战。论文中的测试仅限于 80 亿参数以下的中小模型,且未涉及定制化的内核级优化(如 fused kernels),仅使用了标准的 PyTorch 环境。

随着模型参数量和上下文窗口的扩大,计算密度可能会饱和,从而压缩“多 Token 扩展”的成本优势。研究人员表示,未来将在更大规模的模型上进行验证,以确定该技术是否能成为云端大规模 AI 部署的实用替代方案。

参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

看看新闻Knews
2026-11-18 17:20:13
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

秋风妃
2026-11-17 22:55:03
回归英伟达,黄仁勋要先“干掉董事会”

回归英伟达,黄仁勋要先“干掉董事会”

华尔街见闻官方
2026-11-18 09:12:40
中俄美元首会晤是否会讨论台湾问题,国台办回应

中俄美元首会晤是否会讨论台湾问题,国台办回应

界面新闻
2026-11-18 11:16:15
反华五年终于到头!立陶宛会谈结束后,中方终于点头,同意沟通

反华五年终于到头!立陶宛会谈结束后,中方终于点头,同意沟通

共工之锚
2026-11-18 11:11:27
湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

极目新闻
2026-11-18 13:43:23
6G试点8省份入选,长三角全员入列

6G试点8省份入选,长三角全员入列

上观新闻
2026-11-18 17:28:24
“立肛高见”又一次让国产大模型瑟瑟发抖

“立肛高见”又一次让国产大模型瑟瑟发抖

问道求真
2026-11-18 07:08:33
黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

杭城村叔
2026-11-16 16:21:12
19.99万 !特斯拉新车上市!

19.99万 !特斯拉新车上市!

科技堡垒
2026-11-18 08:00:39
杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

醉卧浮生
2026-11-18 11:38:39
北京女网红晒豪宅,“天宫一角”露出国宝级名画,账号已被禁止发布作品

北京女网红晒豪宅,“天宫一角”露出国宝级名画,账号已被禁止发布作品

娱乐E君
2026-11-17 17:34:36
重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

每日经济新闻
2026-11-18 11:31:11
网红“豹警官”胖回原形!曾瘦过,19岁如人类七八十岁,园方:年纪大不宜减肥,日食1斤多牛肉

网红“豹警官”胖回原形!曾瘦过,19岁如人类七八十岁,园方:年纪大不宜减肥,日食1斤多牛肉

红星新闻
2026-11-18 13:15:19
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

醉卧浮生
2026-11-18 15:02:34
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
黄仁勋又下了步臭棋,前脚声明要回归英伟达,后脚就被董事会拒绝

黄仁勋又下了步臭棋,前脚声明要回归英伟达,后脚就被董事会拒绝

光电科技君
2026-11-18 11:31:59
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
2026-11-18 17:55:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380010文章数 607741关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
艺术
数码
家居
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

数码要闻

双十二SSD推荐:换下来的旧盘,数据怎么搬过去

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版