网易首页 > 网易号 > 正文 申请入驻

英特尔AutoRound算法落地:支持英伟达CUDA及自家GPU

0
分享至

IT之家 12 月 9 日消息,当地时间 12 月 8 日,英特尔宣布将 AutoRound 算法集成到 LLM Compressor,以提升低比特量化大模型的性能与效率。

该算法可在保持模型准确度的前提下,实现更快、更轻量的推理,同时兼容包括英特尔自家 GPU 与英伟达 CUDA 在内的多硬件平台。

此外,英特尔未来推出的“Crescent Island”系列数据中心 GPU 将原生支持 FP8 / MXFP8 / MXFP4 等格式,使量化模型能够直接利用这些数据类型带来的硬件加速优势。

英特尔表示,AutoRound 是面向大语言模型(LLM)与视觉语言模型(VLM)的先进后训练量化(PTQ)算法,通过为每个量化张量引入三个可训练参数(v、α、β),配合逐层处理和符号梯度下降方法,实现更精准的舍入和裁剪优化,从而减少输出误差。

AutoRound 通过三项核心技术实现低比特量化优化:

  • 每张量引入三个可训练参数:v(舍入偏移量)、α 与 β(动态裁剪范围控制);
  • 逐层序列处理:采用带符号梯度下降法联合优化舍入与裁剪策略;
  • 最小化分块输出重建误差:在百步级轻量调优下实现更高精度。

官方透露,AutoRound 的主要优势包括:

  • 在低比特量化条件下维持较高准确度;
  • 支持 W4A16、MXFP8、MXFP4、FP8、NVFP4 等多种数据类型;
  • 可进行混合比特与按层精度搜索,提供灵活的精度与效率平衡方案;
  • 零额外推理开销,量化模型可直接通过 vLLM 框架部署;
  • 适用于 LLM 与 VLM 的量化场景。

英特尔称,AutoRound 生成的量化模型可在多个英特尔硬件平台上加速推理,包括 Xeon 处理器、Gaudi 加速器、英特尔数据中心 GPU、Arc B 系列显卡,以及 CUDA 生态的 GPU。

此次集成通过 LLM Compressor 中新增的 AutoRoundModifier 完成,能够生成可直接在 vLLM 上部署的 W4A16 量化模型。当前已支持 Llama、Qwen 等主流密集 LLM,并提供轻量的调优流程(仅需数百步),不增加推理开销。

英特尔表示,未来将继续扩展更多量化方案(IT之家注:包括 FP8 与 MXFP 系列)、自动混合比特搜索、更多模型族(如 MoE),并加强与 LLM Compressor 其他压缩算法的协同,以形成更完整的多策略组合方案。官方也邀请开发者在社区讨论区提交反馈,用于制定后续路线图。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
还没落地美国,特朗普空中发文,中国准备的太完美,但有一个遗憾

还没落地美国,特朗普空中发文,中国准备的太完美,但有一个遗憾

阿凯销售场
2026-11-20 17:11:50
阿卡进决赛:以信念为壤燃尽自我!带伤阿卡战胜了对手和自己!

阿卡进决赛:以信念为壤燃尽自我!带伤阿卡战胜了对手和自己!

网球之家
2026-11-21 23:56:20
FIBA世预赛亚洲区最新实力榜:中国男篮第五,菲律宾反超日本

FIBA世预赛亚洲区最新实力榜:中国男篮第五,菲律宾反超日本

懂球帝
2026-11-21 18:14:13
取暖费大局定了?如不出意外,2026年11月取暖费,或将迎3大变化

取暖费大局定了?如不出意外,2026年11月取暖费,或将迎3大变化

阿器谈史
2026-11-21 10:11:08
借道朝鲜,直达北京!李在明还是不死心,要把中韩高铁串成一条线

借道朝鲜,直达北京!李在明还是不死心,要把中韩高铁串成一条线

磊子讲史
2026-08-14 15:49:13
金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

阿胡
2025-04-03 13:59:42
《伟大的长征》观众热议:这两位演员,互换角色会不会更合适?

《伟大的长征》观众热议:这两位演员,互换角色会不会更合适?

手工制作阿歼
2026-11-20 04:39:37
天塌了!黎曼猜想被 AI 击穿,167 年的世界级数学难题,人类的智能霸权岌岌可危

天塌了!黎曼猜想被 AI 击穿,167 年的世界级数学难题,人类的智能霸权岌岌可危

起点人文
2026-11-21 13:23:58
多国领导人感谢中国

多国领导人感谢中国

环球网资讯
2026-11-21 07:38:13
林子聪说,我住的这个房子,市价三千万,能租五六十年!我都快五十了,住到一百一十岁?根本没必要背房贷!

林子聪说,我住的这个房子,市价三千万,能租五六十年!我都快五十了,住到一百一十岁?根本没必要背房贷!

元气科技馆
2026-11-10 17:19:04
世界上最和平的分裂,一国分裂成了两国,如今关系却非常亲密

世界上最和平的分裂,一国分裂成了两国,如今关系却非常亲密

Hi科普啦
2026-11-20 19:50:14
原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

封面新闻
2026-11-20 11:10:04
中国限制俄军无人机关键零件出口新规正式生效,乌克兰公开感谢

中国限制俄军无人机关键零件出口新规正式生效,乌克兰公开感谢

桂系007
2026-11-20 04:06:37
1704票赞成、4票反对,纳达尔当选皇马董事

1704票赞成、4票反对,纳达尔当选皇马董事

甜度百分百21
2026-11-21 23:34:01
男子体检查出右肺磨玻璃结节,多次复查无异常,单位为他投保团体重疾险,他确诊肺癌后申请理赔,保险公司却拒赔!法院判了

男子体检查出右肺磨玻璃结节,多次复查无异常,单位为他投保团体重疾险,他确诊肺癌后申请理赔,保险公司却拒赔!法院判了

上观新闻
2026-11-21 06:46:04
英伟达单日暴跌14%,但斌回应“清盘线”:部分基金只能被动减仓

英伟达单日暴跌14%,但斌回应“清盘线”:部分基金只能被动减仓

每日经济新闻
2026-11-21 15:14:06
高铁15元盒饭要消失了?12306回应:不同车次餐食种类及价格不同

高铁15元盒饭要消失了?12306回应:不同车次餐食种类及价格不同

上游新闻
2026-11-21 13:04:22
最新:乌克兰消灭俄第49军司令之子科索博科夫!

最新:乌克兰消灭俄第49军司令之子科索博科夫!

项鹏飞
2026-11-21 20:24:22
轰轰烈烈的医疗反腐为何突然沉寂?背后深层原因曝光!

轰轰烈烈的医疗反腐为何突然沉寂?背后深层原因曝光!

历史龙元阁
2026-11-19 13:22:00
“如果你选择未来,我希望大家选择重庆”|重庆拟出台网餐“九个一律”

“如果你选择未来,我希望大家选择重庆”|重庆拟出台网餐“九个一律”

上游新闻
2026-11-21 19:13:02
2026-11-22 00:48:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380694文章数 607745关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
教育
数码
游戏
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

“这就是富养的下场”,女儿上学十天请假四次,网友们讥讽:后面一直受着就行

数码要闻

为抵御黑客攻击,英国秘密发起大规模“冰箱保卫战”

曝GTA6与大表哥2是同一宇宙!多处彩蛋佐证

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版