网易首页 > 网易号 > 正文 申请入驻

英特尔发布推理微服务:为英特尔处理器调优LLM推理

0
分享至

10月15日消息,英特尔14日宣布推出 Intel Inference Microservices 服务,这是一套面向大语言模型推理的容器化微服务方案,目标是让企业在已有的至强处理器上直接获得经过调优的模型推理能力,无需再花费数天时间进行手动硬件优化。

在该模式下,每个微服务都是一个独立容器,通过 OpenAI 兼容 API 对外提供单个模型的服务,并在启动时自动检测所在的英特尔处理器型号,应用英特尔针对该模型和该硬件预先验证过的配置参数。

英特尔指出,让大语言模型给出回复并不困难,难的是在既有硬件上稳定、高质量地重复这一过程。精度设置、计算任务在核心之间的分配方式、内存跨 NUMA 节点的布局,以及推理引擎使用哪些指令集,都取决于模型本身和底层处理器。

更换模型,合适的参数就变了;迁移到另一代芯片,参数又需要重新调整。英特尔推理微服务旨在将这一调优过程封装在容器内部 —— 用户选择模型,容器负责选择设置。首批版本基于 vLLM 引擎,支持 BF16 精度,可在 Docker 或 Kubernetes 1.24 及以上环境中运行,硬件要求为第四代、第五代或第六代英特尔至强处理器,建议配置 32GB 内存。

启动时,容器会检查主机的处理器代数、分配到的核心数量、NUMA 节点数量以及处理器内置的加速器。

英特尔特别强调了最后一项:近期至强核心内置了专门用于推理计算的引擎,包括用于矩阵乘法的英特尔高级矩阵扩展和用于周边计算的 AVX-512、AVX2 及 VNNI 向量扩展。这些加速器已经存在于用户现有的芯片中,但只有推理引擎知道它们存在并正确配置时才能发挥作用。

检测完成后,容器会选择经过验证的配置档案,解析调优后的引擎参数,缓存权重,并在指定端口启动推理服务。

对于运行特定模型镜像的用户,如果主机未被识别,容器会在启动时报错,而不是静默地以未调优状态运行。基础镜像则默认启用配置回退,在无匹配模型专用配置时,会采用与硬件兼容的通用配置。用户还可以通过命令行查看容器检测到的硬件信息和将要执行的 vLLM 命令,例如运行 detect-hardware 或 dry-run --format json 进行预检。

这并非英特尔首次涉足推理微服务领域。今年 9 月,英特尔开发者页面已介绍过 Intel AI for Enterprise Inference,一套面向至强处理器的开源 LLM 服务栈,同样基于 vLLM 架构。此次发布的推理微服务可以视为将这一能力进一步产品化、容器化,并纳入统一的推理接口蓝图之中。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
父母真看不出孩子被夺舍?网友:不是看不出,是不愿揭穿

父母真看不出孩子被夺舍?网友:不是看不出,是不愿揭穿

夜深爱杂谈
2026-11-17 20:32:15
特朗普不屑在菲律宾多耽搁半分,午宴刚散席,专机火速奔赴中国

特朗普不屑在菲律宾多耽搁半分,午宴刚散席,专机火速奔赴中国

奇思妙想生活家
2026-11-18 11:46:25
上海一保姆隐藏身份工作13年,业主发现她真正身份后,从30楼跳下去

上海一保姆隐藏身份工作13年,业主发现她真正身份后,从30楼跳下去

故事秘栈
2025-05-26 19:16:38
深圳市民为了APEC不穿拖鞋了?网友:不能丢人,必须全妆出门

深圳市民为了APEC不穿拖鞋了?网友:不能丢人,必须全妆出门

东方豪侠
2026-11-18 06:57:36
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
74岁马保国出售上海豪宅,140多平卖400多万,豪宅画面流出

74岁马保国出售上海豪宅,140多平卖400多万,豪宅画面流出

小徐讲八卦
2026-11-17 10:08:29
“这才是政审的意义!”女子考公上岸后,被高中欺负过的同学举报

“这才是政审的意义!”女子考公上岸后,被高中欺负过的同学举报

妍妍教育日记
2026-07-17 08:25:14
不报隔夜仇,泽连斯基发难炸断克里米亚大桥,俄军反击招招狠辣

不报隔夜仇,泽连斯基发难炸断克里米亚大桥,俄军反击招招狠辣

风笛悠扬声
2026-11-18 05:36:03
1000 天伤停!皇马王牌被彻底摧毁!穆里尼奥也救不了他

1000 天伤停!皇马王牌被彻底摧毁!穆里尼奥也救不了他

奶盖熊本熊
2026-11-18 08:50:24
Lisa男伴舞在协助脱衣环节中失手,直接把短裤往下扯,险些造成走光

Lisa男伴舞在协助脱衣环节中失手,直接把短裤往下扯,险些造成走光

韩小娱
2026-11-16 12:15:37
说实话,这种局面不能再延续下去了,否则中国真的有点危险了!

说实话,这种局面不能再延续下去了,否则中国真的有点危险了!

今夜繁星坠落
2026-11-15 23:17:03
排面拉满!深圳APEC主持人阵容亮相,央视多位名嘴齐聚鹏城

排面拉满!深圳APEC主持人阵容亮相,央视多位名嘴齐聚鹏城

情感大头说说
2026-11-18 04:48:40
深圳APEC峰会盛况空前!如何读懂中国的全球价值?

深圳APEC峰会盛况空前!如何读懂中国的全球价值?

兵国大事
2026-11-18 00:05:16
贾玲复胖,与张小斐同游三亚,脸跟身材几乎与5年前没减肥时一样

贾玲复胖,与张小斐同游三亚,脸跟身材几乎与5年前没减肥时一样

手工制作阿歼
2026-11-18 05:49:30
12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

温读史
2025-11-09 09:25:54
两性关系:一位75岁女人说出的几句大实话,晚年夫妻都该看看

两性关系:一位75岁女人说出的几句大实话,晚年夫妻都该看看

三农老历
2026-11-18 11:46:05
晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

温读
2025-03-13 18:28:10
机动车年检大势已定?从2027年开始,私家车年检可能面临5大变化

机动车年检大势已定?从2027年开始,私家车年检可能面临5大变化

刘哥谈体育
2026-11-15 13:22:01
美军证实第三艘航母已抵达中东,伊朗:若美国不接受伊条件霍尔木兹海峡将继续关闭,即便接受条件,外国军队在波斯湾的存在也必须终结

美军证实第三艘航母已抵达中东,伊朗:若美国不接受伊条件霍尔木兹海峡将继续关闭,即便接受条件,外国军队在波斯湾的存在也必须终结

每日经济新闻
2026-11-17 21:10:14
翻译还原杨瀚森砍戈贝尔始末:一开始没有领会意图

翻译还原杨瀚森砍戈贝尔始末:一开始没有领会意图

体坛周报
2026-11-18 10:03:13
2026-11-18 13:40:49
DoNews incentive-icons
DoNews
不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向迈进。
110608文章数 26968关注度
往期回顾 全部

数码要闻

大疆多款产品“如期”涨价:涉Osmo Pocket 4/4P/Nano,最高涨560元

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

游戏
家居
房产
健康
军事航空

英国法庭驳回索尼PlayStation数字内容集体诉讼

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

6.6亿!海口卖地!

情绪真能让健康人"伤心至死"?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版