网易首页 > 网易号 > 正文 申请入驻

废弃硬件变身AI神器:768GB英特尔傲腾内存成功运行万亿参数大模型!

0
分享至

快科技5月24日消息,据报道,Reddit用户APFrisco近日通过一套极客方案,利用6根二手英特尔傲腾DCPMM持久内存模块,在单GPU工作站上成功运行了拥有1万亿参数的Kimi K2.5大模型,推理速度约为每秒4个Token。

该系统基于英特尔至强金牌6246处理器与泰安S5630GMRE-CGN主板构建。内存系统总容量为768GB,由6根32GB三星DDR4-2666 ECC内存条与6根128GB英特尔傲腾DCPMM持久内存模块组成。

图形算力由两张华硕GeForce RTX 3060 OC 12GB显卡承担,存储设备采用西部数据WD SN850X 2TB固态硬盘,电源为华擎Steel Legend SL-850G 850W全模组电源。

软件运行层面,该方案采用了基于llama.cpp的GPU与CPU混合推理方法。通过llama.cpp的override-tensor标志,系统将模型路由组件强制分流至总计24GB显存的GPU中处理,其余参数则由傲腾内存承担存储与读取任务,有效规避了单卡显存不足的瓶颈。

英特尔傲腾系列产品虽已停产,但其介于DRAM与固态硬盘之间的读写特性,使其成为替代昂贵内存方案的特殊选择。

业内分析认为,随着CXL计算快速连接标准的成熟,未来市场有望出现更具性价比的字节寻址内存解决方案,以支撑大型语言模型对内存容量的迫切需求。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
何涛任西南医科大学党委书记

何涛任西南医科大学党委书记

闪电新闻
2026-11-21 00:02:44
梦回世界杯?欧国联8强对阵:西班牙vs法国、挪威vs英格兰

梦回世界杯?欧国联8强对阵:西班牙vs法国、挪威vs英格兰

懂球帝
2026-11-20 19:43:16
51票反对48票赞成!特朗普刚从中国回美 就收到一张烫手的延期通知

51票反对48票赞成!特朗普刚从中国回美 就收到一张烫手的延期通知

去山野间追风
2026-11-20 21:33:02
女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

第7情感
2025-07-31 11:41:37
美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

磊子讲史
2026-11-03 16:23:26
2年721万美金!投篮命中率联盟第1!NBA最励志中锋诞生

2年721万美金!投篮命中率联盟第1!NBA最励志中锋诞生

微评体育圈
2026-11-20 00:10:05
“格力电器被列为被执行人,执行标的150元”,格力电器回应:此事源于格力起诉义乌商家在网上违规售卖格力售后工作服的商标侵权案件

“格力电器被列为被执行人,执行标的150元”,格力电器回应:此事源于格力起诉义乌商家在网上违规售卖格力售后工作服的商标侵权案件

政知新媒体
2026-11-20 10:08:40
103度电池!吉利新车官宣,11月27日正式上市

103度电池!吉利新车官宣,11月27日正式上市

科技阿维
2026-11-20 22:36:20
铜价:大家做好最坏预期,不出意外,下周或将呈现这种走向

铜价:大家做好最坏预期,不出意外,下周或将呈现这种走向

坠入二次元的海洋
2026-11-21 01:07:25
高中三年,坚持到什么程度才能冲上600分?教了那么多年书,才敢讲几句实话!

高中三年,坚持到什么程度才能冲上600分?教了那么多年书,才敢讲几句实话!

好爸育儿
2026-11-20 22:20:04
92-90大逆转!上海18分翻盘四川 崔晓龙7投全中,赛后一席话很实在

92-90大逆转!上海18分翻盘四川 崔晓龙7投全中,赛后一席话很实在

宝哥精彩赛事
2026-11-21 00:52:18
文班亚马上演跳投式扣篮,多角度还原“史上距离最短跳投”

文班亚马上演跳投式扣篮,多角度还原“史上距离最短跳投”

极目新闻
2026-11-20 16:54:29
91%的AI PC购买者不再以AI为首要购机理由

91%的AI PC购买者不再以AI为首要购机理由

IT之家
2026-11-20 21:51:03
俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

扶苏聊历史
2026-11-19 18:17:35
距榜首只差1分,狼队为何还被认为没踢出全部潜力?

距榜首只差1分,狼队为何还被认为没踢出全部潜力?

快乐加载中21
2026-11-21 02:12:05
离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

川渝视觉
2026-11-17 19:57:30
看完U17国足0-5西班牙,球迷看清四个事实:差距太大+裁判太黑了

看完U17国足0-5西班牙,球迷看清四个事实:差距太大+裁判太黑了

球场新视角1号
2026-11-21 00:01:21
主要股指均已全面进入熊市

主要股指均已全面进入熊市

边际财经实验室
2026-11-20 20:07:15
特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

吉刻新闻
2026-11-20 09:43:17
“骑行30分钟收费15元”,哈啰被网友吐槽“单车刺客”,公司回应:是新车型,可变速,收费标准与普通单车不同

“骑行30分钟收费15元”,哈啰被网友吐槽“单车刺客”,公司回应:是新车型,可变速,收费标准与普通单车不同

南方都市报
2026-11-19 08:30:07
2026-11-21 02:20:49
快科技 incentive-icons
快科技
一起关注每日科技热点
133420文章数 261292关注度
往期回顾 全部

数码要闻

狗子一泡尿主机直接变砖!网友:先别开机还有救

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
艺术
时尚
公开课
军事航空

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

艺术要闻

2026 研究与超越——中国小幅油画作品双年展 油画选(二)

《后会友期》的癫,还得她们治

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版