网易首页 > 网易号 > 正文 申请入驻

初代PS4也能跑 AI:90亿参数模型生成速度最高达每秒43个token

0
分享至



近日,一位独立开发者成功将初代PlayStation 4改造为支持文本和语音交互的本地AI助手。

该项目名为Garlic LLM,能够在主机自带的AMD GCN架构GPU上运行90亿参数的Qwen3.5-9B模型。模型推理、语音识别与语音合成均可在主机本地完成,运行过程中无需连接互联网或外部计算机,也不需要安装Linux。

目前,该项目开发者Leonardo Alegría已在GitHub上公开了相关代码、技术文档及安装程序。根据其公布的测试数据,在初代PS4和PS4 Slim上,Qwen3.5-9B的文本生成速度约为每秒31~39个token,在部分代码生成场景下最高可达每秒43个token。需要注意的是,这些数据来自开发者自己的测试,尚不能视为经过独立第三方验证的基准成绩。



PS4原有的自制软件环境缺乏可直接使用的通用GPU计算接口和机器学习库。为突破这一限制,Alegría使用OpenCL C编写了针对AMD GCN架构的自定义GPU计算内核,并通过LLVM编译相关代码。

在内核调度方面,他还手动编写了PM4命令数据包,直接向GPU提交计算任务,而不是依赖常规图形驱动自动生成这些底层调度命令。这种方式使原本面向游戏图形渲染设计的GPU,也能够承担大语言模型所需的矩阵运算、注意力计算和归一化等任务。

内存容量是项目面临的另一项关键挑战。初代PS4仅配备8GB共享GDDR5内存,GPU与CPU需要共同使用这部分资源。为此,Garlic LLM采用了专门设计的量化方案,将Qwen3.5-9B的主体权重压缩为约4.32GiB,并额外使用约0.20GiB存储多token预测(MTP)模块,相关模型文件合计约4.5GiB。



其中,大部分权重采用4位精度,每一层中规模最大的MLP门控投影与上投影矩阵则采用3位量化;考虑缩放参数后,实际平均存储精度约为每个参数3.5位。此外,KV缓存也采用4位量化,使模型能够支持16K token的上下文窗口。

性能提升的另一项关键技术是推测解码(Speculative Decoding)。Qwen3.5-9B本身包含多token预测(MTP)模块,Garlic LLM利用这一机制,让模型一次预先生成最多两个候选token,再通过主模型的一次前向计算对其进行验证,从而减少逐个生成token所需的计算开销。据开发者公布的数据,启用这一机制后,文本生成速度从约每秒22个token提升至每秒31~39个token,部分代码生成场景下最高达到每秒43个token。

除了文本聊天,Garlic LLM还集成了本地语音识别和语音合成功能。其中,语音识别使用NVIDIA Parakeet TDT 0.6B v3模型,语音合成则采用Chatterbox。用户可以通过手柄上的按键进行语音输入,并让AI直接以语音形式回答。



不过,语音交互模式下,聊天模型的生成速度约为每秒22个token,因为语音模型运行时会占用原本用于推测解码的内存资源。项目还提供Python模式,可以让模型生成MicroPython程序,并在PS4主机上执行。

从实际使用范围来看,Garlic LLM的主要价值在于证明老旧游戏硬件也能够承担现代本地AI推理任务,而不是让PS4获得与新一代PC显卡相当的AI性能。Qwen3.5-9B的16K上下文窗口也明显低于该模型在高配置计算平台上能够支持的上下文规模。与此同时,token生成速度并不等同于模型回答质量,目前公布的数据也不足以全面评估其在复杂推理、编程和长文本任务中的实际表现。



需要特别说明的是,该项目并非安装后即可直接在所有PS4上运行,主机必须具备GoldHEN自制软件环境。开发者目前仅在初代PS4和PS4 Slim、系统固件11.52的设备上完成测试,PS4 Pro及其他固件版本尚未得到验证。Garlic LLM已通过GitHub以GPL-3.0许可证开源,并提供包含模型文件的安装包。

总的来看,这项尝试不仅展示了老旧游戏主机的硬件潜力,也为低成本、本地化 AI 推理提供了新的技术思路。它的意义并不在于让 PS4 取代现代计算设备,而在于证明,通过底层软件优化与算法创新,十多年前的硬件依然能够找到新的应用价值。

小编将在第一时间分享更多相关最新动态和爆料,敬请关注。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
歌手张宇去世,年仅48岁

歌手张宇去世,年仅48岁

东方不败然多多
2026-11-20 16:36:51
全面下跌,何时见底?

全面下跌,何时见底?

星图金融研究院
2026-11-20 15:37:21
没想到,峰会结束仅1天,中国就因三个“土特产”在全球火出圈

没想到,峰会结束仅1天,中国就因三个“土特产”在全球火出圈

墨兰史书
2026-11-20 22:10:04
满仓满融死扛存储的大佬,归零了!

满仓满融死扛存储的大佬,归零了!

大财可富司机
2026-11-20 13:55:47
人民日报点名曹德旺,释放2大信号,转移资产跑路传闻早有真相

人民日报点名曹德旺,释放2大信号,转移资产跑路传闻早有真相

爱看剧的阿峰
2026-11-20 10:41:29
APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

战友老邓
2026-11-20 12:37:32
阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

互联网大观
2026-11-20 13:49:45
陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

妙妙奇思物语
2026-11-20 14:58:41
西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

都市快报橙柿互动
2026-11-20 09:37:46
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

极目新闻
2026-11-20 15:01:38
半场0-2!中国U17右路“被强吃”,西班牙队太强大,身体处于劣势

半场0-2!中国U17右路“被强吃”,西班牙队太强大,身体处于劣势

汪星人哟
2026-11-20 22:50:26
27岁庞众望完成博士论文答辩,即将从清华毕业,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

27岁庞众望完成博士论文答辩,即将从清华毕业,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

极目新闻
2026-11-20 16:53:20
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

红星新闻
2026-11-20 15:33:23
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
2026-11-20 23:52:49
宗熙先生
宗熙先生
分享科技、数码、互联网信息。
4564文章数 566关注度
往期回顾 全部

游戏要闻

不是哥们,什么叫二游圈子也流行矮人笑话?

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
本地
数码
房产
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

房产要闻

6.6亿!海口卖地!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版