网易首页 > 网易号 > 正文 申请入驻

最高每秒43词元:Garlic LLM可让越狱PS4运行9B参数本地AI模型

0
分享至

IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。

由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器学习库,开发者自行开发 GPU 相关指令,让 PS4 游戏主机运行本地模型。

为了适配 PS4 有限的内存,Garlic LLM 采用阿里巴巴的 Qwen3.5-9B 模型基座,并将模型权重压缩为 3 位或 4 位量化格式,连同加速数据整体控制在约 4.5 GiB,并使用“推测解码”(MTP)技术,在生成文本时预先采样并验证多个词元来提高输出效率。


实际测试显示,普通文本生成速度约为每秒 31 至 39 个词元;生成程序代码时最高可达每秒 43 个词元,模型可处理约 16,000 个词元的上下文窗口。


除文字聊天外,Garlic LLM 还支持语音输入与语音对话,分别使用 Parakeet TDT 0.6B v3 进行语音识别,并采用 Chatterbox 进行语音合成。它还可在 PS4 上执行 AI 生成的 Python 代码,并提供“思考模式”,让模型在回答前先进行推理。不过,启用语音对话会占用更多内存,文本生成速度会降至约每秒 22 个词元。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
3岁女童被生父女友捂死案将于18日宣判

3岁女童被生父女友捂死案将于18日宣判

黄河新闻网吕梁
2026-11-17 08:48:18
抵达深圳参加APEC 墨西哥总统这个动作有何深意

抵达深圳参加APEC 墨西哥总统这个动作有何深意

看看新闻Knews
2026-11-16 19:06:01
大开眼界!谁能想到,中国石油正式员工每月公积金数额如此惊人!

大开眼界!谁能想到,中国石油正式员工每月公积金数额如此惊人!

補懂事的孩紙
2026-11-17 17:37:38
中央统战部部长李干杰,在211大学

中央统战部部长李干杰,在211大学

双一流高校
2026-11-17 01:12:28
折腾!带队冲超后却遭下课,升班马现离谱操作,明年或是降级大热

折腾!带队冲超后却遭下课,升班马现离谱操作,明年或是降级大热

蜡笔小新爱体育
2026-11-17 17:53:24
今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

笑熬浆糊111
2026-10-28 06:00:28
一个家庭有钱没钱,一看便知:没钱的家庭,大都有三个穷习惯

一个家庭有钱没钱,一看便知:没钱的家庭,大都有三个穷习惯

顾一宸
2026-11-14 20:02:21
他原本要出任省委书记,老首长洪学智大笔一挥:还是来总后报到吧

他原本要出任省委书记,老首长洪学智大笔一挥:还是来总后报到吧

漫步史书
2026-11-17 17:47:07
拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

影孖看世界
2026-10-13 23:32:38
中式武器立大功!20架沙特战机被击落,13架来自中国战机抗下伤害

中式武器立大功!20架沙特战机被击落,13架来自中国战机抗下伤害

铁锤简科
2026-11-15 14:32:31
原来人真的会有预感。刘欢在离开前,突然对妻子卢璐交代了一件事,叮嘱她无论如何都要办好,只有这样,他才能走的体面一点。

原来人真的会有预感。刘欢在离开前,突然对妻子卢璐交代了一件事,叮嘱她无论如何都要办好,只有这样,他才能走的体面一点。

设计最前沿
2026-11-17 17:33:39
局势彻底反转!中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线。掀起舆论广泛热议

局势彻底反转!中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线。掀起舆论广泛热议

唠叨说历史
2026-11-17 14:28:56
黄仁勋女儿,没戏了

黄仁勋女儿,没戏了

小鱼爱鱼乐
2026-11-17 18:11:53
中央政法委下死命令!严厉查处这些行为,一起都不放过!

中央政法委下死命令!严厉查处这些行为,一起都不放过!

职场资深秘书
2026-11-13 19:21:02
铁饭碗要打破了!事业单位开始搞全员竞聘上岗!

铁饭碗要打破了!事业单位开始搞全员竞聘上岗!

职场资深秘书
2026-11-17 17:11:15
1981年陈伯达保外就医却无处可去,打给上海重庆南京的电话都被回绝,三儿一女里唯有次子陈晓农从石家庄赶回北京:接父是子

1981年陈伯达保外就医却无处可去,打给上海重庆南京的电话都被回绝,三儿一女里唯有次子陈晓农从石家庄赶回北京:接父是子

唠叨说历史
2026-11-17 18:41:08
129万一针降到28.86万,医保报销自付有望10万内。2年生存率69.3%

129万一针降到28.86万,医保报销自付有望10万内。2年生存率69.3%

仙味少女心
2026-11-16 17:38:13
8人凌晨3点潜入军工厂纵火,这个国家却要关闭对俄口岸!俄罗斯:这是“恐俄症”发作

8人凌晨3点潜入军工厂纵火,这个国家却要关闭对俄口岸!俄罗斯:这是“恐俄症”发作

扬子晚报
2026-11-17 10:52:02
电动车可能被取代?多地开始大批量投放!新型代步车已经正式登场

电动车可能被取代?多地开始大批量投放!新型代步车已经正式登场

史之铭
2026-11-17 03:45:50
高中我背男同学上了2年厕所,17年后他成集团总裁,我面试低头不敢认,他却喊:你以为我不记得你了吗?

高中我背男同学上了2年厕所,17年后他成集团总裁,我面试低头不敢认,他却喊:你以为我不记得你了吗?

小秋情感说
2026-11-17 10:56:32
2026-11-17 21:07:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379846文章数 607737关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

亲子
本地
游戏
数码
公开课

亲子要闻

中国人能飞

本地新闻

乌兰察布:以前种土豆,现在种Token

XBOX官宣重大更新!情怀十足 有玩家看了后悔买PS5

数码要闻

AOC“Q27P4C”27英寸显示器发售:2K 120Hz +双扬声器,1499元

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版