网易首页 > 网易号 > 正文 申请入驻

不买内存也能跑大模型:llama.cpp RPC 拼旧电脑

0
分享至

内存现在贵得离谱。一条 64GB DDR5,去年八月还卖一百多美元,今年翻到一千一往上。想跑个 70B、120B 的大模型,单台机器内存根本不够,又买不起更多内存。

但家里那几台吃灰的旧电脑,内存还闲着。llama.cpp 自带的 RPC 功能,能把几台机器的内存拼成一个"大内存",一起跑一个大模型。r/LocalLLaMA 上有人用三台旧设备拼出 40B 模型,跑到 16 tok/s,实测能跑。



核心原理:内存带宽有快有慢

拼内存不是简单把容量加起来。真正决定速度的是带宽,不同内存之间差很多:

- 显卡显存(VRAM):360~480 GB/s,最快

- Apple Silicon 统一内存:100~150 GB/s

- 本机系统内存(DDR4/DDR5):35~50 GB/s

- 局域网远程内存:千兆网约 125 MB/s,最慢

所以拼内存要分层:快的显存跑前面几层,慢的远程内存跑后面几层。所谓层分片,就是按这个顺序把模型切到不同设备上。

能跑多大,看拼了多少

有人拿一台 12GB 的 RTX 3060 迷你主机加一台 Mac mini,拼起来跑 30B 模型,实测 30~32 tok/s。三台设备(迷你主机、Mac mini、旧笔记本)拼起来跑 40B,跑到 16 tok/s。容量拼够了,速度就看网络和分层调度。

可照做:llama.cpp RPC 命令

不用买硬件盒,llama.cpp 自带 RPC,就能拼。顺序是先开工作节点(worker),再开主服务器(master)。

在每台要贡献内存的设备上,启动 worker:

```bash

ggml-rpc-server -H 0.0.0.0 -p 50052 -d CUDA0

端口 50052 是 RPC 默认端口,`-d` 指定用哪个设备(CUDA0 是显卡,纯 CPU 就写 CPU)。每台 worker 换个端口,第二台用 50053。

在主服务器上启动 master,把 worker 挂上:

```bash

llama-server -m model.gguf \

--rpc http://192.168.1.10:50052 \

--rpc http://192.168.1.11:50053 \

-ngl 999 -c 8192

`--rpc` 后面填每台 worker 的地址和端口,可以挂多个。`-ngl 999` 是尽量把层往加速设备上放,`-c 8192` 是上下文长度。

关键一点:完整 GGUF 只由 master 读取。worker 不用存一份完整模型,它只出算力、跑分到的层。模型文件放 master 那台就行。

省事方案:RAMDeck

不想手搓命令,可以看 RAMDeck。它把几台设备的内存自动拼起来,配一个硬件盒(众筹价一百多美元),自动发现设备、自动分层、带网页面板,支持 Windows、Mac、Linux、Android、iOS。它的公开仓库(Apache 2.0 加 Commons Clause)只是参考快照,完整体验要靠商业产品。想省事、愿意花钱,用它;想免费手搓,直接 llama.cpp RPC。

注意

- 启动顺序别反:先 worker,后 master。

- 跨设备拼内存,速度会被最慢的环节拖住,远程内存那层是瓶颈。

- 端口、IP 按你局域网实际情况改,别照抄。

- 内存带宽差很多,拼之前想清楚哪台跑哪层。





内存贵,旧电脑的内存不贵。用 llama.cpp RPC 把几台吃灰的机器拼起来,容量上去了,大模型就能跑。想省钱就手搓命令,想省事就上 RAMDeck。不管哪种,核心都是按带宽分层,把模型拆开,分到各台机器。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“高净值家庭”标准出炉:全中国共有512.8万户,你家达标了吗?

“高净值家庭”标准出炉:全中国共有512.8万户,你家达标了吗?

鱼语昱雨轩
2026-11-07 14:03:54
中俄美元首座驾首次同框:红旗、奥鲁斯、凯迪拉克齐聚APEC

中俄美元首座驾首次同框:红旗、奥鲁斯、凯迪拉克齐聚APEC

快科技
2026-11-19 17:03:30
把勇士抬到不属于它的高度——其他人都在“裸泳”,库里成唯一遮羞布

把勇士抬到不属于它的高度——其他人都在“裸泳”,库里成唯一遮羞布

篮球扫地僧
2026-11-19 23:47:52
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

江启
2026-11-19 09:51:17
黄仁勋继任者被曝已有人选,猎头已与64岁安谋总裁接触,其曾在英伟达效力7年;黄离任后英伟达首开全员大会:承诺12月加薪

黄仁勋继任者被曝已有人选,猎头已与64岁安谋总裁接触,其曾在英伟达效力7年;黄离任后英伟达首开全员大会:承诺12月加薪

洪观新闻
2026-11-19 13:26:42
难以置信!36岁女子晒小19岁男友合照,反差太大,网友评论区吵翻了

难以置信!36岁女子晒小19岁男友合照,反差太大,网友评论区吵翻了

丫头舫
2026-11-16 11:30:38
67年毛泽东乘车前往天安门,突然让卫士张耀祠停车:我要看看胡乔木

67年毛泽东乘车前往天安门,突然让卫士张耀祠停车:我要看看胡乔木

文史漫笔
2026-10-02 08:10:15
美国战略专家:要彻底“解决中国问题”,似乎只剩下打仗这一条路

美国战略专家:要彻底“解决中国问题”,似乎只剩下打仗这一条路

民宿体验志
2026-11-17 18:00:19
《GTA6》DLSS 5画面太惊艳!搭配6倍帧生成

《GTA6》DLSS 5画面太惊艳!搭配6倍帧生成

游民星空
2026-11-19 11:19:20
央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

叨唠
2026-11-19 00:04:18
陈凯歌饭局上,一群年轻演员排着队弯腰敬酒,陈飞宇站旁边给倒酒

陈凯歌饭局上,一群年轻演员排着队弯腰敬酒,陈飞宇站旁边给倒酒

西楼知趣杂谈
2026-10-20 20:22:01
71-67!广东男篮险遭“翻盘”,解决了2大问题,徐杰斩获28+4+9

71-67!广东男篮险遭“翻盘”,解决了2大问题,徐杰斩获28+4+9

汪星人哟
2026-11-19 22:37:48
八旗:从打天下到吃皇粮

八旗:从打天下到吃皇粮

熊倌儿
2026-10-23 08:47:34
主动给杨瀚森补钱!虽然是新加盟,但确实有球队老大的样子

主动给杨瀚森补钱!虽然是新加盟,但确实有球队老大的样子

德译洋洋
2026-11-19 12:10:33
利拉德:如果无法继续竞争并保持状态 那我就不再打球了

利拉德:如果无法继续竞争并保持状态 那我就不再打球了

北青网-北京青年报
2026-11-19 20:47:01
曝蓉城今夏曾接触郑智!李金羽也进候选 名记:新帅或聘四川名宿

曝蓉城今夏曾接触郑智!李金羽也进候选 名记:新帅或聘四川名宿

我爱英超
2026-11-19 13:09:34
大爷一句话戳中无数人:交了57年公粮,好粮给国家,瘪粒留自己,现在老了每月领一百多

大爷一句话戳中无数人:交了57年公粮,好粮给国家,瘪粒留自己,现在老了每月领一百多

一丝不苟的法律人
2026-11-19 10:51:33
高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

蓝星杂谈
2026-11-19 22:45:01
金庸笔下,那些争着做“代价”的乞丐!

金庸笔下,那些争着做“代价”的乞丐!

胖胖说他不胖
2026-10-27 09:55:19
2026-11-20 02:00:49
小兔子发现大事情
小兔子发现大事情
小人物也能有大视角!
128文章数 10244关注度
往期回顾 全部

数码要闻

OPPO Reno17系列体验:好看是入场券,实况才是让我留下来的理由

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

科技要闻

提前三个月加薪!英伟达全员会稳军心

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

教育
房产
健康
艺术
军事航空

教育要闻

不另起炉灶,不做加法,一地用6件日常小事破解研修痛点

房产要闻

2.5亿!丁村侨中,新动作来了!

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

柔美与锋芒:时尚人像摄影

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版