网易首页 > 网易号 > 正文 申请入驻

Sync-Strata:家用PC一键跑125B大模型

0
分享至

125B 的大模型,以前得靠服务器级的硬件才能跑起来。现在一台普通家用 PC 就够了。Sync-Strata 刚发布,把这事儿做成了一键操作,不用命令行敲半天,也不用懂什么量化格式。

Sync-Strata 是本地推理框架 Strata 的一个分支,跑的是 Qwen3.8-Flash-Next,一个 125B 参数的 MoE 模型。它把模型重新量化成三个版本——Sync-XS、Sync-S、Sync-M,速度比上游原版还快。自带的聊天应用 dsh,能从桌面、手机、命令行、OpenAI 兼容 API 四个口子用。



你的机器能不能跑

先看硬件门槛,不达标就别白折腾。

显卡方面,NVIDIA RTX 30、40 系列直接支持;RTX 20、GTX 16、RTX 50 系列预期可用;AMD 的 RX 6000、7000、9000 系列走 HIP 引擎,属于实验性支持。显存低于 8GB 的直接不行,引擎起不来。Mac 不支持,Intel 核显也不支持。

系统要 Windows 11、Windows 10(1803 以上)或 64 位 Linux(glibc 2.28 以上,Ubuntu 20.04、Debian 10 起步)。NVIDIA 驱动要 R580 以上(CUDA 13),老的 GTX 10 系列、V100、Titan V 走 CUDA 12 引擎,驱动要求 576.57 以上。CPU 必须支持 AVX2,没有 AVX-512 会慢大概 10%。

可照做:安装就三步

Windows 和 Linux 流程差不多,都是下载、装、开。

Windows:从 Releases 下载 `SyncStrata-<版本号>.zip`,解压到一个路径不含非 ASCII 字符的目录(避免中文路径出问题),双击里面的 `setup.cmd`,它只补装缺的东西,再跑一遍也没事。装完桌面上打开 Sync-Strata,第一个界面就是帮你装模型。

Linux:下载 `SyncStrata-<版本号>-linux.zip`,解压,终端里跑 `./setup.sh`,然后从应用菜单打开。程序放在 `~/.local/share/SyncStrata`,配置和聊天记录在 `~/.config/SyncStrata`。

装完不用管 Python、Node 这些,全打包进去了,不需要管理员权限。

按内存选模型

模型大小跟着你机器的内存走,应用默认会按这个帮你选:

-内存 24GB 或更少:选 Sync-XS(约 24GB)

-内存 32GB:选 Sync-S(约 28GB)

-内存 48GB 或更多:选 Sync-M(约 35GB)

磁盘要留够:应用本身约 2GB,每个模型都有约 35GB 的共享部分,再加上模型本身。模型放 NVMe 固态上最理想。

四种用法

装好模型后,怎么用都行。

桌面:点桌面图标打开,关窗口时可以选只关应用、关应用加 dsh、还是全关。只关应用的话,引擎和 dsh 还在后台跑。

手机:在 PC 屏幕上把"手机连接"设成"同一 Wi-Fi",用手机扫出现的二维码。人在外地就用 Tailscale。二维码是一次性的,3 分钟过期;长期密钥不离开 PC。

命令行:安装目录下跑 `sync`(Linux 是 `./sync.sh`)。常用命令:

```bash

sync up # 启动引擎和 dsh

sync up --api-only # 只起 API

sync status # 看在不在跑、用的哪个模型、速度

sync chat # 终端里直接聊

sync down # 全部停掉

API:默认在 `http://127.0.0.1:8080/v1`,兼容 OpenAI 的 `/v1/chat/completions`、`/v1/responses`、`/v1/models`,也兼容 Anthropic 的 `/v1/messages`。别的机器要连,得先在 `sync api` 里拿密钥。

速度实测

作者用一台 Ryzen 7 7800X3D、32GB DDR5、RTX 3080 12GB 的机器测了(数据来自仓库公开基准):

-Sync-S,tail skip 设 R4:decode 144.0 tok/s,prefill 597 tok/s,dsh 聊天 104.1 tok/s

-Sync-S,R7:decode 127.5 tok/s,prefill 648 tok/s

-Sync-S,R10:decode 104.6 tok/s,prefill 593 tok/s

-上游 Gyro-S 默认:decode 72.6 tok/s,prefill 241 tok/s

同样这台机器,Sync-S 最快档的 decode 速度是上游默认的两倍。tail skip 这个参数控制每个 token 用多少专家,R4 最快、R10 质量最高,auto 会按你的机器自动选。

注意

- 现在还标着实验性,模型和引擎格式跟上游 Strata、llama.cpp 不通用,不能直接换模型文件。

- Mac 不支持,Intel 核显不支持,显存 8GB 是硬底线。

- 上下文长度和量化格式默认走 auto,跟着你的显存走:12GB 以上显存给 256K 上下文、k8v4 量化;8-9GB 显存降到 64K、k4。

- 版本还在迭代,Linux 上的速度数据官方还没测完,Windows 数据是实测的。



Sync-Strata 把"在家用 PC 上跑 125B 大模型"这件事降到了门槛很低。装个软件、选个模型、开起来就能用,速度还比原版快。你的机器只要过了硬件门槛、内存够,剩下就是点几下的事。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
荣耀7英寸大屏新机被曝年前发布,有望搭载13500mAh±电池

荣耀7英寸大屏新机被曝年前发布,有望搭载13500mAh±电池

IT之家
2026-11-20 11:27:08
夫妻双屏同玩《GTA6》发现推进路线影响剧情演出

夫妻双屏同玩《GTA6》发现推进路线影响剧情演出

3DM游戏
2026-11-20 10:25:05
黄仁勋的仙鹤神针

黄仁勋的仙鹤神针

哲空空
2026-11-19 02:33:54
1949年,刘伯承当上南京市长后,派人去四川接原配,谁知原配却拒绝了,说:“我不去!我去了算哪头?算原配还是下人?”

1949年,刘伯承当上南京市长后,派人去四川接原配,谁知原配却拒绝了,说:“我不去!我去了算哪头?算原配还是下人?”

回京历史梦
2026-11-20 09:26:19
邮报:近2000切尔西球迷投票,57.9%球迷支持彭德斯继续首发

邮报:近2000切尔西球迷投票,57.9%球迷支持彭德斯继续首发

懂球帝
2026-11-19 21:52:09
西伯利亚:吃不完的鹿肉,收不完的粮;砍不完的森林,挖不完的矿

西伯利亚:吃不完的鹿肉,收不完的粮;砍不完的森林,挖不完的矿

浩渺青史
2026-11-19 02:18:49
破镜重圆复婚在即 张柏芝亲自证实 三个儿子都已经被谢霆锋接走

破镜重圆复婚在即 张柏芝亲自证实 三个儿子都已经被谢霆锋接走

星辰生肖馆
2025-03-22 05:10:03
比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

元气科技馆
2026-10-10 21:56:30
刘礼嘉三分准绝杀,上海男篮逆转四川,拉塞尔20+9+10,用传球带动队友

刘礼嘉三分准绝杀,上海男篮逆转四川,拉塞尔20+9+10,用传球带动队友

替补席看球
2026-11-19 21:50:13
乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

唠叨说历史
2026-11-18 15:06:45
国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

云景侃记
2026-11-20 09:48:24
主动给杨瀚森补钱!虽然是新加盟,但确实有球队老大的样子

主动给杨瀚森补钱!虽然是新加盟,但确实有球队老大的样子

德译洋洋
2026-11-19 12:10:33
深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

深圳“三巨头”掀了谁的桌?一份宣言,四把刀,刀刀切在真正要害

淡然小司
2026-11-19 19:35:21
梅西接班人 19场造20球!皇马决定8000万回购 时隔3年回归

梅西接班人 19场造20球!皇马决定8000万回购 时隔3年回归

叶青足球世界
2026-11-20 08:40:04
APEC现场|特朗普启程返美,王毅外长机场送别,二人长时间交谈

APEC现场|特朗普启程返美,王毅外长机场送别,二人长时间交谈

澎湃新闻
2026-11-19 21:30:08
反催婚界出了个天才!父母资金链断了,网友:催到大动脉了

反催婚界出了个天才!父母资金链断了,网友:催到大动脉了

夜深爱杂谈
2026-11-12 22:34:14
中俄美元首和平宣言

中俄美元首和平宣言

澎湃新闻
2026-11-19 19:09:21
中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

福建睿平
2026-05-25 08:01:59
马斯克曾预言:接下来全世界将面临一场危机,或只有中国是个例外

马斯克曾预言:接下来全世界将面临一场危机,或只有中国是个例外

瓦伦西亚月亮
2026-11-18 13:48:08
赖清德表侄爆发大丑闻 基隆市长选举绿营被KO

赖清德表侄爆发大丑闻 基隆市长选举绿营被KO

海峡导报社
2026-11-19 17:40:06
2026-11-20 12:03:00
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
731文章数 9885关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
数码
时尚
教育
军事航空

PC Gamer试玩GTA6百小时:双主角出色但任务重复

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版