网易首页 > 网易号 > 正文 申请入驻

Janas:笔记本上跑 80B 大模型

0
分享至



48GB 的大模型,笔记本只有 32GB 内存,跑得动吗?Janas 说:能,而且比 llama.cpp 还快。

它是一个用 C 写的本地大模型推理工具,专门面向混合专家(MoE)模型。一个 800 亿参数的模型,在普通笔记本上就能边读边答。

它的思路很特别

常规推理要把模型权重全塞进内存或显存,装不下就跑不动。Janas 换了个策略:

权重留在磁盘上,每个 token 需要哪个专家,就从 NVMe SSD 流式读哪个;反复被用到的专家才缓存进内存。

这样一来,模型比内存大也没关系——你在跟它聊天,它就按需从硬盘取"零件"。而且它用 C 写,除了 C 标准库几乎零依赖。

性能:比 llama.cpp 还快

在一台 Intel Core Ultra 9、32GB 内存、核显的笔记本上实测:

  • Qwen3-Next-80B(48GB):Janas 写 24 tok/s,llama.cpp 只有 2.8 tok/s;读 prompt 时 62 vs 16 tok/s
  • 几乎所有对比模型,Janas 都比 llama.cpp 快

它还带"草稿预测"加速:小模型先猜下一段 token,大模型再校验,聊天气泡里能提到 37 tok/s 以上。

安装:下载即用

Linux x86-64:

curl -LO [https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz](https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz)tar xf janas-linux-x86_64.tar.gz && cd janas./janas-chat

Windows 10/11:下载 janas-windows-x86_64.zip,解压后在终端运行 .\janas-chat。

启动后它会列出认识的模型,选一个就自动下载并校验。

想从源码编译(可选 GPU):

sudo apt install build-essential libvulkan-dev glslang-tools vulkan-tools./build.sh
使用:几个常用命令
  • janas-chat:直接聊天,认识的模型自动下载
  • janas-server:起一个兼容 OpenAI 接口的 HTTP 服务,还能给 VS Code 补全代码
  • janas-mcp:把模型作为 MCP 工具接给 Claude Code 等客户端
  • janas-bench:测你自己机器的速度
一个重要提醒

作者反复强调:这是实验项目,不是产品。它会把空闲内存塞满专家缓存、用 O_DIRECT 全速读盘,机器吃紧时桌面可能卡顿甚至卡死(GPU 驱动也崩过一次)。

建议首次在空闲机器上跑,并用参数控制:

./janas-chat --cache 16GiB   # 限制内存占用JANAS_GPU=0 ./janas-chat     # 完全不用 GPU

聊天中 Ctrl-C 中断回答,Ctrl-D 退出。

小结

一句话:Janas 把"大模型必须大内存"的规矩打破了,靠磁盘流式加载让 80B 模型跑进 32GB 笔记本,且速度反超 llama.cpp。目前仍是实验阶段,适合愿意折腾的本地部署爱好者尝鲜。

  • GitHub 仓库:https://github.com/prabanta-dev/janas
  • 模型权重(Hugging Face):https://huggingface.co/prabanta-dev
  • 开源协议:GPL-3.0-or-later(模型权重遵循各自原许可)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普晒30多张深圳行照片 真诚交流自然留回味

特朗普晒30多张深圳行照片 真诚交流自然留回味

看看新闻Knews
2026-11-23 00:18:49
许家印在看守所的待遇

许家印在看守所的待遇

年代回忆
2026-10-22 23:21:45
孙宇晨嘲讽刘强东翻车:500人凭什么踩90万人,人效低不是原罪

孙宇晨嘲讽刘强东翻车:500人凭什么踩90万人,人效低不是原罪

华文商讯
2026-11-21 08:54:08
搞不好会烂尾!《持械入宋》的问题来了,十二季上线又延迟,到底被什么卡住了?

搞不好会烂尾!《持械入宋》的问题来了,十二季上线又延迟,到底被什么卡住了?

姜糖先生
2026-11-22 15:59:24
央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

拾玖Talk
2026-11-19 19:11:01
超四成中低风险产品净值回撤 理财公司密集发声

超四成中低风险产品净值回撤 理财公司密集发声

每日经济新闻
2026-11-22 22:20:01
TA记者:迈阿密国际纪律性差得令人难以置信

TA记者:迈阿密国际纪律性差得令人难以置信

懂球帝
2026-11-22 09:29:07
消息人士:乌克兰远程打击停泊在利比亚的俄罗斯军舰

消息人士:乌克兰远程打击停泊在利比亚的俄罗斯军舰

极目新闻
2026-11-22 23:40:11
双红会0-4惨败,波切蒂诺执教曼联首秀遭遇开门黑

双红会0-4惨败,波切蒂诺执教曼联首秀遭遇开门黑

懂球帝
2026-11-23 02:31:10
以泪洗面!西安股民晒351万资产周六彻夜失眠,11月狂亏121万近乎腰斩,单日跌超20万自嘲“金融消费者”

以泪洗面!西安股民晒351万资产周六彻夜失眠,11月狂亏121万近乎腰斩,单日跌超20万自嘲“金融消费者”

王老师你还好吗
2026-11-22 17:35:20
大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

华人星光
2026-11-19 13:45:11
马斯克太聪明了。这次来中国,怕大家骂他比黄仁勋还花心,于是又带着小儿子来,一开口就说:“我儿子的玩具都是中国制造”

马斯克太聪明了。这次来中国,怕大家骂他比黄仁勋还花心,于是又带着小儿子来,一开口就说:“我儿子的玩具都是中国制造”

背包旅行
2026-11-22 21:37:00
逐渐“消失”的主持人孟非,近况变化出人意料,已经走上另一条路

逐渐“消失”的主持人孟非,近况变化出人意料,已经走上另一条路

吃青菜长高
2026-11-22 18:37:19
新一届江西省委领导班子亮相

新一届江西省委领导班子亮相

农民日报
2026-11-22 18:27:58
印度小伙来中国,与中国姑娘交往2个月被踹,姑娘:我现在全身病

印度小伙来中国,与中国姑娘交往2个月被踹,姑娘:我现在全身病

悬案解密档案
2025-05-21 10:46:02
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
50分11篮板7助攻仍输球,恩比德赛后称他联盟前五

50分11篮板7助攻仍输球,恩比德赛后称他联盟前五

绿茵狂热者
2026-11-23 01:10:49
昨晚,前夫借故来看孩子,一见面就迫不及待进入正题,我推不开他

昨晚,前夫借故来看孩子,一见面就迫不及待进入正题,我推不开他

第7情感
2025-09-14 11:33:27
又一个“邓文迪”!27岁博士毕业,4年生3娃,替世界首富花钱

又一个“邓文迪”!27岁博士毕业,4年生3娃,替世界首富花钱

流云随风去远方
2026-11-22 19:28:58
丰台站开通一年到发4000万人次,日均12万却不到南站一半,问题出在哪

丰台站开通一年到发4000万人次,日均12万却不到南站一半,问题出在哪

白浅娱乐聊
2026-11-22 15:33:35
2026-11-23 03:12:49
小蜜情感说
小蜜情感说
每日分享情感
463文章数 19720关注度
往期回顾 全部

数码要闻

三星的内存产能至2029年已几乎全部预订一空 客户正寻求直至2031年的供货协议

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
时尚
家居
艺术
手机

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

世界十大著名宫殿盘点:中国独占两席

手机要闻

星芒OSTA O1 Pro新机确认支持华为自研Wi-Fi 7+芯片级协同技术

无障碍浏览 进入关怀版