网易首页 > 网易号 > 正文 申请入驻

397MB装完,资料变成断网也能问的本地书库

0
分享至

网页版 AI 一个比一个爱限额,这台软件偏反过来:安装包 397MB,装完自带 84 个本地模型,你的合同、论文、会议录音全进本地书库,拔掉网线照样能问。它叫 AnythingLLM,昨天刚更新 1.20.0 版。

先说清楚它能干什么

把家里那些散在各处的资料——十年攒下的 PDF 合同、公司的制度文件、孩子的教辅、几十份会议录音——一次性丢进一个软件里,然后用大白话提问:「去年那份采购合同的违约金是怎么写的」「我这份体检报告哪几项超标」「这批报销里有没有重复报的」。它会翻你的文件,给出答案,还带出处页码。

关键在于这一整套都跑在你自己电脑上:模型在你硬盘里,资料切片后的「向量库」(把文字变成能快速比对的数字,方便它瞬间翻到相关段落)也在你硬盘里,聊天记录同样在本地。断网照样用,没人看得到你问了什么。

这次更新的 1.20.0 版是 11 月 17 日发的。它最大的变化是把本地推理引擎直接塞进了安装包:以前玩本地模型要先装 Ollama 或 LM Studio,再回来配地址、端口、模型名,这一版不用了——装完在界面里点两下就有一个能对话的本地 AI。官方原话是「跑本地模型无需额外设置,英伟达显卡走 CUDA,AMD 和英特尔核显走 Vulkan」。

几个能核对的事实:GitHub 上 68393 星、7729 个 fork,MIT 协议;Windows 安装包 396.6MB;内置模型目录里一共 84 个模型,最小的 0.25GB,最大的 79.6GB;嵌入模型(负责把文档变成向量)和向量数据库都自带,默认的 LanceDB「不需要任何配置」。个人用全部免费,不用注册账号。



产品界面:左侧是资料库和会话列表,右侧对话里每个回答下方都有 Sources 角标

最小可用路径:十分钟把它跑起来

下面这条路我按「从没装过这类软件」的标准写,一步只干一件事。全程只有界面操作,不用命令行、不用 Docker、不用配环境变量。请按顺序做,别跳步。

步骤 1|把安装包下载下来

去哪拿:浏览器打开 https://anythingllm.com/desktop,页面上找到 Windows 那一栏,点 Download。如果这个页面打不开,打开 https://github.com/Mintplex-Labs/anything-llm/releases/latest,在 Assets 里下载名字叫 AnythingLLMDesktop.exe 的那个文件,396.6MB。

装什么:AnythingLLM Desktop 1.20.0(2026 年 11 月 17 日发布)。软件本身占几百兆硬盘,后面下载的模型另算(2B 约 2GB,9B 约 7GB)。

怎么操作:双击下载好的 AnythingLLMDesktop.exe,如果弹出选择安装范围的窗口,选「仅为我安装(不需要管理员权限)」,然后一路点「下一步」,装完它会自己启动。

看到什么算成功:程序窗口自己弹出来,标题栏或设置页里版本号显示 1.20.0;开始菜单里能搜到 AnythingLLM;桌面出现快捷方式。

出错怎么办:如果出现蓝色窗口「Windows 已保护你的电脑」,点左下角「更多信息」,再点「仍要运行」——这是未购买代码签名证书的安装包在 Windows 上的常见提示,不是病毒。如果双击后毫无反应,右键安装包 → 属性 → 底部「解除锁定」勾上 → 确定,再双击。



安装三步:下载 → 双击 → 向导里挑模型,全程没有命令行

步骤 2|在向导里挑一个本地模型

去哪拿:模型不用你去网站找,软件里自带下载器。首次启动会进入设置向导,第一步就是「LLM 首选项」(也就是让选「用哪个大脑」)。

装什么:在提供商列表里选最上面那一项,图标是 AnythingLLM 自己的标志、描述里带「内置 / Built-in」字样的那一项——这就是 1.20.0 新塞进来的内置引擎(内核是 Lemonade + llama.cpp)。选它之后,下面的模型表格会列出 84 个可下载模型。

怎么操作:在模型列表里按内存/显存挑一个(对照下面这张表),点它右边的下载按钮,等进度条走完。老笔记本(8GB 内存、核显)选 Qwen3.5-2B,2.01GB;16GB 内存的办公机选 Qwen3.5-4B,3.58GB(这个能看图);有 8GB 显存显卡的选 Qwen3.5-9B,6.88GB。

看到什么算成功:模型名字从「下载中」变成可以直接选中,状态显示为就绪;在对话界面发一句「你好」,几秒内开始出字(纯 CPU 会明显慢一些)。想再确认文件真的落盘了,按 Win + R,输入 cmd 回车,在黑窗口里粘这一行:

dir "%APPDATA%\anythingllm-desktop\storage\models"

回车后应该看到一个 .gguf 结尾的文件,后面的数字是字节数——Qwen3.5-4B 那个大约 3.8×10⁹ 字节,和下载时显示的 3.58GB 对得上。如果这条命令提示「找不到路径」,说明模型还没开始下,回向导里重新点下载。

出错怎么办:报 下载失败 或进度条停在某个百分比不动,先点暂停、再点继续(断点续传),实在不行就换小一号的 2B 先跑通;报 CUDA out of memory(显存不够)就是模型选大了,关掉浏览器和游戏,或者退回 4B。



内置模型目录里的六个常用档位,体积取自软件内的模型清单

步骤 3|嵌入器和向量库:两个都不用动

装什么:向导后两步会问「嵌入器」和「向量数据库」。嵌入器选默认的 AnythingLLM Native Embedder(自带,不用下载、不用填 Key);向量库选 LanceDB。

怎么操作:什么都不改,直接点 Next / 下一步往下走。

看到什么算成功:向导走完,进入主界面,左边能看到「New Workspace」按钮,而且全程没有要求你填 API Key、没让你登录、没让你绑卡。

出错怎么办:如果某一步突然让你填一串 sk- 开头的密钥,说明你在上一步把提供商选成了 OpenAI、Claude 这类云端服务。返回上一步,重新选「内置」那一项即可。

步骤 4|把界面切成中文

怎么操作:点左下角的齿轮图标进设置,找到「外观 / Appearance」,语言下拉里选简体中文,点保存。想让它更像个正经软件,顺便在同一个页面把主题切到深色。

看到什么算成功:左侧导航变成「工作区」、设置里出现「嵌入首选项」「向量数据库」这些中文标题——官方的中文语言包本来就有,只是默认跟系统语言走。

出错怎么办:如果下拉里没有中文,把软件完全退出(托盘图标右键 → 退出)再打开一次;仍然没有就去 GitHub 下最新版覆盖安装。

步骤 5|建个工作区,把资料拖进去

怎么操作:点左侧的「+ New Workspace」,名字填家里资料库(一个工作区放一类资料,别把合同和菜谱混在一起,回答会更准)。进入工作区后,点输入框上方的上传图标,或者直接把 PDF 拖进窗口;文件出现在上传队列后,一定要点那个「Move to Workspace」按钮——这一步是把文件真正切碎、算成向量存进库里。

看到什么算成功:文档列表里出现文件名,状态先是「上传中」,接着变成「嵌入中」,最后变成一个正常的文件名条。300 页左右的 PDF,普通笔记本大约几十秒到两三分钟,取决于 CPU 快慢。传完在右上角能看到这个工作区的文档数和向量数都在涨。

出错怎么办:报 File too large 就把大 PDF 按章节拆成几个文件再传;传上去但列表里一直显示 0 个文档,就是漏点了「Move to Workspace」,回上传队列补点一次;扫描件、拍照转的 PDF 传进去问不出东西,先拿 OCR 工具转成带文字层的 PDF(这类文件本身没有文字,软件里没有字可搜)。



喂资料的三步:建工作区 → 拖文件并移入工作区 → 等嵌入完成再提问

步骤 6|提问,然后学会看「来源」

怎么操作:在输入框里直接问,比如「租房合同里押金怎么退,写的是第几条」。等它答完,回答下面会有一行小字 Sources(来源),点开能看到它翻的是哪个文件、第几页、引用的原句。

看到什么算成功:回答里出现你文件中的具体条款、金额、日期,而不是「根据一般情况」这种空话;Sources 点开后页码对得上你手里的那份文件。

出错怎么办:回答「I could not find any relevant information」通常是文件没进库(回步骤 5 补点 Move to Workspace);回答跑题就在提问里带上文件名,例如「按 2024采购合同.pdf 里的条款,违约金怎么算」,命中率会明显提高。

步骤 7|断网验证一次,你就信了

怎么操作:把 WiFi 关掉、网线拔掉,回到同一个工作区,问刚才那个问题。

看到什么算成功:答案照出,Sources 照显示,只是速度取决于你的 CPU/显卡——这就是它和网页版 AI 最本质的区别。如果断网后报错,说明模型没下完或者你其实连的是云端模型,回步骤 2 检查。



断网前后对比:模型与向量库都在本机,拔网线不影响回答与引用标注

进阶玩法:跑顺了再折腾这几样

换更大的模型。 8GB 显存的游戏本可以上 Qwen3.5-9B(6.88GB,支持看图,把截图拖进去它能读图上的字);12GB 显存上 Gemma-4-12B(7.29GB);16GB 显存上 Qwen3-14B(9GB)。换模型在设置里点两下就行,不用重装软件。

接你已经在用的 Ollama。 如果你本来就装了 Ollama(那个小海豚图标),可以不动内置引擎,改用它:设置 → LLM 首选项 → 选 Ollama → 地址填 http://localhost:11434 → 保存 → 在工作区右上角的模型下拉里选你 pull 过的模型。适合已经有 14B、32B 模型的用户。

顺手把会议录音转成文字。 设置 → 转录模型 → 选内置 Whisper,第一次用会自动下模型,之后完全离线。官方给的门槛是至少 2GB 内存、单个文件小于 10MB(大约 10 分钟录音),一小时的会就切成六段传,成功率更高。

开 Agent 干杂活。 工作区设置里能打开代理能力:让它上网抓页面、把聊天结果导成图表、按 cron 定时跑任务、读写本机指定文件夹。这部分是它的加分项,不影响前面那条最小路径。



内置 Whisper 的转写设置:2GB 内存、单文件 10MB 是官方给的门槛

你的机器能不能跑:四个档位对号入座

档位

显存 / 内存门槛

适合谁、能干什么

老笔记本、核显办公机

8GB 内存,不需要独立显卡

学生、退休在家的人:2B 模型,做摘要、找条款、写周报,慢一点但能用

主流办公机

16GB 内存,核显即可

上班族:4B 模型能看图,合同、报表截图直接扔进去问

万元游戏本

8GB 显存 + 16GB 内存

数码爱好者:9B 模型,几十万字的长文档通读、多轮追问不跑偏

台式机 / 高配本

12GB 显存 + 32GB 内存

要长期当生产力工具:12B 模型,接近网页版大模型的体验



四个档位对号入座:显存不够会自动把算力分给 CPU,不会直接崩

低配层的实话:8GB 内存的核显老本跑 2B 模型是能用的,问摘要、找条款、翻译一段都没问题,只是回答速度大概每秒五六个字,长文档嵌入会慢。它能干的是「不花钱、不外传」的活,不是和云端旗舰比聪明。

主流消费层的实话:8GB 显存的游戏本跑 9B 这一档,日常问答基本是秒回,几十页 PDF 的检索问答很稳;它支持看图,把发票、报表截图丢进去问也行。这一档已经能干正经活。

还要看两件事:硬盘至少留 10GB(软件 700MB + 一个 9B 模型 7GB + 向量库若干),系统 Windows 10 及以上、macOS 11 及以上都能装;公司电脑如果装了管控软件,装之前先问一句 IT,别自己硬来。



新手最常卡的三处:下载停住、忘记移入工作区、扫描版 PDF 没有文字层

同期值得关注

1. 商汤开源 SenseNova Loop-9B,10GB 显存就能跑。 11 月 17 日晚发布正式版,靠「循环复用模型层」把 9B 参数堆出约 27B 级的推理深度,4bit 权重只有 4.9GB,官方给的部署门槛是显存 10GB 以内,上下文最长 512K(能一口气吞下几十万字),还支持图片输入。想马上跑得等推理框架跟进——目前官方权重要用专用运行环境,普通的一键工具还认不了这个新架构。

2. 腾讯混元 Hy4 flash 官宣开源。 今天 IT 之家首页的消息,国产开源又多一个选择,具体参数量和能不能落在消费级显卡上,等权重放出来才知道。

3. 微软一天发了半个模型库。 MAI Image 2.7 号称「全球第一修图模型」,用五分之一的价钱在榜单上压过 GPT Image 2.6;同批还有 MAI Code 2(成本约为 Claude Opus 5.5 的 5%)、MAI Realtime 1 语音对语音模型(每分钟 0.01 美元起)。都是云端 API,不是本地玩法。

4. 快手可灵 Image 4.0 上线。 首次支持原生 8K,一张图里能生成 2000 字,做海报、长图的人可以留意,属于网页端产品更新。



四个数字收尾:397MB 安装包、84 个内置模型、0 元、0 次必须联网

本文数据与配图来源:AnythingLLM 官方桌面版页面与 GitHub 仓库(Mintplex-Labs/anything-llm,含 README、内置模型清单 models.json、v1.20.0 发布记录中的安装包体积、星标与协议信息),产品界面图取自官方公开素材,其余图表按官方模型清单与门槛数据自行绘制;同期条目分别来自商汤官方发布信息、IT 之家与各家官方公告。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
AZEC峰会散场,11国收到特殊邀请,高市早苗喊话,把石油存进日本

AZEC峰会散场,11国收到特殊邀请,高市早苗喊话,把石油存进日本

临云史策
2026-11-19 21:00:13
10 亿、B300 大单:黄了

10 亿、B300 大单:黄了

云头条
2026-11-20 01:32:10
舍甫琴科回应穆德里克:若有证据就拿出来,否则希望他道歉

舍甫琴科回应穆德里克:若有证据就拿出来,否则希望他道歉

懂球帝
2026-11-20 02:47:48
美国打死都没想到!早些年,大量外逃的中国腐败和经济犯罪嫌疑人,把美国当成了最稳妥的藏身窝点

美国打死都没想到!早些年,大量外逃的中国腐败和经济犯罪嫌疑人,把美国当成了最稳妥的藏身窝点

扶苏聊历史
2026-09-21 16:57:44
皇马第13轮主场迎战塞尔塔首发前瞻:楚阿梅尼、B 席复出但不先发,维尼修斯解禁,穆帅安排强攻阵容

皇马第13轮主场迎战塞尔塔首发前瞻:楚阿梅尼、B 席复出但不先发,维尼修斯解禁,穆帅安排强攻阵容

福酱的小时光
2026-11-20 06:42:11
恶劣!球员拿石头猛砸边裁致口鼻流血面部骨折被迫手术 被禁赛八年

恶劣!球员拿石头猛砸边裁致口鼻流血面部骨折被迫手术 被禁赛八年

狍子歪解体坛
2026-11-19 12:08:05
张泉灵旧照被考古,北大时期艳压群芳,美成女儿国国王

张泉灵旧照被考古,北大时期艳压群芳,美成女儿国国王

喵喵娱乐团
2026-11-19 16:06:01
湖人官方史书出限量版,最高售价9600美元

湖人官方史书出限量版,最高售价9600美元

热搜摘要官
2026-11-20 08:16:54
全网点赞!马斯克带娃亮相APEC,全家爱中国表现绝了

全网点赞!马斯克带娃亮相APEC,全家爱中国表现绝了

大厂财经社
2026-11-20 01:42:51
Anthropic敲钟,美股跳水:AI狂欢要结束了吗?

Anthropic敲钟,美股跳水:AI狂欢要结束了吗?

第一财经资讯
2026-11-20 07:16:18
被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

秋风妃
2026-11-18 21:50:07
泰钽700月销仅68台 别把消费者当傻子了

泰钽700月销仅68台 别把消费者当傻子了

汽车天涯
2026-11-18 15:26:37
有位俄罗斯专家直言:我并不担忧中国会败给日本,但我唯一担忧的是,中国会不会再次对日本宽厚,日本会不会把中国的克制当成冒险的通行证

有位俄罗斯专家直言:我并不担忧中国会败给日本,但我唯一担忧的是,中国会不会再次对日本宽厚,日本会不会把中国的克制当成冒险的通行证

扶苏聊历史
2026-11-17 15:53:30
中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

扶苏聊历史
2026-10-30 14:34:51
亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

极目新闻
2026-11-19 22:03:12
62人作弊被处理!陕西官方通报

62人作弊被处理!陕西官方通报

扬子晚报
2026-11-19 21:33:47
王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

巢客HOME
2026-11-19 11:00:09
千亿老板拎包,陪老父亲逛商场购物,再大的老板在爹面前也是孩子

千亿老板拎包,陪老父亲逛商场购物,再大的老板在爹面前也是孩子

Mz娱乐前沿
2026-11-19 21:01:32
AMD直线跳水近11%市值蒸发超6000亿元,美股三大指数全线转跌,现货黄金跌破3700美元

AMD直线跳水近11%市值蒸发超6000亿元,美股三大指数全线转跌,现货黄金跌破3700美元

21世纪经济报道
2026-11-20 01:56:05
多国首脑在深圳开启逛街模式,每个人的路线选择都很有意思

多国首脑在深圳开启逛街模式,每个人的路线选择都很有意思

麓谷隐士
2026-11-19 22:19:16
2026-11-20 08:36:49
呼呼历史论
呼呼历史论
分享有趣的历史
737文章数 18738关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
艺术
本地
时尚
公开课

房产要闻

6.6亿!海口卖地!

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

本地新闻

乌兰察布:以前种土豆,现在种Token

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版