网页版 AI 一个比一个爱限额,这台软件偏反过来:安装包 397MB,装完自带 84 个本地模型,你的合同、论文、会议录音全进本地书库,拔掉网线照样能问。它叫 AnythingLLM,昨天刚更新 1.20.0 版。
先说清楚它能干什么
把家里那些散在各处的资料——十年攒下的 PDF 合同、公司的制度文件、孩子的教辅、几十份会议录音——一次性丢进一个软件里,然后用大白话提问:「去年那份采购合同的违约金是怎么写的」「我这份体检报告哪几项超标」「这批报销里有没有重复报的」。它会翻你的文件,给出答案,还带出处页码。
关键在于这一整套都跑在你自己电脑上:模型在你硬盘里,资料切片后的「向量库」(把文字变成能快速比对的数字,方便它瞬间翻到相关段落)也在你硬盘里,聊天记录同样在本地。断网照样用,没人看得到你问了什么。
这次更新的 1.20.0 版是 11 月 17 日发的。它最大的变化是把本地推理引擎直接塞进了安装包:以前玩本地模型要先装 Ollama 或 LM Studio,再回来配地址、端口、模型名,这一版不用了——装完在界面里点两下就有一个能对话的本地 AI。官方原话是「跑本地模型无需额外设置,英伟达显卡走 CUDA,AMD 和英特尔核显走 Vulkan」。
几个能核对的事实:GitHub 上 68393 星、7729 个 fork,MIT 协议;Windows 安装包 396.6MB;内置模型目录里一共 84 个模型,最小的 0.25GB,最大的 79.6GB;嵌入模型(负责把文档变成向量)和向量数据库都自带,默认的 LanceDB「不需要任何配置」。个人用全部免费,不用注册账号。
![]()
产品界面:左侧是资料库和会话列表,右侧对话里每个回答下方都有 Sources 角标
最小可用路径:十分钟把它跑起来
下面这条路我按「从没装过这类软件」的标准写,一步只干一件事。全程只有界面操作,不用命令行、不用 Docker、不用配环境变量。请按顺序做,别跳步。
步骤 1|把安装包下载下来
去哪拿:浏览器打开 https://anythingllm.com/desktop,页面上找到 Windows 那一栏,点 Download。如果这个页面打不开,打开 https://github.com/Mintplex-Labs/anything-llm/releases/latest,在 Assets 里下载名字叫 AnythingLLMDesktop.exe 的那个文件,396.6MB。
装什么:AnythingLLM Desktop 1.20.0(2026 年 11 月 17 日发布)。软件本身占几百兆硬盘,后面下载的模型另算(2B 约 2GB,9B 约 7GB)。
怎么操作:双击下载好的 AnythingLLMDesktop.exe,如果弹出选择安装范围的窗口,选「仅为我安装(不需要管理员权限)」,然后一路点「下一步」,装完它会自己启动。
看到什么算成功:程序窗口自己弹出来,标题栏或设置页里版本号显示 1.20.0;开始菜单里能搜到 AnythingLLM;桌面出现快捷方式。
出错怎么办:如果出现蓝色窗口「Windows 已保护你的电脑」,点左下角「更多信息」,再点「仍要运行」——这是未购买代码签名证书的安装包在 Windows 上的常见提示,不是病毒。如果双击后毫无反应,右键安装包 → 属性 → 底部「解除锁定」勾上 → 确定,再双击。
![]()
安装三步:下载 → 双击 → 向导里挑模型,全程没有命令行
步骤 2|在向导里挑一个本地模型
去哪拿:模型不用你去网站找,软件里自带下载器。首次启动会进入设置向导,第一步就是「LLM 首选项」(也就是让选「用哪个大脑」)。
装什么:在提供商列表里选最上面那一项,图标是 AnythingLLM 自己的标志、描述里带「内置 / Built-in」字样的那一项——这就是 1.20.0 新塞进来的内置引擎(内核是 Lemonade + llama.cpp)。选它之后,下面的模型表格会列出 84 个可下载模型。
怎么操作:在模型列表里按内存/显存挑一个(对照下面这张表),点它右边的下载按钮,等进度条走完。老笔记本(8GB 内存、核显)选 Qwen3.5-2B,2.01GB;16GB 内存的办公机选 Qwen3.5-4B,3.58GB(这个能看图);有 8GB 显存显卡的选 Qwen3.5-9B,6.88GB。
看到什么算成功:模型名字从「下载中」变成可以直接选中,状态显示为就绪;在对话界面发一句「你好」,几秒内开始出字(纯 CPU 会明显慢一些)。想再确认文件真的落盘了,按 Win + R,输入 cmd 回车,在黑窗口里粘这一行:
dir "%APPDATA%\anythingllm-desktop\storage\models"
回车后应该看到一个 .gguf 结尾的文件,后面的数字是字节数——Qwen3.5-4B 那个大约 3.8×10⁹ 字节,和下载时显示的 3.58GB 对得上。如果这条命令提示「找不到路径」,说明模型还没开始下,回向导里重新点下载。
出错怎么办:报 下载失败 或进度条停在某个百分比不动,先点暂停、再点继续(断点续传),实在不行就换小一号的 2B 先跑通;报 CUDA out of memory(显存不够)就是模型选大了,关掉浏览器和游戏,或者退回 4B。
![]()
内置模型目录里的六个常用档位,体积取自软件内的模型清单
步骤 3|嵌入器和向量库:两个都不用动
装什么:向导后两步会问「嵌入器」和「向量数据库」。嵌入器选默认的 AnythingLLM Native Embedder(自带,不用下载、不用填 Key);向量库选 LanceDB。
怎么操作:什么都不改,直接点 Next / 下一步往下走。
看到什么算成功:向导走完,进入主界面,左边能看到「New Workspace」按钮,而且全程没有要求你填 API Key、没让你登录、没让你绑卡。
出错怎么办:如果某一步突然让你填一串 sk- 开头的密钥,说明你在上一步把提供商选成了 OpenAI、Claude 这类云端服务。返回上一步,重新选「内置」那一项即可。
步骤 4|把界面切成中文
怎么操作:点左下角的齿轮图标进设置,找到「外观 / Appearance」,语言下拉里选简体中文,点保存。想让它更像个正经软件,顺便在同一个页面把主题切到深色。
看到什么算成功:左侧导航变成「工作区」、设置里出现「嵌入首选项」「向量数据库」这些中文标题——官方的中文语言包本来就有,只是默认跟系统语言走。
出错怎么办:如果下拉里没有中文,把软件完全退出(托盘图标右键 → 退出)再打开一次;仍然没有就去 GitHub 下最新版覆盖安装。
步骤 5|建个工作区,把资料拖进去
怎么操作:点左侧的「+ New Workspace」,名字填家里资料库(一个工作区放一类资料,别把合同和菜谱混在一起,回答会更准)。进入工作区后,点输入框上方的上传图标,或者直接把 PDF 拖进窗口;文件出现在上传队列后,一定要点那个「Move to Workspace」按钮——这一步是把文件真正切碎、算成向量存进库里。
看到什么算成功:文档列表里出现文件名,状态先是「上传中」,接着变成「嵌入中」,最后变成一个正常的文件名条。300 页左右的 PDF,普通笔记本大约几十秒到两三分钟,取决于 CPU 快慢。传完在右上角能看到这个工作区的文档数和向量数都在涨。
出错怎么办:报 File too large 就把大 PDF 按章节拆成几个文件再传;传上去但列表里一直显示 0 个文档,就是漏点了「Move to Workspace」,回上传队列补点一次;扫描件、拍照转的 PDF 传进去问不出东西,先拿 OCR 工具转成带文字层的 PDF(这类文件本身没有文字,软件里没有字可搜)。
![]()
喂资料的三步:建工作区 → 拖文件并移入工作区 → 等嵌入完成再提问
步骤 6|提问,然后学会看「来源」
怎么操作:在输入框里直接问,比如「租房合同里押金怎么退,写的是第几条」。等它答完,回答下面会有一行小字 Sources(来源),点开能看到它翻的是哪个文件、第几页、引用的原句。
看到什么算成功:回答里出现你文件中的具体条款、金额、日期,而不是「根据一般情况」这种空话;Sources 点开后页码对得上你手里的那份文件。
出错怎么办:回答「I could not find any relevant information」通常是文件没进库(回步骤 5 补点 Move to Workspace);回答跑题就在提问里带上文件名,例如「按 2024采购合同.pdf 里的条款,违约金怎么算」,命中率会明显提高。
步骤 7|断网验证一次,你就信了
怎么操作:把 WiFi 关掉、网线拔掉,回到同一个工作区,问刚才那个问题。
看到什么算成功:答案照出,Sources 照显示,只是速度取决于你的 CPU/显卡——这就是它和网页版 AI 最本质的区别。如果断网后报错,说明模型没下完或者你其实连的是云端模型,回步骤 2 检查。
![]()
断网前后对比:模型与向量库都在本机,拔网线不影响回答与引用标注
进阶玩法:跑顺了再折腾这几样
换更大的模型。 8GB 显存的游戏本可以上 Qwen3.5-9B(6.88GB,支持看图,把截图拖进去它能读图上的字);12GB 显存上 Gemma-4-12B(7.29GB);16GB 显存上 Qwen3-14B(9GB)。换模型在设置里点两下就行,不用重装软件。
接你已经在用的 Ollama。 如果你本来就装了 Ollama(那个小海豚图标),可以不动内置引擎,改用它:设置 → LLM 首选项 → 选 Ollama → 地址填 http://localhost:11434 → 保存 → 在工作区右上角的模型下拉里选你 pull 过的模型。适合已经有 14B、32B 模型的用户。
顺手把会议录音转成文字。 设置 → 转录模型 → 选内置 Whisper,第一次用会自动下模型,之后完全离线。官方给的门槛是至少 2GB 内存、单个文件小于 10MB(大约 10 分钟录音),一小时的会就切成六段传,成功率更高。
开 Agent 干杂活。 工作区设置里能打开代理能力:让它上网抓页面、把聊天结果导成图表、按 cron 定时跑任务、读写本机指定文件夹。这部分是它的加分项,不影响前面那条最小路径。
![]()
内置 Whisper 的转写设置:2GB 内存、单文件 10MB 是官方给的门槛
你的机器能不能跑:四个档位对号入座
档位
显存 / 内存门槛
适合谁、能干什么
老笔记本、核显办公机
8GB 内存,不需要独立显卡
学生、退休在家的人:2B 模型,做摘要、找条款、写周报,慢一点但能用
主流办公机
16GB 内存,核显即可
上班族:4B 模型能看图,合同、报表截图直接扔进去问
万元游戏本
8GB 显存 + 16GB 内存
数码爱好者:9B 模型,几十万字的长文档通读、多轮追问不跑偏
台式机 / 高配本
12GB 显存 + 32GB 内存
要长期当生产力工具:12B 模型,接近网页版大模型的体验
![]()
四个档位对号入座:显存不够会自动把算力分给 CPU,不会直接崩
低配层的实话:8GB 内存的核显老本跑 2B 模型是能用的,问摘要、找条款、翻译一段都没问题,只是回答速度大概每秒五六个字,长文档嵌入会慢。它能干的是「不花钱、不外传」的活,不是和云端旗舰比聪明。
主流消费层的实话:8GB 显存的游戏本跑 9B 这一档,日常问答基本是秒回,几十页 PDF 的检索问答很稳;它支持看图,把发票、报表截图丢进去问也行。这一档已经能干正经活。
还要看两件事:硬盘至少留 10GB(软件 700MB + 一个 9B 模型 7GB + 向量库若干),系统 Windows 10 及以上、macOS 11 及以上都能装;公司电脑如果装了管控软件,装之前先问一句 IT,别自己硬来。
![]()
新手最常卡的三处:下载停住、忘记移入工作区、扫描版 PDF 没有文字层
同期值得关注
1. 商汤开源 SenseNova Loop-9B,10GB 显存就能跑。 11 月 17 日晚发布正式版,靠「循环复用模型层」把 9B 参数堆出约 27B 级的推理深度,4bit 权重只有 4.9GB,官方给的部署门槛是显存 10GB 以内,上下文最长 512K(能一口气吞下几十万字),还支持图片输入。想马上跑得等推理框架跟进——目前官方权重要用专用运行环境,普通的一键工具还认不了这个新架构。
2. 腾讯混元 Hy4 flash 官宣开源。 今天 IT 之家首页的消息,国产开源又多一个选择,具体参数量和能不能落在消费级显卡上,等权重放出来才知道。
3. 微软一天发了半个模型库。 MAI Image 2.7 号称「全球第一修图模型」,用五分之一的价钱在榜单上压过 GPT Image 2.6;同批还有 MAI Code 2(成本约为 Claude Opus 5.5 的 5%)、MAI Realtime 1 语音对语音模型(每分钟 0.01 美元起)。都是云端 API,不是本地玩法。
4. 快手可灵 Image 4.0 上线。 首次支持原生 8K,一张图里能生成 2000 字,做海报、长图的人可以留意,属于网页端产品更新。
![]()
四个数字收尾:397MB 安装包、84 个内置模型、0 元、0 次必须联网
本文数据与配图来源:AnythingLLM 官方桌面版页面与 GitHub 仓库(Mintplex-Labs/anything-llm,含 README、内置模型清单 models.json、v1.20.0 发布记录中的安装包体积、星标与协议信息),产品界面图取自官方公开素材,其余图表按官方模型清单与门槛数据自行绘制;同期条目分别来自商汤官方发布信息、IT 之家与各家官方公告。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.