我最爱的 LM Studio 替代品不是 Ollama，而是更快更轻量的它

本地 LLM 已经真正融入很多人的日常工作流，跑模型的工具也跟着火了起来。在我看来，如果你刚开始玩本地 AI，LM Studio 仍然是最容易上手的第一个运行器，Ollama 紧随其后。但它们并非唯一值得关注的选择，而且它们确实各有短板，所以值得多看看别的。

KoboldCpp 这个名字在我真正上手之前，就在自托管圈子里被反复提到。它跟 LM Studio 和 Ollama 一样，底层都是 llama.cpp，只不过那俩是在外面包了一层，而它打包一切的方式有所不同，而且同样的硬件跑起来，性能差距还挺明显的。

将所有内容打包进单个文件的运行器

下载体积小但功能丰富

KoboldCpp 是一个开源的用于运行本地 LLM 的单文件可执行程序，它自带一个叫 Kobold Lite 的内嵌网页界面，模型加载好之后，你实际聊天的界面就是这个。首个测试版于 2023 年 3 月发布，由 GitHub 上的 LostRuins 开发，其实比现在大家常聊的大多数本地运行工具都要早一些。开发者的设计理念全浓缩在仓库的标语里：“一个文件。零安装”。意思就是不用配 Docker Python 环境，不用装 CUDA 工具包，也不用 npm，我觉得很多人一开始就被本地 LLM 工具劝退，很大程度就是这个原因。

不过先快速提醒一句——koboldcpp-dot-com 被推定为一个钓鱼网站，跟这个项目没有任何关系。唯一合法的下载来源是 LostRuins/koboldcpp 下的 GitHub 发布页面，官方 README 里也明确说了这一点。

说实话，它的功能比“文本生成工具”这个标签所暗示的要丰富得多。GGUF 文本模型是它的核心功能，但 Kobold 还能用 mmproj 文件做图像识别，用内置的 Stable Diffusion.cpp 生成图片，用 Whisper 做语音转文字，通过好几个 TTS 引擎做文字转语音，甚至还能生成音乐。它同时提供兼容 OpenAI、兼容 Ollama 和 A1111 的端点，所以你原来在用的那些工具，它都能直接对接上。

KoboldCPP 凭什么甩开其他工具

速度差距最大

我最早注意到的就是速度上的差别，而且比我预想的还大。在相同的 Gemma 4 E4B 模型、相同的 12k 上下文，显然还有相同的 GPU 上，生成长一点的内容时，LM Studio 大概只有 11 tok/秒。Kobold 在完全一样的设置下能跑到接近 80 tok/秒。这可不是什么误差，同样的输出，花的时间差了好几倍。我重跑了好几次，就怕是自己看错了。

然后是音频输入，当你加载兼容的 mmproj 时，Kobold 会自动检测到。Gemma 4 的视觉投影模块其实也带了音频超参，我是看到终端在加载时把这些参数列出来，才发现的。LM Studio 目前还不支持音频输入，所以如果你的模型有这种模式，那你就完全用不上了。

Memory 是另一个值得一提的功能。Kobold Lite 有 Memory、Author's Note 和 AutoGenerate Memory，它们都可以在同一个面板中编辑。LM Studio 本身没有这个功能。虽然有社区插件可以实现，但插件这东西，你得先知道有它才能去找，找到了还得配置。工具自带你需要的所有东西，那肯定更省心。

ContextShift 是最后一个，而且它可能是所有功能里最出彩的一个。例如，当你在 LM Studio 中上下文窗口填满时，它会从头重新处理整个内容，这就是长回复之间出现停顿的原因。Kobold 则是直接挪动已有的上下文，而不是重建，因此无需重新处理。对长对话来说，这能省下不少时间，非常实用。

启动器让你看到实际在跑什么

没有什么藏在设置菜单里

我喜欢 Kobald 的一点是，当你打开它时，快速启动器会把所有东西一次性摊在你眼前。后端选择支持 CUDA、Vulkan 或 CPU，会自动检测到你的 GPU 型号，还有 GPU 层数、MMQ、FlashAttention、ContextShift、MMAP、上下文大小滑块、GGUF 路径字段等等（其中一半我甚至不需要或不太理解，但你需要的话，它们都在）。

LM Studio 将相同的控制项分散在模型加载浮窗和单独的设置面板中，而 Ollama 除了环境变量和 Modelfile 编辑之外，大部分控制项压根儿就没露出来。在 LM Studio 中，FlashAttention 和 GPU 卸载也不在同一个地方，而在 Ollama 中则藏在 shell export 后面，所以你根本没法一眼看清模型到底会怎么跑。

我认为，无论使用者是谁，拥有所有这些控制项都是一种优势。高级用户能自己调参，不用在菜单里翻来翻去；初学者则可以忽略其中的大部分内容，直接点 Launch 就行，因为默认值挺合理的。这种设置之所以可行，是因为 Kobold 就是一个包着 llama.cpp 的文件，你和它之间啥都没有。

其他运行器能做的它都能做，还能做得更多（也更快）

KoboldCPP 并不会把 LM Studio 或 Ollama 完全替掉，我大概还会把 LM Studio 留着轮着用，就是因为用到现在已经太顺手了。它只是同一个问题的另一种解法，面向的是那些想让运行器功能全但不臃肿的人，并且真正把 llama.cpp 在干什么给亮出来。