为了帮我在飞机上断网干活，这个Agent默默进化了10年…

马上年底，我真是太忙了。

不仅自己要做复盘总结，还得为总结跑各种数据、做报表，无聊又繁琐。牛马们，懂得都懂...

理论上这种工作可以用 AI 搞定，毕竟没啥技术含量。但我的难处是因为内部数据敏感，所以不能用云端大模型，着实让人捉急。

于是，看着层层堆积的文档和表格，我决定调研一下本地部署模型的 AI 产品。

*我的电脑桌面，被堆满了

翻了一圈后，我发现业内比较常见的本地模型方案就是 Ollama 和 LM Studio。但是！Ollama 得狂敲代码，LM Studio 还得自己倒腾模型文件，想想就更累了。

不过，紧接着我就在「甲子光年」的一篇文章中发现一款本地运行的 Agent —— Libra。据说它可以直接在 Mac 上本地运行 30B 模型，全程只用点击和输提示词，一行代码都不用敲。

我决定尝试一下。

结果就是，我居然在飞机断网的情况下，用它跑上了任务。

断网测试，它跑完任务还有点aha moment

当然，安装 Libra 肯定还得有网，我在出差等飞机的时候闲着无聊蹭了机场 Wi-Fi。

打开 Libra 官网

（https://www.greenbit.ai/）

如果用 Ollama，估计不是在命令行工具里敲 ollama pull llama2 拉模型，就是在装 Open WebUI 搞操作界面。没一两小时根本搞不完。

*下载 Libra 也就需要三十几秒

Libra 的产品界面让人很有安全感。

它和大家经常用的 AI 助手很像，用户在输入框里输入需求，再在左下角的 Button 里选择对话或者增强模式，让 Libra 分清楚这次进行的是沟通还是分析任务。

和其他 AI 工具不同的是，它作为一个端侧 Agent，可以在输入框右下角的按键里，选择本地模型或云端结合模式。在产品左下角的「模型选择」，可以选择 30B 或 4B 的端侧模型。

整体还是没什么使用门槛的。

这次利用飞机上的时间，我想让它帮忙做年终复盘里的数据分析任务。

看起来“增强模式”+“本地”的组合很合适，30B 的模型我怕我的 Mac 带不起来，而且需要订阅，就先用默认的 4B 模型吧。

一切设置OK，等飞机飞稳，我掏出电脑开始实测。

谨慎如我，先找了一份和复盘里数据类型类似的过期 Excel 做测试。

这个 Excel 里，有两款目前已经下线的产品的数据，包括DAU（日活跃用户数）、MAU（月活跃用户数）、付费用户数、产品营收等指标。我先让 Libra帮我分析一段时间内的数据，再总结业务变化并提出洞察。

我把数据存成 csv 文件丢给 Libra，提示词和用 Gemini、ChatGPT 的时候类似：你是一个数据分析专家，附件上传的是两款App产品的核心指标数据，你的任务是，帮我找到其中有价值的洞察，写一份数据分析报告。

然后，我就把它扔到一边，开始用飞机上的屏幕打麻将️。

大概过了半小时，我看到 Libra 发出了提示，任务完成了。

来看看 Libra 生成的结果。没想到，这个 4B 小模型还挺像那么回事。

它给了我一份9页的数据分析报告，把流量变化、用户活跃变化、营收波动等等分析了个遍。虽然没有ChatGPT、Gemini等工具的排版形式丰富，但整体够用了。

最令我惊讶的是，它指出了我上传数据中的一处错误：Libra 发现有一个月的产品 DAU 比 MAU 还高，这条数据应该被剔除。

这是当时产品 bug 带来的错误数据，我自己都忘记这件事了，现在被这个背后只有 4B 模型的 Agent 发现了 Bug。虽然模型小，但智商好像也不低啊...

下飞机后，我把 Libra 分别推荐给了一位律师和一位心理医生朋友。

他们也和我一样，因为工作敏感没办法使用联网的AI工具，不太想学Ollama。两位朋友试过之后，也感觉 Libra 这个端侧 Agent 没有出现预想中"小模型智商太低"的情况。

律师朋友在断网环境下上传了合同，让 Libra 找出条款中的漏洞以及对乙方不太友好条款。结果 Libra 不仅完成任务，还结合了法律条文做说明，引用了数据作支撑。

心理医生朋友也找了一份患者日记，断网让 Libra 做解读。结果 Libra 给出了一些专业化解读，还能量化出患者的心理状况。

当然，他们也反馈了一些 Libra 的缺点，比如执行任务的时间有点长，报告样式比较单一等。

综合三个人的体验，我总结了这个端侧 Agent 的特点。

优势：

• 在断网的环境下稳定可用；

• 操作简单，容易上手；

• 本地模型的智能性较强；

• 指令的遵循能力比较好，不太需要反复跑同样的任务；

• 生成的文档可以编辑、导出，支持多种格式。

缺点：

• 任务的耗时比较长；

• 生成文档的样式比较类似，不能直接生成 PPT；

• 有时生成的文档内容篇幅较短。

整体来说，虽然还有优化空间，但 Libra 为需要处理敏感数据的打工人提供了一个可用的选择。

一个期待已久的市场，一家公司10年的路程

其实不只是我，Local AI 以及端侧 Agent 一直以来都有市场需求。

像政务、大型企业、金融、医疗这种行业，总有大量的严肃场景里的敏感数据不便于使用云端大模型。再加上，在飞机、地铁等网络不畅的环境里，云端模型难以发挥作用，只能依赖本地。

但之前，这些行业里的很多朋友都没找到真能干好活的端侧产品。这一方面是因为端侧模型对端侧算力的要求高，但芯片难以支持。另一方面是因为端侧模型的参数都比较小，“智商”不够。

*Twitter 上知名AI博主分享的本地小模型失败案例：模型把AI界大佬Andrej Karpathy当成是超模和演员，还说他的超能力是极光，能变身成任何一个漫威角色（https://x.com/Yuchenj_UW/status/1978144157970661495）注：NanoChat的创造者正是Andrej Karpathy本人

这就是为啥 Libra 效果并不算炸裂，还能让我这么兴奋的一个原因——至少，端侧 Local AI 已经有了一个能跑起来的产品。

让我更激动的一件事是，它的出现还意味着端侧的技术链条快成型了。

首先是模型层面，这两年基础大模型的能力一直在提升，还有越来越多的头部模型厂，像 Google Gemma 系列、Qwen 都开始发力参数更小的模型。

硬件算力也一直在提升。目前 Mac 的最强芯片 M4 的神经网络推理算力大约是 38 TOPS，相比初代 M1 的 11 TOPS，推理算力有了两倍多的提升。现在的 Libra，也是跑在 M 芯片的 Mac 上，预计将在明年发布的 M5，算力只会更强。这些进展，意味着在本地运行模型时推理速度将会更快。

我又好奇地搜了下 Libra 背后的公司，发现原来这是一家专注于端侧智能 Local AI 方向的创企——GreenBit AI。

GreenBit AI 把自己定位为“低比特神经网络/模型优化 + 本地离线 AI 部署”的解决方案提供方。也就是说，这是一家擅长把“不降智”的模型放进各种机器里的公司。

这样一看，Libra 出现的逻辑就合理了很多——当需求和技术都在向 Local AI 靠拢，GreenBit 团队的能力补上了 Local AI 技术拼图中非常重要的一块，它自研了一整套 Local Agent Infra 技术，能让小模型不降智。

模型压缩这件事，业内通常的做法就是降比特数，代价是精度的下降。我看到，GreenBit AI 自研了一套 GBAQ（GreenBit-Aware Quantization）算法，能识别出模型里哪些权重是真正重要的，从而在量化的时候保护这部分，其余的部分就直接压缩。

从他们公布的数据看，这个方法在保持准确性的同时还能降低推理时 Token 消耗。这也是为什么同样是 4B 的本地模型，Libra 上的模型跑起来不会感觉“降智”。

*图源 Libra 官网

我还看到，这家公司居然已经在这个方向做了近10年。

一些文章里提到，GreenBit AI 的创始人杨浩进，博士毕业于德国 HPI （Hasso Plattner Institute）计算机系统工程院，从 2016 年就开始做 1-bit 神经网络（BNN），也就是最大程度压缩模型的技术。这个方向在当时算是非主流，因为那会儿大家都在堆参数、堆层数，把模型往大了做。

2018 年左右，BNN 因为精度问题被学术界逐渐冷落，但杨浩进还没有放弃。到了 2022 年，我看到他和团队推出了 BNext-L，在 ImageNet 上拿到 80.4% 准确率，算是让 1-bit 量化达到了可用的水平。

*图源甲子光年

这些技术经验都为刚刚提到的，能帮助模型识别重要权重的 GBAQ 算法提供了基础。

2023年，GreenBit AI 正式成立了。除了杨浩进，GreenBit AI 的核心团队成员大部分来自 HPI 的学者，也有来自华为、博世 AI 等机构的研究员。

*GreenBit AI 的创始人杨浩进

这让我意识到，原来前几天在飞机上断网用到的 Libra，是很多研究人员花了快十年的时间，趟过无数个坑，才出现在我面前的。

如果要给 Libra 提出更多的优化建议，我能说出很多。比如能不能提升任务执行速度，能不能加一些酷炫的交互，能不能加对话和分析之外的功能...

但看完了 Libra 背后的路程，我觉得，此时此刻的它已经是一个很有代表意义的产品。

*Libra（滑动查看更多）

但故事显然还没结束，就在我即将写完这篇文章的时候，看到 GreenBit AI 更新了自己的推特。帖子中的视频显示，支持 NVIDIA DGX Spark 的 Libra 即将上线了。这意味着在 Mac 之外，能用到 Libra 的设备更多了。

或许不久之后，我们都能在飞机上用到更好用的 AI 搭子。