Gemma 4实测：本地AI终于不用在玩具和显卡之间二选一了

我差点错过Gemma 4。

见过太多"改变游戏规则"的开源模型，最后都是基准测试亮眼、实际体验拉胯。Google发布Gemma 4时，我照例等了一周，等 hype 散去，才自己动手试。

结果出乎意料。

过去几年，"本地跑AI"只有两个选项：要么是连对话都撑不起来的玩具模型，要么是一台比二手车还贵的顶配显卡主机。Gemma 4彻底打破了这个二选一——用了几天之后，我认为这是今年最重要的开源模型发布之一。

以下是我的实测发现：哪个型号适合你，以及为什么本地AI刚刚跨过了一道真正重要的门槛。

Gemma 4到底是什么？

这是Google最新的开源模型家族。"开源"意味着你下载权重文件，在自己的硬件上运行，全程不碰任何第三方服务器。没有API密钥，没有账单，没有人在后台读你的提示词。

三个型号，选错是最常见的坑：

1. E2B/E4B：轻量化版本，E4B能在树莓派5上跑

2. Dense 31B：密集架构，需要16-24GB显存

3. MoE 26B：混合专家架构，适合批量处理

三个型号都带这些功能：

• 原生多模态——图文一体，不是后期拼接

• 128K上下文窗口——塞得下一整个代码库或长篇小说

• 推理模式——结构化的分步思考

• 真·本地运行——E4B在树莓派5上能跑，树莓派

你该选哪个？

这里能省你一小时的摸索时间。

选E2B/E4B，如果……

你做边缘设备、移动端或物联网开发，或者只是想快速上手、不用操心显存。我在普通硬件上跑了E4B，表现确实惊艳。适合的场景：永不联网的本地语音助手、离线浏览器插件、网络盲区里的树莓派工具。

选Dense 31B，如果……

你有正经显卡（RTX 3090/4090级别，16-24GB显存），想要最好的输出质量——代码辅助、文档分析、创意写作。这个型号让我忘了自己没在调用云端API。

⚡ 选MoE 26B，如果……

你跑大规模任务，或者在意速度。混合专家架构每次只激活部分网络，听起来是小细节，但当你处理几千份文档时，成本归零、吞吐量起飞。

为什么这很重要

最近我一直在想一件事：本地AI和云端AI的差距，已经悄悄消失了。大多数人还没注意到。

三个具体场景：

隐私不再是妥协

医疗、法律、金融——这些领域的数据根本不能出本地。以前"本地"意味着用更差的模型。现在？Gemma 4 31B在代码任务上追平了GPT-3.5级别的表现，而你的数据从未离开硬盘。

成本结构彻底改写

云API按token计费，用得多付得多。本地模型是一次性硬件投入，之后无限使用。对于RAG系统、批量文档处理、内部工具——成本曲线在某个节点后完全翻转。

可靠性成为默认

云API会限流、会宕机、会改价格。本地模型只要你的机器开着，它就一直在。我在飞机上用31B写代码，没有Wi-Fi，零延迟，零意外。

实际跑起来的感觉

说几个具体数字。

E4B在树莓派5上的响应延迟约2-3秒——对于边缘场景完全可用。31B在RTX 4090上生成速度约15-20 token/秒，接近可用门槛。MoE 26B的吞吐量比同参数密集模型高2-3倍，显存占用反而更低。

128K上下文不是噱头。我塞了一个中型React项目的全部源码进去，问"这个组件为什么渲染两次"，它定位到了useEffect的依赖数组问题。不是检索增强，是真·长上下文理解。

多模态测试：丢了一张手写流程图的照片，问"这个逻辑有漏洞吗"，它指出了两个分支条件缺失的情况。没有调用外部视觉API，纯本地推理。

谁应该现在就用

不是所有人。如果你只是偶尔用ChatGPT写邮件，继续用就行。但以下几类人，Gemma 4可能是转折点：

• 开发者：想要Copilot级别的代码辅助，但代码不能上云

• 小团队：API账单开始刺痛，想拿回成本控制权

• 硬件玩家：那张4090终于有除了游戏之外的正经用途

• 边缘场景：工厂、野外、船舶——任何网络不稳定的地方

局限也得说清楚

31B需要24GB显存，对大多数人不是小数目。E4B虽然能跑，但复杂推理任务还是会露怯。多模态目前主要是图像+文本，视频和音频还没支持。工具调用（function calling）的实现比GPT-4粗糙，需要更多手工调试。

以及，"开源"不等于"无限制商用"。Gemma的使用许可对大规模商用有一些条款，部署前得读一遍。

我的判断

2024年会是本地AI的拐点年。Gemma 4不是唯一的原因——Llama 3、Mistral、Qwen都在 pushing 同样的边界。但Google这次把"能用"和"好用"的门槛同时往下拉了一大截。

最意外的发现？E4B在树莓派上的表现。这不是演示用的demo，是真正能嵌入产品的基线能力。当5瓦功耗的设备能跑128K上下文的视觉语言模型时，很多产品假设需要重写。

我现在的日常 workflow：31B负责深度任务，E4B跑在NAS上处理轻量查询，全部离线。云API只留给需要最新知识的搜索增强场景。

这个比例还在倾斜。