谷歌端侧模型实测：既是离线百科，也常犯低级错误

近期，谷歌正式推出了新一代开源模型系列Gemma 4，涵盖E2B、E4B、26B、31B四种规格。其中，E2B和E4B这两款“小参数”模型最大的亮点在于：可直接在智能手机、树莓派等终端设备上本地部署并离线运行。

正因为此，Gemma 4的两款轻量级模型一经亮相，便被不少业内人士称为“迄今为止最好用的端侧模型”。雷科技（ID：leitech）此前已发布两篇实测内容：一篇聚焦其逻辑推理与多模态能力，另一篇则关注其在国内千元机上的实际表现。经过一段时间的深度使用，雷科技的编辑团队也有了更多新的体会。

端侧模型：比百科全书还趁手的“随身知识库”

就在近日，苹果官宣硬件工程高级副总裁约翰·特努斯将接替蒂姆·库克，出任公司新任CEO。随后，国内外各大媒体纷纷刊发“为何库克选择他接班？”的深度解读。那么，把同样的问题抛给Gemma 4 E4B，它的回答又会如何？

在聊天框中输入问题后，这款谷歌端侧模型几乎是“零延迟”地开始了信息输出。单从交互体验来看，确实让人眼前一亮。（注：本次测试设备为iPhone 17 Pro Max，下同）

不过，由于生成文本量不小，模型最终用了46秒才输出完整的答案。

粗略浏览可以发现，它的回答已经能够较好解答大多数人的疑问。而这恰恰正是端侧模型的核心优势：在最低硬件成本（本地运行+零Token消耗）的前提下，给出一个“相对不错”的答案，或者说一个“够用”的解决方案。

今年热播的国产剧《太平年》引发了大量讨论。雷科技也向端侧模型提出了一个相关问题：吴越国在重税政策之下，为何还能维持八十余年的太平繁荣？这是一个相当专业且细化的历史问题，很多非历史专业的大学生都未必能说清楚。来感受一下E4B的回答水平：

从回答可以看出，端侧模型不仅仅是一本离线的“大百科全书”，它还能根据不同问题方向，有侧重地进行解答，甚至可以胜任各类专业领域的知识咨询。

谷歌Gemma 4 E4B模型的知识截止时间为2023年10月。也就是说，在此之前发生的所有公开记录的事件、科学发现、历史信息、文化知识等，理论上都可以向它提问。雷科技认为，这是端侧模型作为工具应用在当前阶段非常有价值的使用场景，尤其适合对古今中外各类信息抱有好奇心的用户。

在初步体验了配套的Google AI Edge Gallery App之后，雷科技编辑直接将这款应用放到了手机主屏的Dock底栏——因为几乎每天都会用到。

值得一提的是，谷歌表示，虽然Gemma 4的核心训练数据存在知识截止点，但模型系统会持续更新和微调，以不断提升理解和回答能力。

简单问题反而不靠谱：端侧模型“翻车”实录

本以为在基础知识领域，端侧AI模型已经能够完全胜任，结果现实给了我们一记重重的耳光。

Gemma 4 E4B模型，连李白的千古名篇《将进酒》都能给出错误的全文和作者信息。

究其原因，端侧模型整体参数量较小，发展至今仍然无法覆盖所有知识领域。即使强如谷歌Gemma 4也不例外，因此在不少细分领域会出现信息“失真”和“幻觉”现象。

对于古诗词、古籍或档案资料这类内容，与其让端侧模型直接输出原文，不如把原文丢给它，然后让它给出翻译或解读。

针对参数量小所导致的知识库信息不足问题，谷歌首次在端侧模型中引入了“智能体”能力。不过目前的信息检索功能只能联网访问在线百科（如维基百科），并未提供可下载的离线知识库作为“增量”资源。

除了常规的知识问答，以Gemma 4 E2B/E4B为代表的端侧AI模型也在努力赋能工作效率和任务协助场景。

在工具属性方面，我们本以为像检查文章基本语病这类工作完全可以交给端侧模型，但实际表现依然令人不太放心，尤其面对长段落文本时。

究其根本，类似语病检查这样的高精度任务，需要大量编辑语料和强语言分布记忆。端侧模型常常把“检查语病”混淆为“文本润色”，因为对它来说，直接给出润色和修改建议反而更容易。

值得注意的是，当你把“进行基本语病检查和修正”的指令发给端侧模型，它可能很难“理解到位”。但如果换成“进行基本语病检查（无语病不要改）”，模型的输出结果就会清晰不少

谷歌Gemma 4具备system role、function calling等控制能力，但前提是需要你把提示模板、任务边界、输出格式等尽量写得简单明了。

此外，经过实测，虽然Gemma 4原生支持超过140种语言，但在长文本语病检查这类复杂精细任务上，英文表现优于中文。这很可能是因为其预训练语料仍以英文为主导。

更适合专用场景？端侧模型的真正强项

除了上述情况，雷科技此前也已体验过Gemma 4 E4B的原生多模态能力（图像、音视频）。它可以直接识别图片内容，也能听懂简单的音频信息，看懂基础的视频内容。

在离网或网络较差的环境下，从相册发送一张图片，谷歌端侧模型就能给出该图像的基本信息。例如在飞机上，如果你对机上杂志或报纸的某张图片有“简单”的解读需求，就可以直接交给端侧模型来解答。

至于更复杂的图像、音频信息，目前的端侧模型依然难以理解“更深层次”的信息量。

那么，端侧模型目前最擅长的技能究竟是什么？毫无疑问是以下几项：离线翻译、计算器、简单解题与测试训练，以及相对专业领域（如健康等）的基础信息科普和咨询。

此前，谷歌已基于Gemma 3构建了专用翻译模型TranslateGemma。得益于专项训练，TranslateGemma 4B的性能可与更大规模的Gemma 3 12B基准模型相媲美。可以预见，谷歌很快就会推出基于Gemma 4的新一代专用翻译模型。

谷歌端侧模型与联网翻译工具的翻译效果对比（图片来源：雷科技）

无独有偶，腾讯混元近日也开源了手机端离线翻译模型Hy-MT1.5-1.8B-1.25bit，将支持33种语言的翻译大模型压缩至440MB。用户免费下载后即可在手机上直接运行，无需联网，官方宣称其翻译效果“比肩”商用翻译模型。

Gemma 4：端侧模型迈出的“不完美”第一步

最近几个月，各家云端大模型迭代飞快，参数量和智能化程度不断刷新纪录。相比之下，并非新概念的端侧模型也在奋力前行，力求早日落地开花。

经过一段时间的深度体验，雷科技最大的感受是：谷歌Gemma 4的推出，标志着端侧模型在移动终端落地上迈出了“不完美”的第一步。

以目前的能力水平来看，端侧模型主要推荐两类人群：

“百科向”用户：每天需要查询大量古今中外信息。当前端侧模型能够在某些领域更快、更直接、更有针对性地给出一个“初始版本”答案。

“工具向”用户：手机上安装了大量离线工具类App。当前端侧模型在翻译、计算器、简单解题、测试训练以及专业领域基础科普等方面有良好表现。

当然，如果你只是想尝鲜，或者想亲眼见证端侧模型的成长过程，也完全可以下载体验。

对于iPhone用户来说，即使苹果未来推出自家的端侧模型产品，大概率也只是谷歌Gemma后续能达到的水平。真正值得期待的“增量”或“增强”技能，主要在于端侧模型与手机各项操作指令的“完美协同”和“无缝融合”。

需要指出的是，谷歌Gemma 4端侧模型的回答和响应速度，与手机的运行内存和算力水平密切相关。iPhone用户建议运存8GB起步，推荐12GB；安卓用户建议运存12GB起步，推荐16GB。这样的配置，才能获得当前端侧模型的最佳运行体验。

至于如何在手机上下载谷歌Gemma 4端侧模型，步骤非常简单，国内用户均可体验：先在国区App Store或安卓应用商店下载配套App——Google AI Edge Gallery，然后即可在App内对相关端侧模型进行本地部署（下载）和使用。

有趣的是，端侧模型成了谷歌面向中国内地用户完全开放下载，并可直接使用的大模型产品。这似乎也预示着，谷歌端侧模型（注：经过审查和备案后）未来有可能全面部署甚至预装到更多国产终端硬件设备中，包括各类小型物联网终端。

谷歌在这方面已经开始发力。Gemma 4模型采用了业界通用的Apache 2.0许可，开发者可以更自由地使用、修改和分发该模型，消除了以往商业化应用中的诸多顾虑。同时，通过与谷歌Pixel硬件团队以及高通、联发科等移动芯片平台合作，谷歌试图让Gemma 4端侧模型在更多安卓设备（尤其是非高运存机型）上实现真正的“近乎零延迟”使用体验。

可以预见，随着未来旗舰手机（包括iPhone）运行内存全面迈入16GB时代，“小模型”更多、更强、更高效的技能表现（尤其是与智能体的更成熟联动），以及更大的本地知识库储备量，端侧模型必将为用户带来全方位的增强版体验。

这一天，已经不远了。