谷歌更新 Android Bench 基准测试，但 Gemini 表现仍落后

代码生成正成为大语言模型最热门的应用场景之一，但并非所有智能体在所有开发任务上都表现出色。谷歌今年早些时候专门针对大语言模型在 Android 应用开发中的表现创建了一套基准测试——Android Bench，而这一工具今天迎来了重大更新。排行榜新增了大量模型，谷歌同时引入了一套更易用的测试框架，并向开发者发出邀请，希望他们参与测试、提交反馈，共同推动 Android Bench 的未来发展。

尽管大语言模型是热门的编程工具，但也并非万能。要从有价值的输出中剔除低质内容，就需要选对工具。Android Bench 旨在通过 100 项 Android 开发任务，评估各路 AI 智能体的综合表现。自今年 3 月上线以来，谷歌已陆续引入成本与效率等新指标，同时纳入了更多开放权重模型。

为保持 Android Bench 的时效性，谷歌本次新增了八款模型，涵盖多款主流旗舰产品：Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus 以及 Qwen 3.7 Max。

事实上，Android Bench 最初发布时，谷歌自家的 AI 模型就未能登顶——OpenAI 的大语言模型以微弱优势领先。如今随着参赛阵容扩大，Gemini 的处境更加不乐观。在最新排行榜上，Gemini 3.1 Pro 位列第五，落后于 GPT 5.4、Claude Sonnet 5 和 Claude Fable 5。其中，Fable 5 表现尤为突出，以 84.5% 的测试准确率大幅领先。

不过，Fable 5 和 GPT 5.5 的运营成本极高——在 100 道题、10 次运行的基准测试中，Token 消耗费用超过 130 美元。Gemini 3.1 Pro 得分虽不及前者，但运行成本仅需 87 美元。定位为轻量级、低成本的 Gemini 3.5 Flash 反而是排行榜上成本最高的模型，原因在于其完成基准测试的耗时过长：每次运行费用高达 165 美元，耗时长达 28 小时。

谷歌旗下模型在 Android 编程性能上的差距，在该公司正大力推进智能体化开发转型的背景下显得尤为突出。显然，谷歌希望 Android 开发者在日常工作流中优先使用谷歌自家工具，这或许也是外界报道称谷歌已开始向开发者购买应用源代码用于 AI 训练的原因之一。

Android Bench 本身也将持续演进，不断引入新的工作流来测试各类模型。谷歌希望开发者能够积极参与 Android Bench 的建设，分享基准测试与开发任务。为降低参与门槛，谷歌已将测试框架切换为 Harbor。据官方介绍，这一测试沙盒让开发者能够更便捷地运行、评估并分享 Android Bench 的测试结果。

谷歌已基于 Harbor 框架重新运行了所有历史测试，以重新建立大语言模型性能的基准线。因此，即便底层测试内容尚未发生变化，此前公布的部分分数也出现了一定偏移。历史数据将以存档形式继续保留在线。

借助这一更易用的新框架，开发者可以将自己的开发任务接入 Android Bench 进行测试，并将结果提交供官方考虑纳入正式测试集。Android Bench 的 GitHub 页面已完成更新，提供了最新数据集及参与指南。

Q&A

Q1：Android Bench 是什么？它主要用来测试什么？

A：Android Bench 是谷歌于 2023 年 3 月推出的基准测试工具，专门用于评估大语言模型在 Android 应用开发任务中的表现。测试包含 100 项 Android 开发任务，涵盖代码生成等核心能力，并提供准确率、成本、效率等多维度指标，帮助开发者选择最适合 Android 开发的 AI 工具。

Q2：最新 Android Bench 排行榜中，哪款模型表现最好？

A：在最新排行榜中，Claude Fable 5 以 84.5% 的准确率位居榜首，表现最为突出。GPT 5.4 和 Claude Sonnet 5 紧随其后。谷歌自家的 Gemini 3.1 Pro 仅排第五，且 Gemini 3.5 Flash 虽定位轻量低价，却因运行时间过长导致每次测试费用高达 165 美元，成为榜单上成本最高的模型。

Q3：开发者如何参与 Android Bench 的测试贡献？

A：谷歌已将 Android Bench 切换至 Harbor 测试框架，大幅降低了开发者的参与门槛。开发者可以在本地运行自定义开发任务并在 Android Bench 中进行评估，之后将结果提交给谷歌，供官方考虑纳入正式测试集。相关数据集和参与说明已更新至 Android Bench 的 GitHub 页面。