Snowflake 首席执行官 Sridhar Ramaswamy 分享了中国和美国顶级大模型的对比情况

来源：https://officechai.com/ai/snowflake-ceo-sridhar-ramaswamy-shares-detailed-post-comparing-opus-4-7-and-glm-5-2/

Z.ai 的GLM 5.2近日爆红网络，但一位高管分享了该模型与另一款前沿模型的比较情况。

Snowflake 首席执行官 Sridhar Ramaswamy发布了一份详细的分析报告，对比了 Z.ai 的 GLM-5.2 和 Anthropic 的 Claude Opus 4.7 在 dbt-bench 上的表现。dbt-bench 是一个用于评估人工智能模型在数据转换和分析工程任务中表现的基准测试工具。研究结果表明，虽然这两个模型最终的总体成功率几乎相同，但它们实现成功的方式却截然不同。

这项分析来自 Snowflake 的 Coco 团队，他们使用两种模型分别进行了 103 项辩证行为疗法 (DBT) 任务，每项任务均进行了三次试验。主要数据显示，两者的成绩几乎不相上下。GLM-5.2 的 Pass@3 得分为 66%，而 Opus 4.7 为 67%。然而，在首次尝试阶段，Opus 的优势更为明显，Pass@1 得分为 53.7%，而 GLM 为 47.6%。

值得注意的是，GLM-5.2作为一款开源模型，近几周来表现出色，引起了广泛关注。今年早些时候，中国的GLM模型家族就已经开始在编程排行榜上崭露头角，GLM-5.1更是成为Code Arena上排名最高的开源模型之一。

Ramaswamy指出，这些模型之间最大的区别之一在于它们处理任务的方式。GLM完成任务所需的轮数明显更多，平均为99轮，而Opus平均为80轮。此外，GLM执行相关的工具调用次数也更多，平均每次试验40次，而Opus平均每次试验29次。

这种差异体现在代币消耗上。在基准测试运行中，GLM 使用了 8.6 亿个计费代币，而 Opus 仅使用了 4.39 亿个。Snowflake 团队将此归因于对话轮次更多、原子 API 调用更多以及提示缓存重用率更低等因素的综合作用。

人们普遍认为 GLM 的验证工作更加彻底，但数据仅部分支持这一观点。研究发现，GLM 的验证方式不同，而非验证内容更深入。它通常一次执行一条 SQL 检查，而 Opus 则会将类似的检查捆绑在一起。虽然两种模型最终覆盖的范围相似，但它们的底层工作流程却截然不同。

研究结果也挑战了另一个常见的假设：更严格的验证必然会带来更好的结果。尽管 GLM 倾向于执行更多检查，但 Opus 在 Pass@1 指标上仍然领先 6 个百分点。正如 Ramaswamy 所说，“更多验证 ≠ 更正确”。

GLM 在跨平台验证方面展现出了明显的优势。该基准测试要求解决方案能够同时在 DuckDB 和 Snowflake 上运行。Snowflake 团队发现，GLM 在针对这两个目标进行验证时表现得更加稳定，这解释了 GLM 成功解决而 Opus 未能解决的几个任务。

该帖子还重点指出了两种反复出现的故障模式。在某些情况下，GLM模型由于无法从现有信息中推断出解决方案路径而过早放弃。团队举例说明的一个任务中，该模型在22个回合中执行了5次文件读取操作，但在停止前从未尝试过写入操作。

在其他任务中则出现了相反的问题。例如，GLM 在 24 分钟内进行了 411 次工具调用，以全面检查行数、分布、空值、列类型和平台一致性。但三次尝试均以失败告终。而 Opus 仅用 9 分钟就完成了同样的任务，调用次数仅为 49 次。

有趣的是，“GLM 使用的调用次数是其他模型的两倍”这种说法其实有些误导。在两个模型都能成功完成的任务中，GLM 的调用次数仅比其他模型多约 17%。较大的差距主要出现在一些复杂的边界情况中，在这些情况下，模型会进入冗长的验证循环。

Snowflake 的分析结论颇为微妙。验证量本身并不能可靠地预测成功。GLM 的几个最严重的失败案例都源于耗费大量精力验证任务的错误方面，而另一类失败则源于过早放弃任务。

尽管如此，拉马斯瓦米对该模型的未来仍持乐观态度。他表示，Snowflake 对 GLM-5.2 的前景“非常兴奋”，并期待进一步优化 Coco 的评估工具，最终将该模型提供给客户。

这篇文章罕见地揭示了前沿模型在基准排行榜之外的实际表现。虽然综合得分往往是讨论的焦点，但 Snowflake 的分析表明，模型达到这些得分的路径同样能够揭示其优势和劣势。

阅读最新前沿科技趋势报告，请访问21世纪关键技术研究院的“未来知识库”

未来知识库是 “21世纪关键技术研究院”建 立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。

截止到2月28日 ”未来知识库”精选的百部前沿科技趋势报告

（加入未来知识库，全部资料免费阅读和下载）