北京
同一个模型，换一个运行框架，Terminal-Bench 通过率能差出 22.3 个百分点。这是 Kimchi 团队做的一次对照测试给出的结果，测试对象是 DeepSeek 在 2026 年 8 月 13 日开源的智能体运行时 DeepSeek Harness（下称 dsh）。
dsh 上线七周，GitHub 星标数已经到 239,003，fork 数 28.7k。热度摆在那里，于是 Kimchi 把它拉来和自己跑了一遍。
测的是什么
dsh 的定位是开源智能体运行时，模型适配器、工具注册表、会话日志和智能体循环本身都是插件。它自带四套预设，本质是工具、提示词和人设的不同组合，按会话选用。这次测了其中三套：
- minimal：两个工具，加一句系统提示词
- standard：完整智能体，全部工具、规划、委派和联网能力
- creator：在 standard 基础上再加能修改运行时自身的工具
测试条件统一：两边用同一个模型 GLM 5.3 flash，按 Terminal-Bench 官方方法，每套预设跑五次取平均通过率，全部以最高推理强度运行。
为什么不用 DeepSeek 自家的模型？Kimchi 给了两条理由。一是这本来就是框架对比，模型必须两边一致，否则等于同时测了两件事。二是公开场合存在 DeepSeek 模型在 Terminal-Bench 上分数虚高的说法，选模型时不想让模型本身先把胜负定下来。
分数摊开看
Kimchi 通过 69.4% 的任务，成本 36.03 美元。dsh 表现最好的一套预设通过率 47.1%。同一模型下，差距 22.3 分。
dsh 内部的离散度同样值得看。同模型、同基准，三套预设的通过率落在 44.0% 到 47.1% 之间，光靠组合方式就能让分数移动三个点。一个不注明所用框架的基准分数，只能算半个分数。
最有意思的是 minimal。两个工具、没有上下文压缩、系统提示词只有一句“你是一个有帮助的软件工程助手”，它拿到 46.9%，比工具全开的 standard 还高三个点。
Kimchi 在 8 月做过一次类似对比，同模型下测 Cursor、Claude Code、Opencode 和 Kimchi，框架之间的分差是 13 分。这次的结论方向一致：框架本身就是被测量对象的一部分。
测试在 2026 年 10 月完成，Kimchi 一侧条件相同，模型选择依据是此前测试中该模型的推理稳定性。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
