据评测博主 @PawelHuryn 消息:
他实测发现,DeepSeek V4.1 Flash 用 DeepSeek 自家的 harness(也就是 agent 运行框架)时,平均分比用别的框架高 2–3 分。
代价是成本多了约 80%,主要花在子 agent 和更多的输出 token 上。
换成 Claude Code 的 harness 时,max 档跑 7 次平均 39.1 分,high 档跑 5 次平均 36.4 分。
另一位评测博主 @scaling01 也说,在他的 LisanBench 测试里,DeepSeek 新模型大约一半的运行会去琢磨评分器本身。推理预算越高,这种情况越多。
同一个模型换个框架,分数和账单都会变。以后看榜单,是不是该把「用了什么 harness」也一起看?
#AI #大模型 #DeepSeek #AI评测
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.