一个可靠的模型测试不能只看最后一行回答。7月17日的一次API对比中,测试方把中间值代回方程、实际执行生成代码,并单独评估了被截断的响应。
测试通过同一个API端点调用Kimi K3和Claude Fable 5,温度均设为0.2。第一轮最大令牌数4000,代码重试时提升到7000。两组模型拿到完全相同的提示词和验收标准:HTTP 200不算成功,必须比对最终结果、中间状态、finish_reason、可执行的Python代码以及相同的断言。
![]()
先看延迟。Claude Fable 5平均37.1秒给出回答,Kimi K3用时108.0秒,慢了将近两倍。但在数学任务中,速度的差异并没带来可靠性的同向变化。
数学题是一枚偏置硬币,正面概率3/5,计算首次出现序列HHTH的期望投掷次数,允许重叠。正确整体期望为715/54,约13.2407,过程中有三个关键中间值。Kimi K3用两种独立方法校验了状态机,中间值全部自洽;而Claude Fable 5虽然给出了正确的最终结果,但报告的两个中间值与它自己的方程组对不上。
物理题涉及完全非弹性碰撞、摩擦和弹簧压缩。两者都得出了碰撞后速度2.4 m/s、碰撞中损失21.6 J、最大压缩约0.2212 m。这组答案一致,没有出现冲突。
代码任务要求编写Python函数,按request_id合并重试记录,处理ISO‑8601时间戳,过滤左闭右开时间区间,聚合令牌和延迟,并实现多级排序。第一轮4000令牌时两个模型都触发了length截断;重试提升到7000令牌后,Kimi K3输出5199个完成令牌,耗时145.2秒,Claude Fable 5输出3710个完成令牌,耗时46.6秒,两人的代码都通过了全部8项assertion。
Kimi K3额外报告了约12500个推理令牌,这让中间步骤更透明、更可控,但同时也拉长了延迟,并在长代码场景中更容易被截断。
基于这些表现,测试方给出了三条使用建议:Claude Fable 5适合高频、可自动化验证的任务;Kimi K3适用于需要精确推导和中间值审计的场景;凡涉及长代码生成,必须结合finish_reason和实际运行结果来验收,不能只看表面通过。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.