网易首页 > 网易号 > 正文 申请入驻

快不一定准:Claude Fable 5仅37秒却现中间值错误,Kimi K3慢但验证更一致

0
分享至

一个可靠的模型测试不能只看最后一行回答。7月17日的一次API对比中,测试方把中间值代回方程、实际执行生成代码,并单独评估了被截断的响应。

测试通过同一个API端点调用Kimi K3和Claude Fable 5,温度均设为0.2。第一轮最大令牌数4000,代码重试时提升到7000。两组模型拿到完全相同的提示词和验收标准:HTTP 200不算成功,必须比对最终结果、中间状态、finish_reason、可执行的Python代码以及相同的断言。


先看延迟。Claude Fable 5平均37.1秒给出回答,Kimi K3用时108.0秒,慢了将近两倍。但在数学任务中,速度的差异并没带来可靠性的同向变化。

数学题是一枚偏置硬币,正面概率3/5,计算首次出现序列HHTH的期望投掷次数,允许重叠。正确整体期望为715/54,约13.2407,过程中有三个关键中间值。Kimi K3用两种独立方法校验了状态机,中间值全部自洽;而Claude Fable 5虽然给出了正确的最终结果,但报告的两个中间值与它自己的方程组对不上。

物理题涉及完全非弹性碰撞、摩擦和弹簧压缩。两者都得出了碰撞后速度2.4 m/s、碰撞中损失21.6 J、最大压缩约0.2212 m。这组答案一致,没有出现冲突。

代码任务要求编写Python函数,按request_id合并重试记录,处理ISO‑8601时间戳,过滤左闭右开时间区间,聚合令牌和延迟,并实现多级排序。第一轮4000令牌时两个模型都触发了length截断;重试提升到7000令牌后,Kimi K3输出5199个完成令牌,耗时145.2秒,Claude Fable 5输出3710个完成令牌,耗时46.6秒,两人的代码都通过了全部8项assertion。

Kimi K3额外报告了约12500个推理令牌,这让中间步骤更透明、更可控,但同时也拉长了延迟,并在长代码场景中更容易被截断。

基于这些表现,测试方给出了三条使用建议:Claude Fable 5适合高频、可自动化验证的任务;Kimi K3适用于需要精确推导和中间值审计的场景;凡涉及长代码生成,必须结合finish_reason和实际运行结果来验收,不能只看表面通过。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
你借的是电,它收的是命?共享充电宝:合法的“全城遛狗”套路

你借的是电,它收的是命?共享充电宝:合法的“全城遛狗”套路

视觉攻城狮
2026-07-17 19:00:38
死刑!刚出拘留所5天,广西男捅死21岁双胞胎妹妹,重伤姐姐!

死刑!刚出拘留所5天,广西男捅死21岁双胞胎妹妹,重伤姐姐!

听心堂
2026-07-17 16:37:14
澳门总决赛!中国女排VS美国,3好消息1坏消息,李盈莹伤愈复出

澳门总决赛!中国女排VS美国,3好消息1坏消息,李盈莹伤愈复出

丁蓳解说
2026-07-18 13:02:00
朝鲜战场惊天秘闻:林彪无缘志愿军司令的真正玄机

朝鲜战场惊天秘闻:林彪无缘志愿军司令的真正玄机

心灵短笛
2025-12-29 15:54:23
动物行为学发现一条违背直觉的铁律:对配偶越专一的雄性,体内睾酮水平却越低,不是忠诚让它变弱,而是专一本身在重塑它的生存策略

动物行为学发现一条违背直觉的铁律:对配偶越专一的雄性,体内睾酮水平却越低,不是忠诚让它变弱,而是专一本身在重塑它的生存策略

心理观察局
2026-07-18 06:35:11
向太曝施南生临终细节:手脚溃烂,徐克最难受 ,原来我们都被骗了

向太曝施南生临终细节:手脚溃烂,徐克最难受 ,原来我们都被骗了

东方不败然多多
2026-07-18 11:09:10
票房被偷!周星驰风波升级,向太、王晶接连下场,到底动了谁蛋糕

票房被偷!周星驰风波升级,向太、王晶接连下场,到底动了谁蛋糕

最美的笔触
2026-07-17 11:12:46
1930年,白崇禧与副官未婚妻生子,妻子马佩璋赶至南宁当面质问

1930年,白崇禧与副官未婚妻生子,妻子马佩璋赶至南宁当面质问

唠叨说历史
2026-06-18 15:46:16
她是外交部长乔冠华的掌上明珠,父亲再婚之后饱受继母冷落,就连家里佣人也敢借机刁难

她是外交部长乔冠华的掌上明珠,父亲再婚之后饱受继母冷落,就连家里佣人也敢借机刁难

磊子讲史
2026-07-16 15:05:38
小牛三款电动摩托车发布,限时一口价3999元起,最高续航100km

小牛三款电动摩托车发布,限时一口价3999元起,最高续航100km

Ping值焦虑
2026-07-18 04:01:35
快讯!伊朗传来新消息!

快讯!伊朗传来新消息!

有态度的何总
2026-07-18 11:20:10
奉陪到底!中方强势取消3500亿美芯订单,马斯克:这只是个开始

奉陪到底!中方强势取消3500亿美芯订单,马斯克:这只是个开始

荒野科技
2026-07-17 14:39:05
油价大降!一夜反转,7月18日全国92,95汽油“涨超0.24元/升”,7月刚大降的油价“又上涨”,下次调价时间确定,大涨开端!

油价大降!一夜反转,7月18日全国92,95汽油“涨超0.24元/升”,7月刚大降的油价“又上涨”,下次调价时间确定,大涨开端!

猪友巴巴
2026-07-18 10:16:43
2019年,声优女神乔碧萝被发现是“大妈”,如今7年过去,她怎么样了

2019年,声优女神乔碧萝被发现是“大妈”,如今7年过去,她怎么样了

从零到一研究所
2026-07-16 18:55:24
紫苏“补阳第一草”?这样用,把体内寒湿赶出去,阳气慢慢补回来

紫苏“补阳第一草”?这样用,把体内寒湿赶出去,阳气慢慢补回来

白米饭怎么吃
2026-07-16 10:36:41
古代嫔妃为什么大多无法生育?检查遗体后才发现,真相实在太可悲

古代嫔妃为什么大多无法生育?检查遗体后才发现,真相实在太可悲

浩渺青史
2026-06-09 20:28:48
明查|伊朗导弹击中美国“林肯”号航母是AI生成视频

明查|伊朗导弹击中美国“林肯”号航母是AI生成视频

澎湃新闻
2026-07-17 12:09:19
阿根廷,一个毫无体育精神的国家,世界杯上的毒瘤!

阿根廷,一个毫无体育精神的国家,世界杯上的毒瘤!

梦归秋辰
2026-07-18 14:18:11
口红效应一旦出现,就说明大家没钱了。

口红效应一旦出现,就说明大家没钱了。

老陆不老
2026-07-17 08:28:47
演员欧弟宣布与现任妻子全家移居日本,计划花190万元买房,妻女已提前去适应环境

演员欧弟宣布与现任妻子全家移居日本,计划花190万元买房,妻女已提前去适应环境

手工制作阿歼
2026-07-17 10:43:59
2026-07-18 15:40:49
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
304文章数 46关注度
往期回顾 全部

科技要闻

WAIC2026看什么?这份"不迷路"攻略请收好

头条要闻

彭水山体崩塌致8死34失联 亲历者:巨石砸下房子像豆腐

头条要闻

彭水山体崩塌致8死34失联 亲历者:巨石砸下房子像豆腐

体育要闻

德尚是非典型法国人 14年执教留下丰厚遗产

娱乐要闻

大S给具俊晔留遗产是昏头?实际上她清醒得很

财经要闻

股民当街砍博主!韩国股市 终极大屠杀

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

艺术
健康
手机
亲子
公开课

艺术要闻

243米!蒙古国未来第一高楼,最新施工现场!

刮痧也会刮出脑梗?讲个真实案例

手机要闻

首款安卓阔折叠手机规格曝光:内7.6/外5.5屏幕

亲子要闻

可爱小公主哈哈哈哈哈哈

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版