同样的问题,同样的接口,同样的温度参数。一个模型交出了完整的推导过程和可运行的代码,另一个模型的回复框里却一片空白。这不是能力高下的问题,而是当前调用条件下,其中一个模型的推理预算先一步耗尽了。
测试在北京时间 2026 年 7 月 17 日至 18 日进行,对比对象为 Kimi K3 和 GPT-5.6-SOL。题目不是常规的简单问答,而是三道需要连续推理的高难度题:一道涉及模式重叠和二次矩的概率题、一道包含滑轮转动惯量和绳松弛切换的物理题、一道依赖闭包计算、多日容量和三级打破平局规则的 Python 编程题。两个模型使用相同的接口、相同的提示词和相近的输出上限,工具和网络连接均未开启。
![]()
结论先行:GPT-5.6-SOL 在三道题上都返回了完整的可见回答,数学和物理题的参考结果均正确。Kimi K3 在首次设定的 6500 token 上限下,数学和物理题都以 finish_reason=length 结束,可见回答为空。其中数学题即使将上限提升至 10000 token,输出仍然在中途截断。编程题则在约 245 秒后出现 read timeout。
测试配置
测试环境统一,接口为 POST https://cn.crazyrouter.com/v1/chat/completions,模型参数 temperature 设定为 0.2。初次请求中,数学和物理题的 max_tokens 设为 6500,编程题设为 7500。每道题都要求给出可验证的推导过程或可执行的代码,并记录 finish_reason、completion/reasoning token 数量、请求延迟、数值准确度以及代码能否在 Python 3.11 环境下独立运行。
关于延迟需要说明一点:初次并行请求时,GPT 的数学和物理请求返回了 HTTP 408,后续改为顺序重试。因此速度数据仅反映本次调用体验,不能用于绝对的性能排序。Kim i 的数学和物理请求中,接口记录的 reasoning token 在首次约为 6497,数学重测时约为 9997。这并不意味着 Kimi 缺乏推理能力,而是在当前问题设置和路由条件下,推理预算容易耗尽,导致调用方无法收到最终答案。
数学题:模式重叠考验的不是期望值,还有方差
题目设定为:抛一枚正面概率 p=3/5、反面概率 q=2/5 的硬币,直到首次出现序列 HHTH 为止,记所需抛掷次数为 T,求 E[T] 和 Var(T)。允许模式重叠。正确的向前自动机状态应为:S0=空前缀,S1=H,S2=HH,S3=HHT,S4=HHTH(吸收态)。其中关键的一步在于 S2 经 H 到 S2 的转移——HH 之后再出 H,最长后缀仍然是 HH,不能错误地回到空状态。
GPT-5.6-SOL 给出的解答完整覆盖了状态转移、二次矩展开和合理性检验。其建立的一次矩方程如下:M0 = 1 + p M1 + q M0,M1 = 1 + p M2 + q M0,M2 = 1 + p M2 + q M3,M3 = 1 + q M0。进一步构建二次矩方程后,得到 E[T]=715/54≈13.2407407407,E[T²]=195335/729≈267.9492455418,Var(T)=270115/2916≈92.6320301783。期望值还可以通过边界公式独立验证:HHTH 的非空真边界仅为一个字符 H,因此 E[T]=1/p+1/(p³q)=715/54,结果一致。Kimi 在 6500 和 10000 两种上限设置下均未能给出可见的推导过程,本次测试中数学准确度无法评分,仅记录为“预算内未完成”。
物理题:落地后约束消失,能量方程不能直接延续
场景配置如下:物体 A 质量 m_A=4.0 kg,位于倾角 25° 的粗糙斜面上,动摩擦因数 μ_k=0.18;物体 B 质量 m_B=3.0 kg,悬挂在绳端;滑轮质量 M_p=1.2 kg,半径 R=0.10 m。B 下降 1.50 米后触地,绳随即松弛。此后 A 继续沿斜面向上滑行 0.10 米,接触劲度系数 k=250 N/m 的弹簧。重力加速度 g 取 9.8 m/s²。
落地前阶段,绳张紧且无滑动,滑轮的等效惯性质量为 I/R²=(1/2)M_p=0.60 kg。联立两物体和滑轮的转动方程求解,得到加速度 a≈0.847 m/s²,触地时速度 v1≈1.59 m/s,此后 A 的速度 v2≈1.18 m/s,弹簧压缩量 x≈0.0835 米即 8.35 厘米。触地后,B 的速度因与地面碰撞而改变,A 仍具有沿斜面向上的速度,滑轮也可能继续转动。但题目明确写明绳立即松弛,因此 v_A=v_B=Rω 的关系不再成立,此后应只对 A 单独分析:v2²=v1²-2g(sinθ+μ_k cosθ)d,以及 1/2 m_A v2²=1/2 kx²+m_A g(sinθ+μ_k cosθ)x。
GPT-5.6-SOL 的解答验证了量纲一致性、无弹簧时的停止距离,以及弹簧能量与摩擦和重力耗散之和的匹配,数值上也保持一致。Kim i 在首次请求中未能给出可见回答,无法对比中间建模质量。
编程题:算法本身通过独立验证,但模型附带的样例有 bug
编程任务要求实现函数 optimize_release_plan(items, capacity_by_day, dependencies),需要处理的约束包括:每日容量限制、未设定日期的容量为零、直接和间接依赖关系的闭包计算、无效依赖与循环依赖检测,以及 value → risk → 排序后 ID 列表的三级打破平局规则。物品数量不超过 18,因此位掩码穷举可作为合理的基线方案。
GPT-5.6-SOL 的实现通过了依赖关系闭包、多日容量、打破平局规则、无效依赖和循环依赖的独立附加检查。但值得注意的一个细节是:模型自己附带的第一个 assert 示例中的期望值存在错误。这意味着“代码本体正确”和“示例测试全部通过”是两件需要分开评估的事。
总结来看,GPT-5.6-SOL 在本次测试中展现出更强的可见输出完整性和跨题型的答案交付能力,但编程题中自附样例的纰漏也提醒使用者,即便算法逻辑正确,模型生成的测试用例仍需要人工核验。Kimi K3 在数学和物理题上暴露出的推理预算耗尽问题,并非推理能力本身的缺陷,而是当前调用方式的限制——当输出被截断或超时,最终答案就无法送达调用方。对于需要长链推导的高难度题目,这可能是比答案错误更难排查的问题。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.