新论文揭奇怪现象

来源：市场资讯

（来源：观察者网）

（文/连政 编辑/吕栋）

近日，前Google DeepMind研究员舒迈洛夫（Ilia Shumailov）等8人发表的论文，将月之暗面Kimi K3所谓“蒸馏Claude”的说法，再次拉回人们的视线。

目前市面上的许多闭源模型为了维持技术壁垒，均对外隐藏了推理轨迹，因此论文研究人员本意只是寻求如何从Anthropic、OpenAI和Google等公司的大模型API中恢复这些被隐藏的推理轨迹。

然而，在成功恢复后，研究人员随手将解码得到Anthropic大模型Claude Opus 4.8推理轨迹的开头部分，预埋入其他几家大模型的推理区域，并让模型自行完成剩余推理和最终答案。

结果却显示，K3最后呈现给用户的答案，在措辞和结构上，明显靠近了Opus的答案。

在其中一个测试中，研究人员埋入的推理前缀只有两个Token，“We consider”。但在生成的可见答案前得100个Token中对比发现，K3样本与Opus答案的总重合度，从未预埋时的0.21明显升至预埋后的0.37。

三段推理轨迹分别来自Opus 4.8、预埋了Opus开头的K3，以及未预埋的K3，第二段出现了Opus式的响应

另一个测试中，研究人员将2个Token升到9个Token后，肉眼观察的K3推理开头也开始出现了与Opus相似的“classic problem/constant force”等路径，最终答案总重合度从0.17升至0.41。

随后研究人员又扩大了测试，也出现了相同的趋势。

研究人员使用了15道STEM、15道非STEM的HLE题目，正式实验统一预填每道题Opus推理轨迹的前1%，再让K3自由生成。结果显示，在加入Opus推理前缀后，K3在29道题上的答案都出现了Opus的风格漂移。

其中，STEM题平均指标从0.160升至0.305，非STEM则由0.203升至0.289。而作为对照的美国开源模型Inkling，则没有出现同等显著变化。将K3改为预埋Inkling的推理开头，也没有出现相同程度的效果。

K3埋入Opus式开头后（1、2行）提升了相似度，而当埋入Inkling的开头时（5、6行），则基本没有出现变化。

通常情况下，对于一个模型进行干预，是可以欺骗模型并得到自己想要的答案。但这些测试中仅提供了一个Opus风格的开头，也没有指明模型的型号，更不包括整套答案，因此研究人员把这一结果列为“令人惊讶”的发现之一。

不过，研究人员在附录开头专门作出免责声明，强调这些测试规模较小、题目集中于特定基准，被恢复的推理轨迹本身也来自模糊解码，未必与闭源模型真实内部推理逐字一致，不同模型的服务配置也并不完全可控。实验只能说明K3在这些特定干预下，对Opus表现出了“不寻常的行为兼容性”，且无法据此建立“复刻”或“蒸馏”的因果关系。

就像论文的另一项实验显示，在只给出原始问题、不提供Opus式推理开头时，研究人员估算，若想让K3逐字复现一段16个Token的Opus推理文本，在30道HLE问题上的查询量中位数仍约为10的10次方，也就是需要查询上百亿次。

但这组异常现象仍不可避免地让人联想到今年2月时，Anthropic对月之暗面的公开指控。

2月23日，Anthropic公开指控包括月之暗面在内的三家中国公司，声称通过约2.4万个欺诈账号与Claude进行了超过1600万次交互，其中月之暗面超过340万次。

Anthropic当时称，月之暗面针对智能体推理、工具使用、编程、数据分析等能力获取Claude数据，到了后期“还试图提取和重构Claude的推理轨迹”。而按照Anthropic的说法，这是“大规模蒸馏行为”。

到了7月17日，月之暗面正式发布新一代大模型Kimi K3，凭借超强性能，引发外界关注。随后，月之暗面副总裁黄震昕在接受媒体采访时就明确表示，K3性能跃升的核心来自底层原创架构创新，“并非对现有模型进行蒸馏复刻”。

K3发布时的Arena前端代码榜单。K3以1679分跃升17位至第一，领先当时的Claude Fable 5和GPT-5.6 Sol。

事实上，此次论文发现的“Claude痕迹”，从技术上也无法证明“K3是依靠蒸馏Claude变强的”，但是可以提供一种可能性，即K3在训练或后训练阶段接触过Claude的一些数据，所以学到了部分Claude的语言习惯、身份标签乃至推理模式。

然而需要要注意，即便如此，这些数据究竟是像Anthropic所说的那样靠主动蒸馏来的，还是因为与Claude使用了相同的第三方合成数据集，甚至是训练数据中广泛存在的Claude文本污染，单凭模型行为是无法区分。

另一方面，K3还是一个拥有2.8万亿总参数、1040亿激活参数的MoE架构模型，集成了Kimi Delta Attention、Attention Residuals、Stable LatentMoE等自研技术，并经历了大规模预训练和强化学习后训练的全流程。单硬指标来看，也不仅仅是通过对Claude发出几百万个问题就能得到的。

这也是为什么，曾任艾伦人工智能研究所大模型后训练负责人的美国知名AI研究员兰伯特（Nathan Lambert）认为，随着前沿模型越来越依赖大规模强化学习，单纯依靠其他模型输出进行蒸馏，对最终模型能力的作用正在减弱。

7月22日，兰伯特参加一次关于K3话题的播客节目

兰伯特指出，从Claude、GPT等模型获得的推理轨迹和工具调用数据，确实可以成为很好的监督微调或中期训练数据，帮助模型建立某些能力，但这更多相当于为模型“播种”。此后要把模型推向前沿水平，仍需要进行大规模强化学习以及大量数据、环境和训练工程工作。

目前，月之暗面并未就该论文结果，进行回应。

本文系观察者网独家稿件，未经授权，不得转载。