网易首页 > 网易号 > 正文 申请入驻

一人,合法,反超原版,王琰:填平闭源模型的思维链护城河

0
分享至



一个作者、一份技术报告,把整个行业最贵的一道护城河,变成了一个可以绕过去的工程问题。





先给一张图。两条实线是我们用原生思维链训出来的模型,颜色对应不同的老师(Claude 的 Fable 5 与 GPT-6.1-SOL);三条虚线是对照组,其中蓝色虚线就是直接用 Claude 的 Fable 5 思维链蒸馏出来的模型。大多数时候,实线压在共享同一份答案的虚线之上。

一、那道门,正在合拢

过去两年,AI 行业最激烈的一场暗战,从来不在榜单上——它只围绕一个问题:还能不能拿到最强模型的完整思维链。

先是 Anthropic 一方公开点名,指责中国模型公司「蒸馏」其输出;随后又宣布,针对蒸馏行为的打击已经达到90%–99%。再往后,DeepSeek 新发布的 Deepseek-V4.1-Flash-1017 被多方质疑蒸馏自GPT-6-Astra。紧接着,市场注意到一个耐人寻味的现象:一批中国模型公司,很久没有发布新的旗舰模型了。

没有官方解释,但圈内的猜测高度一致——如果不能再蒸馏,就不知道该拿什么训练下一代模型了。

这句话听起来像抱怨,其实是整个行业最不敢说出口的坦白:过去几年开源阵营的快速追赶,很大程度上建立在「看得见最强的推理过程」这件事上。而这件事,正在被闭源模型团队一行一行地关掉。

二、护城河从来不是模型权重


所有人以为护城河是模型权重。不是。

权重早就拿不到了,真正被卡住的是思维链——模型在给出答案之前的那段推理。过去,你可以调用最强模型的 API,拿到它完整的思考过程,然后拿来训练自己的小模型。这条路径便宜、干净、有效,几乎是算力落后 1–2 个量级的开源模型团队唯一能追上闭源前沿的方式。

现在,头部模型只回你一个答案,或者一段高度概括的摘要,推理过程被收走了。

理由写得很好听:安全、知识产权。但效果只有一个——你能学到的只剩「结果」,学不到「怎么想」。一个只给答案的老师,教不出会思考的学生。

而王琰在技术报告的摘要里,只用了半句话就把这套说辞掀翻了:

  • 这些团队自己,正是建立在蒸馏人类知识之上的——却不允许别人对他们做同样的事。
  • ——技术报告摘要,原文还附了一句「这有点讽刺」

这不叫保护,这叫把后来者的梯子抽走。

三、有人试过 hack,但 hack 不是正规途径


开源模型团队当然没有坐等。此前已有工作证明:供应商返回的加密 reasoning block 在不同模型之间是可互换的,只要回放得当,就能把被隐藏的思维链原样还原出来。

但针对这类 hack,官方已经部署了防御。Anthropic 在 2026 年 10 月 12 日的官方说明里写道:它已阻止较早的模型读取新款模型的受保护推理,并会持续封堵新的绕过方法——其中被点名封堵的,正是「在模型之间搬运 reasoning block」这条老路,也就是上面那篇论文用的手法。官方称,这些措施已把被蒸馏走的数据量压低了90%–99%

技术上,它「曾经」成立;合规上,它从来不成立——它直接违反了 API 的服务条款。以 Anthropic 为代表的闭源模型团队长期指责开源模型团队公然违反使用协议,建立或收购大量账号用于蒸馏。而现在,技术上也不成立了。笔者一位身处基模团队的朋友的原话是:基本上蒸馏 Claude 已经不可能了。

所以真正的问题是:有没有一条既能拿到思维链、又完全合法的路?

四、他给出的另一条路:不要你的推理,我自己写


王琰的答案,是一份叫TraceForge的技术报告,思路朴素得近乎冒犯——

既然拿不到你的思维链,那就自己生成一条。

方法叫family-native trace(原生思维链)。它不去还原老师的推理,而是让模型学会「像自己家族那样思考」:

  • 用同族模型(Qwen3.8-Max)自己写的一万条真实对话训练一个生成器,把其中的思维链遮住,让模型根据上下文和答案把它重新写出来;
  • 训练一个判别器,专门分辨「这是真轨迹还是生成轨迹」,参数量不低于生成器;
  • 两者进行五轮在线对抗:骗过判别器的样本拿去训练判别器,没骗过的拿去做偏好优化。



关键的一点是:整个训练过程里,没有任何一个 Claude 或 OpenAI 的 token 被送进梯度。训练数据全部来自允许合法蒸馏的同族模型。

老师在这套流程里只做一件事:提供一个答案。剩下的思考过程,学生自己写。

五、数字摆出来,故事就结束了


在同一批 5,000 条题目、同一套训练配方下,用 Qwen3.5-9B-Base 做学生,每个对照组各训 5,000 条样本,最终成绩是这样的——



三个结论,每一个都足够刺眼:

  • 它赢了「原版」。用自己生成的思维链,比直接蒸馏 Fable 5 的真实思维链,在 HumanEval+ 上高3.7分、MBPP+ 上高7.1分,而且 MBPP+ 的领先在每一个checkpoint 上都成立。

  • 它碾压了「同族最强」。拿 Qwen3.8-Max 自己的思维链和答案去训,反而比原生思维链低2135分。老师的能力是必要条件,但光有强老师不够——强老师还得用学生听得懂的语言讲课。

  • 它和「同行」不在一个量级。同样喂 GPT-6.1-SOL 的答案,只换合成器,一边是 59.15 / 60.05,一边是 3.66 / 6.61。差55 分和 53 分

更值得一提的是,在被要求「判定这条轨迹是否像真的」时,第三方裁判给出的平均概率是:真轨迹66%,生成轨迹经过对抗训练后68%,用判别器四选一之后82%

它不只是通过了检测,它比真的还像真的。

六、曲线里的三个秘密


回到开头那张曲线图,里面还藏着三个秘密。

第一个秘密:原版其实极不稳定。用 Fable 5 原生思维链训练的那组,在 600 步时 HumanEval+ 冲到 66.46,到 1,200 步却暴跌到,1,600 步又爬回 64.63。作者为排除评分错误,专门复跑了两次,分数纹丝不动。一个能自己修复的 33 分跌幅,不可能是噪声。他的解释是:老师的思维链风格与同族差得太远,模型为了把损失压下去,参数会被推离原来的分布很远;而偏离一旦过大,性能随之失稳。

第二个秘密:最难的开局,走出了最稳的曲线。原生思维链配 Fable 5 答案的那组,一路稳步涨到 68.29 和 59.52;而最戏剧性的是配 GPT-6.1-SOL 答案的那组:它一开始是五组里最差的(0.61 和 10.32),却是唯一在每一个checkpoint 上都上涨的一组,到 1,600 步时,两项平均已经反超原版。

第三个秘密:曾经辉煌过的两组,为什么崩了。另外两个对照组都有过高光时刻——同族最强模型自有数据那组,前 300 步就摸到 48.78;前人合成方法那组,900 步时也有 21.95 和 42.59 的局部高点。但最终,两组都趋于平庸。翻看输出,罪魁祸首很清楚:dead loop 和无意义重复越来越多——一句话换个说法又冒出来,算过的结果反复重算,训得越久症状越重。

关于造成这些现象的原因,作者在原文中进行了仔细分析,感兴趣者请移步原文。

七、还有更狠的一步


技术报告的后半段,给出了一个让法务部门睡得更香的方案。

如果仍有团队担心「使用 Claude 或 OpenAI 的答案」本身存在风险,那就把这个环节也去掉:

  • 先用生成器写出原生思维链,把它交给同族里允许蒸馏的最强模型,让来写答案;再拿「思维链 + 这个答案」组成完整的训练数据。

结果是什么?从头到尾,没有任何一个闭源厂商的 token 进入梯度计算。法律风险、来源质疑、蒸馏痕迹,一起消失。作者称,他们实际跑过这个变体,效果与主实验基本一致。



八、这个人是谁


这是王琰成为独立研究员之后发布的第三项研究工作。

王琰,前腾讯混元 Frontiers & AI Lab NLP、米哈游研究科学家,长期研究长上下文模型架构与长期记忆系统,曾获ACL 2021 杰出论文奖与 IEEE Transactions on Games 最佳论文提名。

前两项,一项是用于超长上下文的前瞻注意力机制,另一项是一套能把DeepSeek-V4 吞吐量提升三倍的推理框架。加上这次的思维链合成系统——一个人,五个月,横跨三个领域,「全栈」这个词用在他身上并不算夸张。

技术报告还附了一个可直接调用的 API,提供方是 ALLE AI Lab,一支来自香港科技大学(广州)的创业团队;其创始团队成员李佳,是王琰在腾讯 AI Lab 时期的同事。目前 API 只开放 Qwen 家族的思维链,其他家族的轨迹将陆续上线。

他也在小红书上(ID:9670415842)随手记录一些尚无定论的判断,粉丝管这些叫「暴论」,也因此戏称他是「最有活人感的 AI 研究员」。

九、被动的不是某家公司,是一个假设


这份报告真正动摇的东西,不是某家公司的财报,而是一个被默认为前提的假设:

藏起思维链,就能锁住能力。

如果答案已经足够重建一条可用的推理路径,而且这条路径还能在学生的语言里写得比原版更好,那么「隐藏思维链」这道墙,保护的不是安全,而只是一点点时间。

附:关于这份技术报告

  • 标题TraceForge: Distilling with Your Own Thinking
  • 作者:Yan Wang(独立研究员)
  • 底座:Qwen3.5-9B-Base;生成器与判别器均为 Qwen 家族模型
  • API 支持:ALLE AI Lab(https://alleai.cloud/cot/),目前只提供 Qwen 家族思维链,其他家族陆续上线

  • 说明:文中涉及的行业事件与团队背景均来自公开报道及业内传闻,本文仅作背景引用,不代表对其真实性的确认。技术结论以原报告为准,每个数据格均为单次运行结果。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“你不来,我们就自己炸”:内塔尼亚胡还原去年邀特朗普下场对伊朗“12日战争”动武细节

“你不来,我们就自己炸”:内塔尼亚胡还原去年邀特朗普下场对伊朗“12日战争”动武细节

红星新闻
2026-10-23 19:07:32
iPhone Duo 开售首日,西湖苹果店门口黄牛感叹:“发售半小时,没有成交一单……”溢价大幅减少,有商户说“加价1000元左右即可拿机”

iPhone Duo 开售首日,西湖苹果店门口黄牛感叹:“发售半小时,没有成交一单……”溢价大幅减少,有商户说“加价1000元左右即可拿机”

都市快报橙柿互动
2026-10-23 10:24:14
死了也不能安宁!前妻独自葬在美国,李昌钰被二婚妻子硬带回江苏

死了也不能安宁!前妻独自葬在美国,李昌钰被二婚妻子硬带回江苏

枫尘余往逝
2026-10-22 14:25:57
官媒证实!重金属超标,上万倍差价收割消费者,网友:妥妥智商税

官媒证实!重金属超标,上万倍差价收割消费者,网友:妥妥智商税

原梦叁生
2026-10-23 12:41:38
这才叫外援!库珀爆砍40分17助攻,化身辽篮大心脏,乌戈捡到宝了

这才叫外援!库珀爆砍40分17助攻,化身辽篮大心脏,乌戈捡到宝了

萌兰聊个球
2026-10-23 21:47:15
“鞋王”家族内斗新进展:终审确认儿媳上位决议有效,创始人另开新会议并当选,新诉讼又起

“鞋王”家族内斗新进展:终审确认儿媳上位决议有效,创始人另开新会议并当选,新诉讼又起

红星新闻
2026-10-23 16:59:21
广州公告:今晚全市夜查;重点检查宾馆饭店、酒店式公寓、夜总会、影剧院、医院、养老院、出租屋、小娱乐场所……

广州公告:今晚全市夜查;重点检查宾馆饭店、酒店式公寓、夜总会、影剧院、医院、养老院、出租屋、小娱乐场所……

南方都市报
2026-10-23 17:02:05
美国AI公司用基因编辑造出新型军犬,估值高达12亿美元

美国AI公司用基因编辑造出新型军犬,估值高达12亿美元

雷递
2026-10-23 10:23:37
白宫称俄乌同意在奥列什基暂时停火

白宫称俄乌同意在奥列什基暂时停火

新华社
2026-10-23 21:28:55
泽连斯基被迫作出巨大让步?他在押注美国中期选举政局变化

泽连斯基被迫作出巨大让步?他在押注美国中期选举政局变化

上观新闻
2026-10-23 18:22:40
今年国产高端已经完了,苹果彻底卖爆了

今年国产高端已经完了,苹果彻底卖爆了

六子吃凉粉
2026-10-23 12:20:41
A股今天真出奇迹了

A股今天真出奇迹了

隔壁老投
2026-10-23 14:59:52
因“老登”一词“翻车”!小鹏汽车“00后”产品经理道歉,称只是想吐槽固化思维

因“老登”一词“翻车”!小鹏汽车“00后”产品经理道歉,称只是想吐槽固化思维

每日经济新闻
2026-10-23 12:46:06
决战凤凰山!曝英博开出巨额赢球奖金:唯有击败蓉城才能阻其夺冠

决战凤凰山!曝英博开出巨额赢球奖金:唯有击败蓉城才能阻其夺冠

风过乡
2026-10-23 12:12:18
毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

娱说瑜悦
2026-10-23 13:47:29
男子翻入一农户家中,搬走重达百斤的保险箱,里面装有57万元现金和300多克黄金,法院:判处有期徒刑10年6个月,并处罚金20万元

男子翻入一农户家中,搬走重达百斤的保险箱,里面装有57万元现金和300多克黄金,法院:判处有期徒刑10年6个月,并处罚金20万元

大风新闻
2026-10-23 15:48:03
打好防汛防台主动仗!朱忠明主持召开防御台风“蔷琵”专题会议

打好防汛防台主动仗!朱忠明主持召开防御台风“蔷琵”专题会议

澎湃新闻
2026-10-23 20:12:29
榆林问界M9碰撞起火的事,一个修车师傅说出了真相

榆林问界M9碰撞起火的事,一个修车师傅说出了真相

麦杰逊
2026-10-23 10:08:38
北控送江苏3连败:廖三宁17+6崴脚惊魂 沈梓捷3000篮板里程碑

北控送江苏3连败:廖三宁17+6崴脚惊魂 沈梓捷3000篮板里程碑

醉卧浮生
2026-10-23 21:43:57
国乒男团3-0韩国登顶亚锦赛,诞生3个不可思议,2个不争的事实

国乒男团3-0韩国登顶亚锦赛,诞生3个不可思议,2个不争的事实

南海浪花
2026-10-23 03:20:17
2026-10-23 22:03:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14279文章数 142750关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

以总理还原邀特朗普对伊动武细节:你不来 我们自己炸

头条要闻

以总理还原邀特朗普对伊动武细节:你不来 我们自己炸

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

700TOPS算力满血上车 风神L8+正式上市12.99万起

态度原创

房产
教育
健康
家居
军事航空

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

教育要闻

华南理工大学2027年博士研究生招生章程及招生专业目录

痘痘能根治吗?皮肤科医生说实话

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美国或于明年开始扩建格陵兰岛军事设施

无障碍浏览 进入关怀版