网易首页 > 网易号 > 正文 申请入驻

张一鸣按下“蒸馏”暂停键:字节宁可落后,也不抄别人答案

0
分享至



上个月,一向低调的张一鸣做了一件很罕见的事。

面对Seed团队内部持续一年多的“要不要蒸馏”争论,他给到了定调:

“字节跳动应该愿意为更长期的目标,牺牲一些短期收益。”

据《The Information》披露,张一鸣明确表态:闭源模型不能蒸馏,开放权重模型也不能蒸馏。“Seed可以接受暂时的落后,但不接受依靠蒸馏竞争对手来消除这种落后。”

一句话,把字节AI团队想“抄答案”的路,给堵死了。

现在人人都喜欢说抄答案,可为什么字节不抄?



要理解张一鸣这个决策的分量,可能要先搞清楚“蒸馏”是怎么回事。

模型蒸馏(Knowledge Distillation)的概念类似让一个小模型(学生)去模仿一个大模型(教师)的输出概率分布,从而用非常小的代价和训练,去获得接近教师的能力。

提出这个模式的,是人工智能之父辛顿,他在2015年发表了相关论文,后来Google、OpenAI、Anthropic等大厂在做轻量版模型时也会使用蒸馏,完全合法。

不过,现在有一个不好的风气,很多AI大模型企业,不是蒸馏自己的模型,而是蒸馏竞争对手的模型,甚至是闭源模型,性质就变了。

抄自己过去的答案叫改进,抄别人的答案,那就真是抄袭了。



那么,这些模型厂商是怎么抄袭的呢?

首先,批量构造几百万个问题,然后扔给Claude/GPT这类头部模型,收集它们的回答。

这些回答里往往会带上推理路径、判断逻辑、表达策略,然后收集这些数据,用于训练自己的模型。

相当于用几个小时,就学会了别人十年的功夫。

省掉的不仅是算力,还有数据制作、强化学习、试错的全部成本。



2026年2月,Anthropic公开指控DeepSeek、MiniMax、月之暗面用超过24000个虚假账号、对Claude进行了总计超1600万次对话交互,通过蒸馏大规模提取其核心能力。

在控诉中,Anthropic详细描述了这些企业的“九头蛇架构”——用分布式架构将恶意流量伪装成正常请求,系统性地提取Claude的推理能力、工具调用与编程数据,其中MiniMax交互超1300万次,月之暗面超340万次,DeepSeek超15万次。

这份名单里,没有字节跳动的Seed。

这个细节,很关键。



Seed团队关于蒸馏的争论,在过去一年至少爆发了三次:

第一次,是2025年1月DeepSeek-R1发布后。

当时DeepSeek掀起了一阵科技自信潮,但内行人知道,DeepSeek用了一种很投机的方式——蒸馏。

这个方法被其他大模型企业知道后,字节内部的部分研究员也跃跃欲试,提议引入美国头部闭源模型生成结果,快速提升推理与综合表现。

但提议被否决。



第二次,是2025年底至2026年初,英伟达Blackwell系列GPU在美国大规模商用阶段。

受美国高端GPU出口管制影响,Seed训练所用的H20算力仅为B200的五十分之一。

显卡不足,算力就不够,算力不够,大模型就没有别人聪明,这个时候,字节内部又有人提出“实在不行就蒸馏”,这个动议获得较多支持,仍未获得张一鸣的批准。

第三次,是Kimi K3成功发布后。

7月16日,月之暗面推出Kimi K3,官方称其拥有2.8万亿参数、原生视觉能力和100万token上下文的开放模型,是地表“最强开源模型”,进入全球第一阵营。

相反,投入更大、人才更多的Seed却没有推出同级语言模型。

此时,蒸馏提议再度高涨:行业都在抄,抄袭的比用功努力的效果好多了,为什么我们不抄?如果怕法律制裁,那我们就蒸馏开源的模型不就行了吗?

在部分字节员工看来,公司不愿采用蒸馏,是其大语言模型落后于阿里巴巴,以及DeepSeek、智谱AI和月之暗面等国内AI公司的一项重要原因。



可张一鸣的回应是:闭源不能蒸馏,开放权重也不能蒸馏。

这说明张一鸣反对的不只是“侵权式蒸馏”,是任何形式的“用别人模型的输出作为自己能力的捷径”。

在他看来,抄袭或者蒸馏,只能在短期内上个榜,可这个毛病,会干扰真正意义上的技术突破。

事实上,字节对蒸馏的警惕并非临时起意。

早在2023年4月,字节引入GPT API调用规范检查后,即明令禁止将GPT生成数据加入训练集;随后开展内部抽样检测,核查模型输出与GPT的相似度,防止数据标注人员私自使用GPT。

在字节,这是一条已经延续了三年多的红线。



为什么张一鸣就是不肯抄作业?

外界猜测,可能是害怕美国制裁,毕竟TikTok在美国风险还是很高,字节不想给华盛顿抓把柄的机会。

但我们认为,张一鸣的野心是想做出有“定义权”的产品。

如果单靠蒸馏对手来追平榜单,那么企业开发的模型上限永远是对手的天花板,这就好比期末考试,你抄到了年级第一的答案,甚至发现了年级第一答案中的错误,加以改进,然后考的分数比年级第一还高。

可到了不能作弊的高考呢?



不抄袭的思路,和张一鸣一贯的产品哲学是一致的。

今日头条、抖音、TikTok,没有一个是从“抄美国模式”起家的,它们都是在中国市场的独特语境下,用算法和推荐系统重新定义了内容分发。

相反,阿里、百度、腾讯都不是。

所以字节的选择是,与其在乎一时的榜单排名,不如自己制定游戏规则。

怎么办?用好自己的数据。

据悉,字节正在启动一项包括5万亿参数的超大模型。由Seed Foundation负责人项亮主导,与大语言模型预训练数据负责人沈科合作,Seed正在重新划分职责和分配资源。

8月6日上午,字节跳动举办了2026年度年中全员会,公司CEO梁汝波表示,在大语言模型上,接下来字节跳动会坚持自研,接受短期落后,坚持优化长期。

这句话和张一鸣的“愿意为长期目标牺牲短期收益”形成了双重定调:字节的最高层的管理者,在同一个星期内,向内外释放了同一个信号。

尽管现在的通用语言模型榜单上,Seed会继续被Kimi K3、Qwen3.8、DeepSeek压着,可一旦能跑通自有的5万亿参数模型,字节就将拥有国内首个真正意义上的“原生预训练超大模型”,和专注于开源模型的同行拉开差距。

某种意义上,这就像苹果手机和安卓手机一样。

为什么一些安卓手机厂商喜欢在发布会上嘲讽苹果,却都在产品上对标苹果?

只能说,懂的都懂。



开源虽然能集“百家之长”,可别人也能集你之长,虽然能“遥遥领先”一阵,但别人用你的成果再去训练自己的模型时,你拦都拦不住。

字节既然选了专有,也就必须选择“不蒸馏”。

在一个所有人都在抄答案、所有人都在卷榜单、所有人都在吹牛逼的时代,有一个人愿意站起来说“我们不抄”,这件事本身就是中国AI行业稀缺品。

至于这个稀缺品最后值多少钱?

要等。可能要等很久。

但历史一再证明,真正改变游戏规则的人,往往不是最聪明的那个,是最专注、最偏执的那个。

在AI的马拉松竞赛里,愿意慢下来的人,比愿意快起来的人,更值得尊敬。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
《歌手2026》总决赛:胡彦斌当选歌王,齐豫第二,万妮达第三

《歌手2026》总决赛:胡彦斌当选歌王,齐豫第二,万妮达第三

情感大头说说
2026-08-08 06:29:57
在单位里,永远不要对领导炫耀这4件事,不然一定会吃大亏:1、不要炫耀财富;2、不要炫耀人脉;3、不要炫耀机会;4、不要炫耀能力

在单位里,永远不要对领导炫耀这4件事,不然一定会吃大亏:1、不要炫耀财富;2、不要炫耀人脉;3、不要炫耀机会;4、不要炫耀能力

背包旅行
2026-08-05 19:30:30
心理学:你有没有发现,当你不再主动联系谁,生活突然安静了

心理学:你有没有发现,当你不再主动联系谁,生活突然安静了

心理观察局
2026-08-08 06:34:18
53岁王军霞现状:坚持长跑,香港美国两边住,与3婚丈夫合养4个娃

53岁王军霞现状:坚持长跑,香港美国两边住,与3婚丈夫合养4个娃

胡一舸南游y
2026-08-07 00:35:03
9岁时要当我老婆的邻家妹妹,来我公司面试,我:面试老板娘吗?

9岁时要当我老婆的邻家妹妹,来我公司面试,我:面试老板娘吗?

卡西莫多的故事
2026-01-20 09:55:15
WTT日本冠军赛:首个11-0诞生,大勒布伦淘汰欧洲冠军约战张本智和

WTT日本冠军赛:首个11-0诞生,大勒布伦淘汰欧洲冠军约战张本智和

乒谈
2026-08-08 00:43:15
美国做梦也想不到,大陆突然宣布重磅决定,定调统一,赖清德傻眼

美国做梦也想不到,大陆突然宣布重磅决定,定调统一,赖清德傻眼

花漾夜雨飘雪
2026-08-08 03:28:16
意外!足协将这张罚单送到申花俱乐部,原因是特谢拉累计四黄停赛

意外!足协将这张罚单送到申花俱乐部,原因是特谢拉累计四黄停赛

振刚说足球
2026-08-07 11:03:29
刘东明,任上被查

刘东明,任上被查

新浪财经
2026-08-07 14:54:25
曹丕突发疾病,而后仰天长叹而亡,曹叡:父亲他一年吃了23斤石胆

曹丕突发疾病,而后仰天长叹而亡,曹叡:父亲他一年吃了23斤石胆

历史龙元阁
2026-08-07 06:45:20
拆内存?苹果上调多款旧机型换新折抵价

拆内存?苹果上调多款旧机型换新折抵价

观察者网
2026-08-07 17:50:16
迈阿密高层:梅西不可能再踢15年,必须规划后梅西时代

迈阿密高层:梅西不可能再踢15年,必须规划后梅西时代

懂球帝
2026-08-08 00:48:08
王室爆料:查尔斯怕什么来什么,威廉加冕之日,梅根抢镜之时?

王室爆料:查尔斯怕什么来什么,威廉加冕之日,梅根抢镜之时?

安逸安逸
2026-08-07 20:09:00
57岁鲁豫新疆旅行宛若“26岁少女”,2套穿搭配色活泼,一眼惊艳

57岁鲁豫新疆旅行宛若“26岁少女”,2套穿搭配色活泼,一眼惊艳

明星私服穿搭daily
2026-08-02 15:55:41
宇树IPO今日路演,王兴兴:具身智能行业整体仍在发展早期,望买公司股票不是为炒作

宇树IPO今日路演,王兴兴:具身智能行业整体仍在发展早期,望买公司股票不是为炒作

红星新闻
2026-08-07 16:03:13
U17国足决赛战阿森纳!上海队吕孟洋4场造4球,向日本籍主帅证明

U17国足决赛战阿森纳!上海队吕孟洋4场造4球,向日本籍主帅证明

球场没跑道
2026-08-07 22:14:08
颠覆认知:列宁最狠的不是革命胜利,而是他看透了弱者革命的唯一真相

颠覆认知:列宁最狠的不是革命胜利,而是他看透了弱者革命的唯一真相

浪子说
2026-08-07 11:31:07
联手浓眉!北京水货外援阿隆德斯签约奇才 场均仅6.3分告别CBA

联手浓眉!北京水货外援阿隆德斯签约奇才 场均仅6.3分告别CBA

醉卧浮生
2026-08-08 06:40:25
瑞众保险员工爆料公司违规行为:虚构国补、承诺高回报……诱导老人买保险;国家金融监管总局陕西监管局已介入调查

瑞众保险员工爆料公司违规行为:虚构国补、承诺高回报……诱导老人买保险;国家金融监管总局陕西监管局已介入调查

大风新闻
2026-08-07 09:45:07
王一楠跑剧组看高鑫,76岁岳母熬绿豆汤,街边吃榴莲怕熏臭

王一楠跑剧组看高鑫,76岁岳母熬绿豆汤,街边吃榴莲怕熏臭

橙星文娱
2026-08-08 00:32:25
2026-08-08 07:35:00
无相商业趋势 incentive-icons
无相商业趋势
聚焦新经济,解构新消费,洞察新趋势
1311文章数 37566关注度
往期回顾 全部

科技要闻

突然涨价,"只收电费钱"的梁文锋,变了吗

头条要闻

2岁患儿就诊死亡首诊医生获刑 不少医生为其鸣不平

头条要闻

2岁患儿就诊死亡首诊医生获刑 不少医生为其鸣不平

体育要闻

去年信誓旦旦3000万 今年NBA查无此人

娱乐要闻

周也热恋结束,六个字暴露单身状态

财经要闻

腾讯WorkBuddy领跑AI办公 阿里字节急了?

汽车要闻

越7全球首秀 传祺开始进攻方盒子越野

态度原创

旅游
亲子
健康
时尚
公开课

旅游要闻

太邑火把节,非有“玩常”

亲子要闻

现在两个宝宝每天就知道“抢妈妈”

打干细胞会不会诱发癌症?

从帆布袋到爱马仕,她们最爱的新包是这些

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版