网易首页 > 网易号 > 正文 申请入驻

字节拟训练超5万亿参数大模型,张一鸣罕见发声:反对蒸馏

0
分享至

8月10日一早,A股打新页面里,“人形机器人第一股”宇树科技(688836)的申购按钮正式亮起。发行价150.80元/股,上市市值约609.99亿元,远超市场此前预估的超400亿元。社交平台上,不少投资者晒出申购截图排队“许愿求中签”。同一周,AI圈没有闲下来:字节跳动被曝正在讨论训练参数规模超5万亿的新模型,创始人张一鸣在内部会上罕见发声;DeepSeek一边宣布API要涨价,一边被网友扒出创始人梁文锋早年的微博账号;DeepMind两大核心人物的去留问题,也在这个8月迎来关键转折。

一、字节的“5万亿参数”豪赌:一次推到同行数倍

8月6日消息,据媒体报道,字节跳动正在讨论训练一个参数规模超5万亿的模型。这个数字放在当前的国内大模型版图里是什么概念?报道给出了两个参照物:阿里的Qwen3.8-Max是2.4万亿参数,月之暗面的K3是2.8万亿参数。也就是说,字节这个还在讨论中的新模型,参数规模将是已知同行的两倍上下,也是目前国内已知参数规模最大的模型。


不过,这条消息带了一个非常重要的限定条件:该计划仍处于早期阶段,模型最终不一定会发布。换句话说,这更像是Seed团队在技术路线上的一次方向性表态,而不是一个已经落地、板上钉钉的产品排期。

报道称,这个新模型将由Seed Foundation负责人项亮主导,与大语言模型预训练数据负责人沈科合作。两人都是字节跳动人工智能及大模型研发体系内的核心骨干,而且都有同一个出处:字节的“搜广推”体系。项亮本科毕业于中国科学技术大学,博士就读于中科院自动化所,2016年加入字节,曾负责机器学习中台AML团队,后来调任豆包大模型Foundation团队负责人。沈科2018年从清华毕业后加入字节跳动,目前主要负责大语言模型预训练数据。

一位接近Seed的人士向媒体解释了字节为什么要往这个方向走:与其在现有尺寸上继续追赶其他大模型,不如把参数规模一次推到同行的数倍,争取一个领先位置。这个逻辑很直白——不在同一个维度上和对手拼迭代速度,而是直接换一个量级重新定义赛道。

二、张一鸣罕见发声:可接受暂时落后,反对蒸馏

就在这个消息被曝出的两周前,字节跳动创始人张一鸣刚刚在Seed全员会上做过一次安抚。据与会者转述,张一鸣认为训大模型本就是一件很难的事,团队不必过度焦虑。他明确表示,一段时间内可以接受模型落后于行业,希望大家把追求智能上限作为目标,期待Seed的模型能力能跻身世界第一梯队。

这算是张一鸣罕见地在内部场合正面评价大模型竞赛的节奏问题。外界习惯用“落后”“追赶”“超越”来给大模型公司排名,但张一鸣给团队定的调子是:可以接受暂时落后,但不能放弃上限。

更值得琢磨的是他对技术路线的态度。张一鸣认为编程是当前的关键方向,并表态自己反对蒸馏。在张一鸣看来,蒸馏能在短期内改善模型表现,但本质上仍是在复制Claude已有的能力。沿着这条路走,最多只能不断逼近对方,很难真正实现超越。

这句话的信息量不小。蒸馏是当前大模型行业里常见的“提效”手段——用一个强模型(比如Claude)的输出训练另一个模型,让新模型在数学、编程等能力上快速接近那个强模型。张一鸣反对的并不是蒸馏这个技术动作本身,而是把蒸馏当作核心策略的路径依赖:一旦

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
今年最‘调皮’的台风来了!

今年最‘调皮’的台风来了!

云崖听松
2026-08-10 18:35:39
西南航空航班年轻乘客离世 身份确认后死因仍成谜

西南航空航班年轻乘客离世 身份确认后死因仍成谜

字节漫游指南
2026-08-11 06:39:43
叙利亚巴沙尔被判死刑,躲俄罗斯也不再安全,前政府高官陆续清算

叙利亚巴沙尔被判死刑,躲俄罗斯也不再安全,前政府高官陆续清算

老做体育解说
2026-08-12 01:53:50
iPhone18ProMax突然上架:8月11日,正式预售

iPhone18ProMax突然上架:8月11日,正式预售

3C毒物
2026-08-12 01:28:48
叙利亚一法院缺席判处前总统巴沙尔死刑

叙利亚一法院缺席判处前总统巴沙尔死刑

新京报
2026-08-11 16:53:04
下面好疼,放过我!儿媳被公公侵犯6年,儿子撞破奸情怒杀父亲

下面好疼,放过我!儿媳被公公侵犯6年,儿子撞破奸情怒杀父亲

易玄
2026-08-09 10:55:11
法国媒体:中国人感谢特朗普,还叫他“川建国”

法国媒体:中国人感谢特朗普,还叫他“川建国”

爱吃醋的猫咪
2026-08-11 10:46:53
新冠又来了?医生含泪劝告:宁可喝冰水,也别再做这9件糊涂事!

新冠又来了?医生含泪劝告:宁可喝冰水,也别再做这9件糊涂事!

健康科普365
2026-08-10 21:30:06
女神探聂海芬神话背后的残酷代价:良民屈打成招,称江姐也撑不住

女神探聂海芬神话背后的残酷代价:良民屈打成招,称江姐也撑不住

审度
2026-07-06 23:01:57
移民美国开餐厅遭遇霸王餐!一家四口吃完拔腿就跑,女店主不报警了,直接社死吧

移民美国开餐厅遭遇霸王餐!一家四口吃完拔腿就跑,女店主不报警了,直接社死吧

华人生活网
2026-08-11 03:14:00
易烊千玺凭借《小小的我》获得第38届百花奖最佳男主角,卫诗雅凭借《破·地狱》拿下最佳女主角奖

易烊千玺凭借《小小的我》获得第38届百花奖最佳男主角,卫诗雅凭借《破·地狱》拿下最佳女主角奖

极目新闻
2026-08-10 21:35:37
3分钟替补建功!皇马这笔引援稳了,穆帅眼光毒辣选中埃斯皮

3分钟替补建功!皇马这笔引援稳了,穆帅眼光毒辣选中埃斯皮

慢歌轻步谣
2026-08-12 00:01:06
为何俄罗斯宁愿割让500多万平方公里的领土,也不愿舍弃克里米亚

为何俄罗斯宁愿割让500多万平方公里的领土,也不愿舍弃克里米亚

纪史行者
2026-08-09 08:47:12
1900年,八国联军攻入北京,一个德国人拍到20张照片

1900年,八国联军攻入北京,一个德国人拍到20张照片

史不语
2026-06-14 08:10:06
0-3!WTT瑞典大满贯爆冷:男单头号种子止步首轮,莫雷加德被淘汰

0-3!WTT瑞典大满贯爆冷:男单头号种子止步首轮,莫雷加德被淘汰

越岭寻踪
2026-08-12 02:29:47
曾有俄罗斯高官语出惊人:沙俄时期侵占的中国领土,如今可以明码标价再卖回给中国!这背后,其实折射出远东开发已陷入停滞的残酷现实

曾有俄罗斯高官语出惊人:沙俄时期侵占的中国领土,如今可以明码标价再卖回给中国!这背后,其实折射出远东开发已陷入停滞的残酷现实

人生录
2026-07-29 00:05:09
神奇的重庆农村商业银行内幕!

神奇的重庆农村商业银行内幕!

户外钓鱼哥阿旱
2026-08-11 10:06:15
为千万企退老人发声!企退养老金年年上涨,一分都不能少

为千万企退老人发声!企退养老金年年上涨,一分都不能少

你在偷看谁
2026-08-10 21:21:08
太狠了!暴瘦脱了一层壳,不得了啊,大帝,你来真的啊

太狠了!暴瘦脱了一层壳,不得了啊,大帝,你来真的啊

球童无忌
2026-08-11 15:09:27
7月车企销量出炉:前三名跟6月保持不变,零跑反超长城和长安

7月车企销量出炉:前三名跟6月保持不变,零跑反超长城和长安

车快评
2026-08-12 00:41:46
2026-08-12 03:32:49
Ping值焦虑
Ping值焦虑
有态度网友ytd
266文章数 81关注度
往期回顾 全部

财经要闻

AI泡沫的剧本,是2008年的次贷危机?

头条要闻

网红"雅典娜"失踪3年 好友:她被李姓女网友诱骗至境外

头条要闻

网红"雅典娜"失踪3年 好友:她被李姓女网友诱骗至境外

体育要闻

NBA老顽童,抽着大麻喝着小酒告别了

娱乐要闻

“雅典娜”确认被害 细节令人发指!

科技要闻

AI大战变天:扎克伯格突然回头

汽车要闻

闪充/天神之眼B/云辇-C 2027款海豹06售9.99万元起

态度原创

艺术
数码
家居
本地
公开课

艺术要闻

色彩的盛宴,视觉的狂欢:西班牙水彩大师福斯蒂诺·马丁·冈萨雷斯的艺术世界

数码要闻

苹果Apple Arcade下月新增两款益智游戏

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

黄州一夜,苏轼写给普通人的月光

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版