网易首页 > 网易号 > 正文 申请入驻

周畅庞天宇离职,多模态生成失宠了吗?

0
分享至

来源:市场资讯

(来源:钛媒体APP)

梁文锋曾经说过,“视频生成、3D生成、世界模型,跟智能主线没有太大关系,我们不会去做。”

这话和当时的局面是完全相反的。2026年上半年,多模态生成是AI大厂们的主线,各自有独立的部门、独立的产品线和独立的负责人。

腾讯大语言模型部与多模态模型部平级并存,后者独立管图像、视频与3D生成;字节多模态交互、世界模型、Seedream与Seedance等视觉生成业务,连同机器人团队统一向周畅汇报;阿里4月发布基于原生多模态架构的世界模型。

在那段时间,多模态生成被认为是“AI企业资金的共识出口”,所有大厂都把多模态生成当作是新的AI叙事。

然而最近的一周之内,两条消息先后出来。

10月31日,据Z Finance报道,字节Seed核心负责人周畅已离职创业,方向Physical AI,获头部美元基金支持。11月2日,多家信源称腾讯混元首席研究科学家、多模态强化学习负责人庞天宇离职,在职不足9个月。

在人才流失背后,是各大厂对多模态生成的态度发生转变。随着Agent等事物的快速发展,AI大厂把算力和预算倾斜到了这些看得见增长的业务上。

现在的叙事里,多模态生成仿佛是个“期权型业务”。大厂们花点小钱,赢了上不封顶,输了立即撤退,收回本金。

多模态生成是期权型业务?

多模态是个很消耗token的业务。

就拿图片来说,首先想让模型理解图片,就得把图片切成若干份小图像块。

一张224×224的图按14×14切块是256个token,336×336是576个,分辨率再往上,单图上千,长视频是帧数乘每帧的块数,数量级地涨。Transformer的注意力开销随序列长度平方增长,视觉序列一长,成本一下子就上去了。

视觉理解和扩散式生成(VLM+DiT)这类要同时跑自回归和扩散的架构,它的token消耗只会更多。

最典型的就是OpenAI的Sora。从App上线,再到OpenAI宣布关停,时间仅半年左右。外媒称,Sora每天算力成本100万美元,并且用户数量下滑。成本显著高于收入,公司最终选择了止损。

推理方面更贵。文本模型能把几十个请求批在一张卡上,多模态生成模型不行,它得每几毫秒生成一次环境状态、实时流式往外送,每个用户相当于独占一条GPU管道。

多模态生成另一大问题是评分比较难,需要大量的评价人员来给模型生成的内容打分。Seedance背后的数据评价团队高达上千人。

LLM可以用相对统一的基准打分,比如推理、代码、数学,版本间能直接比较,团队KPI也容易对齐。

多模态生成则完全相反。MMMG基准的作者表示,多模态生成的可复现评测,要落后于模型本身的发展。人工评测虽被视为金标准,却无法大规模做,而且主观性强,难以系统定位模型弱点。

这就是为什么字节要找上千人的评测团队来给Seedance做评测,核心是堆叠人数,来降低主观性对模型性能的影响。

当评价需要依赖美学、时序连贯、人类偏好时,你就很难用分数来判断模型好坏,以及这个模型团队是否值得继续投入资源。

比起“这个视频好看吗”这种很明显的主观讨论,大家还是觉得“这个版本在基准上提升了几个点”这种更有讨论价值。

虽然字节在Seedance上获得了不错的收入,但最关键的技术拐点其实是AGI,它就相当于行权价。

如果AGI真的非多模态生成不可,那就相当于兑现了。如果发现AGI并不需要多模态生成,那就是全部权利金归零。

而大厂每个月烧的token,就是滚动支付的权利金。

很显然,现在越来越多的人都觉得AGI跟多模态生成无关。

比如GLM-5.2到5.3和DeepSeek V4 Flash到Pro,这两组模型都没做视觉扩展,只做了后训练就能提高性能。K3的消融实验中,研究员表示“多模态数据每多一点,文本理解、Coding或者数学可能就会变差”。

杨立昆更是给出了致命一击,随着他的H-JEPA论文爆火,杨立昆主张的JEPA路线更是让越来越多的人信服。

JEPA主张在抽象表征空间里预测世界,全程不生成一个像素,理由是物理世界充满不可预测的随机细节,逐个像素重建既浪费又错误。这等于给“AGI不需要像素级生成”提供了技术论证。

业务部门收缩自然也在所难免。比如腾讯二季度财报电话会后,资金分配是WorkBuddy获得优先资源倾斜,其他新AI产品的优先级正在下调。

多模态生成到底怎么了?

7月24日,腾讯TEG发布内部通知:撤销大语言模型部、多模态模型部,成立基础模型部,首席AI科学家姚顺雨兼任负责人,向TEG总裁卢山汇报。

当时腾讯给的理由是“提升模型研发和协同效率,探索全模态模型的智能上限”。

被撤掉的两个部门是2025年4月拆出来的。语言一条线管文本推理,多模态一条线管图像、视频与3D生成,两边平级,各跑各的,腾讯称之为“双轨研发”。

此前在3月20日,腾讯就已经撤掉了成立近十年的AI Lab,一部分人并入大语言模型部,一部分去了产学研合作中心,计算机视觉、语音这些原本独立的能力,一并归进混元体系。

当时普遍认为,合并的真实原因在于大语言模型和多模态模型的训练标准不统一,因此技术无法互通,同时还会造成算力资源内耗。

一个月后轮到字节。8月的组织调整里,周畅起家的视觉语言模型VLM被并入大模型LLM体系,成了LLM底下的一个数据子部门。一位Seed人士对36氪表示,“他丢了龙兴之地,基本就没有核心地盘了”。

因为当时想让大模型看见东西,必须依靠一种“胶水科技”。

拿一个训好的纯文本LLM,前面接视觉编码器,把图片切成小块变成向量,中间再训一层投影,把这些向量翻译进语言模型的词表空间,最后跟文字拼在一起喂进去。当时的LLaVA、Qwen2-VL、DeepSeek-VL2走的都是这个路子。

它最大的好处是便宜。

视觉编码器有开源的可以参考,语言模型也是自己家现成的,中间那层只需要一层胶水把两者粘起来。

独立的多模态部门,基本就是围着这层胶水建的。有人管视觉编码器,有人管对齐数据,有人管图文指令微调,有人管评测。胶水在,部门就在。

然而现在这层胶水已经不在了,大厂开始转向原生多模态。从预训练第一层开始就把图像、文本、音频、视频的token混进同一条主干里。

今年2月,阿里从Qwen3.5开始把视觉能力通过早期融合放进主线模型,之后没再发新的通用VL理解模型。

现在大厂对多模态主要分为两条路线,第一条就是梁文锋的理解路线,让模型能看懂图片、视频,回答的是怎么感知世界。这条路线的确是跑通了。

第二条是把视觉理解和扩散式生成塞进一套架构,让模型在理解世界的基础上还能生成内容。

2025年GPT-4o出来之后,谷歌、阿里、字节都试过这条路线,不过都没有跑通。

图像和视频生成依赖扩散模型,在连续潜空间里一步步去噪。训练目标、数据表征、计算机制都不一样,硬塞进同一个模型,光是防止任务之间互相拖后腿就够头疼。

腾讯混元一位多模态研究员对36氪说,“多模理解和生成没那么统一,理解一般和LLM团队在一起,生成相对独立”。阿里Qwen的研究员则说,“理解、生成统一”基本没有已知很有效的方案。评测也还没立起来,一张图画得好不好、一段视频合不合意图,比一道数学题有没有算对难判得多。

周畅在字节推的那套叙事叫“多模态理解与生成统一”,就属于第二条路线。

放在期权里就叫虚值,企业收缩部门就是放弃行权。

落差

在业务部门收缩之后,此前该业务部门的负责人,自然而然就会降级。

周畅2024年8月从阿里来字节,职级4-2。报道称周畅的年包为八位数,跟着周畅一起来字节的还有十余名阿里旧部,双方一度卷进竞业限制劳动仲裁。

他在阿里曾出任通义大模型核心技术负责人,离职前发的Qwen2在Hugging Face开源榜登顶,压过当时的Llama 3-70B。进Seed之后管多模态交互与世界模型,向吴永辉汇报。

接下来两年,他的地盘一直在变大。2025年7月,豆包视觉多模态生成负责人杨建朝宣布“暂时休息”,据36氪援引Seed内部人士消息,组织要求杨建朝向周畅汇报,杨建朝随即离开,Seedream、Seedance两条视觉生成线划到周畅名下。

2026年6月2日,据晚点报道,字节内部调整架构。原由李航负责的Seed Robotics团队已向周畅汇报月余,字节还在招一位职级L8、对标阿里P10-P11的具身智能技术负责人,同样向他汇报。

报道称,周畅管理范围再次扩大的理由,是机器人能与多模态交互、世界模型形成数据与技术闭环。四条线集于一身,媒体称他是当时Seed内管理边界最宽的技术负责人之一。

6月刚加完地盘,结果8月VLM就并入LLM、降为数据子部门。

庞天宇进场时的动静,比周畅还大一点。

庞天宇去的是混元多模态部Exploration Center,职责写的是“强化学习前沿算法探索”。

1月29日他在小红书发了则招聘启事,顺带官宣加入;2月4日正式入职;6月带团队开源UniRL框架,把扩散模型、自回归模型和生成理解统一模型的强化学习后训练塞进同一套流程;10月这套框架更新到v0.2.0,他仍在核心署名作者里。

然而到了11月2日,媒体报道称,他在混元从分散走向集权的收拢里,“失去了他在组织版图上最初被许诺的那个位置”。

1月26日员工大会,Pony说“姚顺雨加入之后,公司加大吸引人才的力度,重构研发团队”,还提了内部加快Co-design、强化混元与元宝的协同。

1月28日混元开源图像3.0图生图版本,接入元宝。当时的数据是,混元图像、视频衍生模型总数3000个,视频模型社区下载超500万,混元3D系列超300万。那会儿多模态模型部还是与大语言模型部平级的一级部门。

然后7月24日两部合并,9月前OpenAI研究员田永龙出任混元多模态负责人。

没有人被降职,头衔还在,代码还在,成果也还在。

但有人起就总得有人落,从别人向他汇报,单独负责一条线,再到向别人汇报,负责主线的组件。以高姿态入场,经历这种转换,心理难免会有落差。

期权这种东西对于大厂来说,就是花点小钱赌了一把。只不过那些卷入其中的人,可就遭罪了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
杨瀚森又被DNP!一场97-96绝杀,验出开拓者头号庸才:8中1得3分

杨瀚森又被DNP!一场97-96绝杀,验出开拓者头号庸才:8中1得3分

球场没跑道
2026-11-22 11:38:22
为何一定要救楼市?因为有8000多万吃财政饭的人,在张嘴等着

为何一定要救楼市?因为有8000多万吃财政饭的人,在张嘴等着

猫叔东山再起
2026-11-22 11:05:10
50+19+5+4!文班亚马,太夸张了!

50+19+5+4!文班亚马,太夸张了!

篮球实录
2026-11-22 16:32:55
打败三上悠亚的萝莉!她才是业界纯欲天花板

打败三上悠亚的萝莉!她才是业界纯欲天花板

吃瓜党二号头目
2026-11-22 13:43:22
“默茨最好去乌克兰竞选”!德反对党炮轰总理,把德国留给爱国者

“默茨最好去乌克兰竞选”!德反对党炮轰总理,把德国留给爱国者

晨光苏醒a
2026-11-22 16:28:20
自作孽不可活!逼走胖东来后,新乡房东再遇噩耗,终为贪心付代价

自作孽不可活!逼走胖东来后,新乡房东再遇噩耗,终为贪心付代价

心灵的触动a
2026-11-21 17:48:56
赵本山承受了一切,真的很“冤枉”! 知名导演透露“何不食肉糜”具体细节,原来我们真的错怪赵本山了

赵本山承受了一切,真的很“冤枉”! 知名导演透露“何不食肉糜”具体细节,原来我们真的错怪赵本山了

裕丰娱间说
2026-11-22 17:32:37
“泼天富贵”啊!男子出差住酒店碰上抓奸乌龙,对方误砸其房门,最后酒店免单补偿并送香烟一包

“泼天富贵”啊!男子出差住酒店碰上抓奸乌龙,对方误砸其房门,最后酒店免单补偿并送香烟一包

火山詩话
2026-11-21 18:24:46
油还没跌回6块,人已彻底跑光!2026油价“骗局”,终于被揭穿!

油还没跌回6块,人已彻底跑光!2026油价“骗局”,终于被揭穿!

娱乐圈的笔娱君
2026-11-21 05:28:53
下周3只新股可申购

下周3只新股可申购

每日经济新闻
2026-11-22 15:58:06
20岁星二代崩溃:照片被放大到全网,我快疯了

20岁星二代崩溃:照片被放大到全网,我快疯了

生活观察员啊
2026-11-20 02:07:26
杨迪头戴东北特色毛绒帽,在黑龙江漠河舞厅跳舞

杨迪头戴东北特色毛绒帽,在黑龙江漠河舞厅跳舞

韩小娱
2026-11-22 10:46:48
云彩太阳都一模一样!特斯拉FSD V15实景视图刷屏 车主集体喊疯狂

云彩太阳都一模一样!特斯拉FSD V15实景视图刷屏 车主集体喊疯狂

快科技
2026-11-22 10:00:08
小米阔直板首曝回归16:9!骁龙8 Gen6+5299元,硬刚华为Pura X View

小米阔直板首曝回归16:9!骁龙8 Gen6+5299元,硬刚华为Pura X View

小柱解说游戏
2026-11-22 02:09:36
重大警告!高盛恐慌指数逼近最大值!不出意外,明天A股会这样走

重大警告!高盛恐慌指数逼近最大值!不出意外,明天A股会这样走

虎哥闲聊
2026-11-22 13:50:42
乌克兰攻击俄罗斯3550公里的阿尔泰!打破远程攻击纪录

乌克兰攻击俄罗斯3550公里的阿尔泰!打破远程攻击纪录

项鹏飞
2026-11-21 20:26:08
姚笛分享近况,住大房子连凳子都是 LV 的,但并不开心焦虑到躯体化

姚笛分享近况,住大房子连凳子都是 LV 的,但并不开心焦虑到躯体化

一娱三分地
2026-11-22 07:05:14
罕见!马斯克,突发警告!

罕见!马斯克,突发警告!

数据宝
2026-11-22 17:29:51
以前很火现在混的很差的奶茶店是哪个?网友:这个真的是意难平

以前很火现在混的很差的奶茶店是哪个?网友:这个真的是意难平

马蹄烫嘴说美食
2026-11-22 00:21:48
墨总统:墨西哥不打算与中国签署自贸协定

墨总统:墨西哥不打算与中国签署自贸协定

俄罗斯卫星通讯社
2026-11-21 16:09:51
2026-11-22 18:15:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5581405文章数 10060关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
教育
本地
家居
时尚

艺术要闻

世界十大著名宫殿盘点:中国独占两席

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

家居要闻

2026建博会(广州) 公装联探展交流活动

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

无障碍浏览 进入关怀版