网易首页 > 网易号 > 正文 申请入驻

周畅庞天宇离职,多模态生成失宠了吗?

0
分享至

文|字母榜

梁文锋曾经说过,"视频生成、3D生成、世界模型,跟智能主线没有太大关系,我们不会去做。"

这话和当时的局面是完全相反的。2026年上半年,多模态生成是AI大厂们的主线,各自有独立的部门、独立的产品线和独立的负责人。

腾讯大语言模型部与多模态模型部平级并存,后者独立管图像、视频与3D生成;字节多模态交互、世界模型、Seedream与Seedance等视觉生成业务,连同机器人团队统一向周畅汇报;阿里4月发布基于原生多模态架构的世界模型。

在那段时间,多模态生成被认为是"AI企业资金的共识出口",所有大厂都把多模态生成当作是新的AI叙事。

然而最近的一周之内,两条消息先后出来。

10月31日,据Z Finance报道,字节Seed核心负责人周畅已离职创业,方向Physical AI,获头部美元基金支持。11月2日,多家信源称腾讯混元首席研究科学家、多模态强化学习负责人庞天宇离职,在职不足9个月。

在人才流失背后,是各大厂对多模态生成的态度发生转变。随着Agent等事物的快速发展,AI大厂把算力和预算倾斜到了这些看得见增长的业务上。

现在的叙事里,多模态生成仿佛是个"期权型业务"。大厂们花点小钱,赢了上不封顶,输了立即撤退,收回本金。

01多模态生成是期权型业务?

多模态是个很消耗token的业务。

就拿图片来说,首先想让模型理解图片,就得把图片切成若干份小图像块。

一张224×224的图按14×14切块是256个token,336×336是576个,分辨率再往上,单图上千,长视频是帧数乘每帧的块数,数量级地涨。Transformer的注意力开销随序列长度平方增长,视觉序列一长,成本一下子就上去了。

视觉理解和扩散式生成(VLM+DiT)这类要同时跑自回归和扩散的架构,它的token消耗只会更多。

最典型的就是OpenAI的Sora。从App上线,再到OpenAI宣布关停,时间仅半年左右。外媒称,Sora每天算力成本100万美元,并且用户数量下滑。成本显著高于收入,公司最终选择了止损。

推理方面更贵。文本模型能把几十个请求批在一张卡上,多模态生成模型不行,它得每几毫秒生成一次环境状态、实时流式往外送,每个用户相当于独占一条GPU管道。

多模态生成另一大问题是评分比较难,需要大量的评价人员来给模型生成的内容打分。Seedance背后的数据评价团队高达上千人。

LLM可以用相对统一的基准打分,比如推理、代码、数学,版本间能直接比较,团队KPI也容易对齐。

多模态生成则完全相反。MMMG基准的作者表示,多模态生成的可复现评测,要落后于模型本身的发展。人工评测虽被视为金标准,却无法大规模做,而且主观性强,难以系统定位模型弱点。

这就是为什么字节要找上千人的评测团队来给Seedance做评测,核心是堆叠人数,来降低主观性对模型性能的影响。

当评价需要依赖美学、时序连贯、人类偏好时,你就很难用分数来判断模型好坏,以及这个模型团队是否值得继续投入资源。

比起"这个视频好看吗"这种很明显的主观讨论,大家还是觉得"这个版本在基准上提升了几个点"这种更有讨论价值。

虽然字节在Seedance上获得了不错的收入,但最关键的技术拐点其实是AGI,它就相当于行权价。

如果AGI真的非多模态生成不可,那就相当于兑现了。如果发现AGI并不需要多模态生成,那就是全部权利金归零。

而大厂每个月烧的token,就是滚动支付的权利金。

很显然,现在越来越多的人都觉得AGI跟多模态生成无关。

比如GLM-5.2到5.3和DeepSeek V4 Flash到Pro,这两组模型都没做视觉扩展,只做了后训练就能提高性能。K3的消融实验中,研究员表示"多模态数据每多一点,文本理解、Coding或者数学可能就会变差"。

杨立昆更是给出了致命一击,随着他的H-JEPA论文爆火,杨立昆主张的JEPA路线更是让越来越多的人信服。

JEPA主张在抽象表征空间里预测世界,全程不生成一个像素,理由是物理世界充满不可预测的随机细节,逐个像素重建既浪费又错误。这等于给"AGI不需要像素级生成"提供了技术论证。

业务部门收缩自然也在所难免。比如腾讯二季度财报电话会后,资金分配是WorkBuddy获得优先资源倾斜,其他新AI产品的优先级正在下调。

02多模态生成到底怎么了?

7月24日,腾讯TEG发布内部通知:撤销大语言模型部、多模态模型部,成立基础模型部,首席AI科学家姚顺雨兼任负责人,向TEG总裁卢山汇报。

当时腾讯给的理由是"提升模型研发和协同效率,探索全模态模型的智能上限"。

被撤掉的两个部门是2025年4月拆出来的。语言一条线管文本推理,多模态一条线管图像、视频与3D生成,两边平级,各跑各的,腾讯称之为"双轨研发"。

此前在3月20日,腾讯就已经撤掉了成立近十年的AI Lab,一部分人并入大语言模型部,一部分去了产学研合作中心,计算机视觉、语音这些原本独立的能力,一并归进混元体系。

当时普遍认为,合并的真实原因在于大语言模型和多模态模型的训练标准不统一,因此技术无法互通,同时还会造成算力资源内耗。

一个月后轮到字节。8月的组织调整里,周畅起家的视觉语言模型VLM被并入大模型LLM体系,成了LLM底下的一个数据子部门。一位Seed人士对36氪表示,"他丢了龙兴之地,基本就没有核心地盘了"。

因为当时想让大模型看见东西,必须依靠一种"胶水科技"。

拿一个训好的纯文本LLM,前面接视觉编码器,把图片切成小块变成向量,中间再训一层投影,把这些向量翻译进语言模型的词表空间,最后跟文字拼在一起喂进去。当时的LLaVA、Qwen2-VL、DeepSeek-VL2走的都是这个路子。

它最大的好处是便宜。

视觉编码器有开源的可以参考,语言模型也是自己家现成的,中间那层只需要一层胶水把两者粘起来。

独立的多模态部门,基本就是围着这层胶水建的。有人管视觉编码器,有人管对齐数据,有人管图文指令微调,有人管评测。胶水在,部门就在。

然而现在这层胶水已经不在了,大厂开始转向原生多模态。从预训练第一层开始就把图像、文本、音频、视频的token混进同一条主干里。

今年2月,阿里从Qwen3.5开始把视觉能力通过早期融合放进主线模型,之后没再发新的通用VL理解模型。

现在大厂对多模态主要分为两条路线,第一条就是梁文锋的理解路线,让模型能看懂图片、视频,回答的是怎么感知世界。这条路线的确是跑通了。

第二条是把视觉理解和扩散式生成塞进一套架构,让模型在理解世界的基础上还能生成内容。

2025年GPT-4o出来之后,谷歌、阿里、字节都试过这条路线,不过都没有跑通。

图像和视频生成依赖扩散模型,在连续潜空间里一步步去噪。训练目标、数据表征、计算机制都不一样,硬塞进同一个模型,光是防止任务之间互相拖后腿就够头疼。

腾讯混元一位多模态研究员对36氪说,"多模理解和生成没那么统一,理解一般和LLM团队在一起,生成相对独立"。阿里Qwen的研究员则说,"理解、生成统一"基本没有已知很有效的方案。评测也还没立起来,一张图画得好不好、一段视频合不合意图,比一道数学题有没有算对难判得多。

周畅在字节推的那套叙事叫"多模态理解与生成统一",就属于第二条路线。

放在期权里就叫虚值,企业收缩部门就是放弃行权。

03落差

在业务部门收缩之后,此前该业务部门的负责人,自然而然就会降级。

周畅2024年8月从阿里来字节,职级4-2。报道称周畅的年包为八位数,跟着周畅一起来字节的还有十余名阿里旧部,双方一度卷进竞业限制劳动仲裁。

他在阿里曾出任通义大模型核心技术负责人,离职前发的Qwen2在Hugging Face开源榜登顶,压过当时的Llama 3-70B。进Seed之后管多模态交互与世界模型,向吴永辉汇报。


接下来两年,他的地盘一直在变大。2025年7月,豆包视觉多模态生成负责人杨建朝宣布"暂时休息",据36氪援引Seed内部人士消息,组织要求杨建朝向周畅汇报,杨建朝随即离开,Seedream、Seedance两条视觉生成线划到周畅名下。

2026年6月2日,据晚点报道,字节内部调整架构。原由李航负责的Seed Robotics团队已向周畅汇报月余,字节还在招一位职级L8、对标阿里P10-P11的具身智能技术负责人,同样向他汇报。

报道称,周畅管理范围再次扩大的理由,是机器人能与多模态交互、世界模型形成数据与技术闭环。四条线集于一身,媒体称他是当时Seed内管理边界最宽的技术负责人之一。

6月刚加完地盘,结果8月VLM就并入LLM、降为数据子部门。

庞天宇进场时的动静,比周畅还大一点。

庞天宇去的是混元多模态部Exploration Center,职责写的是"强化学习前沿算法探索"。

1月29日他在小红书发了则招聘启事,顺带官宣加入;2月4日正式入职;6月带团队开源UniRL框架,把扩散模型、自回归模型和生成理解统一模型的强化学习后训练塞进同一套流程;10月这套框架更新到v0.2.0,他仍在核心署名作者里。

然而到了11月2日,媒体报道称,他在混元从分散走向集权的收拢里,"失去了他在组织版图上最初被许诺的那个位置"。

1月26日员工大会,Pony说"姚顺雨加入之后,公司加大吸引人才的力度,重构研发团队",还提了内部加快Co-design、强化混元与元宝的协同。

1月28日混元开源图像3.0图生图版本,接入元宝。当时的数据是,混元图像、视频衍生模型总数3000个,视频模型社区下载超500万,混元3D系列超300万。那会儿多模态模型部还是与大语言模型部平级的一级部门。

然后7月24日两部合并,9月前OpenAI研究员田永龙出任混元多模态负责人。

没有人被降职,头衔还在,代码还在,成果也还在。

但有人起就总得有人落,从别人向他汇报,单独负责一条线,再到向别人汇报,负责主线的组件。以高姿态入场,经历这种转换,心理难免会有落差。

期权这种东西对于大厂来说,就是花点小钱赌了一把。只不过那些卷入其中的人,可就遭罪了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
反噬说来就来!中国芯片厂明确拒绝拆分,荷兰转而要谈公平补偿?晚了

反噬说来就来!中国芯片厂明确拒绝拆分,荷兰转而要谈公平补偿?晚了

互联鱼
2026-11-16 00:15:08
警惕!MCN杀猪盘套路:专挑女大学生下手,完不成直播任务就逼陪客抵债

警惕!MCN杀猪盘套路:专挑女大学生下手,完不成直播任务就逼陪客抵债

拍案社会
2026-11-15 10:08:36
美媒表示:中国空警-2000只造出4架,空警-500却造出60多架,难道中方出现技术瓶颈?

美媒表示:中国空警-2000只造出4架,空警-500却造出60多架,难道中方出现技术瓶颈?

绝对军评
2026-11-16 09:17:46
攻击-11批量列装空军,美国难受的不是造得快,而是看不明白

攻击-11批量列装空军,美国难受的不是造得快,而是看不明白

巅峰高地
2026-11-11 15:32:56
送别刘欢料理后事,却主动放弃260亿遗产!毛阿敏才是真的人间清醒

送别刘欢料理后事,却主动放弃260亿遗产!毛阿敏才是真的人间清醒

动物奇奇怪怪
2026-11-16 13:30:36
公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

只要高兴就好
2026-09-24 11:58:50
有网友问,邢道荣这种货色是怎么混成大将的?评论区留言太精辟了!

有网友问,邢道荣这种货色是怎么混成大将的?评论区留言太精辟了!

夜深爱杂谈
2026-11-15 22:47:29
美国觉得纳闷,这么好的车装备全球60国,为何中国没看上?

美国觉得纳闷,这么好的车装备全球60国,为何中国没看上?

南风不及你温柔
2026-11-16 13:24:07
影视飓风Tim为全体员工放假一天!爽玩《GTA6》

影视飓风Tim为全体员工放假一天!爽玩《GTA6》

游民星空
2026-11-15 09:04:10
4+9+4+3+1!火箭从哪淘到的宝贝?单节9篮板,你是雷吉埃文斯啊?

4+9+4+3+1!火箭从哪淘到的宝贝?单节9篮板,你是雷吉埃文斯啊?

球盲姐
2026-11-16 12:19:41
看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

一盅情怀
2026-11-10 15:48:41
APEC中国时间|对话俄罗斯学者:中俄美元首会晤传递什么新信号?

APEC中国时间|对话俄罗斯学者:中俄美元首会晤传递什么新信号?

澎湃新闻
2026-11-16 12:58:19
12岁小糯米在英国留学,刘恺威被曝陪读了一年半,签证到期才离开

12岁小糯米在英国留学,刘恺威被曝陪读了一年半,签证到期才离开

钟厨娘
2026-11-15 22:38:11
陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

小徐讲八卦
2026-11-16 09:00:48
特朗普女婿“很特朗普”,俄美乌会谈后调侃欧洲,让他们选出代表比说服俄方,允许他们上桌更了不起

特朗普女婿“很特朗普”,俄美乌会谈后调侃欧洲,让他们选出代表比说服俄方,允许他们上桌更了不起

每日经济新闻
2026-11-15 05:08:39
真的有保送的马拉松冠军吗?

真的有保送的马拉松冠军吗?

跑者排球视角
2026-11-15 23:08:24
神操作啊!网友2021年卖房获得500万全投入股市,近期280万清仓,220万买回原房,自述五年纯赚60万

神操作啊!网友2021年卖房获得500万全投入股市,近期280万清仓,220万买回原房,自述五年纯赚60万

火山詩话
2026-11-16 08:17:59
土耳其的女子确实漂亮,兼具典雅容貌与异域风情

土耳其的女子确实漂亮,兼具典雅容貌与异域风情

娱你同欢
2026-10-07 11:06:22
币圈已经不存在了

币圈已经不存在了

刘红林律师
2026-11-15 11:39:10
耻辱惨败!意大利头号卧底现形!灾难级发挥拖垮全队

耻辱惨败!意大利头号卧底现形!灾难级发挥拖垮全队

奶盖熊本熊
2026-11-16 08:59:06
2026-11-16 14:19:00
蓝鲸新闻 incentive-icons
蓝鲸新闻
财经信息服务平台
140852文章数 194196关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

女副部王峻被公诉 曾被批泄露工作秘密、大搞权钱交易

头条要闻

女副部王峻被公诉 曾被批泄露工作秘密、大搞权钱交易

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

报道:黄仁勋考虑回归英伟达CEO

汽车要闻

吉利星越L PLUS预售价15.77万起 燃油车也能如此智能

态度原创

房产
教育
数码
游戏
军事航空

房产要闻

6.6亿!海口卖地!

教育要闻

对话 | 耿凤基-魏宁 计算思维与信息科技教育:来自脑科学的启示

数码要闻

华为Mate X8上架官网:12GB内存起步 最高16GB+1TB

推上全是《GTA6》成人向视频:杰森露西娅提前被玩坏

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版