网易首页 > 网易科技 > 网易科技 > 正文

张一鸣亲自下场!字节押注世界模型,想让你“走进”视频

0
分享至

出品 | 网易智能

作者 | 小小

编辑 | 王凤枝

张一鸣想用世界模型,把视频变成一个能“走进去”的世界。

9月7日,彭博社援引知情人士称,字节跳动正在基于Seedance开发实时空间视频生成模型,张一鸣亲自协调跨部门团队和算力资源,最快可能于10月推出,计划仍可能调整。

它瞄准的不只是一段生成好的视频,而是能随用户声音和动作变化的虚拟环境,应用方向包括直播、短剧和游戏,并计划服务Pico头显。

字节这次想做的事情有点不一样:过去让用户接着看下一条视频,现在希望用户直接参与画面里的事情。


01张一鸣亲自协调的,是几支不同的团队

张一鸣已经离开字节跳动的日常管理多年。2021年,他先后卸任CEO和董事长,梁汝波接过公司管理工作。

这次,彭博社描述的是他对一个具体项目的参与:协调不同业务部门,并向项目投入AI资源和计算能力。字节跳动没有回应彭博社的置评请求。

这款模型需要衔接的环节不少。Seedance提供视频生成能力,云端承担大量计算,Pico负责用户与虚拟环境之间的交互,直播、短剧和游戏则是预期的应用场景。模型研发、基础设施和产品团队需要围绕同一段体验配合。

彭博社还把这一项目放在字节的业务调整中观察:公司正在把相当一部分企业服务业务转向视频制作和生成。过去,生成模型主要帮创作者把内容做出来;这次,字节还希望把观看内容的人带进来,让他们参与画面中的事情。

几个部门要一起解题。模型团队负责画面,云端负责算力,设备要接住用户输入,内容团队还得设计出让人愿意参与的玩法:任何一环单独拿出来,都还不是用户手上最后拿到的东西。

X用户@VaibhavSisinty关注的正是张一鸣的参与。他认为,交出公司日常运营之后,张一鸣亲自推动的这项技术,目标已经从生成视频延伸到能够随着用户移动和交谈而变化的数字环境。

据科技媒体The Next Web转引36氪此前的报道,字节跳动为2026年设定了四项AI优先事项,世界模型排在首位,另外三项是保持Seedance的视频生成优势、提升编码能力和推进豆包商业化。

同一报道还称,世界模型方向的数据预算达到八位数人民币,是其他中国竞争实验室的三到四倍;字节内部设定的目标,是在2026年底前至少推出一款世界模型。

02视频生成之后,还要接住用户的动作

Seedance为这项研发提供了现成的起点。它已经被用于CapCut、豆包等字节产品,也进入了创作者、独立电影工作室和AI初创公司的工作流程。

生成一段视频时,模型可以先把画面做好,再交给用户观看。字节这次想做的实时环境,得跟着用户一起动:向前走,眼前的视角推进;转过身,还能看到连贯的四周;说话或做出动作,系统跟着回应。

两种体验对创作者的要求也不一样。拍一段室内镜头,事先就能定好从哪里拍、最后停在哪里。但把同一间屋子交给用户探索,情况就复杂了:有人径直走向门口,有人可能突然回头,原本不在镜头里的部分也会进入视野。实时生成要处理的,恰恰是这些没有事先排好顺序的变化。

速度只是其中一部分。前后画面还得接得上,否则每次改变视角,用户面对的可能就是另一个场景。Seedance已有的视频生成能力可以作为基础,持续互动又增加了新的要求。

X用户@glitchtruth把字节的潜在优势放在视频数据上。他认为,抖音和TikTok积累的大量现实世界影像,与世界模型需要学习的视觉信息有关。此次报道未交代该项目具体使用哪些训练数据。

视频里记录着物体移动、人物行动和环境变化,这也是视频公司进入这一领域容易让人产生期待的原因。但素材多,并不直接等于模型强。哪些内容适合训练、怎样整理和使用、训练后能否稳定应对新的场景,仍要靠研发解决。

X用户@marpoleAI更看重用途的变化:相比生成更好的视频片段,能够实时生成连贯环境的模型,未来可能用于游戏、机器人和自动驾驶模拟。在他的理解中,模型要交付的不再只是一段内容,而是一个可互动的环境。

机器人训练和娱乐体验要的东西不一样。The Next Web转引的报道提到,字节同时推进两条路线:一条面向具身智能和机器人,结合视觉、语言和动作;另一条面向3D模拟、娱乐和游戏。当前披露的空间视频模型属于后者。

这也决定了该怎样看待它的进展。让观众在一个虚拟场景里转身、移动,与让机器人利用模拟环境学习动作,是不同的任务。前者如果做成,已经可以带来新的娱乐体验,不必同时承担证明机器人理解物理世界的任务。

李飞飞和杨立昆长期关注的,是机器怎样理解空间与现实环境。世界模型也因此与机器人、自动驾驶等方向联系紧密。字节这款项目选择的近期应用,是让人进入生成的环境里观看、互动和游玩。


03计算搬到云端,账也跟着变了

彭博社援引一位知情人士称,这款模型可以按需生成每秒20帧的视频,延迟约为50毫秒。报道没有说明延迟的测量范围和测试条件,这组数字还无法直接回答用户戴上Pico之后,互动究竟有多顺畅。

看一段已经生成好的视频,可以先等它加载,再从头播放。但交互环境很难把等待放在体验之外:用户转头以后画面还停在原处,就会直接打断参与感。生成速度、网络传输和设备显示得一起配合,用户戴上头显才能感觉到流畅。

按照报道描述的方案,大量空间内容生成计算将放在云端完成,再把结果传到设备上。字节希望借此降低头显对本地处理能力的要求,为更便宜、硬件配置更简单的设备创造条件。

如果这些计算都留在头显里,设备就需要更强的处理能力,耗电和成本都会跟着涨。云端方案想绕开这个问题,让用户不必仅仅为了生成更复杂的场景,就在头上戴一套更强的计算设备。

彭博社在报道中提到,Meta已经围绕Quest投入多年,苹果也把Vision Pro定位为高端空间计算平台,但两者都还没有真正走向大众市场。字节这条路线的吸引力,在于同时尝试两件事:降低设备的硬件门槛,并让设备里可体验的内容更容易生成。

设备可以少承担一些计算,服务器却仍要完成这些工作。尤其当用户持续与环境互动时,模型需要根据新的输入继续生成,计算开销也会随之增加。

不过,直播、短剧和游戏,并不能统一按观看分钟来算推理成本。

如果创作者先用模型做出一段素材,再让很多人观看,生成成本可以由后续播放分摊。但如果每位用户都在改变自己的视角和互动过程,平台就得为这些不同的操作持续生成。内容能复用多少、哪些部分需要重新计算,会直接影响后一种服务的开销。

用户规模也会改变这笔账。一段演示只需要让眼前这次互动顺利完成;面向大众的服务要同时接住许多人的操作,还得保证不同用户拿到的体验足够稳定。把模型做出来之后,服务器容量和运维效率还得跟上。

这里首先要算的是平台提供服务的成本,而不是用户一定要按分钟付费。字节尚未公布这款产品的收费方式。

X账号@DinoLeadingNews在讨论实时交互环境的未来用途时,把它看作AI智能体训练与测试的一种潜在基础设施,并将成本能否持续下降视为普及的重要条件。

字节正在扩大公司整体的AI基础设施投入。彭博社9月7日的报道提到,公司此前一周获得了约300亿美元贷款,用于扩充AI能力、数据中心和相关硬件。

更早的5月27日,彭博社报道,字节当时讨论的2026年资本支出为4000亿至5000亿元人民币,约合590亿至700亿美元;作为对照,报道给出的2025年资本支出约为250亿美元。新一年的规划上限,已经超过上一年的两倍。

这份预算仍是动态计划,会根据业务需求、硬件和电力供应情况按季度调整,最终金额可能不同。它覆盖公司整体的数据中心和其他AI基础设施,并非这款世界模型的专项预算。

在那篇报道中,DZT Research驻新加坡科技分析师柯岩认为,字节、腾讯和阿里巴巴正越来越多地把AI基础设施视为战略资产。他还提醒,考虑各地建设和运营成本后,中美科技公司的实际投入差距可能小于美元金额呈现的差距。

04字节的机会,藏在已有的内容业务里

在字节准备推出新模型时,其他公司也已经沿着不同路线接近用户。

今年1月,谷歌已向美国符合条件的Google AI Ultra订阅用户开放Project Genie,让他们创建和探索交互世界,官方将其定位为实验性研究原型。

就在9月1日,李飞飞创办的World Labs也公布了新一代世界模型Atlas,将镜头控制、空间重建和仿真等能力放进同一套模型。目前Atlas面向选定合作伙伴提供早期访问,尚未向普通用户全面开放。公司表示,它将为未来版本的Marble及其他产品提供能力。

World Labs已有的Marble则早在去年11月就向公众开放,用户可以生成和编辑3D世界。

X账号@aim_predict认为,字节加入实时交互式3D生成,会给谷歌Genie、World Labs等参与者带来更多竞争。

字节手中值得关注的,是已经存在的内容业务和创作工具。Seedance可以通过CapCut、豆包等产品接近创作者,Pico提供空间交互设备,抖音和TikTok拥有现成的内容分发渠道。如果新模型随后接入这些产品,就有机会进入用户原本已经在使用的工具和娱乐活动。

这种触达能力已经在字节的其他AI产品中出现。彭博社5月27日的报道提到,当时豆包月活跃用户已超过3亿,抖音则被用于推广公司的新产品。一项陌生技术能否在熟悉的入口里让人试上一次,会影响它从技术演示走向日常使用的距离。

其中,Pico以及直播、短剧、游戏是此次报道明确提到的方向;抖音和TikTok是否会接入、以什么形式接入,目前还没有公布。

X用户@ricci_nov关注的是分发与反馈。他认为,拥有内容平台的公司,可以把生成、使用和用户反馈接在一起,观察人们愿意参与什么,再据此调整产品。

这种条件能帮字节接近用户,却不能替它决定用户究竟想玩什么。创作者、观众和头显用户对同一个模型的期待,可能相差很大。

直播和短剧的制作者可能会先用它调整场景、改变视角,把从想法到画面的过程缩短。他们未必需要一整个随意漫游的虚拟世界,能否更方便地做出一个镜头,可能就足以决定工具有没有用。

观众是另一回事。即使场景可以随着声音和动作变化,也还需要设计参与的理由:改变画面之后能发生什么,自己的选择能否影响接下来的体验。游戏和互动短剧可以探索这些玩法,但不能把生成环境本身当成已经完成的游戏或剧情。

到了Pico上,用户直接在空间里移动和转头,连贯的画面与及时的回应会更加重要。这与在手机上使用一个内容创作功能,既不是同一种体验,也不是同一道产品题。

字节不必把所有用途装进同一种产品,也不用等每位用户都先买一台头显。创作工具可以先服务一批愿意使用新技术的人,互动内容需要找到值得反复参与的玩法,头显要让设备和环境配合起来。

把这款模型介绍给用户,对字节不算最难。真正难的是:第一次体验之后,人们还愿不愿意再进去玩一次。

相关推荐
热点推荐
雷军发布小米迄今最贵手机,无视消费者购买力,股价或迎来跳水

雷军发布小米迄今最贵手机,无视消费者购买力,股价或迎来跳水

东方豪侠
2026-09-08 07:13:50
为啥女生很少有臭脚的?网友:脚臭基本上是闷出来的,试试光脚出门

为啥女生很少有臭脚的?网友:脚臭基本上是闷出来的,试试光脚出门

带你感受人间冷暖
2026-09-08 00:05:28
央企行贿7610万美金,总统只分到101.17万……

央企行贿7610万美金,总统只分到101.17万……

家传编辑部
2026-09-06 21:28:20
郭德纲风波完全失控!杨议再表态、曹云金看不下去、于谦电影定档

郭德纲风波完全失控!杨议再表态、曹云金看不下去、于谦电影定档

天马幸福的人生
2026-09-08 01:24:16
原来职业装也可以很迷人,细节决定高级感

原来职业装也可以很迷人,细节决定高级感

美女穿搭分享
2026-09-08 11:01:08
血亏!巴萨 1500 万捡漏彻底翻车!阿森纳旧将首秀遭球迷狂喷

血亏!巴萨 1500 万捡漏彻底翻车!阿森纳旧将首秀遭球迷狂喷

澜归序
2026-09-08 09:14:06
一个被很多人忽略的史诗时刻:特斯拉可能正在把电池工艺推向爆发

一个被很多人忽略的史诗时刻:特斯拉可能正在把电池工艺推向爆发

旧史新谭
2026-09-07 18:40:37
上海站发生重大事故!救援人员因害怕,逃离!对手弃赛火海救人

上海站发生重大事故!救援人员因害怕,逃离!对手弃赛火海救人

林子说事
2026-09-08 08:02:43
2架俄罗斯Su-35S战斗机在库尔斯克相撞并坠毁,飞行员1死1伤

2架俄罗斯Su-35S战斗机在库尔斯克相撞并坠毁,飞行员1死1伤

山河路口
2026-09-08 12:05:23
坚决支持中国政府的严正声明,越南占领的中国岛礁全部归还,越方人员全部撤出!否则后果自负!

坚决支持中国政府的严正声明,越南占领的中国岛礁全部归还,越方人员全部撤出!否则后果自负!

月光婉儿f
2026-09-08 09:54:22
为何超市月薪2000多元,却没人肯辞职?超市员工:“傻子”才辞职

为何超市月薪2000多元,却没人肯辞职?超市员工:“傻子”才辞职

猫叔东山再起
2026-09-08 10:00:04
中国国防部已经向全世界把话挑明:解放军已经做好了全部准备

中国国防部已经向全世界把话挑明:解放军已经做好了全部准备

果妈聊娱乐
2026-09-07 16:19:52
赵一鸣跌落神坛,是毁在了一台电子秤?还是创始人的初心破灭?

赵一鸣跌落神坛,是毁在了一台电子秤?还是创始人的初心破灭?

再战五百回合
2026-09-07 22:33:58
西藏泥石流灾害致43人遇难519人失联,90后女警父母到了现场

西藏泥石流灾害致43人遇难519人失联,90后女警父母到了现场

九方鱼论
2026-09-08 06:44:40
100多年前就淘汰的波子汽水瓶,为什么日本还在用?

100多年前就淘汰的波子汽水瓶,为什么日本还在用?

日本通
2026-09-07 15:11:59
劳塔罗升至队史意甲射手榜第三,据第二138球还差5球

劳塔罗升至队史意甲射手榜第三,据第二138球还差5球

懂球帝
2026-09-08 11:24:40
官方通报低保女孩追星 有限资源得给真困难的人

官方通报低保女孩追星 有限资源得给真困难的人

看看新闻Knews
2026-09-07 23:08:28
如何消化这次经历?斯瓦泰克:什么意思?你觉得这很疯狂吗?

如何消化这次经历?斯瓦泰克:什么意思?你觉得这很疯狂吗?

懂球帝
2026-09-08 02:53:09
刘敏涛现身中戏开学典礼,素颜发言半点架子没有,像母校探亲的学姐

刘敏涛现身中戏开学典礼,素颜发言半点架子没有,像母校探亲的学姐

雅儿姐游世界
2026-09-08 01:03:45
《我的前半生》马伊琍戏中儿子考入中戏!帅气少年迎新晚会秀空翻惊艳

《我的前半生》马伊琍戏中儿子考入中戏!帅气少年迎新晚会秀空翻惊艳

手工制作阿歼
2026-09-07 17:15:54
2026-09-08 14:00:49

科技要闻

小米再次背水一战

头条要闻

德国极右翼赢得历史性大胜感谢马斯克 欧洲或连番变天

头条要闻

德国极右翼赢得历史性大胜感谢马斯克 欧洲或连番变天

体育要闻

韩旭:我一定会再次走出去

娱乐要闻

郭德纲乱改抗战歌曲被重罚!

财经要闻

全球黄金“回家”

汽车要闻

领克20 领克的纯电小钢炮这次更运动了

态度原创

艺术
时尚
本地
家居
军事航空

艺术要闻

597米!中国第三、世界第六高楼,新效果图曝光!

白露食白——露从今夜白,味从此时鲜

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

伊朗锡里克婚礼遭袭现场发现美武器残骸

无障碍浏览 进入关怀版
×