对话王仲远：当 AI 迈向物理世界，物理 AGI 的上限还很高

商业漫谈

Jane's interview

AI 将正式从数字世界，迈向物理世界。

过去几十年，

神经网络的每一次突破，

都伴随着数据、算力、参数的规模突破和算法创新。

所以我对 Scaling Law 依然是 believe 的。

文 | 卫诗婕

对话嘉宾｜王仲远（智源研究院院长）

创新应该以何种方式被规划？

三年前，我曾经写下过一个中国式尝试（《 》）。

2023 年，在中国大模型正如火如荼的时候，我曾专访过当时的智源研究院创始理事长、美国国家工程院外籍院士张宏江博士。

作为一家非营利机构，智源研究院效仿 OpenAI，是一家独立于政府、商业和高校之外的新型科研机构。 2018 年前微软亚洲研究院创始人之一、刚从金山 CEO 的位置上退休的张宏江主导了这一切。在宏江博士看来，真正的科研创新，需要让年轻学者在最有热忱和动力的年龄展开真正高效的学术研究，做最前沿的、敢于失败的、但值得长期投入的技术探索方向。所以，当年的智源就坚定地喊出了要给年轻人以舞台。

2020 年，智源最早启动大语言模型悟道系列，为此调度大量资源，并大胆地启用年轻人。后来，中国大模型创业潮里的灵魂人物唐杰、刘知远、文继荣、黄民烈、杨植麟、鲁百、宋睿华等，都曾是悟道项目中出现过的身影。

智源研究院，也因此被称作，中国大模型的黄埔军校。

距离那次采访已经三年过去，智源研究院经历了从大语言模型到多模态世界模型的研究路线进化，这家年轻的机构，也迎来了首位 85 后院长——王仲远博士。

1985 年出生的王仲远，今年刚好 40 岁。在智源倡导「青年人挑大梁」的口号下，没有什么语言和行动，能比选任一位足够年轻的院长，更具说服力。

2018 年， 33 岁的王仲远曾被麻省理工科技评论评为 35 岁以下科技创新 35 人中的远见者。理由是：他曾在知识图谱和 NLP 领域解决多项挑战性问题，是 AI 领域杰出的青年科学家代表。

过去近 20 年，仲远先后经历过微软、Facebook、美团、快手这四家大厂——用他的话来说，他在微软学会了做研究，在 Facebook 学会了将技术落地为产品，在美团学会了管理，在快手意识到深度学习将迎来大一统…

带着深厚的产学研经验，和最强的学术热情，仲远来到了智源。

在今年 6 月初的智源大会上，智源邀请到四位图灵奖得主，并发布悟界系列模型——涵盖原生多模态、脑科学、微观生命、具身大脑多个大模型，以及一个跨本体具身大小脑协作框架。其中，多个重要项目负责人都在 30 岁上下。

我们的对话就发生在智源大会后一周。这场对话将涵盖：

1. 为什么 AI 是年轻人的事业？

2.这一轮深度学习浪潮，过去 13 年来的演进

3. 具身智能是未来吗？

4. 什么是世界模型？跨模态、多模态和全模态是什么？

5. 为什么 AI 将从数字世界走向物理世界？

下文为访谈节选，为方便阅读，下文为访谈节选。

（完整版请观看视频版或收听播客版）

（️视频版可前往B站，播客版可前往小宇宙、苹果Podcast 等，搜索同名账号《卫诗婕 商业漫谈Jane's talk》）

由于访谈全文较长（共 16891 字），可先参考目录：

Chapter 1. 为什么 AI 是年轻人的事业？

1.智源是一家什么样的研究机构？为什么坚定地支持年轻人？

2.首位 85 后院长如何诞生？

3.图灵奖得主 Hinton 也坦言：「很多了不起的创新研究，都是我的学生做的」

4.仲远几次关键选择，背后的技术理想

Chapter 2. 从微软、Facebook 到美团、快手： 快与慢的哲学

1.微软要求员工，要以最高道德标准行事

2.Facebook：move fast ， break things（快速行动，打破传统）

3.同理心、growth mindset 与「练心智」

4.愚昧之巅，绝望之谷，开悟之坡

Chapter 3.深度学习，要开始大一统了

1. 从 2018 就开始用 Transformer 的企业

2. Transformer 大一统，意味着什么？

3.「当56个民族都开始使用普通话时，大家就可以交流了」

4. 跨模态、多模态，全模态

5. 越简单、统一的结构，有越强的生命力

Chapter 4.从原生多模态到世界模型：“AI 将从数字世界走向物理世界”

1. 从语言到多模态，再到具身智能和 AI for Science，最终到世界模型

2.「人类的互联网数据已经被用完了」

3. 文本数据枯竭的几种解决方式：合成数据、后训练和推理、多模态

4. 多模态数据到底能不能够提升大模型的智能？

5. 人类出生时还不会说话，就已开始多模态的训练

6. 仅有语言模型是远远不够的

7. 为什么大模型会突然「精神失常」？

Chapter 5.谈具身智能：“大语言模型或许进入下半场，但多模态和具身的上限还很高”

1. 两岁的小女孩，在没有任何大人教导的情况下，学会了拆糖果

2. 泡沫起来太快、热度太高，未来两年可能会陷入低谷

3. AI 在物理世界的上限还很高

4. 功成不必在我，智源倡导「真开源」

5. 我们不知道自己的开源模型被哪些团队用了

6. AI 进入物理世界的关键难点

7. 我对于 Scaling Law 还是相信的

Jane's interview

01

为什么 AI 是年轻人的事业

“很多技术突破，都是年轻人做出来的”

卫诗婕 ：今天的对话有一个渊源：2023年我采访了当时的智源研究院理事长张宏江老师。那时你还没有来。

王仲远 ：那篇文章我也看到了，真的写得非常好，非常有深度。

卫诗婕 ：当时印象最深的一点是，宏江老师说一定要支持年轻人、给年轻人机会。GPT-3 出现时是万卡集群，2020 年的智源从 80 张卡追起，坚定地调度大量资源、启用一批年轻人去训大模型。比如今天面壁智能的 CTO 刘知远，当年在清华年轻到还没评上副教授，却在智源运作了一个千万级资源的项目，他说他特别感谢智源。

你是智源史上第一位 85 后院长。你的到来让大家更加相信，智源会是年轻人的舞台。你是如何成为首位 85 后院长的？

王仲远 ：从智源组建的第一天开始，我就知道这个机构的存在，当时我还在美团负责 NLP 加搜索的团队。2018年 Bert 模型已经出现了，那时候国外也已经开始在探讨 Bert 、 GPT 系列的模型。智源就是在这样一个背景下成立。

那时候我陆陆续续会听说，智源让青年人挑大梁——很多和我年龄差不多的、也很年轻的助理教授、副教授们，都在智源开始承担很大、很重要的项目，慢慢就觉得，这是一个好有意思的机构。它在 AI 界这么有名、每年智源大会非常火爆，但却很重用年轻人。但即便是这样，2023 年 7、8 月份时，宏江博士通过别人引荐，说他们在遴选院长，问我愿不愿意聊一聊，我还是不敢相信：

按照以往的科研机构，院长怎么也得找个院士或大咖吧。我这么年轻，真的有机会吗？那时候我才 38 岁。

卫诗婕 ：是心动的对吧？

王仲远 ：是心动的，但不敢相信。后来我才得知，他们选了一个最年轻的。

卫诗婕 ：找工作要面试，选院长需要面试吗？

王仲远 ：非常多轮，前前后后聊了也有小半年。选院长有全方位的考核：一要看科研方面有没有足够的成绩；也看系统开发、让技术实际落地的能力；最后，由于要调度的资源很大，也要看实际的管理能力。

卫诗婕 ：「系统」是指什么？

王仲远 ：指的是科研最终要变成人人可体验的成果，而不止是一篇 paper。就像 ChatGPT 出现之前，从 GPT 到 GPT 1、 GPT 2 、 GPT3，业内人确实都已经关注到这些科研工作了，但直到 ChatGPT 这样的产品出来，人们才能真正体会到，当下的人工智已经达到这样一个水平。

卫诗婕 ：为什么国家领导人也说， AI 是年轻人的事业？

王仲远 ：其实很多很多的技术突破，都是年轻人做出来的。包括 Hinton（图灵奖得主）教授，他也提过类似的观点，他说「我很多的创新其实都是我的学生做出来的」。在人工智能这个领域，尤其也是这样。如果你关注我们去年的智源大会，会看到像 OpenAI 的 Sora 的技术负责人，他提到，今天所有人工智能的技术突破，是颠覆了以往所有的范式。那么也就意味着，以往陷入在传统的科研范式中越深的人，越难以自拔，越难以突破那种思维的局限和惯性。但年轻人是不受束缚的，年轻人是没有失败的，可以去做各种各样的尝试。真正的突破，是需要去做这些尝试的——这也是智源青年人挑大梁的理念来源。

智源很多重大的科研项目都是由年轻人来担当整体的负责人。比如我开头提到的王鹤老师（银河通用创始人），他从 Stanford 毕业之后，也就一两年时间，就在智源这边获得了相应的支持来开展具身智能的研究。再比如智源的原生多模态世界模型 Emu3，负责人今年也才 29 岁，也是获得了千万级资源的支持。

卫诗婕 ：你来到智源，如何让年轻人之间的学术氛围活跃起来？

王仲远 ：智源有几个非常核心的理念，包括不论资排辈、不看帽子、倡导代表作文化。我们在遴选项目负责人的时候，更多地看过往科研方面的代表作，或者做过的开源项目。这些代表你在行业里面有没有自己的认知和影响力。

但这些都是过去。更重要的是看这个年轻人有没有对技术的理想和热情。

卫诗婕 ：怎么去甄别一个人有没有技术理想？

王仲远 ：从言谈和实际行动的选择中都会有体现。我自己就是一个理想和现实主义交织的、不断融合的经历。

最早我加入微软亚洲研究院的时候，深度学习刚刚开始，我们不断做了很多单点技术的突破，但坦率讲，我一直觉得 AGI 很可能是下一代的事情。

那时候我们常开玩笑，人工智能和人工智障，只差一个字。

但我记得 2018 年 Bert 出来的时候， Bert 模型打破了 11 项 Benchmark ，达到了 SOTA 的水平。这样一个基于 Transformer 架构的深度学习、用堆数据的方法，似乎有可能解决原来 NLP 里一直都没办法解决的智能的瓶颈，当时我做知识图谱其实也是在用另外一条路尝试突破自然语言处理的智能水平。

我意识到这绝对是一个重大突破。于是我找到老王（王慧文），那时我还在美团，找他申请了 400 张 V100，在当时，这是一笔很大的算力支持，让我意外的是，老王非常痛快地通过了，你也知道，美团是极其务实、非常讲究 ROI 的一家公司。但最终，我们当时也做出了美团 Bert 这样一个模型，然后在很多的业务开始落地。

到了 2022 年底， ChatGPT 发布了。我们当时在快手搞了一个叫 K7 的多模态大模型，这时候，这不仅仅是一个探索了，我们意识到大模型技术真正有可能影响到整个产业和社会，这是一次重大的技术变革。也就是在那个阶段，我产生了很多思考。

我印象很深，2023 年 3 月份， GPT 4 刚刚发布没几天，我到我们家娃的小学，给三年级的小朋友们上一堂人工智能课，给他们讲，数字人是多么有意思，ChatGPT 解题解的有多么好。全班的小朋友都沸腾了，大家说，哇，好厉害，以后可以不用做作业了。

这时候班上一个小女孩站起来问我说，叔叔，如果人工智能什么都能做了，那么将来我们做什么呢？就是这样一个非常简单的问题，直击我的心灵，让我反思了很久，我在想，原来我觉得 AGI 是下一代的事情，甚至下一代才会接触到 AGI 的可能性、还不是实现。但事实是，我们这一代就会触及到（AGI 的可能性），并且我们的下一代很可能就会跟它（AI）共存，到时候的社会会是什么形态？今天还有哪些技术突破亟待解决？

如果面对的是这样一场重大革命，在企业里我会有力不从心的感觉，难以将自己 100% 的精力都 all in 在 AI 上。我的内心很挣扎。这就是技术热情和理想。所以我来了智源。

卫诗婕 ：你后来怎么回答那个小女孩？

王仲远 ：坦诚讲，直到今天，我依然没有一个很准确的答案。人工智能究竟会成为我们的工具，还是会成为超越人类智能的存在。其中有不确定性。

我当时回复那个小女孩，AI 在不断发展，很重要的一点是，我们要持续去了解技术、使用技术、测试它的边界。第二，人在社会里更重要的是三观：世界观、人生观、价值观，这决定了你能否变成一个对于社会来说有价值的人。第三，练就并保持自我学习的能力。

Jane's interview

02

从微软、Facebook

到美团、快手：

“快与慢的哲学”

卫诗婕：你人生当中第一次感受到学术研究带来的快感是什么时候？

王仲远 ：在人大的时候，当时申请了一个叫做 SIGMOD 的奖学金，我们做了一个叫 Deep Web Learning 的项目。简单来说我们做的研究是如何把生成网络的数据给结构化，其实就是知识图谱的一些雏形。

最终我们搭建了一个叫「 job 通」的系统，能帮助学生们更加便捷地获取各种求职信息的一个系统。当时很多人大学生就开始用起来了，这就给了我非常大的一个鼓舞。

我所说的「系统性」的理念，在那时就埋下了。

卫诗婕：你曾经说过，大四时坚定地等微软的 offer，并因此拒绝了其他所有大厂的offer？

王仲远 ：微软亚洲研究院在那个年代是一个让人仰望的机构。1998 年它在中国成立，也是一个创业型的科研机构，跟智源研究院今天的状态非常像。当时它汇聚了一批全球最顶尖的研究员，不仅仅有顶尖的科研成果，也在为这个社会培养顶尖的人才。

那时人们心里会有一个认知：如果你想做最顶尖的研究，一定要去这个机构。我想做科研，所以我坚定地等待微软的offer。好在最后等到了。

卫诗婕：微软教会你最重要的事是什么？

王仲远：微软要求员工以最高的道德标准行事。大意是这样。呼应我上面说的三观。我始终坚持认为，一个能力很强、但道德品行很差的人，对于社会的危害是非常大的。

卫诗婕 ：你在微软从应届校招生一路做到主管研究员。去微软就是因为想做学术研究，但为什么 6 年之后选择离开 、去了 Facebook ？

王仲远 ：这就又回到了整个技术发展的趋势。我们知道这次深度学习的兴起、第三次人工智能发展的浪潮是从 2006 年辛顿教授等人在《 Science 》上的一篇论文开始的。然而它真正的爆发是在 2012 年，辛顿教授带领他的两个学生在 ImageNet 比赛上一举夺冠，让整个产业界又开始关注到，原来深度学习真的 work。

整个2006- 2012年间，深度学习在发展，技术路线也有各种争论。这期间，从 2010 年到 2016 年，我一直在微软亚洲研究院，在那里的每一天，我都充满了激情和能量，每天非常期盼去上班。但很难说哪一年的具体哪一天，我突然开始意识到，我好像与社会有些脱节了。

卫诗婕：为什么？

王仲远 ：这时候国内的阿里巴巴、腾讯、百度已经形成了 BAT，美团、今日头条也出现了。外面的世界似乎在各种高楼平地起，而微软亚研院像一个非常安全的港湾，一个世外桃源，有点像乌托邦、象牙塔。

我的同学们一直给我传来产业界的各种信息，我知道，这个世界在发生剧烈的变化。我担心离这些变化越来越远，很担心被这个时代抛弃。所以我最终决定迈出这一步。

卫诗婕：为什么最终选择了 Facebook？

王仲远 ：当时刚好有个机会去 Facebook 看看。Facebook 是真正的互联网公司，节奏完全不一样。在 Facebook 一周就可以发版一次。我们经常开玩笑说 Facebook 是最像创业公司的一家大公司，他也非常强调「 Move fast， break things（快速行动，打破传统）」——与其想得那么多，还不如赶快行动。即使做错了也没关系，再迭代就好了。

在 Facebook，人们一有想法，就立刻把它变成产品，然后全世界几十亿的用户就用到了。这种成就感很多时候真的会让人有非常强的 passion（热情） 和动力。

我那时候在 Facebook 工作，经常不自觉工作到了凌晨一两点。这个从来不是 Facebook 主动要求的，而是自发的。回国后和很多人交流时我都说，Facebook 在宽松的地方真的非常宽松，男性的陪产假居然有四个月，每周三可以在家办公，早餐、午餐、晚餐全部免费提供。

这是一家让人觉得非常宽松、非常自由，又很容易去迭代的一家公司，但是，他也通过一系列 OKR、激励和淘汰机制要求你不断证明自己，创造出新的一个又一个的业绩和结果。我们当时有 weekly Scrum，大家每周都会在一起快速地同步，我们做了什么，我们还要做什么。这样迫使你不进则退。

所以我来到智源后，也会尝试去营造这样一个环境。一方面我们特别的宽松，我加入智源之后干的很重要的一件事情就是取消了上下班打卡，也增加了很多的福利，还加大了激励，（绩效获得） S 和 A 的同学，年终奖大幅地提升，甚至超过互联网公司。但我们也会淘汰。甚至会终止项目。

卫诗婕 ：过程上是宽松的，但是在结果上相对严格。

王仲远 ：对。

卫诗婕 ：快和慢之间的哲学，怎么把握？

王仲远 ：模型训练也好，企业管理也好，都需要快和慢的结合。我们既需要对终极科研目标的追求，同时出于现实的考量，我们也要看哪一些是比较低垂的果实，需要把它尽快拿到，这个需要去平衡——因为我们需要很多的资源、很长的周期，也需要短期结果去让投资人相信，他们不是所托非人。

如果是很确定性的事情，就是要快，因为你不快，别人就已经抢先做出来了。但是有一些不确定性的事情，就是要慢，要给科研人员以足够的思考时间，足够的反思和尝试的时间，给他以失败的宽容，试错的空间，才有可做到真正的突破。

很有意思的是，你刚才正好问到 Facebook，我们今天早晨开会的时候还在聊， Facebook 的 Lama 4，为什么最近好像有点不那么给力？信息不一定准确，但可能因为他们做几个月就换一拨人，又做几个月又换了一拨人。快节奏的调整过程中，就缺乏了积累和沉淀。

卫诗婕 ：离开 Facebook 后你回到了国内，先后加入美团和快手。过程中是否练就了识别人，以及识别企业文化的能力？

王仲远 ：微软 CEO 萨提亚写过一本书叫《刷新》，里面有两个词对我影响深远：一个是同理心，一个是 growth mindset（开放心态）。

同理心是站在别人的角度去思考问题，这样我们能够很快理解，为什么没法达成一致？或者为什么能够达成一致？这样有利于合作共赢。

美团和快手这两家公司，都是符合这样的文化氛围的。后来我发现原来不同的优秀企业之间，背后是有共性的，都需要做认知的迭代。美团内部会不断地对一些项目进行复盘，复盘的同时还要做认知迭代，就是想想这件事情为什么做对了（或做错了）。不仅要把对的部分给认清楚，错误的部分也能够反思清楚，这很重要。

我在微软学会了做研究，在 Facebook 学会了做产品、将技术转化为成果，在美团学会了管理。

卫诗婕 ：美团管理的精髓是什么？

王仲远 ：定战略，建团队，拿结果，炼心智。

卫诗婕 ：前三个可以理解，练心智是什么意思？

王仲远 ：很多时候即使你尽了全力，你依然有可能失败。这个时候，你的内心需要足够的强大，你可以去反思自己为什么成功，也可以去反思自己为什么失败，尽管这个过程非常痛苦。说到这又让我想起在美团时有一个理论，叫愚昧之巅、绝望之谷，开悟之坡。你听过吗？

卫诗婕 ：没有。

王仲远 ：人成功时会觉得自己很顺利，这时候会产生一种错觉，觉得自己无所不能、做啥成啥，觉得自己是非常 unique 的，极度之优秀的，这就产生了愚昧之巅。但很多时候，人所取得的成绩是天时、地利、人和综合的结果，你错误地将其都归纳为自己的成果，这就处在了一个愚昧之巅。老王说，作为一名管理者，一个很重要的任务是，当你的团队成员处于愚昧之巅的时候，你就要将他推向绝望之谷，让他认知到「愚昧之巅」。

但你处在「绝望之谷」的时候，你是否自暴自弃、自我否定，觉得自己一事无成？这又变成了另外一个极端。我们需要一颗更加平和的心去面对（失败）。

这就进入到开悟之坡。你能够更淡然地看待成与败。意识到哪些事情要应势而为，哪些或许应该放弃，于是你的人生就会进入更加怡然自得的状态。

卫诗婕 ：你经历过绝望之谷吗？

王仲远 ：肯定经历过。但我不想分享。哈哈哈。

卫诗婕：你在绝望之谷的时候想些什么，可以开始爬这个开悟之坡？

王仲远 ：一定要有这个意识：当你处于绝望之谷的时候，你不是孤单的，全世界几乎每一个人都会经历自己的绝望之谷。第二，要用自己最舒服的方式来帮助自己走出抑郁或低谷的状态。比如我自己就曾经选择去旅行，在挪威的罗弗敦群岛，有雪山、红叶、大海、蓝天。你会发现世界如此之大，为什么要困于自己的茧房之中。

卫诗婕 ：你在美团还学到什么？

王仲远 ：大概是在 2018 、2019 年的时候，兴哥（王兴）发过一份全员信，就叫苦练基本功。他说整个商业拉长足够多的周期来看，很多的失败最终都是源于基本功不够扎实。无论是做研究、做商业、做任何的事情，最后大家比拼的都是基本功。

你能不能够把基本功的每一个细节，都做到足够的到位？

现在训大模型，为什么不同的模型公司，训练出来的模型效果不同？虽然现在训模型的技术大家是相对统一的，方法差不多，但最终模型效果的差异，就藏在你数据的质量、训练过程极致效率的优化，每一个芯片的利用率，网络通讯里面的每一次故障，loss曲线中每一次异常的波动你是否都追究了？是否有足够的敬畏心去扎入到细节中？只有这样，模型效果才会达到惊艳。

直到今天，作为院长，我不得不有各类的对外沟通、定战略、谈合作伙伴等等事情。但是对于一些重大的项目，我现在依然会盯得很细，甚至会深入到很多细节，因为细节决定了成败。

Jane's interview

03

深度学习，要开始大一统了

越简单、统一的结构，

有越强的生命力

卫诗婕：你加入快手之后，主要精力就在多模态对吗？

王仲远 ：对，因为快手是一个短视频的平台，所以它不仅仅有 NLP。事实上，快手的 NLP 在最开始还不是主流，我当时接手了快手的 MMU 团队，这是一个 AI 平台，它包含了视觉的能力、音频的能力，后来我们又建设了 NLP 的能力，最后我们发现，很多的技术殊途同归。我加入后力推的第一个项目，是把整个视觉的底层模型架构全部升级为 Transformer。在那个时候（2020），企业里关于是否运用 Transformer 依然是有争议的，因为需要消耗的资源量还是挺大的。

卫诗婕：为什么那个时候就坚定地换成 Transformer？

王仲远 ：刚才提到2018年，在美团我们已经做了 Bert， Bert 的底层是 Transformer， GPT 的底层也是 Transformer，我意识到一点，深度学习，有可能要大一统了。底层的架构越来越像，越来越接近，都开始基于 Transformer 来进行训练。

当我们把原来的视频、音频，从 CNN 或者 RNN 的这些结构，都往 Transformer 结构转变的时候，我意识到，不同模态之间的转化，也就是跨模态甚至到多模态，可能成为了一种趋势。

卫诗婕 ：大家都用 Transformer，意味着什么？

王仲远 ：意味着不同模态的信息，在做编码的时候，可以统一。

以前，不同领域的信息，是互不干扰，比如自然语言处理会用分词、词法分析、句法分析、语义分析，分阶段来完成；在图像领域有标签生成的任务，也有把它转成编码的任务，还有图像上的区域识别，物体的识别等等，这些背后的模型，虽然我们都叫深度学习，但深度学习所使用的神经网络结构各不相同。简单来讲就是，一种任务就用一种结构，这些结构不统一，编码方式也不统一，训练数据的格式不统一，最终就各做各的。但当 Transformer 出现，且语音、视觉、NLP 都开始用 Transformer 的时候，我就开始意识到，不同模态可以放在一起进行融合。

就好像咱们国家有 56 个民族，但是我们都有一个共同的语言叫普通话，当我们使用普通话的时候，不同民族之间大家都可以交流了。所以，不同模态之间，当他们有了共同的架构，就有了共同的语言，就能够进行融合、产生意想不到的效果。

卫诗婕 ：跨模态、多模态，甚至还有全模态，这几个概念怎么区分？

王仲远 ：单一地看，从文字变成图像，文字变成声音，图像变成脑电信号等等，从一种模态跨越到另一种模态，我们将其称为跨模态——虽然目前行业里更多把这类模态称为多模态。但我们行业里常常说，此多模态非彼多模态。

现在常见的图像理解、视频理解这种多模态，背后用的模型基本都是类似于以大语言模型为核心，再加上不同模态往语言模型的映射， CLIP 之类的一些架构，以一种偏组合式的、以语言模型为核心的构建方式。比如，文字生成图像用的是 stable diffusion 这样的架构，文字生成视频用的是diffusion、 Transformer 这样的一些架构。

但真正的多模态能够统揽所有的模型，指的是输入的时候就能够接受不同的模态一起输入，输出的时候也能够接受不同模态的输出。他所使用的技术解决方案和刚才讲的这些解决方案不一样。全模态指的是，我们希望所有的模态都能作为输入，所有的模态都能作为输出，所以它更代表大一统。

卫诗婕：智源今年在智源大会上发布了原生多模态世界模型 Emu3。什么是原生多模态？

王仲远 ：现在我们讲的原生多模态，就是希望从一开始就能够设计出一种统一的架构，能够把不同的模态各自编码，或者以某种方式编码到这个架构里。因为我们人类的大脑某种意义上，就是一个全模态。我们可以接受外界各种各样的信号，也能输出各种各样的信号，最直接的当然是文字、声音，但是当我们闭上眼睛，也能想象画面，像视频一样，这就是我们全模态的能力。

这么多年的研究和产业实践的经验，我意识到，越简单、统一的结构，有越强的生命力， scale up 的可能性，越有可能改变这个世界。

Jane's interview

04

从原生多模态，

到世界模型

“AI 将从数字世界，走向物理世界”

卫诗婕 ：智源给出了一个 AI 发展的趋势判断：从语言到多模态，再到具身智能和 AI for Science，最终到世界模型，为什么是这样的趋势？

王仲远 ：2023 年您采访宏江博士的时候，业内大家会有一些这样的争论：大模型似乎已经开始产业化了，智源还需不需要做大模型？智源接下来该做啥？去年我们开始梳理和分析未来发展趋势，有一个基本论断：大模型的发展还远没有到尽头。

现在已经成熟和收敛的技术路线基本上是局限于大语言模型，或者基于大语言模型所构建出来的多模态模型。那么已经相对成熟的技术路线，就应该交给企业来做。

我们现在可以看到，大语言模型所依赖的文本数据，主要是互联网数据。 Ilya 在 NeurIPS 有一次主旨演讲，全世界只有一份互联网数据，因此大语言模型的 Pre-train 阶段有可能就已经结束了。固然可能依然还会有一些新的这种数据，高质量的数据，比如说领域数据，比如说一些闭源的数据可以被用来加入到 Pre-train，但是人类的互联网数据已经被用完了。

解决文本数据枯竭有几种方式：

第一种是合成数据，如何让人工智能有一天能够通过合成的数据继续不断地迭代大模型的训练，这肯定是一个非常重要的研究方向。在这个研究方向上，你可以想象互联网数据本身也是人类写的。但如果有一天机器人的智能达到或超过人类智能，就有可能创造出比人类创造的数据还高质量的数据，那这些数据就有可能反哺大语言模型，这就是合成数据。

第二种是，不在意文本数据枯竭的问题了，因为已经有了压缩了很多知识的foundation model，这个 foundation model 的能力可能还没被完全激发，这就是后训练和推理模型，它在去年很大程度上改变了整个产业的格局，使得慢思考的能力所激发出来的智能又出现了一条新的 Scaling Law 曲线。像现在的O3、O4， DeepSeek 的 R1 以及大家所期待的 R2，都可能继续激发智能。

第三种，可能是多模态。文本数据以外，其他的模态，比如声音、图像、视频、3D 以及像脑信号这些模态的数据，数据量可能是文本数据的百倍、千倍乃至万倍，是很高的一个上限。这些数据并没有被有效地用来做大模型的训练，来做智能化的提升。

这里面学术界和产业界会有一个争论：多模态数据到底能不能够提升大模型的智能？

NLP 领域的学者普遍会有一种天然的自豪感，觉得语言是人类所独有的，没有任何一种动物能像人类一样拥有如此完备的语言体系。许多人认为语言才能够提升模型的智能。但是，我自己也做过视觉、语音等多模态模型。多模态一定是有它的独特性的，能否提升智能取决于对智能的定义。比如说很多的动物，它没有语言体系，但它也有智能——依然能够解决觅食的问题、与同伴交流的问题、能够对世界有各种各样的探究。

而且在真实落地的时候，我们发现仅有语言模型是远远不够的，因为在各行各业的生产生活中，不同模态是非常多的：PPT、流程图、设计图，医疗领域的核磁、CT、X光，这些都是多模态的数据。所以，不管多模态能否提升智能，一定是人工智能要去突破的一个方向。

另外一方面，现在大语言模型的学习路径和人类学习路径是很不一样的。我们人类从一出生的时候是不会说话的，但我们已经开始通过视觉接触这个世界、开始了学习。人类已开始的学习就是通过多模态的训练。

所以我们会认为，既然神经网络是仿照人类大脑的神经网络构建的，现在固然找到了一条已经走通的路径，就是大语言模型，那么应该也要有一条路径能够将不同的模态也压缩在一个神经网络当中，这就是智源研究院所去探索的原生多模态模型。

卫诗婕 ：按照现在行业通用的，以语言为核心多模态大模型，会有什么问题吗？

王仲远 ：举一个例子，现在以大语言模型为核心的多模态理解模型经常遇到的一个问题是，我们可以把大语言模型训练到了博士生的水平，但是在加入其他的模态之后，模型的智能水平似乎退化了，退化成了大学，甚至退化成了高中水平。

所以我们经常看到一种现象：（问模型）3.1 大还是 3.2 大？它就搞不清楚了。这跟人类的大脑不太一样，正常情况下，人类接触到的知识越多，我们的大脑是越来越聪明，并不会突然之间丧失一些常识。

所以，我们其实也想探究整个神经网络问题的一个本质：到底什么样的训练方式能够更好地去训练出一个优秀的大模型？我们的原生多模态大模型就在做这方面的一些探索。

卫诗婕 ：为什么是这个顺序——从语言到多模态，再到具身智能、 AI for science 再到世界模型？

王仲远 ：语言大模型现在已经走通了，纯视觉模态的大模型还没有完全走通，因为视觉的信号，一方面数据量特别的大，另外一方面有效信息又特别的少，所以使得纯视觉模态的大模型，还有很长的路要走。

之前我跟谢赛宁（华人计算机科学家）交流，他就特别希望探索，不考虑语言，纯从视觉中学习出智能。也许这是两种不同的智能。

理论上，原生多模态大模型能够越来越接近人类的大脑，那就意味着它能看到这个世界、感知这个世界，理解这个世界，还能跟这个世界进行交互，所以我们认为，它（AI）将从数字世界迈入物理世界。当它进入物理世界后，整个物理 AGI 将得到一个重大支撑，新的一扇大门就会被推开。这也是为什么我们今年发布了「悟界」系列大模型。

卫诗婕 ：悟界的「界」代表跨界，是吗？

王仲远 ：「界」代表的是虚实世界。人工智能将从数字世界迈向物理世界。物理世界里原来也有一些智能，比如说基于强化学习本身，包括像无人驾驶，像机器人要去拿一个杯子，要让他自主决策、像人类一样有泛化的能力，仅仅通过强化学习是不太够的。

卫诗婕：那么到底什么叫世界模型？

王仲远 ：刚才提到，当下很多的多模态大模型，走的其实是捷径，不一定是终极路线。走的是捷径，指的是，当有了大语言模型，把别的模态往大语言模型的这个语义空间映射完之后，发现他已经具备了一定的多模态能力，特别像你在一个封闭环境里先学到了博士学位，但最后告诉你，这个世界不是这个样子的。你突然间受到了巨大的冲击，以至于精神有些失常（笑），于是智力下降，然后浑浑噩噩地解决一些问题，但没有解决本质的问题。

所以我们看到很多机器人在使用现有的多模态大模型时，它对于空间和时间的感知是不够好的。这是因为它「看」到的，都是对于静态画面的描述，因为这是从数字世界就很容易得到的一个训练数据集。于是它「看到」这里有两个人在交流，两个人都穿着黑色的衣服。但是在真实世界里，我们很少这么交流，大家第一反应会是，他们实际在交谈，这可能是一个访谈节目。有时甚至不是描述性的，而是会预测下一个动作，这需要对现实世界有深刻的理解。

所以，我们希望去构建一个对世界有真正理解的原生多模态模型。

卫诗婕：是否要像人类理解这个世界的方式一样，去对这个世界建模？

王仲远：是。其实杨立昆（LeCun，图灵奖得主）在 2023 年的时候参加智源大会，就已经提出了世界模型。前两天他也发布了最新一版的世界模型。

很多人在问什么是世界模型？什么是空间智能？什么是时空智能？它跟现在的大模型、多模态、大语言模型和多模态大模型又有什么样的区别？行业里目前还没有很明确的定义，所以这就意味着，大家对于世界模型的技术实践路径就也不是那么统一。LeCun 有他自己的关于世界模型的理解，并且他们做了很多的尝试。

卫诗婕 ：智源的世界模型跟 LeCun 提的世界模型有什么区别？

王仲远 ：我们的世界模型还是刚才讲的，走的是大一统的路线。LeCun 他所提出的这种（世界模型），其实分了一些模块。

我们希望用更加简单的方式来做世界模型的学习，当然最终能不能达到我们所期待的世界模型的效果，还有待验证。也许它具备了一定的世界模型的属性，最终我们发现，靠一个大一统的模型具备了很多的能力，但可能还不够，那需要再加一些模块。将来的世界模型的构造也有可能变得更复杂，但是我们希望最开始能用一个很简单、很容易能够扩展，能够 scale up 的一些结构来训练这样一个世界模型的基础模型。这是我们的技术信仰和理念。

卫诗婕 ：2023年我就在现场，LeCun 当时分享世界模型的时候，把 AI 比作从一个婴儿慢慢长大，过程中如何学习。这一点你们今天跟他还是共识的，就是要让 AI 像人类一样去学习，对吗？

王仲远：对。在技术路线上，永远都会有各种各样的争议。我可以分享一个小故事。其实今年 2 月份，当时跟 Bengio 教授还有包括 LeCun 在交流的时候，我就发现了 Lecun 不相信自回归这样的技术路线， 所以他在很多的场合都会挑战（这种观点），说大语言模型的技术路线是不正确的，无法达到 AGI。然后 Bengio 教授他不相信强化学习，哈哈哈，他觉得强化学习不具备泛化的能力，所以在今年的智源大会上，Bengio 教授他提出了，要有一个 Scientist Agent， 用一个相对统一管控的方式构建一个安全的 AI。

但 Sutton 教授（强化学习之父，图灵奖得主）就会觉得人类从出生开始，就是在跟这个世界不断地在交互，并且得到了 reward（激励），然后在成长。

所以其实您可以看到，在研究界即便最高图灵奖得主，大家的技术信仰也是不同的。

卫诗婕 ：大家有不同的路线，有人爬南坡，有人爬北坡。

王仲远 ：Exactly。这个例子非常好。

卫诗婕：最近 Meta 推出了一个世界模型 V-JEPA 2 ，登顶了 Hugging Face 的榜单。 V-JEPA 2 和你们的世界模型，有什么区别吗？

王仲远 ：这应该就是 LeCun 所提出来的那种世界模型。我们的技术路线完全不一样，当然也会去做一些能力上的对比，但在智源内部，我们对于具身智能团队一个非常重要的要求，就是真机部署，对于世界模型到底好用不好用，一定要在真实的场景和环境下去验证，不仅仅是在榜单上去验证。何况现在大模型的各种榜单眼花缭乱。

卫诗婕 ：问一个最基础的问题，我们刚才讲到的原生多模态模型和具身智能模型，它们都是世界模型，还是它们一起构成了世界模型？

王仲远 ：这个问题非常好，我也没完全（确定）的答案。首先是因为世界模型就没有一个很明确的定义，但我个人觉得，它们可能是世界模型的一种组成部分。

Jane's interview

05

谈具身智能：

“大语言模型或许进入下半场，

但物理 AGI 的上限还很高”

卫诗婕：你提到 Sutton 教授我印象很深，他今年出席智源大会的时候穿着一件花衬衫，表达了自己对 AI 的乐观态度，他提到人类生成的数据将要用尽，AI 将要迈入体验时代。这个「体验时代」是否跟现在智源做的世界模型是相通的？你们是一个阵营吗？

王仲远：我们没办法简单地划分阵营。我自己对于技术路线是这么理解的：我觉得多半概率下，我们会有一个基于海量数据训练的一个 foundation model（基础模型），再基于强化学习的方式来提升、激发它的智能，大语言模型就是如此，而在在具身智能这个领域，也很有可能会有一个多模态模型或世界模型作为一个 foundation model，再通过真实世界的数据采集、体验学习，不断去激发这个 foundation model 的能力，并且将这个学习到的技能给记住，这可能是具身智能发展的一个路线。

这个路线我在真实世界中其实有观察到。今年春节，我看到了两岁的小女孩，在没有任何大人教导的情况下自己学会了拆糖果。我们当时都震惊了，从来没有人教过他，为什么他能学会呢？后来我发现，原来她在刷手机上的视频，她在视频里面看了大量这样的数据，一个主播小姐姐在拆各种各样的糖果、吃糖果，于是她的大脑就学习下了这种可能的能力，她又在真实的世界里面去实践了。最开始她失败了，最后发现有锯齿的地方可以撕开，她成功了，于是就学会了这样的能力。

仅仅是一家之言，我认为最终会是一个多模态的、或者一个世界模型的 foundation model，加上强化学习，最终是真正意义上的未来的具身智能。

卫诗婕 ：所以你们今年也做了给具身智能的大脑模型和底层框架。

王仲远 ：是，具身智能大脑 RoboBrain 和 Robo OS——一个大小脑协作的框架。主要是为了让大脑跟机器人已经具备的小脑之间，更容易去协同和适配。

卫诗婕：为什么具身智能今年那么火？

王仲远 ：具身智能之所以会在过去一两年显得尤其火热，有几个因素，首先是硬件的成熟；第二是在强化学习方面的突破，另一些研究者们开始相信，机器人的强化学习应该也能够有进一步的突破。第三，大语言模型和多模态模型，可以开始让机器人「看」到这个世界，「感知」这个世界。这让大家看到了一些希望。再加上政策加持和国内外的各种发展，使得具身智能越来越火。

但我一直在各种场合强调和呼吁，在我看来，具身智能是一个 5 年到 10 年周期的、甚至需要更长周期去发展的领域。我们需要有更多的耐心和宽容，按照历史规律，泡沫起来太快、热度太高，很可能在未来两年，这个领域会陷入低谷。但是请大家放心，智源研究院做具身智能绝不是跟风和追热点，我们会扎扎实实把每一个项目做好。

卫诗婕 ：我们刚才讲到语言和多模态模型是需要找到场景去搜集数据、训练和应用。但为什么（智源）是先挑了具身智能？你们今年（大模型）发布的两大重点，一个是原生多模态，一个就是具身智能。

王仲远 ：因为刚才提到，最终我们希望人工智能可以造福人类，帮人类解决问题。它不仅要作诗，也要做事。做事就需要一个本体。无论这个本体是机械手臂还是轮式单臂、轮式双臂亦或是人形——当这些本体真实地进入物理世界，会发现，AI 在物理世界的上限还很高。

卫诗婕 ：你之前用了一个词形容你们做的具身大脑 RoboBrain——最强大脑。「最强」体现在哪里？

王仲远 ：智能化最重要的体现就是泛化性，其中包含了对于空间的理解能力、任务规划的能力。围绕这几方面，我们让 RoboBrain 在不同任务上都做了评测，最终证明我们在能力上是超过那些现有模型的，并且我们也将它开源了，RoboBrain 也会持续迭代。

卫诗婕： 你上任之后一项非常重要的举措是倡导「真开源」，为什么？

王仲远 ：其实智源研究院在骨子里，一直都有「功成不必在我」的理念，我们通过一些项目培养了很多的青年人才，这些青年人才可以继续留在智源，做各种各样的项目研究。也可以自己去创业，去市场上折腾，也可以到大公司里去把产品做得更好。

所以，同样地，通过开源的社区和生态，我们也在润物细无声地支撑着整个人工智能产业的发展。之所以倡导「真开源」，是因为商业公司确实有它的业务需要，很多时候只开源权重，智源的「真开源」，是把代码数据，包括模型本身，包括一些评测的方法全部都进行了开源，帮助大家去复现，也能够让大家基于我们的模型做进一步的迭代和研发。这就是呼应了宏江博士所说的，功成不必在我。

卫诗婕 ：那你们的原生多模态大模型和具身智能大模型目前被应用的情况怎么样？

王仲远 ：你问了一个非常好的问题，智源研究院一直都在研发各种各样的模型，并全部都开源出去了。但开源出去之后，我们甚至都不知道被哪些机构、哪些团队最终拿去用了。

举一个具体的例子，比如智源在过去两年所发布的 BGE 系列模型，也就是通用向量模型，它在去年 10 月份的时候登顶过 HuggingFace 月度下载量的榜首，并且是 2023 年以来在 HuggingFace 所有发布的 AI 模型中，截止到去年年底，下载量的第一名，它的下载量达数亿次。但我们自己难以追踪，究竟哪些个人开发者或者企业，使用了我们的模型。但我听很多企业朋友对我说过，你们的 BGE 模型真好用。几乎你能想象的、你所知道的所有大型互联网公司，一些热门的创业公司，都在用我们的 BGE 模型。当然他们不会在公开的场合这么去说。

我们有时候会要求开发者登记一下他的姓名、单位、邮箱等基础信息，后来我们发现，有超过 30 多个国家和地区，数百个机构，包括大家所有耳熟能详的这些公司，它们都在使用我们的模型、数据和框架。

卫诗婕 ：你们现在在做的最重要的几件事是，多模态、具身智能和生命科学。有限的资源下，如何确定做哪些方向，如何确定最重要的方向？

王仲远 ：这三块确实是我们未来几年最重要的发展方向。当然，的确因为资源有限，我们已经有所取舍。刚才讲了，比如世界模型，可能有路线1、2、3，但我们只能选择一条路线，不像大厂，可能南坡北坡都爬。但这种布局最终的结果可能是，它们具体到某个团队所获得的资源，可能还不如智源。这是有可能发生的。

卫诗婕 ：你以前在采访中给过技术人建议，建议大家一定要关心最关键的核心技术。你觉得这个时代最核心的技术是什么？

王仲远 ：当下技术还没有收敛，不同的领域、不同背景的研究员，他所关注的核心技术一定不一样。但我想传递的是，要扎扎实实抓住每一个细节。大家可以基于自己的理解，基于自己对于技术发展的判断，基于自己的兴趣，基于自己的热情去做。每个人如果都能有工匠精神，最终也会出现独一无二的工匠。

卫诗婕 ：前段时间OpenAI 的华人研究员姚顺雨，给出了一个判断： AI 正在进入中场休息，在此之前是训练大于评估，在此之后将会是评估大于训练，这背后就意味着要从解决问题到定义问题，你认同吗？

王仲远 ：我部分认同，我觉得顺雨这个判断是基于他所在的大语言模型领域。如果大家翻翻看，去年我接受媒体访谈时就预判过，咱们国产的模型是可以追上 GPT4 的。以及往后，agent 会是一个重要发展方向。后来我们就看到了 DeepSeek，国产模型可用、且批量落地，以及 agent 的爆发。

当模型能力可用，的确就进入了顺雨所说的状态。但是，从研究院的角度来讲，我们依然会去不断推动大模型可能的上限，无论是多模态还是具身智能，物理 AGI 的上限还很高。

卫诗婕 ：所以你今天能给出什么确定性的趋势预判？

王仲远 ：最确定的就是，我还是非常坚信人工智能将正式从数字世界迈向物理世界。

卫诗婕 ：AI 进入物理世界最关键的难点有哪些？

王仲远 ：最关键的难点，还是空间和时间的感知能力，以及如何去跟硬件结合。

因为硬件构型不统一，导致模型如何去指挥硬件达成他想要的效果——这在行业里还没有形成统一的标准，还处于一个低水平的阶段。

卫诗婕 ：空间、时间的感知力背后，具体是什么？

王仲远 ：可能就是这个世界模型。除了现在的这条人工智能大模型的技术路线，我们也会去思考类脑智能有没有可突破的可能，数字孪生心脏能不能够解决我们对于人类身体构造的另外一种理解？蛋白质生命分子的建模是不是能够帮助我们对于生命的运作机理有更深刻的认知？

这些都是未解之谜，都是我们希望去探索的。当然对于一些探索性的项目，我们会比较谨慎，小资源的投入，给我们的研究员以充分的时间和空间的一个宽容。比如我们今年在智源大会上发布的悟界 Brainμ ，它是脑科学领域首个多模态的通用基础模型，实际上这就是一个很小的团队做出来的，它把包括脑电信号、功能核磁、双光子等信号放在一个统一架构去训练后，产生了意想不到的效果。

卫诗婕：多模态、包括刚才所讲的世界模型的训练下，需要全新的架构吗？

王仲远 ：也有可能不需要。首先 Transformer 已经被证明了是一个非常通用、非常好用的一个架构，至少它能够实现数据的 scale up。但你说 Transformer 有没有它自己的问题？显然是有的。 Transformer 的问题就是它在效率提升方面，依然是有空间的，所以现在也有很多团队在探索更高效的方式。

一个架构的替代是一个长周期的事情，它跟芯片加速、各种效率优化，包括算子等等，这些都是紧密相关的，所以一个新的架构要替代掉 Transformer，它是需要比较长周期不断地被论证、被验证的。

我们不能排除未来各种的可能性，但是我们会基于现有的这些架构会去做各种各样的一些探索。

卫诗婕： Scaling Law 会一直是主线吗？

王仲远 ：我自己对于 Scaling Law 理解和行业里其他研究者可能不太一样。在去年的智源大会上，我分享过一页 PPT，在我看来， Scaling Law 不是这两年才出现的现象。如果我们把时间拉得足够长，过去七八十年，神经网络这一条技术路线的智能每一次重大的突破都是伴随着数据规模、算力能力、参数规模，当然还有包括一些算法的创新，这些综合所带来的一次能力的突破。

当我们陷入一件事情的纠结、争论和挣扎时，把时间尺度拉得足够长，就会豁然开朗。

以参数量为粗略的类比，2018 年的 BERT Base 只有约 1 亿参数，和人类大脑相差约百万倍。到 2020 年，GPT-3 的参数达到了 1750 亿，差距缩小到约1000倍；而 GPT-4 的参数据推测可能达到 1 万亿到 1.8 万亿，差距进一步缩小到百倍左右。虽然参数量并不等同于大脑突触，但从这个量级可以看出，大模型的规模正在快速向生物大脑逼近。

那么 Scaling Law 还有没有效？我认为要当我们的模型有一天能够到达人类大脑的参数的时候，再来论证说 Scaling Law 到底是有效还是没效。因为现在还面临着数据和算力的瓶颈。也许5年，也许10年，算力 ready 了，数据如果也 ready 了，也许我们找到了把多模态数据和智能也能进行压缩的方法和路径，那时又会迎来一波人工智能的重大突破。

时间拉得足够长的话，我对 Scaling Law 还是 believe 的，我对神经网络这条技术路线也是 believe 的。

卫诗婕 ：最后一个问题，你之前说，智源的目标是要和世界顶尖的科研机构掰掰手腕。怎么个掰法？我们和世界顶级的科研机构，差距和差异在哪里？

王仲远 ：智源从 day 1 就想成为为全球最顶尖的科研机构。当然我们也意识得到，我们与前者还是有不少差距：无论在资源的投入，还是人才密度。所以我更愿意务实地去追寻人工智能在物理 AGI 方向的技术路线的探索，扎扎实实把我们现在手头上的每一件事情都做好。可能我们有这样一个愿景，有这样一颗心，但路是一步一步走出来的。

卫诗婕：你想做的事情是带领智源日拱一卒，是吗？

王仲远：是。不积跬步，无以至千里。

卫诗婕 ：那哪些是差异？

王仲远 ：中国有一个非常广阔的市场，非常庞大的用户群体，非常完备的创新创业的体系。所以对于在中国的大地上做人工智能，长期我是非常有信心的。新中国刚成立的那么几十年，我们是那么的困难，我们都熬过来了，今天无论是经济体量、市场规模，我相信没有任何力量能够阻碍我们在人工智能方向的发展。

卫诗婕 ：所以你相信，南坡北坡，南坡这边的风景会很好。

王仲远：是的。

欢迎关注我的B站账号、播客账号和小红书、视频号

互动问题

欢迎留言交流你对本期访谈、大模型发展以及具身智能的看法，

感谢