对话北大袁粒：AI热潮里，大学可以做什么研究？

2024 年，袁粒和团队决定发起 Open-Sora Plan，试着把 Sora 展示的视频生成能力做成一个开放的研究项目。摆在这个大学团队面前的困难很现实：训练模型需要大量数据和算力，即使后来有企业参与、提供支持，他们能调动的资源，与头部公司内部做视频模型的投入仍然有很大差距。

袁粒对这个项目的期待，并不以追上 Sora 的效果为前提。他希望先把架构搭起来，把代码和训练方法公开，让企业能够接着开发，也让学生有机会在上面验证自己的想法。“哪怕这个模型没训出来，我们先把架构开出来。”在他看来，把试错中的经验也写进技术报告，后来的人就能少花一些重复摸索的时间。一个高校团队的工作做到这里，已经可以为其他研究提供起点。

2017 年，袁粒到新加坡国立大学读博，其间曾赴哈佛大学参与视觉神经科学研究。2021 年，他与合作者提出 T2T-ViT，探索如何提高视觉 Transformer 在有限训练数据下的学习效率，随后加入北京大学。目前，袁粒是北京大学助理教授，研究涉及研究涉及以视觉为中心的多模态算法与架构，以及 AI for Science，以及 AI for Science。

项目各有侧重，聊起来，袁粒总会回到那些还没解决的问题。视频已经能生成得很逼真，模型却未必能解释画面里的运动；科研智能体完成了一次任务，遇到参数修改、结果复用和环境变化，又可能无法继续。

这也让“大学还能做什么”有了具体的落点。资源有限，高校团队仍然可以找出现有方法的局限，尝试新的架构，再通过开源让更多人参与验证。一项工作暂时没有做完，也可以先为后来的研究提供起点。袁粒把它比作一段共同走过的路：到终点的十米，也许由某个团队或拥有资源的企业冲过去，前面九十米的探索，同样有意义。

以下为 DeepTech 和袁粒的对话。

没跑通的那个念头

DeepTech：你的研究从计算机视觉延伸到多模态和 AI for Science。回头看，你会怎样概括其中的主线？这条路线是一开始就规划好的吗？

袁粒：我希望让机器形成可以检验的世界理解，再把这种理解转化成预测和生成。简单说，就是先理解世界，再去预测、生成世界，下一步看能不能把这些能力转化成行动。行动这一步还需要时间，但我们也在往这个方向走。

这条主线是在研究中慢慢形成的。很多宏大的规划，在实际执行过程中都会发生偏移。最开始做计算机视觉，是希望模型能理解视觉信息。等一些问题推进到一定程度，又会发现：怎么检验它是不是真的理解了？生成就让这种理解面对了更具体的检验，后来的问题也是这样一步步出现的。

DeepTech：2018 年，你就尝试过把 Transformer 用到视觉，后来却没能跑通。当时为什么会想到做这件事？

袁粒：我 2017 年开始读博，2018 年 BERT 和第一代 GPT 出来时，就在想：它们的底层都是 Transformer，既然在自然语言处理里这么有效，能不能也用来处理视觉？

我的研究一直受到大脑的启发。视觉、语言有各自的功能，但我们希望找到一种架构，能够处理不同模态的信息。当时也有两种尝试，一种是把视觉领域的卷积用到语言，另一种是把语言领域的 Transformer 用到视觉。我做了后一种尝试。不过，学校实验室的算力和数据有限，前后累计探索了一年，没有跑通。

DeepTech：这也是你后来去哈佛做生物视觉研究的原因吗？

袁粒：动机其实很纯粹。我就想去看看启发人工神经网络的脑科学那边发生了什么，能不能启发我们再往前有一些推动，或者给我们一些信心，继续往前推进。

当时大家对 AI 的期望比较高，但发现落地范围有限、泛化能力不够好。在高校做学术研究的一个好处，是我们可以静下心来，重新思考底层的问题：为什么当时的神经网络泛化不行，问题到底在哪里，是卷积神经网络的问题，或者数据问题，还是这条技术路线上限就是很低？这时候需要做一些尝试。

会做出来，就算理解了吗？

DeepTech：从视觉走向多模态，外界容易把它理解成“给模型多接几种输入”。以 Video-LLaVA 为例，你们真正想解决的是什么？

袁粒：我们在 2023 年推出 Video-LLaVA 时，不少大模型还是分别处理图像或者视频。图像主要提供空间信息，视频还涉及时间和动作的变化。这些信息原本的表征，也就是模型内部表达信息的方式，有比较大的差异。

如果把它们直接交给语言模型，那时候的模型是无法适应时空上的差异。我们的想法是，先让图像和视频的信息对齐，再映射到语言模型能够处理的空间。比如，一个人把东西放进杯子里，模型既要知道什么是物体、什么是容器，也要理解动作发生的前后关系。只处理静态信息，或者只处理动态信息，都会限制它的能力。

我们在实验中看到，在统一的视觉表征下，图像和视频的学习可以相互促进。当然，这不等于模型已经掌握了物理因果。它是在为进一步理解物理世界打基础。

DeepTech：模型能认出、能描述，甚至能生成一个东西，这些表现之间究竟差在哪里？生成得好，能证明它理解得好吗？

袁粒：最开始做视觉理解，模型告诉你“这是一个杯子”，可能就算完成了任务。再往后问，它能不能生成这个杯子的形状？换一个角度，形状会发生变化吗？受到外力之后，会怎样变化？每增加一个要求，原来理解得不够的地方就可能暴露出来。

但理解和生成的关系也不是那么简单。理解了，未必能准确生成。理解往往是在抽象空间中进行的，从抽象回到具体，需要补充很多细节，这个升维的过程经常出现信息偏差。

反过来，生成得好，也未必理解得清楚。模型可以生成两个高速运动的物体，你再问它，这两个物体是在匀速、加速、减速，还是做不规则运动，能不能把运动轨迹精准的算出来？很多模型并不能很好地回答。

所以，生成可以让理解面对更具体的检验，但只看生成效果，还不能判断它到底理解了多少。理解和生成目前往往还是两套模型，大家也都在尝试统一，但这件事还远没有做好。

DeepTech：现在一种很常见的做法，是让理解模型、生成模型各司其职，再通过智能体系统把它们连接起来。你为什么仍然强调，应该先把理解和生成统一到一个模型里？

袁粒：我不否认分工协作的价值，但这里有两个层次。一个是单个智能体能否形成比较完整的能力，另一个是多个智能体怎样一起完成复杂任务。

还是以杯子为例。桌面的摩擦系数变了，负责理解的模型知道这个条件变化，但它怎样把这个变化传给生成模型，让杯子的运动也相应改变？中间的连接可能损失信息。两个模型接在一起，不意味着它们就共享了对场景的全部认识。

我希望先有一个能力比较完整的模型，既能理解物理世界，也能生成相应的变化。多个这样的智能体再去协作，是另一个层面的事情。生成与理解统一的重要性，我认为可能还被低估了。比如，杯子被挡住之后，模型仍然应该保留它的位置和运动信息；有人推它、接住它，后面的轨迹就应该不同。在我看来，现在模型对这类因果关系的掌握仍然比较弱。

AI 之后，大学怎么做研究？

DeepTech：这些探索都需要资源。Sora 公布后，你们发起 Open-Sora Plan，但高校的投入很难和头部企业相比。你们为什么仍然决定做，最希望给这个领域留下什么？

袁粒：AI 的学术研究需要和产业紧密联系。Open-Sora Plan 虽然由高校团队发起，但有很多企业参与，给我们提供算力、数据，一起做这个项目。当然，这些资源和头部企业内部做视频模型的投入，仍然有很大差距。但我们发起开源项目，不一定要把最终效果做到和 Sora 一样。

发起项目时，我们的想法是，先把架构搭出来，哪怕模型还没有完全训练好，也可以先开放架构，让大家知道这类能力可以怎样实现，减少信息差和信息壁垒。把模型代码、训练方法开放出来，企业就有一个能借鉴的起点，学术界也有一套能验证想法的系统。我们也会把踩过的坑写进技术报告，让后来的人少走一些弯路。

对开源社区能有怎样的贡献，是我们更关注的事情。

DeepTech：先把现有路线做出来之后，高校团队下一步应该追求什么？你们与字节跳动合作的 Helios，是在这个过程中找到的新问题吗？

袁粒：做 Open-Sora Plan 时，我们自己会遇到现有架构的问题，开源社区也会反馈这些局限。比如，很多模型是一段一段生成视频的，如果未来要走向世界模型、走向可交互，就需要考虑怎样持续生成，前面的内容怎样被后面继续使用。

产业界有很现实的目标：一条路线已经被验证了，沿着它投入数据和算力，把效果做到极致。但对学术研究来说，看到当前架构的问题之后，应该去探索新的架构。

Helios 就是在尝试流式生成。我们希望视频能持续往下生成，而不只是一次生成一段。这需要处理历史信息怎样保留、计算量怎样控制，以及时间越长、误差会不会不断累积等问题。

历史信息也不是越近就一定越重要。比如，第十秒出现的主体，在第五十九秒可能还会出现。你可以把更早的信息存得更紧凑，但要保留主体身份、场景布局这些后面仍然需要的信息。我们做了很多对照实验，去检验不同压缩方式的影响。画质很直观，但做模型时，更要关心运动和贯穿时间、空间的关系。画质可以通过一些后续方法改善。运动、主体身份、逻辑和交互关系，才是我们在架构里要重点保住的东西。

DeepTech：你一直反复提及“开源”和“找到真问题”，它们对你很重要，对吗？

袁粒：我们的团队本来也是从开源里受益的。同学们和社区交流，能找到真实存在的问题。我们做开源，也是希望开放地做科学、做研究，而不是关起门来解决一些假问题。

比如，流式生成，就是我们在交流中探索出来的方向。在 AI 科研智能体里也一样。我们原来知道科研会反复、会失败，但开放给不同领域的人使用之后，才会更具体地发现，把它做成一套系统到底有多复杂。比如，化学和生物的流程差别很大，甚至同一个领域里，不同任务的过程也差别很大。这些交流会推动我们重新思考方案。

开源让整个社区有机会继续改进，也让我们知道，自己做的东西在哪些地方还不够。它对我们自己的研究有很大意义。

科学家不会只做一轮实验

DeepTech：从面向具体科学问题的预测，到 OpenAI4S 这样的科研智能体，模型开始接手更长的任务。把它放进真正的科研过程，你们看到的困难是什么？

袁粒：很多模型用于科研时，关注一次输入、一次输出。但真正的科研任务是连续的，里面有过程依赖，也有失败和反复修改。前面一步产生的对象，后面可能要多次使用；之前失败的参数、失败的结果，也可能要重新查看。换了参数，系统就要分清新结果和旧结果，知道自己执行到哪一步，这一步依赖哪些内容，后面应该怎样走。

这些事情听起来很自然，但真正要在系统里实现，并不简单。尤其是不同学科、不同任务，流程还不一样。在 OpenAI4S 中，我们把代码作为科学行动的基本单位，让生成的代码在持续运行的 Python 或 R 环境里执行。这样，计算产生的中间对象可以保留下来，后面的步骤能继续使用。我们还要记录执行过程、结果版本，反复比对中间对象，追溯某张图、某份数据到底怎样产生。

所以，系统要知道自己做过什么，也要知道下一步应该复用什么。这些都是我们在开源交流中逐渐形成的解决方案。

DeepTech：把过程记录下来之后，研究者是不是就能放心地复现结果了？目前最难继续往前推进的是哪一步？

袁粒：还不能这么说。内存里的对象，不会自动跨进程保存。程序中断了，要恢复哪些东西，依赖哪些文件，哪些代码适合重新执行，都需要处理。换一台机器，想完整重建环境、再运行一遍，仍然有困难。

科学实验还涉及很多设备。机器、设备变了，原来的流程不一定能直接运行。哪怕执行记录比较齐全，硬件差别也会带来问题。我们希望从计算机里的科学计算，也就是“干实验”的自动化执行，慢慢走到与真实实验相连接的“干湿闭环”。怎么与科研设备打通，是下一步的核心卡点之一。这些事情不是一个团队就能解决的，需要和学术界、产业界一起做。

DeepTech：流程差异这么大，做一个通用的科研智能体，会不会离实际需求太远？你怎样处理通用目标和具体任务之间的关系？

袁粒：通用能力、泛化能力，是我们希望达到的目标，但切入点需要具体。尤其是高校团队，开始时先从一些领域、一些任务切进去。我们一开始的技能模块，也会偏向某些领域。开源之后，大家可以上传自己的技能模块，帮助项目丰富。企业也能带来资源和更多使用场景，让这个范围逐步扩大。

所以，我希望从专用慢慢走向通用。这件事难度很大，如果只靠一个团队，效率比较低。开放出来，别人知道你在做什么，才有机会一起参与，把它往前推进。

最后十米不一定由我完成

DeepTech：你一方面强调高校要有自己的架构探索，另一方面又愿意把还没完全解决的工作开放出来，让别人接着做。最终的突破如果由其他团队完成，你会介意吗？

袁粒：做科研、做学术，首先要看解决的是不是真问题。如果不是真问题，就是在纸上谈兵。

高校团队找到一个真问题，哪怕暂时不能完全解决，先提出一个初始方案，也可以通过开源、通过和企业合作，让它产生一些价值，把解决问题的方法往前推一点。大企业、初创企业，我们都有很紧密的合作。AI 研究需要打开门来做。

至于最后能推到哪一步，我觉得可以抱着“功成不必在我，但功成必定有我”的态度。解决问题的过程中要有自己的贡献，最后那一步是不是由自己完成，很多时候有偶然性，甚至有运气成分。

可能前面九十米都是大家一起探索的，最后五米、十米，是某一个团队或者企业冲过去的。就像今天的大模型，前面有很多学术界的算法、架构探索，也有更早的脑科学研究。最后面向大众的产品由企业完成，不意味着前面的工作没有意义。领域只要还在发展，我们在这个过程中做的探索，就一定有它的价值。

参考资料

https://yuanli2333.github.io/

https://ai4s.pkusz.edu.cn/info/1145/1258.htm

https://arxiv.org/abs/2101.11986

https://arxiv.org/abs/2311.10122

https://github.com/PKU-YuanGroup/Open-Sora-Plan

https://arxiv.org/abs/2603.04379

https://github.com/PKU-YuanGroup/OpenAI4S

运营/排版：何晨龙

注：封面/首图由 AI 辅助生成