阶跃星辰李璟：多模态是AGI的必经之路，视觉模型可按语言模型路线实现大一统

5月17日，由搜狐主办的2025搜狐科技年度论坛在北京盛大开幕。多位院士、科学家与产业界人士齐聚一堂，激发智慧的深度碰撞，奔赴科技的星辰大海。

本届论坛线上线下结合，开启全天的思想盛宴。在上午的线上直播中，阶跃星辰副总裁李璟发表主题演讲《迎接视觉领域的GPT-4时刻》，分享了大模型技术和应用层面的思考。

他表示，今年以来大模型厂商密集的模型发布，意味着追求智能的上限仍然是当下最重要的事情。“我们始终认为多模态对AGI的实现非常重要，是实现AGI的必经之路。”

对大模型的下一步发展，李璟表示，阶跃星辰主要会在两个方向发力。一是在预训练的基础上加上强化学习，提高模型的推理能力。“强化学习还在早期，还会延续一长段时间。”

第二个趋势是多模的理解生成一体化。李璟认为，文本领域已经实现生成理解任务的统一，语言模型的技术路线也已收敛，视觉模型完全可以按照类似路线往前走。

“第一步就是做海量的图片视频的预训练，实现predict next frame（预测下一帧），这样生成出来的视频会比Sora的效果要好很多；再加上指令遵循，视觉任务就完成了大一统。”

在AI应用方面，阶跃星辰看好Agent前景。“追求AGI是我们的初心，我们会坚持基础大模型的研发。”李璟表示，阶跃星辰会坚持进行多模态的探索布局，最终形成从模型到Agent、从云侧到端侧的生态体系。

以下是演讲全文：

各位朋友大家好，我是阶跃星辰李璟，非常荣幸能够有机会参加2025搜狐科技年度论坛，代表阶跃分享我们最近在大模型技术研发，还有应用方面的一些思考与实践。

从2月份以来，国外头部的几家基础大模型厂商你追我赶，密集发布了一系列模型。我们可以清楚地感受到一个趋势，那就是追求智能的上限仍然是当下最重要的事情，也可以看出出主流的技术脉络和共性规律。

从宏观上说，模型的发展是沿着一条智能演进的路线在往前进化。两年前，阶跃成立之初为通往AGI规划的技术路线图，包括了三个阶段：模拟世界、探索世界和归纳世界。

今天我们到底在什么样的位置？结合这波密集的发布，眼下的发展呈现出两个趋势，第一个是从模仿学习到强化学习，第二个是从多模态融合走向多模态理解生成一体化。

在阶跃提出的路线图里面，模拟世界的主要范式是模仿学习，就是把互联网上的所有的数据都喂给大模型，通过预测下一个token这样的任务来学习海量数据中的结构和特征。

当学会表征世界之后，下一步就要培养机器解决问题的能力。对复杂问题的求解，人脑需要系统2的能力，就是慢思考的能力。这也是最近的推理模型，如OpenAI的o1、o3 以及DeepSeek-R1背后所采取到的技术。

智能的下一个境界，我们认为是机器通过自主学习，主动发现人类尚未发现的物理规律。这就有点像苹果砸在了牛顿的头上，发现了万有引力的定律一样。这样AI可以在生物、核能、材料、量子等各个领域和科学家一起完成创新，我们把这个阶段称为归纳世界。

去年OpenAI流传出的AGI的五个level分别Chatbot、Reasoner、Agent、Innovator和 Organization。这五个level和阶跃提的三阶段的想法基本一致，只是表述有所不同。OpenAI的系列代表模型，基本覆盖了这个路线图的各个关键节点。

同时，随着模型能力的不断增强，模型应用也从早期的Chatbot聊天机器人，到构建智能体Agent来完成复杂的任务，并且进一步从数字世界跨到物理世界，比如和智能终端和设备的结合。应用也是跟着模型能力走的，有什么样的模型决定了什么样的应用可以成熟和繁荣。

阶跃的发展也基本绕围绕着这样的路线图进行，过去两年已经建成了 Step系列的通用大模型矩阵。我们的基础模型可以分成语言模型和多模态模型，多模态又涵盖图像、视频、声音各个模态，每个模态按功能可以细分为理解模型和生成模型。

所以阶跃形成了综合全面、多模领先的基础大模型矩阵，我们始终认为多模态对AGI的实现非常重要，是实现AGI的必经之路。

首先，AGI对标的是人类智能。人的智能是多元化的，不仅来自于语言的符号智能，还包括视觉智能、空间智能、运动智能等，这些智能必须通过视觉和其他模态进行学习，任何方面出现短板都有可能延缓AGI的进程。从应用角度来看，无论是垂直领域的应用，还是C端应用，多模态往往也必不可少。

阶跃模型下一步的发展，有两个明显趋势。第一个趋势就是在预训练的基础上加上强化学习，激发模型在推理的时候产生长思维链，从而极大提高模型的推理能力。推理模型已经从一个趋势变成一个确定性的范式，阶跃预计会在未来两三个月发布满血版的推理模型Step-R1。

我们认为强化学习还在早期，还会延续一长段时间，比如推理效率的提高、奖励函数的进一步泛化、合成数据进行预训练等等，都是需要解决的热点问题，阶跃也会在这方面持续投入。

除了语言模型之外，阶跃还率先把推理能力引到了多模态领域，确切的说是视觉理解领域。引入推理能力和长思维链能力之后，视觉模型就可以更加精准的理解物理世界，很多应用都需要这样的能力。

除了推理模型之外，第二个趋势是多模的理解生成一体化，更准确地说是视觉领域的生成理解一体化。什么叫生成理解一体化？就是理解和生成用一个模型来完成。

文本领域已经做到了理解生成一体化，但在视觉领域理解需要理解模型，生成用的是生成模型。为什么一定要做生成理解一体化？因为需要理解模型来预测内容，生成需要理解来控制。

从另一个角度说，理解需要生成来监督。就像费曼说，What can I not create I do not understand。如果可以生成的话，那就说明真的理解了。

ChatGPT模型之所以产生了跨时代的理解能力，就是因为它用predict next token这样生成的任务来做监督信号，而在视觉领域并没有出现这样的predict next frame模式。到今天为止，视觉领域也并没有出现大规模的预训练来刻画物理世界的规律。

为了进一步说明理解生成一体化的这个重要性，可以先看语言模型的技术路线发展，它经历了三个重大的技术节点。首先是20117年推出了Transformer，意义是在于scalable的文本理解生成一体化模型。2020年GPT -3被训练出来了，它用互联网海量的文本数据做了预训练，从此进入到了大语言模型时代。

2022年的InstructGPT，也就是GPT -3.5，解决了指令跟随的问题，从此NLP的任务实现了大一统，一个模型搞定了所有NLP的任务。再往后就是24年底推出了推理模型，可以用长思维链思考处理复杂问题。

下一步是什么？可能是自主学习。所以，语言模型的技术路线已经收敛，视觉模型完全可以按照这个样板一步步往前走。但视觉模型在第一步就被卡住了，现在只能理解生成各自发展。

要做好视觉的理解生成一体化，第一步要做做海量的图片视频的预训练，也就是说可以 predict next frame，这样生成出来的视频会比Sora的效果要好很多。再加上指令遵循，那么视觉任务就完成了大一统，一个模型搞定所有视觉任务。

接下来做时空推理，这就会使得自动驾驶和机器人这样的应用能够上一个大台阶。当前自动驾驶和机器人问题都是泛化性不足，没见过的东西就不会做，但人如果没有经历的话，人会脑补或者演绎，或者去尝试各种action的各种结果，最后选择一个更好的。这个就需要理解生成一体化，最后加上3D 模型，加上自主学习的进化能力，我认为就是世界模型了，到了这一天也就是AGI来临了，所以多模态是AGI的必经之路。

最近在理解生成一体化上，GPT-4o的最新版是一个很重大的突破，阶跃这方面更先进的技术会在未来几个月发布。

在应用方面，眼下最热的应用概念就是Agent。很多人也会认为2025年会是Agent 的元年，为什么Agent会在眼下变得火热？我想这跟 Agent的爆发需要的两个必要条件有关，一个是多模态的能力，一个是慢思考的能力，这两个能力在2024年都取得突破性的进展。

基于自主研发的强大模型矩阵，我们跟合作伙伴一起打造了垂类的Agent以及智能终端的Agent。比如我们跟OPPO合作打造了手机Agent，跟吉利合作展示了最新的智能座舱。此外，还和具身机器人公司合作，这块目前还比较早期，需要大家非常深入密切的合作。

最后，表达三句话，第一，追求AGI是我们的初心，我们不会改变，会坚持基础大模型的研发。第二，在整个竞争格局里面，阶跃差异化的特点就是多模态能力，不仅能力在行业里面领先，也始终走在探索的前沿方向，这里面机会巨大。

在应用层面，阶跃也是差异化的道路，就是携手合作伙伴发力智能终端的Agent，最终形成从模型到Agent，从云侧到端侧的生态体系。我们认为软硬结合才能更好地理解用户的需求，完成用户的任务。