WAIC五位首席科学家交锋：多模态是LLM的“外挂”，还是下一代智能的“灵魂”？

智东西
作者 李水青
编辑 漠影

7月18日上午，作为WAIC 2026最受关注的论坛，由商汤科技承办的“基座大模型架构创新与生态合作论坛”吸引了无数AI研究者、产业专家和投资机构的目光。因它直面了当前大模型行业最核心的焦虑：当Scaling Law在逼近物理极限，多模态究竟是破局的“解药”，还是新瓶装旧酒的延伸？

由商汤科技首席科学家林达华主持，复旦大学邱锡鹏教授，达摩院首席科学家赵德丽、阶跃星辰首席科学家张祥雨、新加坡南洋理工大学刘子纬教授共同参与的“首席科学家”圆桌对话，覆盖顶级研判矩阵，堪称多模态AI迈入“深水区”后，中国AI行业的首次集体审视与深度交锋。

▲几位科学家在同台探讨

过去一个多月，GPT-5.6等国际最新模型陆续亮相。林达华开场便指出，如今最先进的大模型几乎都已经把多模态理解能力变成“标配能力”。

但另一个问题随之浮现：多模态到底只是大语言模型能力边界的延伸，还是下一代智能真正的起点？进一步说，今天依靠Next Token Prediction建立起来的大模型，真的能够理解物理世界吗？

在高密度思想碰撞中，五位科学家围绕多模态的内生本质、核心瓶颈以及5年后的终极图景，展开了一场足以重构行业认知的“生死局”辩论。

一、“走出洞穴”，再论多模态是“外挂”还是“灵魂”？

林达华一开场就抛出了这个核心问题，也是整场论坛最核心的一次思想碰撞。

当前业内存在两种截然不同的声音。一种认为，大语言模型已经成为未来AI的核心，多模态只是语言模型能力边界的自然延伸；另一种则认为，当AI真正从数字世界走向物理空间、开始构建世界模型时，多模态就是智能最基础、最原生的组成部分，而不是语言模型的外挂。

未来AI到底应当以语言为中心，还是以世界为中心？林达华把这个问题直接摆上了台面。

对此，邱锡鹏的观点鲜明：智能还是要依赖语言的。他认为，多模态未来的发展重点不是取代语言，而是如何把多模态信息与语言真正对齐。

不过，在他看来，今天的大模型距离真正理解世界还相差很远。“模型真正欠缺的，不只是多模态，而是Context。”这里的Context是指真实世界复杂情境的理解能力。未来模型面对的不只是更多图片、更多视频，而是如何把现实世界复杂情境转化成模型能够理解的信息。未来多模态的发展，很可能需要一整套围绕现实环境构建的Harness以支撑模型理解真实世界。

与邱锡鹏的观点不同。赵德丽认为，基于多模态的模型，是下一代智能的范式。

他首先从更宏大的视角总结出通向智能的四条路径：大语言模型、走向开放空间的机器人、基于数字生命的模拟、基于神经信号的交互。这四条路径有一个共同特点，都与人类产生智能的源头信号有关，而且全都是多模态的，没有一个单一模态。

“大语言模型是知识的压缩，视频生成模型也是人类行为的压缩和记录。大语言模型可以学习智能，视频生成的模型一样可以学习智能。”赵德丽强调，他举了猎豹捕猎、蚂蚁寻路的例子，这些高超的技能都不是通过语言学习的，而是通过与环境的交互、模仿、反馈。

赵德丽更进一步指出，物理世界需要的是四维因果关系的建模：物理空间、物理属性、因果关系、动作与运动，而大语言模型只是一维的。因此，“无论从智能生发的原理还是算法的逻辑，基于多模态的模型，都是下一代智能的范式”。

与邱锡鹏和赵德丽的角度都不相同，张祥雨则把焦点转换了。

他认为核心不是语言还是视觉的路线之争，而是“学习范式”：怎么让智能体学会自主学习，或者叫后天学习、在线学习。“这个不解决，你不管是走语言还是视觉，其实都是一样的。”

为什么语言模型今天看起来更成功？张祥雨认为，我们现在的训练数据是静态的，是经过人类大量收集、清洗、整理得到的。语言天生信息密度高，在这种“模仿学习”范式下自然占优。而视觉信号稀疏、高维，在这套范式下工作得不好。

但问题来了，张祥雨话锋一转，当大模型走向智能体时代，一切都在变化。“智能体跟环境做交互，但并不能从反馈中高效、自动地学到东西，缺少了自我进化能力。”他举了一个生动的对比：“Codex订阅一个人顶十个人，但用了多久提升都有限；招来的实习生一开始不行，通过实际工作很快就进步了。这是自我提升的能力，而我们的模型没有。”

眼看讨论在语言中心论和世界中心论之间形成了张力，刘子纬从从哲学层面给出了一个富有深意的判断。他引用了柏拉图的洞穴比喻——语言是真实世界的低维投影，“我们在洞穴里观察投影，总结世界规律，但终归需要迈出洞穴，走向真实的世界”。

具体到数据层面，他把语言比作化石燃料，“人类积累了很久，但终归有限，我们肯定会走向下一个时代，利用其他能源形态——多模态数据”。任务层面，“很多高价值的任务，比如制造业，一定脱离不了多模态，而且多模态真的能涌现出下一代智能”。

可以看到，从林达华的“语言中心与世界中心”之问，到邱锡鹏的“情境智能”、赵德丽的“第一性原理”，再到张祥雨的“持续进化”、刘子纬的“脱虚向实””，尽管各位学者的切入角度各不相同，但指向的趋势是高度一致的：多模态正在从“辅助工具”走向“核心基础设施”。

而这种转变的真正驱动力，是AI应用场景从数字空间向物理空间的不可逆迁移。

二、数据、架构、范式，多模态下一次跃迁，缺的是什么？

从第一性原理展望长期AI前景之后，林达华把问题拉回现实：当前主流AI方法，比如数据、模型结构、训练范式，足以支撑我们走到下一阶段吗？真正的瓶颈在哪？

这个问题在业内已经有了明显的观点分野。一种判断是乐观的：当前的模型架构已经具备⾜够潜⼒，真正的限制在于⾼质量多模态数据仍然稀缺。特别是带有时间关系、空间关系、⾏为过程和结果反馈的数据，⽐互联⽹⽂本更难获取、标注和使⽤。只要解决数据与算⼒问题，现有路线仍有很⼤的提升空间。

另一种声音更为审慎：问题并不只是数据量不⾜，而是基于下⼀个 token 预测的训练⽅法，可能天然不擅⻓学习物理规律、因果关系和持续变化的环境。真正的突破可能需要原⽣多模态架构、世界模型、强化学习、主动探索或持续学习等新的范式。

那么限制多模态 AI 继续突破的⾸要因素究竟是什么？扩⼤数据和算⼒是否仍然有效，还是我们已经接近必须改变模型架构和训练⽅式的阶段？

首先，刘子纬给出了一个冷静的判断：“这三个方面（数据、模型结构、训练范式）都不足以推向下一个阶段，都有改进的空间。”

他先从数据层面拆解了“为什么语言行、多模态不行”：语言模型撞上了好运，互联网20年积累的语料、为玩游戏而发展起来的GPU算力，所有要素恰好齐备。但多模态呢？“互联网上有很多视频图片，大部分是相对静态的，没有太强的长程关联。”做家务、每天工作这种长程任务很难被记录下来。“语言模型是无心插柳柳成荫积累数据的，多模态需要一个更好的范式来记录、保存、标注数据，这不仅仅是技术问题，更是组织问题、社会问题。”

紧接着，他把矛头指向了架构：“整体架构还是以语言模型为核心，多模态能力以桥接方式进入。”他提出了“原生多模态”的挑战：输入侧怎么做到原生？输出侧怎么做到原生？长上下文、稀疏编码、在哪一层做表征——这些问题都还没有答案。

最后落到学习范式，他承认这是“更大的问题”。“所有做视觉的人都有这个感觉，10年前大家就在讲这个问题，依然没有被解决。”

刘子纬的“三连击”把问题拆得很开，但张祥雨或许觉得还可以更彻底。他接过“持续进化”这个命题继续深挖。

他认为，自主学习是共识，但具体路径存在分歧。今天的模型有比较长的上下文，但“还远远不够长”，而且有严重的上下文退化。工程上靠上层Harness做上下文管理、做Self Evolve，是一条有人在尝试的路线，但问题很明显。

多模态让这个问题变得更严重。“多模态的信息太长了，压缩多模态信号不像压缩文本那么自然。如果塞满了100万token的图呢？压缩率非常有限。”

然后他抛出了一个犀利的问题：“仅通过外部记忆，真的能让智能体本身产生演化吗？就像一个学生很会记笔记，但假如他的海马体无法再记忆新的东西，仅靠外部记忆，他能取得长远进步吗？不可以的。”

张祥雨继续拆解，下一代自主学习要解决三大问题：怎么学（在线学习问题）、学什么（探索与好奇心建模）、怎么学得高效（效率问题）。而当下最值得投入、最有可能短期内出成果的，就是在线学习。

在线学习又面临两个核心挑战，他继续展开，第一是层次化记忆建模，今天的Transformer建模短期记忆很优秀，但瞬时记忆（感知记忆）完全没有，长程记忆又分为情境记忆和语义记忆，对应着不同的机制。“Transformer的上下文从原理上更像一种工作记忆，它是无损的，但有效长度比较短。你在用一个试图把工作记忆变长的方式来建模原理上不同的记忆，这肯定有问题。”

第二是学习算法本身。很多人把赌注押在强化学习上，但张祥雨提出了不同观点：“RL在过去推理时代很成功，数据效率很高，但这个效率很大程度来自On Policy，自己生成数据再蒸馏回去。满足这个特性的不止RL，蒸馏本身、Self Correction都满足。”他认为On Policy可能是解决监督信号稀疏问题的出路，而世界模型则是解决效率问题的另一个关键。

林达华插进来追问了一句，把讨论引向Memory机制。“现在的模型，不管是Dense还是MoE，本质上都靠Context承载记忆。Context从1兆推到2兆，但有效的还是前面一小段。这是不是说明，我们用一个短期工作记忆的机制去承载本该属于长期结构化记忆的功能，需要有较大的革新？”

张祥雨立刻点头表示认同：“没错，这也是非常重要的一个前沿研究点：如何建模Memory机制。”人类的记忆机制是分层的，包括瞬时感知记忆、持续2-4秒的短期工作记忆、长期的情境记忆和语义记忆。Transformer的Context从原理和特性上就更像工作记忆，它不会丢信息，但有效长度就是有限。当视觉信号输入以后，它就永远留在Context里，机制上不允许压缩掉。而人类会主动选择、压缩、清除。这是根本性的差异。

此时，赵德丽加入了这场关于”瓶颈在哪”的讨论。他先提了一个行业现象：“模型架构逐渐收敛，算法本身没人关心了，大家接下来都去做应用”。作为算法出身的科学家，他认为这是巨大的误区。

“AI从数字空间走向物理世界，首先面对的就是数据问题。”赵德丽指出，语言模型和视频生成模型的数据都来自互联网积累，而物理世界的数据极其稀少。“以机器人为例，去年谁能有10万小时数据就很牛了，今年大家才谈论大几十万小时，但远远不足以支撑GPT-3.5水平的训练。”

▲几位科学家在同台探讨

不过，赵德丽话锋一转，给出了一个极具产业洞察的判断：“中国的工业场景、服务业场景、家电场景，多样性和需求远远大于欧美。所有数据都来自实际场景，从这个角度看，中国在具身方向上有天然的巨大优势。”

关于训练范式和算法架构，赵德丽强调了一个容易被忽视的事实：AI有技术共享的传统，论文和技术报告公开，这“给人一个误区，认为技术不重要”。但实际上，“把强化学习引入基础模型，PPO、GRPO这类具体算法，Sparse Attention、Sliding Window这些架构创新，DeepSeek底层的优化机制——每一个技术进步都推动着领域发展”。

回到Memory创新，赵德丽认为它涉及两个层面：一是与芯片架构深度耦合的软硬件协同；二是个人数据和工作数据如何长期供模型使用。“DeepSeek的Ingram算法把知识注入模型、耦合成一体、端到端训练，这是架构创新的一个具体范例。”

至此，关于”瓶颈是什么”的讨论呈现出四层递进：林达华首先定位问题，刘子纬拆解了数据、架构、范式三方面的局限，张祥雨深入记忆机制和在线学习的技术细节，赵德丽则从产业落地和数据获取的现实中找到突破口。科学家的视角彼此交错，又相互补充。

三、高估Agent，低估社会变迁：五年预言

林达华把最后一个问题留给了时间尺度。回望2022年底-2023年初的AI产业，现在发生的很多事完全预想不到。那么从未来5年后看现在，什么会被高估？什么会被低估？

林达华自己先分享了一段感受。2023年初大家最焦虑的是AI会不会取代人类工作，但到今天看，AI更多是在改变工作方式而非消灭工作，这可能是被高估的；而被低估的，是范式变革的速度，2023年没几个人能预料到强化学习会在2025-2026年重新成为核心方法，也没人预料到“测试时扩展”会成为一个独立的竞赛维度。

邱锡鹏坦言：“预测一向是非常难的。未来AI大部分应该不是我们今天所想象的。如果刻意去追求某些东西，不一定会朝预期发展。相反，现在看起来不那么受关注的，反而可能得到充分发展。”

他给出一个判断：下一代的范式变革可能是“AI for AI”。“既然Coding Model、Agentic Model已经走出了突破，不如先把它走到极致，再让它去设计未来的多模态模型到底是什么样的，有没有更好的范式。”

邱锡鹏强调渐进式演化的力量。“ChatGPT在2023年看起来是很大的范式革新，但它也是一点点走出来的。Transformer还在其次，更前面的是Seq2Seq的范式，我可以统一所有自然语言处理任务。有了这种大的潜力认知，再去优化模型，直到某个突变的节点，突然成功了。未来肯定和我们现在预测的不太一样。”

与邱锡鹏的“无心插柳柳成荫”观点形成对比的是，赵德丽的预测相对具体。他认为，被高估的可能是“Agent在具体企业级、商业级场景落地时的自主化能力”。被低估的则是“AI对社会运作方式的改变”。5年对AI来说是一个非常大的周期。

他举了一个很具体的例子：支付。“现在逐渐走入人与智能体、智能体与智能体之间的交互。这里涉及一个简单的问题，智能体怎么做支付？整个支付体系都是围绕人构建的，移动支付是增加社会效率最有效的工具。但智能体支付呢？这背后是整个社会运作方式的重构。”

一个偏重“演化不可测”，一个偏重“社会确定性”。这两种预测方向看似迥异，实则互补：邱锡鹏提醒我们保持对技术路径的开放心态，赵德丽则提示AI将如何渗透社会肌理。

结语：多模态，正在成为AI产业新的主战场

在通往物理世界智能的道路上，语言模型至关重要，但远远不够。

从邱锡鹏的“情境智能”、赵德丽的“四条智能路径”、张祥雨的“自主学习范式”，到刘子纬的“走出洞穴”，每一位顶尖学者都从不同维度指向了同一个方向：多模态不是大语言模型的附属品，而是下一代智能的原生基础。

当前的多模态AI正处在一个关键的转折点。算法架构的创新远未停止，从Memory机制的重新设计到强化学习的深度融合，从世界模型的构建到在线学习范式的突破。这些都是通向物理世界智能必须跨越的门槛。

而在产业落地上，中国在具身智能、工业场景、服务业场景上的多样性优势，有望成为下一阶段全球AI竞争中的关键变量。正如赵德丽所说，5年后我们可能会惊讶地发现，AI对社会运作方式的改变，远比今天预想的要深远得多。

多模态，正在成为AI产业新的主战场。而关于“灵魂”与“外挂”的论战，也许短期内没有标准答案，但决定了物理AI下半场的最终走向。