唐杰署名论文曝光内部多模态模型，下一代 GLM 呼之欲出？

作者 ｜ 四月、飞野

编辑 ｜ 四月

GLM-5.3及GLM-5.3-Flash惊艳亮相之后 （两款模型名称上虽属同一个系列，但却采用了不同的基座模型训练） ，智谱持续提升模型Coding、长时程 Agent 等能力，但下一代 GLM 究竟会怎么升级？仍是大家关注的重要方向。

除了更强的推理、更低的成本，还有一个值得关注的方向：原生多模态。

近日，清华大学与智谱研究人员联合在 arXiv 上发表了论文《Can Visual Generation Expand What Unified Multimodal Models Know?》（“视觉生成能否扩展统一多模态模型的知识？”），通讯作者正是智谱首席科学家、清华大学教授唐杰。

论文介绍了一款此前未公开的智谱内部模型 GLM-Omni，并尝试回答一个有些反常识的问题：模型通过图像生成学到的知识，能否转化为语言推理能力？

实验中，GLM-Omni 在数字任务上能够正确画出指定球衣号码的比例达到72%，但如果不提供图片，只用文字询问同一个号码，正确率却只有2%。

研究人员随后调整训练方式，让模型把生成图像、观察图像和文字回答放进同一条训练序列，模型的平均文字问答准确率从12.57%提高到26.86%。在此基础上，允许模型在回答问题前先生成图像、再观察图像作答，准确率进一步提高至41.14%。

这项研究并不是下一代 GLM 即将采用某种架构的直接证据，却提供了一个值得追踪的研发线索：当智谱已经在 GLM-5.3-Flash 上实现原生多模态理解后，研究人员还在探索如何让视觉生成与语言推理之间建立更紧密的联系。

智谱就差你了

要理解这篇论文的意义，首先得厘清一个概念：原生多模态，并不等于模型能够自己生成图片。

今年8月，智谱推出 GLM-5.3-Flash，并将其称为 GLM-5 系列首款原生多模态模型。它采用全新的预训练基座，支持图像、视频等多模态输入，能够在 Coding Agent 工作流中理解界面、观察渲染结果，并根据交互反馈继续修改代码。

但从公开的模型接口来看，GLM-5.3-Flash 的主要输出仍然是文本。它能够理解视觉信息，并不意味着它已经能够在同一个模型中原生生成图像。

这也是多模态模型当前一个重要的技术分野。

• 一类模型主要解决多种信息的统一理解，让模型能够同时处理文字、图片、视频等输入；

• 另一类模型则进一步尝试统一理解与生成，让同一个模型既能理解视觉内容，也能直接生成图像，并探索两种能力之间的知识共享。

后者面临的问题，不只是如何把图片画好，还包括模型从生成任务中学到的知识，能否被其他任务调用。

唐杰此前谈及原生多模态时，关注的也不只是增加一种输入或输出能力。在他看来，视觉、声音乃至触觉等信息的统一感知，是模型进一步理解环境、执行长时程任务的重要基础。

对于需要持续观察环境、根据反馈调整行动的Agent来说，多模态不只是功能扩展，还关系到模型能否真正进入复杂的现实任务。

今年 6 月，有网友在 X 上问马斯克：中国模型什么时候能达到 Fable 的水平？马斯克答，可能是第一季度。唐杰回了一句：不会花太长时间。

10 月 21 日晚，官方运营给编程套餐用户发了一份补偿通知。通知最后还写了一句：“新模型发布后还会再额外赠送一次重置卡”，等于预告更新即将到来。

多模态输出的隐藏能力

论文通讯作者唐杰是智谱首席科学家。三位共同第一作者李文凯、洪文逸、杨卓一在智谱实习期间完成了这项研究。

模型 GLM-Omni 以智谱开源的 GLM-4.1V-Thinking 为基座，参数规模 9B，属于较小的测试模型。研究团队提出了一套名为Knowledge Transfer Probing（KTP，知识迁移探测）的测试方法，核心是区分两件事：

• 模型在图像生成时是否学到了某项知识；

• 它能不能通过语言把这项知识表达出来。
  

这也是统一多模态模型值得探索的一项潜在价值。它不仅可以让模型同时看图、画图，还可能使不同模态学到的知识相互补充，而不是各自独立工作。

为了验证这一点，研究人员构建了一个虚构世界 MagicWorld，里面的球队、人物、徽章等实体都不存在。比如，一支虚构球队的球衣号码是10，训练时只让模型学习生成印有号码10的球衣图片，文字提示中并不提供这个数字。

数据集包含颜色、数量、数字、形状、空间位置等7类知识，共350条，并扩展为8552组图像训练样本。这样可以尽量排除模型依靠已有文字记忆答题的可能。

参与测试的除了智谱内部 GLM-Omni，还有字节跳动的 BAGEL和商汤的 SenseNova-U1。三款模型采用了不同的视觉生成架构，研究人员分别检查它们能否正确画出目标属性，以及在没有图片辅助时能否用文字回答。

第一轮实验就发现了明显的“会画不会说”。

GLM-Omni 的平均图像生成正确率达到54%，但直接用文字回答相同知识的准确率只有14.57%。其中，数字任务的图像正确率为72%，文字问答正确率却只有2%。SenseNova-U1 的数字任务差距更大，分别为88%和0%。

这意味着，模型已经能在图像生成过程中复现某些知识，却很难直接通过语言调用。换句话说，把视觉生成和语言理解放进同一个模型，并不意味着两种能力所掌握的知识就能自动互通。

那么，问题究竟出在哪里？研究人员接下来尝试了两种不同的训练方法。

第一种是文字对齐：给部分虚构实体补充文字问答，让模型学习如何回答相关问题，再测试它能否迁移到没有见过文字答案的实体上。

但效果并不稳定。GLM-Omni 的平均文字正确率甚至从14.57%下降到12.57%。这表明，单纯增加文字问答，并不足以稳定地把视觉知识转化为语言能力。

第二种方法则更有意思，叫作图文交错对齐（Interleaved Image–Text Alignment）。

研究人员不再把生成图片和回答问题作为两种独立任务，而是将它们放进同一条训练序列。比如，模型面对球衣号码问题时，先生成相关图像，再观察图像，最后给出文字答案。

结果，GLM-Omni 在不允许临时画图的文字测试中，平均正确率从12.57%提高至26.86%。

为了确定提升是不是来自图像生成，研究人员还做了一组对照实验：保留同样的训练样本和文字监督，只去掉交错训练中图像生成部分的损失信号。结果，准确率又降至13.71%。

这揭示了论文第一个重要结论：

1）统一模型的知识共享，不仅取决于架构是否统一，还取决于不同任务的训练信号能否有效衔接。

2）图像生成提供的不只是输出功能，它本身也可能帮助模型建立可以被其他任务利用的知识关联。

不过，即使经过联合训练，模型仍有大量视觉知识无法直接用文字表达。研究人员于是换了一个思路：既然模型能画出答案，为什么不让它在回答问题时，先把相关内容画出来？

这就是第三轮实验采用的视觉思维链（Visual Chain-of-Thought）。

与前面改进训练方式不同，这次改变的是模型实际答题时的推理过程：先生成图像，再观察图像，最后组织文字答案。

效果更加明显。GLM-Omni 的平均文字问答准确率从26.86%进一步提高至41.14%，增加14.28个百分点。其中，数字任务从0%提高到36%。

这也带来了论文的第二个重要发现：图像生成不仅可能在训练阶段帮助模型学习知识，还能在推理阶段成为调用知识的一种中间表达。对某些难以直接用语言回答的问题，模型可以先通过生成图像呈现相关信息，再从中提取答案。

整体来说，这篇论文并没有证明统一多模态一定优于独立模型组合，却为它提供了一项值得继续验证的技术价值：视觉生成不只是给用户画图，还可能成为模型学习、组织和调用知识的新途径。

这或许也是观察智谱在训练下一代模型时，关注到的一个重要方向。

多模态路线选择

统一多模态，下一代GLM会怎么选？既然让模型自己画图，还可能提升推理能力，为什么头部厂商没有全面采用这种架构？

2025年3月，OpenAI 曾将原生图像生成整合进 GPT-4o，强调图像生成应当成为语言模型的核心能力。但在后续产品中，OpenAI 又转向由GPT Image 等专业模型承担图像生成。谷歌也在通用 Gemini 与 Nano Banana 图像模型之间形成了产品分工。

背后的现实考量是成本与效率。相比让旗舰模型包揽所有任务，专业模型更容易针对画质、速度和成本单独优化。

智谱同样如此，目前 GLM-5.3-Flash 主要负责多模态理解，GLM-Image 则专攻图像生成。

有意思的是，唐杰早在2025年12月就曾表示，文本、多模态理解和多模态生成“可能最有效的方式还是分开发展”，但三者结合也值得探索，只是需要足够的资本支持。

那么，统一模型付出的额外成本，究竟能换来什么？

这篇论文给出了一个初步答案：图像生成不只是增加一项输出功能，还可能让模型学到语言训练中没有的信息，并在训练和推理阶段转化为其他能力。不过，研究尚未证明这种收益足以抵消统一架构的成本。

而智谱对下一代模型的布局显然不止于此。其最新融资安排涉及下一代 GLM、完全自训练以及算力基础设施建设。在8月31日的智谱业绩交流会上，唐杰曾提出，GLM-6.0 将探索模型的自我评估与持续改进能力。

同一份公告里也提到，智谱要提升基础模型的有效规模、原生上下文长度，以及“原生多模态统一建模能力”。

从 GLM-5.3-Flash 的原生多模态理解，到 GLM-Omni 探索视觉生成与语言推理的知识共享，可以初步嗅出下一代 GLM的重要方向——不只是能否直接文生图，而是多模态能否真正成为模型能力增长的新来源。

声明：本文为AI 前线原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。

今日荐文

你也「在看」吗？