唐杰署名新论文，把智谱内部多模态模型GLM-Omni带出来了

智猩猩AI整理

编辑：林夕

模型明明能画对球衣上的号码，转头问它“这件球衣是几号”，却答不上来。

10月15日，清华大学与智谱唐杰团队在arXiv发布新论文《Can Visual Generation Expand What Unified Multimodal Models Know?》。

研究团队提出知识迁移探测协议Knowledge Transfer Probing（KTP），检验统一多模态模型通过图像生成学到的知识，能否用于纯文本问答。

研究聚焦统一多模态模型中的一个问题：

通过图像生成学到的知识，能不能被文字问答调用？

研究团队以BAGEL、SenseNova-U1和智谱内部模型GLM-Omni为实验对象发现，模型能够在生成图片时复现的信息，往往无法直接通过文字调出。

其中，论文还披露了GLM-Omni的部分技术细节：

它从GLM-4.1V-Thinking的预训练基础检查点初始化，采用基于X-Omni的离散图像tokenizer，具备图像理解与生成能力，并被用于探索图文交错推理。

针对视觉知识难以被文字调用的问题，研究团队探索了图文交错对齐，将图像生成、视觉观察和文字回答放进同一条训练序列。

受控实验显示，相比文字对齐，图文交错对齐提高了三个模型的平均文字问答准确率。

推理时进一步引入“先生成图片、再回答”的视觉思维链，表现还能继续改善。

这项研究试图弄清楚：理解与生成统一之后，模型能否真正用上通过画图学来的知识。

01

把答案藏进图片，

追踪视觉知识的去向

一张照片所包含的信息，往往比配文丰富得多。

例如，文字可能只提到一座建筑的名称，图片却完整呈现了它的门窗结构、装饰细节和空间关系。

学习生成这张图片时，模型接触到的信息，也就超出了文字描述的范围。

但这些信息是否会成为模型能够用语言调用的知识，不能只看生成图片的效果。

研究团队为此提出了KTP，通过一套受控实验追踪知识来源。

首先，研究团队构建了一个名为MagicWorld的虚构世界，使用不存在的人物、物品和地点名称，尽量避免模型依赖预训练阶段记住的内容。

每条知识由实体—属性—属性值组成，例如某个虚构人物的球衣号码、某面虚构旗帜的颜色顺序。

训练时，文字提示只要求生成对应对象，不透露目标属性值。答案只出现在训练图片中。

测试时，再把图片拿走，直接用文字提问。如果模型能够答对，就说明仅通过图像生成训练提供的信息，已经能够被语言访问。

数据集共覆盖七类任务，每类包含50个知识单元，再通过不同场景和视角进行扩展，最终得到8,552条文生图训练样本。

研究团队还检查了文字描述，避免它们直接或间接泄露答案，并对属性值分布进行近似平衡，减少分布偏差带来的影响。

评测分为两个方向。

• 一是视觉可访问性：模型生成的图片，是否正确复现了目标知识。

• 二是文字可访问性：没有图片输入时，模型能否通过文字回答同一知识。

将两项结果对照，就能观察知识究竟没有被学会，还是已经能被画出来，却难以用文字提取。

02

从分开训练，到图文交错

研究团队选取了三种不同设计的统一多模态模型进行实验：BAGEL、SenseNova-U1，以及内部开发的GLM-Omni。

其中，GLM-Omni从GLM-4.1V-Thinking的预训练基础检查点初始化，采用基于X-Omni的离散图像tokenizer。

围绕视觉知识如何进入文字回答，研究团队比较了三种训练条件。

• 第一种是直接迁移：通过文生图训练提供目标知识，不增加针对这些知识的文字问答监督。

• 第二种是文字对齐：选出部分实体，额外提供文字问答示例，帮助模型建立视觉知识与语言回答之间的联系。

• 第三种是图文交错对齐：让模型在同一条回答中生成相关图片、观察图片内容，再继续推理并给出文字答案。

两种对齐方式的区别，在于生成和回答是否被直接连接。

文字对齐将图像生成与文字问答放在不同样本中训练；图文交错对齐则示范了一个完整过程，让模型学习如何借助生成的视觉内容回答问题。

这里有一项关键设置：接受额外对齐监督的实体，与最终测试的实体互不重叠。

每类任务中的实体被分成两组，一组用于对齐，另一组用于测试。

测试实体的目标属性，仍然只出现在文生图训练图片中，没有对应的文字答案监督。

因此，测试成绩的提升，才能说明训练效果超出了直接教过的答案。

研究团队还进一步引入了视觉思维链（Visual CoT），允许模型在回答问题时先生成图片，再结合图片继续推理。

它与图文交错训练是两个不同环节：前者改变推理过程，后者改变训练方式。

图文交错训练后的主要评测，仍然要求模型直接用文字回答，不生成中间图片。

这一设计，也让研究团队能够分别检查训练方法和推理方式带来的作用。

03

画得出未必答得对，

图文交错改善了多少？

实验首先揭示了视觉与文字访问之间的明显落差。

在直接迁移条件下，GLM-Omni生成图片正确复现目标知识的平均比例为54.00%，纯文本问答平均准确率则为14.57%，相差39.43个百分点。

另外两个模型同样存在视觉复现明显好于文字回答的现象。

加入对齐训练后，三种模型呈现出不同变化。

BAGEL和SenseNova-U1的平均成绩有所提高，GLM-Omni则从14.57%下降到12.57%。

相比之下，图文交错对齐在三个模型上的平均成绩都高于文字对齐。其中，GLM-Omni的变化最明显，平均准确率达到26.86%。

分任务来看，其形状任务从文字对齐下的12%提高到64%，空间关系任务从0%提高到40%。

为检查提升来自哪里，研究团队进一步进行了消融实验：保留相同的图文交错序列和文字监督，只屏蔽交错样本中图像部分的损失。

GLM-Omni的平均准确率随之从26.86%降至13.71%。

这一结果支持了图像生成监督的实际贡献：只保留交错形式与文字监督，无法维持原有的知识迁移效果。

推理方式也会影响结果。

在完成图文交错训练后，如果允许模型先生成图片再回答，三个模型的平均成绩都进一步提高。

GLM-Omni的平均准确率达到41.14%，比直接文字回答提高14.28个百分点。

数字任务的变化尤其直观：

• 直接文字回答时，三个模型的准确率均为0%。

• 使用视觉思维链后，BAGEL、GLM-Omni和SenseNova-U1分别达到4%、36%和20%。

但这道知识鸿沟仍未消失。

研究团队进一步检查发现，即使采用图文交错对齐，在那些图片生成正确的知识中，三个模型对应的文字问答正确率仍均低于50%。

也就是说，能够准确画出的信息，仍有相当一部分无法被文字问答顺利调用。

04

GLM-Omni现身，

下一代GLM要补齐多模态了？

这项研究之外，论文中出现的GLM-Omni，也为观察智谱后续模型提供了一条线索。

此前，GLM主力模型的升级重点，更多落在编程、复杂软件工程和长流程Agent任务上。

GLM-5.3的官方介绍也将这些能力作为主要进展。

而一篇近期研究明确将GLM-5.2和GLM-5.3列为不具备原生视觉能力的语言模型，并尝试通过外接视觉适配器为它们增加视觉能力。

在这样的背景下，GLM-Omni的出现才显得值得关注。

论文展示的探索已经涉及图像理解、图像生成，以及视觉知识向文字回答的迁移。

这让人联想到，智谱后续GLM-5.4/5.5是否会进一步补齐多模态能力，并尝试让生成与推理相互促进。

关注+星标，获取AI前沿进展与开源一线动态