AI 术语通俗词典：VLM（视觉—语言模型）

VLM 是多模态人工智能、计算机视觉、自然语言处理、大模型和图文理解任务中非常重要的一个术语，全称通常是 Vision-Language Model，可译为“视觉—语言模型”或“图文模型”。它用来描述一种能够同时处理图像和语言，并在二者之间建立联系的模型。换句话说，VLM 是在回答：AI 怎样既能“看懂图像”，又能“用语言理解和表达图像内容”。

如果说传统视觉模型主要回答“图中是什么”，大语言模型主要处理“文字是什么意思”，那么 VLM 则把视觉和语言连接起来，使模型能够完成图像描述、视觉问答、图文检索、图文匹配、图像理解和多模态推理等任务。

因此，VLM 常用于图像问答、图片内容理解、图文搜索、图像标题生成、多模态大模型、智能客服、教育图解、医学影像辅助说明、商品图理解、机器人视觉理解和具身智能系统中，是理解现代多模态 AI 的基础概念之一。

一、基本概念：什么是 VLM

VLM 是 Vision-Language Model 的缩写。

它包含两个核心部分：

• Vision：视觉，表示模型能够处理图像或视频等视觉信息

• Language：语言，表示模型能够处理文本、问题、指令和回答

图 1：什么是 VLM

一个典型 VLM 任务可以是：

• 输入：一张图片 + 一个问题

• 问题：图中桌子上有什么？

• 输出：桌子上有一个红色杯子和一本书。

也可以是：

• 输入：一张图片

• 输出：一只橘猫坐在窗边，阳光照进房间。

从通俗角度看：VLM 就是让模型既能看图，又能用语言解释图像。

它不是只做图像分类，比如，图片 → 猫；而是可以进行更丰富的图文理解：

• 图片 + 问题 → 文字回答

• 图片 → 图像描述

• 文本 → 查找相关图片

• 图片 + 文本 → 判断是否匹配

可以简单概括为：

VLM = 视觉理解 + 语言理解 + 图文对齐

二、为什么需要 VLM

VLM 之所以重要，是因为真实世界的信息通常不是单一模态的。

人类理解世界时，往往会同时使用：

• 图像

• 文字

• 语音

• 动作

• 场景

• 上下文

例如，看到一张商品图片时，人不仅能识别“这是一双鞋”，还会理解：

• 鞋的颜色

• 款式

• 适合场景

• 是否与文字描述一致

• 图片中是否有瑕疵

• 用户可能想问什么

传统视觉模型通常只能完成较窄任务，例如分类、检测或分割。传统语言模型则无法直接看见图像。

VLM 的价值在于，它打通了视觉与语言之间的通道。

例如：

• 图像 → 语言描述

• 语言问题 → 图像答案

• 文本查询 → 图像检索

• 图像内容 → 多步解释

从通俗角度看：VLM 让模型从“只会看”或“只会说”，变成“能看懂并说清楚”。这也是多模态大模型的重要基础。

三、VLM 的基本输入与输出

VLM 的输入和输出通常围绕图像与文本展开。

1、输入：图像 + 文本

VLM 最常见的输入形式是：图像 + 问题。

例如：

• 图片：一张厨房照片

• 问题：水槽旁边有什么？

模型需要先理解图像，再根据问题生成回答。

另一种输入形式是：图像 + 文本描述

例如：

• 图片：一只狗在草地上奔跑

• 文本：一只狗在沙滩上睡觉

模型需要判断图文是否匹配。

2、输入：只有图像

VLM 也可以只输入图像，让模型生成描述。

例如：

• 输入：一张街景图片

• 输出：图片中有行人、车辆和道路标志

这类任务常称为图像描述或图像字幕生成。

3、输入：只有文本

有些 VLM 可以根据文本检索图片。

例如：

• 输入：穿红色衣服的人在骑自行车

• 输出：与描述最匹配的图片

这类任务依赖图文共同表示空间。

4、输出：文本或匹配分数

VLM 的输出常见形式包括：

• 文字回答

• 图像描述

• 类别标签

• 匹配分数

• 检索结果

• 多模态推理结论

从通俗角度看：VLM 的核心不是只识别图片，而是把视觉信息转换成语言可以理解、比较和表达的形式。

四、VLM 的核心结构

不同 VLM 的具体架构可能不同，但通常包含几个关键模块：

视觉编码器 + 文本编码器 / 语言模型 + 图文对齐模块

1、视觉编码器：把图像变成视觉特征

视觉编码器负责处理图像。

例如，一张图片输入模型后，视觉编码器会把它转换成一组视觉向量。

可以简单表示为：

其中：

• x 表示输入图像

• E_v 表示视觉编码器

• v 表示视觉特征向量

视觉编码器可以基于 CNN，也可以基于 Vision Transformer。

从通俗角度看：视觉编码器负责“看图并提取关键信息”。

2、文本编码器：把文字变成语言特征

文本编码器负责处理文本。

例如，一句话输入模型后，会被转换成语言向量。

可以表示为：

其中：

• y 表示输入文本

• E_t 表示文本编码器

• t 表示文本特征向量

从通俗角度看：文本编码器负责“理解文字”。

3、图文对齐：让图像和文字能互相对应

VLM 的关键不是分别处理图像和文字，而是让二者对齐。

图 2：图文对齐的基本思想

例如：

• 图像：一只猫坐在窗边

• 文本：a cat sitting by the window

模型需要让这张图和这句话在表示空间中更接近。

可以简单理解为：

其中：

• v 表示图像向量

• t 表示文本向量

• sim 表示相似度

如果图文匹配，相似度应更高。

如果图文不匹配，相似度应更低。

从通俗角度看：图文对齐就是让模型知道“这句话说的是这张图”。

一种常见思路是对比学习。

简单来说：

• 匹配的图文对拉近

• 不匹配的图文对推远

可以概括为：

• 正样本：图像与正确描述

• 负样本：图像与错误描述

在表示空间中：

• 匹配图文 → 距离更近

• 不匹配图文 → 距离更远

从通俗角度看：图文对齐像是在训练模型做“看图配句子”。

训练多了以后，模型就能判断：

• 哪句话更符合图片

• 哪张图更符合文字

• 图片中哪些内容与文字有关

五、VLM 的常见任务

VLM 可以完成多种图文相关任务。

图 3：VLM 的常见任务

1、图像描述

输入一张图，输出文字描述。

例如：

• 输入：一张猫坐在窗边的图片

• 输出：一只猫坐在窗边，阳光照进房间。

图像描述要求模型识别主体、场景和关系。

2、视觉问答

视觉问答通常称为 VQA。

输入是图像和问题，输出是答案。

例如：

• 问题：桌上有几个杯子？

• 答案：两个。

VQA 要求模型根据问题定位图像信息，而不是泛泛描述整张图。

3、图文检索

图文检索包括两类：

• 以文搜图：输入文字，找相关图片

• 以图搜文：输入图片，找相关文字

例如：

• 搜索：白色小狗在沙发上睡觉

• 返回：最匹配的图片

这类任务依赖图文共同表示空间。

4、图文匹配

图文匹配是判断一张图和一段文字是否一致。

例如：

• 图片：一个人在打篮球

• 文字：一个人在游泳

• 判断：不匹配

5、多模态推理

复杂 VLM 还可以做一定的图文推理。

例如：

• 问题：图中这个人为什么可能需要雨伞？

• 图片：天空阴沉，地面有积水

• 答案：因为可能正在下雨或刚下过雨。

这种任务需要模型结合视觉线索和常识进行推断。

六、VLM、LLM、MLLM 与 VLA 的区别

VLM 经常与 LLM、MLLM、VLA 一起出现。它们相关，但侧重点不同。

1、LLM：大语言模型

LLM 是 Large Language Model，主要处理文本。

典型输入输出是：文本 → 文本。

例如：

• 输入：解释什么是机器学习

• 输出：机器学习是一种……

LLM 本身通常不能直接看图。

2、VLM：视觉—语言模型

VLM 处理图像和文本之间的关系。

典型输入输出是：图像 + 文本 → 文本 / 匹配结果。

例如：

• 图片 + 问题 → 回答

VLM 的核心是图文理解与图文对齐。

3、MLLM：多模态大语言模型

MLLM 是 Multimodal Large Language Model，通常指把图像、音频、视频等模态接入大语言模型，使模型能够进行多模态对话和推理。

可以理解为：

视觉等模态输入 → 接入 LLM → 语言输出

许多 MLLM 可以看作 VLM 的扩展形式。

4、VLA：视觉—语言—动作模型

VLA 在视觉和语言基础上加入动作。

典型任务是：图像 / 视频 + 指令 + 状态 → 动作。

例如：看到桌上的杯子，听到“放进盒子”，输出机械臂动作。

5、核心区别

可以概括为：

• LLM：主要处理文本

• VLM：连接视觉与语言

• MLLM：扩展到多模态对话与推理

• VLA：进一步生成动作

从通俗角度看：

• LLM 会读文字

• VLM 会看图并说话

• MLLM 能综合多种模态进行对话

• VLA 能看懂、听懂并行动。

七、VLM 的优势、局限与常见误解

1、VLM 的主要优势

VLM 最大的优势是连接图像与语言。

它让模型能够：

• 根据图片回答问题

• 用文字描述图片

• 判断图文是否匹配

• 根据文本检索图片

• 支持多模态交互

• 为机器人和智能体提供视觉理解能力

从通俗角度看：VLM 让 AI 不只是“看见像素”，而是能把看到的内容变成可交流的语言意义。

2、VLM 的主要局限

VLM 也有局限。

首先，VLM 可能看错图像细节。

例如：

• 数错物体数量

• 误判颜色

• 混淆左右位置

• 忽略小物体

• 错读图中文字

其次，VLM 可能产生视觉幻觉。

也就是说，图片中没有的内容，模型可能根据常识或语言模式补出来。

再次，VLM 对复杂空间关系和细粒度视觉细节仍然可能不稳定。

例如：

• 物体遮挡

• 多人复杂动作

• 图表细节

• 医学影像细节

• 低清晰度图片

此外，VLM 不等于真正理解物理世界。

它能根据视觉和文本学习统计关系，但不一定具备人类一样的因果理解和物理常识。

3、常见误解

误解一：VLM = 图像分类模型

不对。图像分类只是视觉任务之一，VLM 强调图像和语言之间的联系。

误解二：VLM 能看图，所以一定不会看错

不对。VLM 仍可能误读图像、遗漏细节或产生视觉幻觉。

误解三：VLM = VLA

不对。VLM 主要输出文本或匹配结果，VLA 还要输出动作。

误解四：VLM 看到图片就能理解一切背景

不对。模型只能基于图片内容、提示词和训练经验推断，不能保证理解所有隐含背景。

八、如何更好地使用 VLM

使用 VLM 时，提示词和输入质量很重要。

1、问题要具体

与其问：

这张图怎么样？

不如问：

请说明图中有哪些主要物体，并判断它们之间的位置关系。

具体问题能引导模型关注重点。

2、要求区分可见内容和推断内容

例如：

请只描述图中明确可见的内容，不要推测图片外的信息。

这可以减少视觉幻觉。

3、复杂图片要分步分析

例如图表、流程图、教材插图，可以要求模型：

先识别标题，再说明结构，最后解释箭头关系。

4、涉及数量和文字时要谨慎

VLM 对计数、小字、复杂表格和图中文字可能不稳定。

如果需要高准确性，应人工核对。

5、高风险场景需要专业审核

医疗影像、法律证据、工业缺陷检测等场景不能只依赖 VLM 输出。

需要专业模型、人工审核和可靠流程配合。

九、Python 示例

下面给出几个简化示例，帮助理解 VLM 的基本数据形式和任务。

示例 1：VLM 样本结构

这是一条典型视觉问答样本。它包含图像、问题和答案。

示例 2：图像描述任务

图像描述任务要求模型从图像生成自然语言说明。

示例 3：图文匹配样本

图文匹配任务判断图像和文本是否描述同一内容。

示例 4：以文搜图的简化思路

真实图文检索系统通常会把文本和图像编码到同一表示空间，再计算相似度。

示例 5：提示 VLM 减少视觉幻觉

这类提示词可以帮助模型减少凭常识补全。不过，对于重要结论，仍然需要人工核验。

小结

VLM 是视觉—语言模型，能够把图像和文字联系起来，用于图像描述、视觉问答、图文检索、图文匹配和多模态推理。它让 AI 不仅能识别图像内容，还能用语言解释和交流视觉信息。VLM 是多模态大模型和具身智能的重要基础，但仍可能看错细节或产生视觉幻觉。对初学者而言，可以把 VLM 理解为：让模型既能看图，又能用语言理解和回答图像相关问题。

“点赞有美意，赞赏是鼓励”