给多模态大模型选「眼睛」，两个简单改进让评测相关性接近翻倍

视觉编码器是多模态大模型（MLLM）的核心组件之一。即使使用相同的大语言模型（LLM），不同的视觉编码器也可能带来显著不同的下游表现。要找到最合适的视觉编码器，最直接的方法是将候选编码器逐一接入 LLM，完成跨模态对齐训练后进行评测，但这一过程需要大量计算资源。因此，如何在完整训练之前准确预测视觉编码器的下游表现，成为一个重要的研究问题。

现有评测方法主要分为两类：单模态方法主要关注视觉编码器自身的能力，例如图像分类表现；跨模态方法则进一步考虑目标 LLM，通过衡量视觉与语言表征之间的关系，评估不同视觉编码器与 LLM 的适配程度。从直觉上看，跨模态方法考虑了视觉与语言之间的匹配关系，应该能够提供更准确的预测。

随着候选视觉编码器的多样性增加，传统跨模态评测方法的性能显著下降，甚至不及单模态方法。相比之下，RAVEL 在不同候选池中均保持显著优势，展现出更强的稳定性与可靠性。

然而，研究团队通过训练并评测 210 个多模态大模型发现，现有跨模态方法的优势并不稳定。在规模较小、类型相对有限的候选池中，跨模态方法通常优于单模态方法；但随着候选视觉编码器的数量和多样性增加，跨模态方法的评测性能显著下降，甚至弱于单模态方法。这一发现表明，现有跨模态评测方法在大规模、多样化的视觉编码器筛选任务中仍存在明显局限。

针对这一问题，团队提出了免训练评测方法 RAVEL。RAVEL 保留了跨模态评测的基本思路，并引入两个简单的技术改进：Stablized PCA Whitening（带稳定项的 PCA 白化），减少特征空间中主导方向的干扰；以及 Patch-level Similarity Scoring（基于图像块匹配的相似度计算），利用图像局部特征，更充分地捕捉视觉表征中的细节信息。这两个改进有效提升了跨模态评测的准确性与稳定性，使 RAVEL 在不同规模和多样性的候选池中均能保持较好的表现。

实验结果表明， 在三个不同的 LLM 上，RAVEL 的评估分数与实际下游表现的相关性显著高于之前的工作：无需额外训练，RAVEL 平均 Spearman 相关系数高达 0.85，不仅超越需要训练的 Alignment Probing 方法（+36.1%），更大幅领先此前的免训练方法 GW（+93.5%）和 MutualNN（+101.1%）。

RAVEL 表明，无需额外训练，仅通过更合理地利用已有的视觉与语言表征，就能显著提升视觉编码器的评测准确性，为多模态大模型的组件选择提供了一种高效、可靠的新方法。

• 论文标题：A Strong Baseline for Evaluating Vision Encoders in Multimodal Large Language Models

• 论文链接：https://arxiv.org/abs/2610.05413

• 开源代码：https://github.com/JuntaoTang/MLLM-VisionEncoder-Eval

• 模型权重：https://huggingface.co/336labs/VisionEncoder-to-MLLM-ModelZoo

团队同时开源了此次实验训练得到的 210 个 MLLM 权重，覆盖多种视觉编码器与 LLM 组合。研究者可以直接基于这些模型开展视觉编码器选择、跨模态对齐、表征分析等研究，无需重复完成大规模多模态训练。

一、选视觉编码器，为什么不能只看它自身的表现？

最直观的做法，是直接看视觉编码器本身有多强，例如它在图像分类等任务上的表现。但在 MLLM 中，视觉编码器还需要与语言模型主干配合：它提取出的视觉信息，最终要由语言模型主干来理解和利用。因此，一个视觉编码器自身表现优秀，并不意味着与特定 LLM 组合后也一定表现最好。

实验结果也印证了这一点：当 LLM 发生变化时，表现最好的视觉编码器也会随之改变。这意味着，仅依赖线性探测等纯视觉指标，很难判断哪个视觉编码器真正适合当前的 LLM。

图 1：不同 LLM 下的视觉编码器表现，星标代表各 LLM 下表现最好的视觉编码器。

二、现有的跨模态对齐指标可以直接用于选视觉编码器吗？

也有研究尝试同时利用视觉和语言信息，通过比较两种模态的表征来预测视觉编码器的下游表现。但这类跨模态指标在更大、更复杂的候选范围中是否依然可靠？

为了回答这个问题，团队扩大了候选池，纳入不同架构、预训练方式和输入分辨率的视觉编码器，并同时覆盖连续型视觉编码器和离散型视觉分词器。实验发现，现有跨模态指标在较小的候选池中确实优于纯视觉指标；但随着候选范围扩大，其预测相关性明显下降，部分方法甚至不及纯视觉指标。

图 2：随着候选视觉编码器的多样性增加，传统跨模态评测方法的性能显著下降，甚至不及单模态方法。相比之下，RAVEL 在不同候选池中均保持显著优势，展现出更强的稳定性与可靠性。

三、RAVEL：图像与文本的近邻关系是否一致？

RAVEL 采用了一个基于跨模态近邻一致性的评估框架。其核心直觉是：如果候选视觉编码器与目标 LLM 对同一批样本形成了相似的语义结构，那么图像与文本在各自表征空间中的近邻关系也应该较为一致。

具体来说，给定一批图像及其对应文本，RAVEL 分别使用候选视觉编码器和目标 LLM 提取特征，并在各自的表征空间中检索近邻：图像侧寻找相似图像，文本侧寻找相似文本。对于一对图文样本，如果图像侧找到的近邻，其对应文本也出现在文本侧的近邻中，就说明两种表征空间找到了相同的语义邻居。这样的近邻重合越多，说明视觉与语言表征的局部结构越一致。

RAVEL 汇总所有样本的近邻一致性，为候选视觉编码器打分。由于只比较各自表征空间内部的近邻关系，它不要求视觉和文本特征具有相同维度，也无需任何训练或下游表现标签。

图 3：跨模态近邻一致性的评估框架

在这一框架下，为了让近邻关系更准确地反映语义结构，RAVEL 进一步做了两点设计：

带稳定项的 PCA 白化：缓解特征方差不均衡对相似度计算的影响。

局部图像块（patch）匹配：保留全局池化容易丢失的局部语义信息。

四、210 个 MLLM 的实验：预测的排序可靠吗？

团队将 70 个视觉编码器配置分别与 Qwen3-1.7B、Qwen2.5-1.5B 和 SmolLM2-1.7B 组合，共训练了 210 个 MLLM。所有模型均采用统一的 LLaVA 式两阶段训练流程，并在 11 个下游基准上进行评测，覆盖视觉问答、多模态推理、文字识别等任务。

在此基础上，团队将 RAVEL 与九种现有评估指标进行比较，涵盖纯视觉指标，以及需要或无需额外训练的跨模态方法。为保证公平，各方法均在相近的计算量（FLOPs）预算下进行比较。结果显示，在三个 LLM 上，RAVEL 的 Spearman 和 Pearson 相关系数均达到最高。

表 1：不同评估指标的预测能力比较。ρ 和 r 分别表示 Spearman 和 Pearson 相关系数。

五、RAVEL 为什么有效？

消融实验表明，RAVEL 的提升主要来自两个设计：PCA 白化显著改善了近邻关系的质量，局部匹配则在此基础上进一步提升了预测能力。

表 2：消融实验结果。

1）带稳定项的 PCA 白化

不同模型的表征空间往往具有不同的特征分布：少数高方差方向可能主导相似度计算，不同维度之间也可能存在较强相关性，使检索到的近邻无法准确反映样本之间的语义关系。PCA 白化可以缓解这一问题，但常规白化容易过度放大低方差方向。RAVEL 因此加入稳定项来抑制这种放大，并在白化后进行 L2 归一化。进一步分析表明，性能提升主要来自稳定项，L2 归一化则进一步带来了增益。

图 4：稳定项和归一化对预测效果的影响，Baseline 代表常规 PCA 白化。

2）局部图像块匹配

两张图像可能包含相似的物体，但拍摄视角、物体位置和背景各不相同。全局池化将这些信息混在一起，物体本身的相似性就可能被不相关的背景冲淡。

为此，RAVEL 直接在局部图像块之间进行匹配：让每个图像块在另一张图像中寻找最相似的区域，再汇总双向匹配结果，无需预先建立一一对应关系。可视化结果显示，高相似度匹配主要集中在两张图像中语义相关的区域，而无关区域的匹配得分较低。

图 5：左侧红线连接高相似度的局部区域；右侧颜色越亮，表示匹配越强。

六、结语

这项工作系统研究了一个实际但尚未得到充分验证的问题：如何在完整训练 MLLM 之前，为目标 LLM 选择合适的视觉编码器？ 通过训练和评测 210 个 MLLM，团队发现现有跨模态指标在更复杂的候选池中并不总能保持优势，并据此提出 RAVEL：通过衡量视觉与语言表征的近邻一致性，结合稳定化 PCA 白化和局部匹配，更可靠地预测视觉编码器的下游表现。团队同时开源了代码和训练得到的 210 个 MLLM 权重，为视觉编码器选型、跨模态对齐和多模态表征研究提供可直接复用的基线与模型资源。