新加坡科大团队用拼图法提升AI视觉理解

这项由新加坡南洋理工大学S-Lab实验室的吴鹏豪团队主导，联合瑞典林雪平大学和商汤科技研究院共同完成的研究，发表于2025年1月的arXiv预印本平台（论文编号：arXiv:2509.25190v1）。有兴趣深入了解的读者可以通过该编号查询完整论文内容。

在人工智能快速发展的今天，大型多模态语言模型就像是拥有了"眼睛"和"大脑"的智能助手，能够同时理解图像和文字。然而，就像人类在成长过程中需要不断练习才能提高观察力一样，这些AI模型在"看懂"复杂视觉内容方面仍有很大提升空间。目前大多数训练方法都专注于让AI更善于推理和回答问题，但对于如何让它们真正"看得更清楚、理解得更深入"这个基础能力，研究者们还没有找到完美的解决方案。

研究团队发现了一个有趣的现象：就像孩子通过拼图游戏能够培养观察力和空间感知能力一样，AI模型也可以通过类似的"拼图训练"来提升视觉理解能力。更令人兴奋的是，这种训练方法不需要对现有的AI模型进行大刀阔斧的改造，也不需要增加复杂的新组件，就能显著提升模型的视觉感知能力。

这项研究的独特之处在于，它首次系统性地将经典的拼图概念扩展到了图像、视频和3D空间三个不同的视觉领域。研究团队设计了一套完整的"视觉拼图"训练体系，让AI模型通过解决这些拼图任务来强化自身的视觉理解能力。实验结果显示，经过这种训练的模型在细节感知、时间理解和空间推理等多个方面都有了显著提升，证明了这种方法的有效性和普适性。

**一、AI视觉理解的困境与机遇**

当我们观看一部电影时，人类的大脑能够轻松地理解画面中的每个细节，跟踪人物的动作轨迹，感知空间的深度关系。然而，对于AI模型来说，这种看似简单的视觉理解任务却充满挑战。目前的多模态大语言模型虽然在回答视觉相关问题方面表现不错，但它们往往只是从密集的视觉信息中提取出少量关键线索，然后主要依靠文本推理能力来生成答案。

这种现状就像是一个近视眼的学生在考试时，虽然能够根据模糊的视觉印象结合已有知识来回答问题，但如果能戴上合适的眼镜看清题目的每个细节，答题质量必然会有质的提升。当前AI模型训练的重点主要集中在强化"思考推理"能力上，而对于"看清看懂"这个更基础的视觉感知能力，投入的关注相对较少。

研究团队观察到，现有的一些改进视觉理解的方法通常需要在模型中添加额外的视觉生成组件，让模型学会重新"画出"看到的内容。虽然这种方法有一定效果，但就像给一个本来只需要"看"的学生额外要求他必须学会"画"一样，不仅增加了学习的复杂度，还可能分散注意力。更重要的是，这种方法需要对现有模型架构进行较大改动，在实际应用中面临不少技术挑战。

正是在这样的背景下，研究团队想到了一个巧妙的解决方案。他们发现，经典的拼图游戏蕴含着训练视觉感知能力的巨大潜力。拼图游戏要求玩家仔细观察每个碎片的细节特征，理解整体的空间结构关系，这恰恰是提升视觉理解能力所需要的核心技能。与需要像素级精确重建的生成任务相比，拼图任务虽然相对简单，但它提供的训练信号却是高效且有针对性的。

**二、视觉拼图：一个巧妙的训练策略**

研究团队设计的"视觉拼图"训练方法就像是为AI模型量身定制的视觉训练课程。这个课程的核心理念非常直观：将完整的视觉内容按照某种规则分割成多个片段，然后打乱顺序，让模型通过观察这些混乱的片段来推断出正确的排列顺序。

在图像拼图任务中，系统会将一张完整图片切割成3x3的九宫格，就像制作传统拼图一样。然后将这九个图像块随机打乱顺序呈现给AI模型，模型需要仔细观察每个图像块的内容、边缘特征和相对位置关系，最终给出正确的排列顺序。这个过程要求模型不仅要识别每个局部区域的内容，还要理解它们之间的空间关系和整体布局。

视频拼图任务则是将这个概念扩展到了时间维度。系统会将一段完整视频按时间轴分割成六个连续的片段，然后打乱这些片段的播放顺序。AI模型需要通过观察每个片段中的动作发展、场景变化和因果关系，来推断出事件的正确时间顺序。这种训练特别有助于提升模型对于时间逻辑和动作连贯性的理解能力。

最有创意的是3D拼图任务的设计。由于目前的多模态模型主要还是通过2D图像来理解3D世界，研究团队设计了一种基于深度排序的拼图任务。系统会在一张包含深度信息的室内场景图片中随机选择六个具有不同深度值的点，然后要求模型根据这些点在图像中的位置和视觉线索，判断它们从近到远的正确排列顺序。这种训练能够有效提升模型的空间感知和深度理解能力。

整个训练过程采用了强化学习的方法，这就像是给AI模型提供了一个智能的教练。当模型给出完全正确的答案时，会获得满分奖励。当答案部分正确时，会根据正确程度获得相应的部分奖励，但这个部分奖励会打一个折扣，鼓励模型追求完全正确的解答。如果模型给出的答案格式不对或者明显错误，则不会获得任何奖励。这种精心设计的奖励机制既能提供有效的学习信号，又能防止模型产生投机取巧的行为。

**三、从理论到实践：三种拼图的具体实现**

在图像拼图的具体实现中，研究团队选择了包含丰富视觉内容的COCO数据集，这个数据集包含了118000张高质量的自然图像。为了保证拼图块有足够的视觉信息，他们过滤掉了边长小于84像素的图像，确保每个3x3网格的图像块都有足够的细节供模型分析。训练过程中，模型需要在看到打乱顺序的九个图像块后，输出一个从1到9的数字序列，表示正确的从左到右、从上到下的排列顺序。

视频拼图任务使用了LLaVA-Video数据集中的100000个视频片段。每个视频被均匀分割成6个时间段，为了防止模型简单地通过相邻片段之间的视觉相似性来"作弊"，研究团队巧妙地从每个片段的开头和结尾各去掉5%的帧。这样既保持了每个片段内容的完整性，又增加了任务的挑战性，迫使模型真正理解视频内容的逻辑发展而不是依赖简单的视觉匹配。

3D拼图任务的实现最为巧妙。研究团队使用了ScanNet数据集中的RGB-D室内场景图像，这些图像不仅包含普通的彩色信息，还包含每个像素点的深度信息。系统会在每张图像中随机选择6个深度值明显不同的点，要求这些点在图像中的位置至少相距40个像素，深度差异至少为0.2米，确保任务有足够的挑战性。然后在RGB图像上用红色圆圈标记这些点，模型需要仅凭视觉线索就判断出它们的远近关系。

所有三种拼图任务都使用了Qwen2.5-VL-7B作为基础模型，这是一个在多模态理解方面表现优秀的大型语言模型。训练采用了GRPO（群体相对策略优化）算法，这是一种专门适用于可验证奖励任务的强化学习方法。为了获得稳定的训练效果，研究团队移除了传统强化学习中的KL散度正则化和熵损失项，专注于让模型学会解决拼图任务本身。

**四、实验验证：拼图训练的神奇效果**

研究团队设计了一系列全面的实验来验证视觉拼图训练的效果，结果令人印象深刻。在图像理解方面，经过拼图训练的模型在13个不同的视觉理解基准测试中都获得了显著提升。这些测试涵盖了细粒度感知、空间理解和组合视觉理解三个核心领域。

在细粒度感知测试中，拼图训练显示出了特别明显的优势。以MMVP测试为例，这是一个专门测试模型能否注意到图像中细微差别的基准，基础模型的准确率为54.66%，而经过图像拼图训练后提升到了60.66%，提升幅度达到6个百分点。这种提升在AI研究中已经算是相当可观的进步。类似地，在MMStar的细粒度感知子集测试中，准确率从59.75%提升到65.81%，显示出拼图训练确实能够增强模型对图像细节的敏感度。

空间理解能力的提升同样显著。在OmniSpatial测试中，这个专门评估模型空间推理能力的基准显示，经过训练的模型准确率从42.66%提升到44.49%。虽然提升幅度相对较小，但考虑到空间推理是AI视觉理解中最具挑战性的任务之一，这种改进已经很有价值。更令人鼓舞的是，在DA-2K深度估计测试中，准确率从54.45%大幅提升到60.35%，提升了近6个百分点，这直接验证了拼图训练对于深度感知能力的积极影响。

视频拼图训练在时间理解方面展现出了更加突出的效果。研究团队在13个不同的视频理解基准上进行了测试，结果显示在所有测试中都获得了一致的改进。特别值得注意的是，在需要理解时间顺序和因果关系的任务中，改进效果更加明显。例如，在AoTBench这个专门测试时间推理能力的基准中，模型在处理16帧视频时的准确率从45.52%提升到51.67%，提升幅度超过6个百分点。

更有趣的是，随着输入视频帧数的增加，拼图训练的优势变得更加明显。当处理64帧的长视频时，AoTBench的准确率从52.41%提升到57.64%，这表明拼图训练特别有助于理解较长时间跨度的视频内容。这种现象很容易理解：视频越长，时间逻辑关系越复杂，而拼图训练恰好强化了模型对于这种复杂时序关系的理解能力。

3D拼图训练的效果最为显著，特别是在直接相关的深度理解任务上。在DA-2K深度比较测试中，准确率从54.45%跃升到71.56%，提升幅度达到惊人的17个百分点。这个结果不仅验证了3D拼图训练的直接效果，更重要的是证明了训练效果能够很好地迁移到相关任务上。

令研究团队感到意外的是，3D拼图训练的好处不仅限于深度相关任务。在其他涉及3D空间理解的测试中，比如SAT-Real测试，准确率从48.66%提升到64.00%，提升了15个百分点。这种广泛的改进效果表明，深度排序训练不仅仅是教会了模型一个特定技能，而是从根本上增强了模型的空间感知能力。

**五、深入分析：为什么拼图训练如此有效**

为了更深入地理解拼图训练的工作机制，研究团队进行了一系列对比实验。首先，他们比较了监督学习和强化学习两种不同训练方式的效果。结果显示，虽然传统的监督微调也能带来一定改进，但效果远不如强化学习明显，在某些测试中甚至出现了性能下降。

这个现象背后的原理很容易理解。监督学习就像是让学生死记硬背标准答案，虽然能在特定题目上表现不错，但面对新的、略有变化的问题时容易出现过拟合现象。相比之下，强化学习更像是培养学生的解题思路和方法，使其能够将学到的技能灵活运用到不同的场景中。这种泛化能力正是视觉理解任务所需要的核心能力。

研究团队还探索了拼图难度对训练效果的影响。他们发现，更困难的拼图任务能够带来更好的训练效果。例如，3x3的图像拼图比2x2的拼图效果更好，6片段的视频拼图比4片段的效果更好。这个结果符合认知科学的一般规律：适当的挑战能够更有效地促进能力的提升。

然而，研究团队也注意到，过于困难的任务可能会带来负面效果。如果拼图过于复杂，模型在训练早期很难获得任何正向反馈，可能导致学习过程陷入困境。因此，他们设计的部分正确奖励机制显得尤为重要，它为模型提供了渐进式的学习路径，既保持了适当的挑战性，又确保了学习过程的稳定性。

另一个有趣的发现是，拼图训练的效果具有很好的领域特异性。图像拼图主要改善图像理解能力，视频拼图主要提升时间推理能力，3D拼图主要增强空间感知能力。这种特异性表明，不同类型的拼图训练确实在针对性地强化相应的认知能力，而不是简单地提升整体性能。

**六、实用价值：从实验室到现实应用**

这项研究的实用价值远远超出了学术范围。在当今AI应用日益普及的时代，视觉理解能力的提升将直接影响许多实际应用的效果。以智能驾驶为例，更好的细节感知能力意味着AI能够更准确地识别道路上的交通标志、行人和其他车辆，更强的空间理解能力则有助于更精确地判断距离和相对位置关系。

在医疗影像分析领域，经过拼图训练的模型可能在识别X光片、CT扫描或MRI图像中的细微异常方面表现更好。医生常常需要在复杂的医学图像中发现微小的病变或异常结构，这正是拼图训练所强化的细节感知能力最能发挥作用的场景。

视频理解能力的提升对于安防监控、内容审核和视频分析等领域同样具有重要意义。经过视频拼图训练的模型能够更好地理解视频中事件的发展顺序和因果关系，这对于自动检测异常行为、理解复杂场景或分析视频内容都有很大帮助。

教育领域也是一个潜在的应用场景。经过拼图训练的AI模型可能在理解和分析学生的学习行为方面表现更好，比如通过观察学生解题过程的视频来分析其思维模式和学习困难点。

更重要的是，这种训练方法的简单性和通用性使其很容易被集成到现有的AI系统中。由于不需要改变模型架构或添加额外组件，开发者可以将拼图训练作为一个标准的后训练步骤，在不增加太多复杂性的情况下提升模型的视觉理解能力。

**七、技术创新：简单方法的深刻洞察**

这项研究最令人印象深刻的地方在于其技术方案的优雅性。在AI研究中，往往有一种倾向是通过增加模型复杂性或引入更多数据来解决问题。然而，这项研究却选择了一条截然不同的道路：通过精心设计的简单任务来强化模型的基础能力。

拼图任务的巧妙之处在于它完美地契合了强化学习的训练框架。每个拼图都有明确的正确答案，这提供了清晰的奖励信号。同时，拼图任务的难度适中，既不会过于简单导致缺乏挑战性，也不会过于复杂导致训练困难。这种平衡使得模型能够在一个稳定的学习环境中逐步提升能力。

研究团队在设计奖励函数时展现出了深刻的洞察力。传统的强化学习任务往往采用二元奖励：要么全对，要么全错。但在拼图任务中，完全正确的答案和部分正确的答案之间存在有意义的差别。通过给予部分正确答案一定的折扣奖励，模型能够获得更加细致的反馈信号，从而实现更加高效的学习。

另一个创新点在于研究团队巧妙地处理了不同模态之间的统一性问题。虽然图像、视频和3D数据在本质上有很大差异，但拼图这个概念为它们提供了一个统一的训练框架。这种统一性不仅简化了方法设计，也使得同一套训练流程能够应用于不同的视觉理解任务。

在3D拼图的设计上，研究团队面临了一个特殊的挑战：如何在主要处理2D输入的模型中训练3D理解能力。他们的解决方案非常巧妙，通过深度排序任务，模型需要从2D图像的视觉线索中推断3D空间关系。这种设计不仅避免了需要处理复杂3D数据结构的问题，还使得训练任务更加贴近模型在实际应用中的工作方式。

**八、实验设计的严谨性与全面性**

这项研究在实验设计方面体现了令人赞赏的严谨性。研究团队不满足于在少数几个基准测试上验证效果，而是选择了涵盖不同能力维度的大量测试集。仅在图像理解方面，他们就使用了13个不同的基准测试，确保结果的全面性和可信度。

在视频理解的评估中，研究团队特别考虑了不同帧数设置对结果的影响。他们分别在16帧、32帧和64帧三种设置下进行测试，这种细致的实验设计揭示了一个重要规律：拼图训练的优势在处理更长视频时更加明显。这个发现不仅验证了方法的有效性，还为其实际应用提供了有价值的指导。

基线比较的选择也很有代表性。研究团队没有简单地与原始模型比较，而是选择了当前最先进的一些方法作为比较对象，包括专注于推理改进的ThinkLite-VL、关注多任务学习的VL-Cogito，以及同样致力于视觉理解提升的LLaVA-Critic-R1。这种比较策略确保了实验结果的说服力。

特别值得注意的是，研究团队还验证了拼图训练对已经经过推理优化的模型的效果。他们在ThinkLite-VL的基础上应用图像拼图训练，结果显示不仅视觉理解能力得到了提升，原有的推理能力也得到了很好的保持。这个结果表明，拼图训练是一种可以与其他优化方法互补使用的技术。

**九、方法的局限性与未来发展方向**

尽管取得了显著的成果，研究团队也诚实地指出了当前方法的一些局限性。首先，他们采用的拼图任务相对来说还比较基础。对于图像和视频，都使用了相对简单的均匀分割方式，未来可能可以探索更复杂的分割策略，比如基于内容的智能分割或者不规则形状的拼图块。

在3D理解方面，当前的深度排序任务虽然有效，但仍然是通过2D图像来训练3D理解能力。研究团队也尝试了其他的3D拼图设计，比如视角匹配任务和鸟瞰图位置匹配任务，但效果不如深度排序明显。这可能是因为当前的基础模型在3D理解方面的能力还相对有限，需要更强的3D基础能力才能充分利用这些更复杂的训练任务。

训练数据和模型规模的限制也是一个需要考虑的因素。由于计算资源的约束，研究团队没有在更大规模的数据集和更大的模型上验证方法的效果。随着算力的发展，未来的研究可能需要探索在更大规模设置下拼图训练的效果。

另一个值得探索的方向是拼图任务与其他自监督学习任务的结合。目前的研究主要关注拼图任务本身，但拼图训练可能可以与其他视觉自监督任务（如图像修复、对比学习等）结合使用，产生更好的协同效果。

**十、对AI发展的启示意义**

这项研究为AI发展提供了几个重要启示。首先，它证明了"回归基础"的价值。在AI研究日益复杂化的今天，通过精心设计的简单任务来强化基础能力，往往能取得出人意料的好效果。这提醒我们，技术创新不一定需要复杂的架构改进，有时候巧妙的训练策略可能更加有效。

其次，这项研究展示了跨领域知识迁移的潜力。拼图游戏这个来自人类认知训练的经典方法，在AI训练中同样显示出了强大的效果。这种跨领域的借鉴思路为AI研究开辟了新的可能性，提示我们可以从人类学习和认知的机制中获得更多灵感。

研究还强调了任务设计在AI训练中的重要性。一个好的训练任务不仅要有明确的目标，还要能够提供合适的学习信号，激发模型学习到真正有用的能力。拼图任务的成功在很大程度上归功于其优秀的任务设计：既有足够的挑战性，又有清晰的评价标准，还能够自然地与强化学习框架结合。

从更宏观的角度来看，这项研究也体现了AI研究中"专业化"与"通用性"的平衡。虽然不同类型的拼图训练主要改善特定领域的能力，但整体的方法框架具有很好的通用性，可以应用于不同的视觉理解任务。这种平衡为开发既专业又灵活的AI系统提供了有价值的思路。

说到底，这项研究最大的价值可能在于它为AI视觉理解能力的提升提供了一条简单而有效的路径。在AI技术日益成为日常生活一部分的今天，让AI"看得更清楚、理解得更深入"不仅是技术进步的需要，更是提升用户体验和扩大应用场景的关键。通过这种类似"给AI做视力训练"的方法，我们离构建真正智能的视觉理解系统又近了一步。对于关注AI发展的人来说，这项研究提供了一个有趣的视角：有时候，最有效的创新可能来自对经典方法的重新发现和巧妙应用。

Q&A

Q1：什么是Visual Jigsaw方法？它是如何工作的？

A：Visual Jigsaw是一种通过"拼图游戏"来训练AI视觉理解能力的方法。具体来说，就是将图像切成小块、视频分成片段、或在3D场景中选取不同深度的点，然后打乱顺序让AI模型重新排列。就像人类通过拼图游戏锻炼观察力一样，AI通过这种训练能显著提升细节感知、时间理解和空间推理能力。

Q2：Visual Jigsaw训练相比其他AI训练方法有什么优势？

A：最大优势是简单有效且无需改变模型架构。传统方法往往需要在AI模型中添加复杂的视觉生成组件，而Visual Jigsaw只需要在现有模型基础上进行拼图任务训练，就能显著提升视觉理解能力。实验显示，经过训练的模型在细粒度感知测试中准确率提升了6个百分点，在深度理解任务中提升了17个百分点。

Q3：Visual Jigsaw训练对哪些实际应用有帮助？

A：这种训练对需要精确视觉理解的应用都有帮助。比如智能驾驶中的道路标志识别、医疗影像中的病变检测、安防监控中的异常行为分析等。由于训练方法简单通用，开发者可以轻松将其集成到现有AI系统中，在不增加复杂性的情况下提升视觉理解效果。