中科大团队揭示人工智能"看图说话"的致命盲点

这项由中国科学技术大学人工智能与数据科学学院张宗萌、周文罡、李厚强，以及华为技术有限公司赵洁组成的研究团队完成的研究，发表于2025年第42届国际机器学习大会（ICML 2025）。感兴趣的读者可以通过https://github.com/zmzhang2000/MMMC获取相关代码和数据集。

当下最火热的多模态大语言模型就像是拥有了视觉能力的超级助手，它们能够同时理解图片和文字，回答各种复杂的问题。然而，这些看似聪明的AI系统却存在着一个令人担忧的问题：当它们面对图片和文字信息相互矛盾的情况时，经常会产生错误的理解，甚至"编造"出根本不存在的内容。

设想这样一个场景：你向AI展示一张狗在海边冲浪的照片，然后询问"图片中的球是什么颜色？"显然，照片里根本没有球，但是这些多模态AI系统却可能会一本正经地告诉你"图片中的球是绿色的"，仿佛真的看到了一个绿色的球。这种现象在AI领域被称为"幻觉"，而中科大的研究团队深入探究了这种幻觉产生的根本原因。

研究团队发现，导致这种问题的根源在于"模态冲突"——也就是视觉信息和文字信息之间存在根本性的矛盾。以往的研究主要关注AI的回答与输入信息之间的冲突，但这项研究首次系统性地关注了输入信息本身内部的冲突问题。当图片显示的内容与问题中假设的内容不一致时，AI系统就会陷入困境，往往选择相信文字而忽视视觉证据，从而产生错误的回答。

为了深入研究这个问题，团队构建了一个名为"多模态模态冲突"（MMMC）的专门数据集，包含了2万个精心设计的图片-问题-答案组合。这些样本专门设计来测试AI在面对模态冲突时的表现。研究团队将模态冲突分为三个主要类型：对象冲突、属性冲突和关系冲突。

对象冲突就像是在一张只有猫的照片前问"狗在哪里"——问题中提到的对象在图片中根本不存在。属性冲突则是指同一个对象在图片和文字中被描述为具有不同的特征，比如图片中是红苹果，但问题询问绿苹果的相关信息。关系冲突涉及对象之间位置或相互关系的不一致，例如图片显示猫在桌子上，但问题却询问猫在地板上的情况。

通过在这个数据集上测试当前最先进的多模态AI系统，包括InstructBLIP、LLaVA系列、Qwen2-VL以及GPT-4o等知名模型，研究团队发现了一个令人震惊的事实：所有被测试的模型都表现出极高的幻觉率，超过40%的情况下会产生错误的回答。即使是被誉为最强AI的GPT-4o，在面对模态冲突时也显得力不从心。

面对这个问题，研究团队提出了三种不同的解决方案。第一种是提示工程方法，通过改进给AI的指令来提醒它首先检查图片中是否真的包含问题所询问的内容。这就像是在问AI问题之前先提醒它"请仔细看看图片再回答"。这种方法简单易行，不需要额外的计算资源，但效果很大程度上取决于AI模型本身的能力。

第二种方法是监督微调，类似于给AI进行专门的训练课程。研究团队使用MMMC数据集中的正确答案来训练AI，让它学会在面对模态冲突时给出正确的回应。这种方法就像是反复练习一种特定技能，直到形成肌肉记忆。监督微调表现出了稳定且显著的改进效果，能够有效降低AI的幻觉率。

第三种也是效果最好的方法是强化学习。这种方法让AI在训练过程中不断尝试回答问题，当它给出正确答案时就获得奖励，给出错误答案时就受到惩罚。通过这种奖惩机制，AI逐渐学会了更好地处理模态冲突。强化学习方法就像是让AI在一个虚拟的游戏环境中不断练习，通过试错来掌握正确的判断方式。

实验结果显示，强化学习方法在减少幻觉方面效果最为显著，能够将错误率降低10%到50%不等。不过，这种方法也带来了一些挑战，比如训练过程相对不稳定，有时候AI模型会出现"崩溃"现象，开始生成冗长而重复的无意义回答。

研究团队还深入分析了不同类型冲突的难易程度。他们发现，对象冲突是最容易被AI识别的，因为判断一个物体是否存在相对简单。属性冲突处于中等难度，需要AI仔细比较图片中物体的特征与问题中描述的特征。而关系冲突则是最具挑战性的，因为它要求AI准确理解多个对象之间复杂的空间或逻辑关系。

这项研究的意义远不止于技术层面的改进。随着多模态AI在自动驾驶、医疗诊断、教育辅助等关键领域的广泛应用，确保这些系统能够准确理解和处理多模态信息变得至关重要。当一个医疗AI在分析X光片时产生幻觉，或者自动驾驶系统误判路况信息时，后果可能是灾难性的。

研究团队在测试过程中还发现了一个有趣的现象：不同的AI模型对于训练方法的适应性存在显著差异。有些模型在经过改进后能够在多个任务上保持稳定表现，而有些模型则会出现"对齐税"问题——在解决模态冲突的同时，在其他任务上的表现有所下降。这就像是专门训练某项技能可能会影响其他能力的发挥。

特别值得关注的是，研究团队发现强化学习方法虽然效果最好，但训练过程需要格外小心。在某些情况下，AI模型会在训练过程中突然开始生成极长的重复性回答，仿佛陷入了某种循环思维模式。这种现象提醒我们，在追求AI性能提升的同时，必须时刻关注模型的稳定性和可靠性。

从更广阔的视角来看，这项研究揭示了当前AI技术发展中的一个根本性挑战：如何让机器真正理解多模态信息之间的一致性和矛盾性。人类在面对冲突信息时会本能地进行判断和质疑，但AI系统往往缺乏这种批判性思维能力。这不仅是一个技术问题，更是一个关于如何让AI具备更接近人类认知能力的深层次挑战。

研究结果还表明，解决模态冲突问题需要在数据质量、训练方法和模型架构等多个层面进行系统性改进。单纯依靠某一种方法很难彻底解决问题，需要多种技术手段的有机结合。这就像是治疗一种复杂疾病需要综合治疗方案一样。

值得一提的是，这项研究的方法论也为未来的相关研究提供了重要参考。通过构建专门的测试数据集来系统性评估AI的特定能力，这种做法可以推广到其他AI安全和可靠性问题的研究中。研究团队公开了所有相关代码和数据，为学术界和产业界进一步改进多模态AI系统提供了宝贵资源。

对于普通用户而言，这项研究提醒我们在使用多模态AI系统时需要保持适度的警惕。虽然这些系统在大多数情况下表现良好，但在面对复杂或矛盾的信息时可能会出现错误。了解AI的局限性有助于我们更好地利用这些工具，同时避免过度依赖可能导致的问题。

说到底，这项研究为我们描绘了一幅多模态AI发展的真实图景：既有令人振奋的进步，也有需要认真对待的挑战。通过深入理解和解决模态冲突问题，我们正在向更加可靠、更加智能的AI系统迈进。这不仅是技术进步的体现，更是对AI安全和可信赖性的重要贡献。随着相关技术的不断成熟，我们有理由相信未来的多模态AI将能够更好地理解和处理复杂的现实世界信息，为人类社会带来更大的价值。

Q&A

Q1：什么是模态冲突？为什么会让AI产生幻觉？ A：模态冲突是指图片和文字信息之间存在矛盾的情况。比如图片显示一只狗，但问题却询问猫的信息。AI在面对这种冲突时往往会偏信文字而忽视图片证据，从而"编造"出不存在的内容，产生幻觉现象。

Q2：目前的多模态AI有多容易产生这种错误？ A：研究发现，包括GPT-4o在内的所有主流多模态AI都存在这个问题，错误率超过40%。这意味着在近一半涉及模态冲突的情况下，AI会给出错误答案，这个比例相当高。

Q3：有什么方法可以解决这个问题吗？ A：研究团队提出了三种解决方案：改进提示词、专门训练和强化学习。其中强化学习效果最好，能将错误率降低10-50%，但训练过程较为复杂。目前这些方法都在不断完善中。