清华深圳国际研究生院与快手科技:强化学习教练优化AI视觉能力

这项由清华大学深圳国际研究生院与快手科技Kling团队合作的研究发表于2026年2月的arXiv预印本平台，论文编号为arXiv:2602.13823v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当你在网上搜索一张图片时，搜索引擎是如何知道哪张图片最符合你的需求呢？当你想找一段特定的视频片段时，系统又是怎样从海量视频中精确找到你要的那一段呢？这些看似简单的操作背后，其实涉及一项极其复杂的技术——多模态嵌入。简单来说，就是让计算机像人一样理解图片、视频和文字之间的关系。

长期以来，这个领域面临着一个关键挑战：如何让AI在理解多媒体内容时既能"看懂"又能"想明白"。传统的方法就像是给学生一堆标准答案让他们死记硬背，虽然能应付考试，但遇到新情况就束手无策。而最新的生成式方法虽然让AI学会了"思考"，但这种思考往往偏离主题，就像学生写作文时跑题一样。

研究团队发现了一个绝妙的解决方案：让一个专门的"教练"来指导AI的思考过程。这就是他们提出的"嵌入器引导强化学习"框架，简称EG-RL。在这个系统中，有两个关键角色：一个是负责"思考"的推理器，另一个是负责"评判"的嵌入器。嵌入器就像一个经验丰富的老师，不断给推理器的思考过程打分，告诉它哪些思路是对的，哪些是跑偏的。

更有趣的是，研究团队还创造了一种全新的思考模式，叫做"可追溯链式思维"，简称T-CoT。这就像给AI配备了一套完整的"侦探工具包"。当AI看到一张图片时，它不仅会分析图片内容，还会像侦探一样标记关键线索的位置。比如，如果任务是找到图片中的"红色汽车"，AI会在图片上画出准确的框框标记汽车位置，同时提取"红色"、"汽车"这样的关键词。对于视频，它会标记出最重要的关键帧；对于长文本，它会提取核心关键词。

这种方法的巧妙之处在于，它让AI的思考变得有据可查。就像学生做数学题不仅要写出答案，还要展示完整的解题步骤一样。这样一来，当AI给出错误结果时，我们可以清楚地看到它是在哪一步出了问题，从而进行针对性的改进。

研究团队在两个重要的基准测试上验证了这套方法的效果。第一个叫MMEB-V2，包含78个不同的多媒体理解任务，涵盖图片分类、视频理解、文档检索等各个方面。第二个叫UVRB，专门测试视频检索能力。结果显示，即使在计算资源相对有限的情况下，他们的方法仍然超越了目前最先进的模型。

一、让AI学会"有的放矢"的思考

要理解这项研究的核心创新，我们可以把AI学习比作培养一名优秀的图书管理员。传统的训练方法就像让管理员背诵图书目录，虽然能快速找到书籍，但遇到读者的特殊需求时往往力不从心。

现有的生成式嵌入方法虽然让AI学会了"推理"，但问题是这种推理往往不着边际。就像一个管理员在帮读者找关于"烹饪"的书时，却开始长篇大论地讲述食物的历史文化，虽然内容丰富，但对找书这件事本身帮助不大。

研究团队意识到，关键在于让AI的推理过程始终围绕具体的检索目标。他们设计的EG-RL框架就像为AI配备了一位严格的导师。这位导师会实时监控AI的思考过程，一旦发现AI的思路偏离了目标，就会立即纠正。

具体来说，系统分为两个部分：推理器负责产生思考内容，嵌入器则充当评判者。每当推理器生成一段思考内容时，嵌入器会立即评估这段内容对最终检索任务的帮助程度。如果思考内容有助于找到正确答案，嵌入器就会给出积极反馈；如果内容偏题或无关，就会给出负面评价。

这种设计的好处是显而易见的。推理器在不断的反馈中学会了什么样的思考才是有价值的，逐渐形成了"目标导向"的推理习惯。就像一个学生在老师的悉心指导下，逐渐学会了如何抓住重点，避免在考试时因为跑题而失分。

更重要的是，这种方法解决了传统生成式方法的一个关键问题：梯度冲突。在传统方法中，系统需要同时优化两个目标——生成合理的推理内容和产生准确的嵌入向量。这就像让一个人同时做两件完全不同的事情，往往顾此失彼。而EG-RL框架通过将两个任务分离，让每个组件都能专注于自己的职责，从而避免了这种冲突。

二、给AI装上"多媒体透视镜"

传统的AI推理往往局限于文字层面，就像一个只能通过文字描述来了解世界的人。而研究团队创造的T-CoT方法，则为AI装上了一副"多媒体透视镜"，让它能够同时"看见"图像中的关键区域、"捕捉"视频中的重要时刻，以及"提取"文本中的核心概念。

当面对一张图片时，T-CoT不仅会分析图片内容，还会像一个细心的观察者一样，在图片上标记出最重要的区域。比如，如果任务是判断"图片中是否有红色的汽车"，系统会在图片中准确框出汽车的位置，坐标精确到像素级别。这种精确定位能力就像给AI配备了一台高精度的显微镜，能够聚焦到最关键的细节。

对于视频内容，T-CoT展现出了类似电影剪辑师的敏锐直觉。在一段包含多个场景的视频中，它能够识别出真正承载关键信息的那几帧画面。这不是简单的随机采样，而是基于内容理解的智能选择。就像一个经验丰富的编辑在剪辑预告片时，总能挑选出最能代表整部电影精髓的片段。

在处理文本信息时，T-CoT表现出了卓越的关键词提取能力。它不会被冗长的描述所迷惑，而是能够迅速识别出真正影响检索结果的核心词汇。这种能力类似于一个资深的摘要专家，无论面对多么复杂的文档，都能准确抓住要点。

整个T-CoT的思考过程被巧妙地组织成三个阶段，研究团队将其命名为"思考-反思-回答"模式。第一阶段"思考"负责提取多媒体线索，第二阶段"反思"对这些线索进行筛选和整理，第三阶段"回答"给出最终结论。这种结构化的思考方式确保了推理过程的逻辑性和完整性。

更令人惊喜的是，T-CoT还具备了"证据追溯"的能力。当系统给出一个判断时，它能够清楚地展示支撑这个判断的具体证据。这就像法庭上的律师不仅要提出观点，还要展示支持观点的确凿证据。这种透明性不仅增强了系统的可信度，也为后续的改进提供了清晰的方向。

三、打造AI的"个人教练"系统

要让AI真正学会高质量的推理，光有好的思考框架还不够，还需要一套科学的评价和指导机制。研究团队设计的强化学习系统就像为AI配备了一位24小时在线的"个人教练"，这位教练不仅会评判AI的表现，还会给出具体的改进建议。

这个教练系统的评价标准非常全面，包含三个重要维度。首先是"格式规范性"，就像作文考试中的书写要求一样，AI的思考内容必须按照规定的格式来组织。这看似简单，实际上确保了输出结果的一致性和可读性。

第二个维度是"过程质量"，评估AI在推理过程中是否抓住了关键点。这就像评判学生解题步骤是否合理，不仅要看最终答案，更要关注思考路径是否清晰、逻辑是否严密。系统会检查AI提取的关键词是否准确，标记的图像区域是否相关，选择的视频帧是否代表性强。

第三个维度是"结果准确性"，直接测量AI的推理是否有助于找到正确答案。这个评价最为直接，就像考试中的标准答案一样，要么对，要么错，容不得半点模糊。

特别值得一提的是，这套评价系统采用了"对称评估"的策略。当评估一个查询和目标的匹配度时，系统不仅会从查询的角度来判断目标是否合适，还会从目标的角度来判断查询是否相关。这种双向验证机制大大提高了评估的可靠性，就像在做重要决定时，我们会从多个角度来考虑问题一样。

更巧妙的是，系统还引入了一个独立的"裁判员"——一个专门用于比较不同推理质量的判别模型。当AI生成多种不同的推理内容时，这个裁判员会像体操比赛的评委一样，对每种推理进行评分，选出最优秀的那一个。这种竞争机制激励AI不断提升自己的推理水平。

在具体的训练过程中，系统采用了GRPO算法，这是一种先进的策略优化方法。简单来说，就是让AI在每次尝试后都能获得及时的反馈，并据此调整自己的行为策略。这种学习方式类似于运动员在教练指导下进行反复练习，每次练习后都会得到针对性的建议，从而快速提升技能水平。

四、从实验室到现实应用的成功跨越

为了验证这套方法的实际效果，研究团队进行了大规模的对比实验，就像医学界测试新药效果时要进行严格的临床试验一样。他们选择了两个业界公认的权威测试基准：MMEB-V2和UVRB，这相当于多媒体理解领域的"高考"和"专业考试"。

MMEB-V2基准包含了78个不同的任务，涵盖了图像分类、视频理解、文档检索等各个方面，就像一场综合性极强的全能比赛。在这场"比赛"中，研究团队的Embed-RL模型表现出色，其中4B参数的版本获得了68.1的总分，比之前最好的方法提升了3.6分。虽然听起来提升幅度不大，但在这个竞争激烈的领域，这已经是相当显著的进步了。

特别令人印象深刻的是，Embed-RL在图像定位任务上的表现几乎完美，准确率达到了91.4%。这意味着当系统需要在图像中找到特定物体时，十次中有九次都能准确命中目标。这种精度水平已经接近人类专家的表现。

在视频理解任务上，Embed-RL同样表现出色，整体得分达到了53.0，比传统方法有了明显提升。更重要的是，在处理"出域"任务（即训练时没有见过的新类型任务）时，系统展现出了强大的泛化能力，得分高达67.1，远超其他方法。这说明系统不仅能处理熟悉的任务，还能应对全新的挑战。

UVRB基准专门测试视频检索能力，包含16个不同的数据集，覆盖了从粗粒度到细粒度、从短视频到长视频的各种场景。在这个更加专业的测试中，Embed-RL-4B取得了60.7的平均分，在所有参与比较的方法中排名第一。

更值得注意的是，研究团队的方法在计算资源使用上表现出了良好的效率性。相比于一些需要巨量计算资源的方法，Embed-RL在保持高性能的同时，大大降低了训练和推理的计算成本。这使得这项技术更有可能在实际应用中得到推广。

实验结果还揭示了一个有趣的现象：经过强化学习优化后，AI的推理质量发生了质的变化。在优化前，AI的推理往往冗长而偏离主题；优化后，推理变得简洁而聚焦，直击问题核心。这种变化就像一个学生在名师指导下，从写作时的冗长繁琐转变为言简意赅、条理清晰。

五、细节决定成败的精妙设计

深入分析这项研究的技术细节，我们会发现许多巧妙的设计选择，这些看似微小的改进积累起来产生了显著的效果提升。

在数据构建方面，研究团队采用了一种"分层过滤"的策略。他们首先从多个高质量数据源收集了超过220万个样本，然后使用专门设计的相关性判断提示对这些样本进行筛选，最终保留了约183万个高质量样本。这个过程就像珠宝匠在挑选原石时，会仔细检查每一块石料的品质，只保留最有价值的那些。

在T-CoT的格式设计上，研究团队经过反复试验，最终确定了三段式结构：思考、反思、回答。每个阶段都有明确的功能定位和输出要求。思考阶段负责提取多模态线索，反思阶段负责整理和验证这些线索，回答阶段给出最终结论。这种结构既保证了推理的完整性，又避免了信息的重复和冗余。

在强化学习的奖励函数设计上，研究团队巧妙地平衡了三个不同维度的评价权重。格式奖励的权重设为0.05，过程奖励设为0.8，结果奖励设为0.2。这种权重分配反映了研究团队的设计哲学：过程比结果更重要，但格式规范也不能忽视。这就像评判一场演讲时，内容质量占主导地位，但表达方式和形式规范也会影响最终评分。

在模型训练的技术细节上，研究团队采用了多项优化策略。比如，他们使用了"子批次"训练策略，确保每个训练批次中的样本都来自同一个数据集，这样可以避免不同类型任务之间的干扰。这种做法类似于学校安排课程时，会将相关学科的课程集中安排，避免学生在不同学科间频繁切换造成的学习效率下降。

对于多模态输入的处理，系统采用了精细的预处理策略。对于图像，系统会根据内容自适应地调整分辨率，确保关键信息不会因为缩放而丢失。对于视频，系统使用智能采样算法选择最具代表性的帧，避免冗余信息的干扰。这些预处理步骤虽然增加了一些计算开销，但显著提升了后续处理的质量。

特别值得一提的是，研究团队还设计了一套完整的消融实验来验证每个组件的重要性。结果显示，移除强化学习阶段会导致1.5分的性能下降，移除多模态线索提取会导致1.0分的下降，而完全不使用T-CoT推理则会导致6.6分的大幅下降。这些数据清楚地表明了每个组件的价值，也证实了整体设计的合理性。

六、开启多媒体AI的新篇章

这项研究的意义远远超出了技术本身的改进，它为多媒体人工智能的发展指明了一个全新的方向。传统的嵌入方法就像让AI做选择题，只需要在给定选项中挑选答案；而生成式嵌入方法则像让AI写作文，需要展现完整的思考过程。这项研究成功地将两种方法的优势结合起来，让AI既能深入思考，又能紧扣主题。

从技术发展的角度来看，这项工作开创了"推理驱动嵌入"的新范式。以往的研究要么专注于提升推理能力，要么致力于改进嵌入质量，很少有人尝试将两者有机结合。这项研究证明了这种结合不仅可行，而且能够实现"一加一大于二"的效果。

对于实际应用而言，这项技术的潜在影响是深远的。在搜索引擎领域，它能够让系统更准确地理解用户的检索意图，提供更加精准的结果。在内容推荐系统中，它能够更好地理解用户的兴趣偏好，推荐更加个性化的内容。在教育技术中，它能够帮助系统更好地理解学习材料，提供更加有针对性的学习建议。

从计算效率的角度来看，这项研究也具有重要价值。通过引入可追溯的推理机制，系统的决策过程变得更加透明，这不仅有助于发现和修正错误，也减少了不必要的计算开销。这种效率提升对于大规模部署AI系统来说至关重要。

研究团队还在论文中指出了一些当前方法的局限性和未来的改进方向。比如，目前的奖励函数权重是经验设定的，未来可以探索自适应权重调整机制。训练数据中排除了一些分类任务，导致在图像分类上的表现不够理想，这为未来的改进提供了明确的方向。

更重要的是，这项研究为AI系统的"可解释性"问题提供了一个新的解决思路。通过T-CoT机制，AI的决策过程变得可追溯、可验证，这对于需要高可靠性的应用场景（如医疗诊断、自动驾驶等）具有重要意义。

展望未来，这种"推理-嵌入"结合的方法可能会成为多模态AI发展的主流趋势。随着大模型技术的不断发展，我们有理由相信，未来的AI系统将不仅能够理解复杂的多媒体内容，还能够清楚地解释自己的理解过程，真正成为人类的智能助手。

说到底，这项研究最大的贡献在于证明了一个简单而深刻的道理：让AI学会思考很重要，但让AI学会"有目标地思考"更重要。正如人类学习的过程一样，仅仅拥有思考能力是不够的，关键在于能够将思考指向正确的方向，并且能够从思考中得到有用的结论。这项研究为实现这一目标提供了一个优雅而有效的解决方案，为多媒体人工智能的发展开启了新的可能。

Q&A

Q1：什么是嵌入器引导强化学习框架？

A：嵌入器引导强化学习是一种让AI更聪明地理解多媒体内容的训练方法。它包含两个角色：一个负责思考的"推理器"和一个负责评判的"嵌入器"。嵌入器像老师一样，不断给推理器的思考过程打分，告诉它哪些想法对解决问题有帮助，哪些是跑题的。通过这种指导，AI逐渐学会了如何进行有针对性的思考，而不是漫无目的地推理。

Q2：可追溯链式思维与普通的AI推理有什么区别？

A：可追溯链式思维就像给AI装上了"多媒体透视镜"，让它不仅能分析内容，还能标记关键证据。当看图片时，它会框出重要区域；处理视频时，会选出关键帧；分析文本时，会提取核心词汇。整个过程分为"思考-反思-回答"三步，每一步都有具体的证据支撑，就像侦探破案时要展示完整的推理链条和证据一样。

Q3：这项技术在实际应用中表现如何？

A：在权威测试中，这项技术表现优异。在包含78个不同任务的MMEB-V2测试中，取得了68.1的总分，超越了之前最好的方法。特别是在图像定位任务上，准确率达到91.4%，几乎接近完美。在视频检索专业测试UVRB中，平均得分60.7，排名第一。更重要的是，这种方法在计算资源使用上很高效，使得技术更容易在实际中推广应用。