上海交大推出Innovator-VL：用更少数据也能让AI"看懂"科学问题

这项由上海交通大学人工智能学院、DP Technology、MemTensor等多家机构联合开展的研究发表于2025年1月，论文编号为arXiv:2601.19325v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

在AI快速发展的今天，让机器既能"看懂"图片又能理解复杂科学问题，就像培养一个既有敏锐观察力又具备深厚学识的学者一样困难。目前大多数AI系统要么擅长处理日常图片，要么专精某个科学领域，很少有系统能在两方面都表现出色。更关键的是，现有的科学AI系统通常需要海量的专业训练数据，就像培养专家需要阅读图书馆里所有相关书籍一样耗费资源。

上海交通大学的研究团队却找到了一条更巧妙的路径。他们开发的Innovator-VL系统就像一位既博学又高效的学者，不仅能在科学领域表现优异，在日常视觉理解任务中也毫不逊色，而且训练过程异常高效。这个系统最令人惊叹的特点是，它仅用不到500万个精心挑选的科学训练样本，就达到了与那些使用海量数据训练的系统相当的性能水平。

研究团队特别重视训练过程的透明化和可重现性。他们就像烹饪大师公开秘方一样，详细公开了整个训练流程的每个步骤，从数据收集到最终优化的完整配方。这种做法在当前AI研究中并不常见，因为许多团队往往将训练细节视为商业秘密。

一、系统架构：三位一体的视觉理解专家

Innovator-VL的整体设计就像组建一个专业的视觉分析团队。这个团队由三个关键角色组成，每个都有自己的专长和职责。

第一个角色是视觉编码器，使用了名为RICE-ViT的先进技术。如果把传统的视觉系统比作只能看到整体轮廓的观察者，那么RICE-ViT就像一位既能把握全局又能察觉细节的专业摄影师。它不仅能理解图片的整体含义，还能精确识别图像中的局部区域和精细结构。这种能力对科学图像分析尤其重要，因为科学图片中往往包含密集的标注、复杂的符号和精确的空间关系。

第二个角色是连接桥梁，采用了PatchMerger技术。这个组件就像一位高效的信息编辑，能够将视觉编码器产生的大量视觉信息压缩成更紧凑但信息丰富的形式。想象你需要将一本厚重的图册总结成几页精华内容，既要保留所有重要信息，又要让后续处理更加高效，PatchMerger正是承担了这样的角色。

第三个角色是语言模型，基于Qwen3-8B-Base构建。这个组件就像团队中的首席分析师，拥有广博的知识储备，特别擅长处理STEM领域的问题和进行逻辑推理。它已经在大量多样化的文本上接受过训练，具备了处理复杂科学推理任务所需的基础能力。

整个系统的工作流程就像一条高效的生产线。当输入一张科学图片和相关问题时，RICE-ViT首先对图像进行精细分析，识别其中的各种视觉元素。然后PatchMerger将这些视觉信息转换成语言模型能够理解的形式。最后，Qwen3-8B-Base结合视觉信息和问题内容，生成准确的答案或解释。这种设计让系统既能处理需要精确视觉理解的科学问题，也能应对日常的视觉理解任务。

二、训练策略：从基础到精通的渐进之路

Innovator-VL的训练过程就像培养一位全能学者，需要经历从基础学习到专业精进的多个阶段。整个过程被精心设计成四个递进的步骤，每个步骤都有明确的目标和作用。

预训练阶段分为两个子步骤。首先是语言-图像对齐训练，就像教会系统将视觉信息和语言描述建立对应关系。这个阶段使用了LLaVA-1.5数据集中的约55.8万个样本，让系统学会如何将看到的内容用语言表达出来。接下来是高质量中期训练，使用了约8500万个精选的多模态样本。这个阶段的目的是让系统获得更丰富的世界知识和更强的理解能力，就像让学生阅读各种优质教材来拓宽知识面。

研究团队在预训练阶段做出了一个重要决策：他们没有在科学文本上继续预训练语言模型。这个决定基于一个深思熟虑的考虑——既然Qwen3-8B-Base已经在包含大量科学内容的综合语料库上训练过，继续在科学文本上训练可能会引入偏差，反而影响系统的通用性。这就像一个已经博览群书的学者，与其让他反复钻研某个狭窄领域，不如让他保持知识的广度和平衡。

监督微调阶段是整个训练过程的核心。研究团队构建了约4600万个高质量指令数据，涵盖了三个重要类别。第一类是通用多模态指令数据，约2200万个样本，让系统掌握基本的视觉理解和指令执行能力。第二类是思维链和多步推理数据，约1500万个样本，培养系统进行复杂推理的能力。第三类是科学理解数据，约500万个精心制作的样本，这是系统获得科学专业能力的关键。

在科学数据的构建上，研究团队展现了工匠般的精神。他们建立了"专家在环"的数据生产流程，就像有经验的师傅指导学徒一样。以化学结构识别为例，他们首先使用合成方法生成大量训练样本，然后在真实专利和论文数据上应用主动学习策略。系统会对自己的预测结果进行置信度评估，将中等置信度的样本优先交给专家修正。这种方法既确保了数据质量，又提高了标注效率。

强化学习阶段是系统能力的最后升华。研究团队策划了约17.2万个训练样本，其中STEM和编程相关的样本占了56.4%。这个阶段就像让系统在实际问题中反复练习，通过奖励和惩罚机制不断改进推理过程。他们使用了Group Sequence Policy Optimization算法，这种方法特别适合优化需要长序列推理的复杂问题。

强化学习的奖励系统设计得非常巧妙。它不仅关注答案的正确性，还重视推理过程的规范性。系统被要求将思考过程放在特定的标签内，将最终答案单独标出。这种格式化的要求不仅提高了推理的可解释性，也让系统学会了更有条理的思考方式。

三、数据效率的突破：少而精的训练哲学

Innovator-VL最令人印象深刻的特点之一，就是它用相对较少的数据达到了卓越的性能。这种效率的背后，体现了研究团队对"质量胜过数量"理念的深度实践。

在当前AI发展的大潮中，许多研究团队倾向于使用海量数据来训练模型，就像试图通过大量阅读来培养博学的学者。然而，Innovator-VL的团队选择了一条更加精细化的路径。他们认为，与其让系统消化大量可能存在噪音的数据，不如让它专注于学习高质量、精心筛选的内容。

这种理念在科学数据的构建上体现得最为明显。团队没有简单地收集所有能找到的科学图片和文本，而是建立了严格的质量控制流程。每个科学领域都有专门的专家参与数据审核，确保样本的准确性和代表性。这个过程就像精品餐厅精选食材一样，虽然数量不多，但每一个样本都是经过仔细挑选的精品。

研究团队还采用了"差异驱动选择"的策略来构建强化学习数据。他们重点关注那些系统能够生成正确答案但排序不够准确的样本。这种方法就像教练重点训练运动员的薄弱环节一样，针对性地提升系统的关键能力。通过这种精准的训练策略，系统能够在相对较少的训练轮次中获得显著的性能提升。

数据标准化也是提升效率的重要因素。来自不同来源的数据往往格式不统一，就像来自不同地区的方言需要统一成普通话一样。研究团队将所有训练样本转换成统一的推理格式，不仅提高了训练的稳定性，也让系统学会了更一致的思考模式。

这种高效的数据利用策略带来了实实在在的好处。相比那些需要数十亿样本才能达到类似性能的系统，Innovator-VL证明了通过精心设计的训练策略和高质量数据，可以用更少的资源达到更好的效果。这不仅降低了训练成本，也为资源有限的研究团队提供了可行的发展路径。

四、性能表现：全面开花的卓越成果

Innovator-VL在各类测试中的表现就像一位多才多艺的全能选手，不仅在科学领域表现出色，在通用视觉理解任务中也毫不逊色。这种全面的能力在当前的AI系统中并不常见，大多数系统要么专精某个领域，要么在通用任务上表现平平。

在通用视觉理解方面，Innovator-VL-8B-Instruct在17个基准测试中取得了74.50%的平均得分，与目前最先进的系统不相上下。更令人惊喜的是，它在某些特定任务上还取得了最佳成绩，比如在AI2D图表理解任务中得分85.56%，在RealWorldQA真实世界问答中得分71.50%。这些结果表明，系统不仅能处理学术测试，也能应对日常生活中遇到的各种视觉理解问题。

在数学推理方面，经过强化学习训练的Innovator-VL-8B-Thinking展现出了显著的提升。它在数学和推理类任务上的平均得分达到55.41%，比基础版本提高了4.54个百分点。这种提升并非偶然，而是强化学习训练策略的直接体现。系统学会了更有条理的思考方式，能够将复杂问题分解成多个步骤，逐步推导出正确答案。

科学知识理解是Innovator-VL最闪亮的领域。在科学相关的15个测试基准中，它取得了50.13%和49.79%的平均得分，显著超越了其他通用系统。特别值得注意的是在专业化学任务上的表现，比如在OpenRxn化学反应理解任务中得分57.05%，在MolParse分子解析任务中得分64.90%，而其他基线系统在这些任务上的得分都不超过17%。这种巨大的性能差距清楚地展示了专门训练对科学任务的重要性。

除了准确率的提升，Innovator-VL在推理效率方面也表现出众。研究团队发现，相比其他系统，Innovator-VL生成的推理过程更加简洁有效。在一些复杂推理任务中，它平均使用的词汇数比竞争对手少18%到66%，但准确率却更高。这种效率优势不仅降低了计算成本，也提高了推理过程的可读性和可理解性。

更重要的是，Innovator-VL在不同任务间保持了很好的平衡性。许多专门为科学任务优化的系统往往在通用任务上表现下降，但Innovator-VL成功避免了这种权衡。它证明了通过精心设计的训练策略，可以让AI系统在专业能力和通用能力之间找到最佳平衡点。

五、透明化和可重现性：开放科学的典范

在当前AI研究领域，许多突破性成果往往伴随着不透明的训练过程和难以重现的实验结果。Innovator-VL项目反其道而行之，将透明化和可重现性作为核心价值，就像开放式厨房让顾客看到整个烹饪过程一样。

研究团队公开了训练过程的每一个细节，从数据收集到最终优化的完整流程。他们不仅提供了详细的技术文档，还发布了完整的代码库和数据集。这种做法在商业化程度越来越高的AI研究中显得特别珍贵，为其他研究者提供了完整的参考模板。

训练基础设施的描述也异常详细。团队使用了基于Megatron-LM的分布式训练框架，并采用了多种先进的优化策略来提高训练效率。他们还创新性地使用了数据打包技术，通过预先优化数据布局来减少计算资源的浪费。这些技术细节的公开，让其他研究团队能够避免重复踩坑，加速整个领域的发展。

在强化学习阶段，团队使用了AReaL异步强化学习框架。这个选择解决了传统同步训练中的效率瓶颈问题，就像将串行生产线改造成并行流水线一样。通过将推理生成和模型更新分离，系统能够实现近100%的GPU利用率，大大缩短了训练时间。

评估方法的透明化同样值得称道。研究团队不仅公开了所有测试基准的详细信息，还提供了完整的评估脚本和评估提示词。他们使用了lmms-eval框架进行统一评估，确保结果的公正性和可比性。这种标准化的评估方式让其他研究者能够公平地比较不同系统的性能。

数据集的开放也体现了团队的开放精神。他们发布了多个高质量的数据集，包括46万个指令微调样本和17.2万个强化学习样本。这些数据集不仅可以用于重现实验结果，也为其他研究者提供了宝贵的训练资源。

这种全面的透明化做法产生了积极的连锁反应。其他研究团队可以基于这些开放资源进行二次创新，避免了重复的基础工作。同时，透明的方法论也让研究结果更容易接受同行评议和验证，提高了整个研究的可信度。

六、技术创新的深度解析

Innovator-VL的成功不仅在于优秀的整体性能，更在于其在多个技术层面的创新突破。这些创新就像一系列精密齿轮的完美配合，共同驱动了系统的卓越表现。

在视觉理解层面，RICE-ViT的采用代表了对传统视觉编码器的重要改进。与只关注全局特征的传统方法不同，RICE-ViT能够同时处理全局和局部信息。这种能力对于科学图像尤其重要，因为科学图片中往往包含大量的标注、符号和精确的空间关系。系统能够识别图像中的每一个细节，就像一位经验丰富的科学家能够准确解读复杂的实验图表一样。

PatchMerger技术的应用解决了计算效率和表征能力之间的平衡问题。视觉编码器产生的特征通常非常丰富但也很冗长，直接处理会消耗大量计算资源。PatchMerger通过学习将这些特征压缩成更紧凑的形式，既保留了重要信息，又提高了处理效率。这种设计让系统能够处理高分辨率的科学图像，同时保持合理的计算成本。

在训练策略方面，研究团队开发了独特的"专家在环"数据生产流程。这种方法结合了自动化生成和人工质控的优势，既保证了数据规模，又确保了质量。系统首先使用合成方法生成大量候选样本，然后通过置信度评估识别需要人工审核的样本。专家重点关注那些系统不确定的案例，既提高了标注效率，也改善了数据质量。

强化学习算法的选择也体现了技术创新。传统的强化学习方法在处理长序列推理时往往效果不佳，容易出现梯度爆炸或消失的问题。Group Sequence Policy Optimization算法通过在序列层面进行重要性采样和截断，有效解决了这些技术难题。这种方法让系统能够学习更复杂的推理模式，产生更准确和更连贯的推理过程。

奖励系统的设计也展现了精妙的工程考虑。单纯基于答案正确性的奖励往往不足以培养良好的推理习惯。研究团队设计了层次化的奖励机制，既考虑格式规范性，也重视内容准确性。这种设计让系统不仅学会了给出正确答案，也学会了如何清晰地表达推理过程。

在基础设施优化方面，异步强化学习框架的使用代表了对传统训练范式的重要改进。传统的同步训练中，推理生成和模型更新必须按顺序进行，导致大量的计算资源闲置。异步框架将这两个过程分离，让推理生成器持续产生训练数据，而学习器并行进行模型更新。这种架构大幅提高了训练效率，减少了训练时间。

七、实际应用前景和社会影响

Innovator-VL的成功不仅是技术层面的突破，更重要的是它为AI在科学研究和教育领域的应用开辟了新的可能性。这种多模态理解能力就像给科学研究装上了智能助手，能够处理人类科学家日常工作中遇到的各种复杂任务。

在科学研究方面，系统能够协助研究人员处理大量的文献图表和实验数据。比如在化学领域，它能够识别和解析复杂的分子结构图，理解化学反应机理，甚至协助设计新的合成路径。在生物学研究中，它能够分析显微镜图像，识别细胞结构，理解生物过程的可视化表示。这些能力能够显著提高科学研究的效率，让研究人员从繁琐的图像处理工作中解放出来，专注于更高层次的科学思考。

教育领域是另一个重要的应用场景。Innovator-VL可以成为智能化的科学教学助手，帮助学生理解复杂的科学概念。当学生遇到难以理解的图表或实验结果时，系统能够提供详细的解释和分析。它还能够根据学生的理解水平调整解释的深度和方式，实现个性化的科学教育。

在产业应用方面，系统的多模态理解能力为智能制造和质量控制提供了新的可能性。在材料科学领域，它能够分析电子显微镜图像，识别材料的微观结构特征，协助材料性能的预测和优化。在制药行业，它能够处理复杂的分子数据，协助药物发现和开发过程。

更重要的是，Innovator-VL展示了如何通过精心设计的训练策略，在有限资源下实现高质量的AI系统。这种方法论为资源有限的研究机构和发展中国家提供了可行的AI发展路径。不需要投入巨额资金和海量数据，也能够开发出具有实用价值的AI系统。

从更广泛的角度来看，这项研究推动了AI系统向更加专业化和实用化的方向发展。传统的通用AI系统往往在特定领域表现平平，而专用系统又缺乏灵活性。Innovator-VL证明了可以在保持通用能力的同时，在特定领域实现突出表现。这种平衡为AI系统的实际应用提供了更好的选择。

研究的开放性也为整个AI社区带来了积极影响。通过公开详细的技术方法和训练数据，团队不仅促进了技术的传播和改进，也为AI研究的透明化和可重现性树立了标杆。这种做法有助于建立更加健康和可持续的AI研究生态。

结论部分，Innovator-VL项目展现了AI研究中一种令人鼓舞的新趋势：通过精细化的工程和开放的合作精神，即使在资源有限的情况下也能创造出卓越的成果。这个项目就像一座桥梁，连接了通用AI能力和专业科学应用之间的gap，为AI技术在科学研究和教育中的深度应用铺平了道路。

研究团队通过不到500万个精心策划的科学训练样本，就实现了与那些使用海量数据训练的系统相当甚至更优的性能。这个成果不仅挑战了"数据越多越好"的传统观念，也为AI研究的未来发展提供了新的思路。它告诉我们，智慧的设计和精心的执行往往比简单的规模扩张更有效。

更值得称赞的是，整个项目秉持了开放科学的精神，将所有技术细节、训练数据和评估方法完全公开。这种透明度不仅有助于研究成果的验证和复现，也为其他研究者提供了宝贵的参考。在AI研究日益商业化的今天，这种开放精神显得格外珍贵。

Innovator-VL的成功证明，AI系统的价值不仅在于技术指标的突破，更在于其解决实际问题的能力。通过在科学理解和通用视觉能力之间找到完美平衡，这个系统为AI技术在科学研究、教育和产业应用中的深入发展开辟了新的道路。对于那些关心AI技术发展方向的人来说，这个项目展示了一种更加可持续、更加务实的发展模式，值得深入思考和借鉴。有兴趣深入了解技术细节的读者可以通过arXiv:2601.19325v1查询完整论文。

Q&A

Q1：Innovator-VL和其他AI视觉系统有什么不同？

A：Innovator-VL最大的特点是既能处理日常视觉任务，又能理解复杂的科学问题，而且只用了不到500万个精心挑选的科学训练样本就达到了优秀性能。大多数AI系统要么只擅长通用任务，要么只专精某个科学领域，很少能在两方面都表现出色。

Q2：普通人能使用Innovator-VL吗？

A：目前Innovator-VL主要面向科研和教育领域的专业应用，研究团队已经完全公开了技术细节和训练代码。虽然普通用户还无法直接使用，但这项技术未来可能会集成到教育软件、科学工具等应用中，帮助学生理解科学概念或协助研究人员分析科学数据。

Q3：为什么Innovator-VL能用更少的数据达到更好效果？

A：关键在于"质量胜过数量"的训练策略。研究团队建立了"专家在环"的数据生产流程，每个科学样本都经过专家精心审核和优化。同时采用了差异驱动选择和强化学习等先进训练方法，针对系统的薄弱环节进行精准训练，避免了海量低质量数据带来的噪音干扰。