StepFun团队：STEP3-VL-10B以小模型实现高智能

这项由StepFun公司多模态智能团队开展的研究发表于2026年1月，论文编号为arXiv:2601.09668v2。有兴趣深入了解的读者可以通过该编号查询完整论文。

在人工智能领域，一直存在着一个令人困扰的现象：要想让AI模型变得更聪明，就必须不断增加模型的参数数量，这就像为了让汽车跑得更快，只能不断加大发动机排量一样。那些真正强大的AI模型往往拥有数千亿甚至万亿个参数，需要消耗巨大的计算资源，普通用户根本无法使用。

然而，StepFun团队的这项研究彻底颠覆了这一常规认知。他们开发出了一个名为STEP3-VL-10B的AI模型，仅用100亿个参数就实现了与那些千亿级模型相当甚至更优秀的性能表现。这就好比用一台小排量发动机跑出了大排量跑车的速度，在AI发展史上具有重要的里程碑意义。

STEP3-VL-10B在多个重要测试中表现出色，在MMBench测试中获得92.2%的高分，在MMMU测试中达到80.11%，在数学推理的AIME2025测试中更是达到了惊人的94.43%。这些成绩不仅超越了同等规模的其他模型，甚至能与GLM-4.6V（1060亿参数）、Qwen3-VL（2350亿参数）等体量是其10-20倍的大型模型相提并论，在某些方面甚至超过了Gemini 2.5 Pro和Seed-1.5-VL等顶级商业模型。

这种突破的实现主要依靠两个创新策略。首先，研究团队采用了一种全新的训练方法，使用1.2万亿个多模态数据样本进行统一训练，让模型能够同时处理文字和图像信息，建立起视觉与语言之间的深层联系。其次，他们运用了超过1000次迭代的强化学习训练，并创新性地引入了"并行协调推理"技术，让模型能够像人类专家团队讨论问题一样，从多个角度思考同一个问题，然后综合得出最佳答案。

**一、重新定义效率与智能的平衡点**

传统的AI发展思路就像建造摩天大楼一样，认为越高越好，越大越强。大型科技公司投入海量资源训练参数规模庞大的模型，这些模型虽然能力强大，但就像需要专门机房、专业维护团队的大型机一样，普通用户和中小企业根本无法承担其使用成本。

STEP3-VL-10B的出现改变了这种局面。研究团队没有选择简单粗暴地增加模型规模，而是专注于提升模型的"智慧密度"。他们的核心理念是：与其造一台耗油巨大的重型卡车，不如设计一辆既节能又高效的跑车。

这种理念的实现需要在模型设计的每个环节都精益求精。研究团队采用了1.8B参数的感知编码器，这个编码器专门经过语言优化，能够更好地理解图像中的语义信息，而不仅仅是像传统方法那样识别图像中的基本视觉特征。同时，他们选择了Qwen3-8B作为语言处理的核心组件，这个组件在文本生成方面表现出色，且具有很强的多模态适应能力。

更重要的是，研究团队创新性地采用了多尺度图像处理策略。他们将输入图像分解为728×728像素的全局视图和多个504×504像素的局部裁剪，这就像让模型既能看到森林的全貌，又能仔细观察每一棵树的细节。这种处理方式既保证了对图像细节的精确捕捉，又避免了计算资源的浪费。

在数据处理方面，团队构建了一个包含1.2万亿个样本的大规模多模态数据集。这个数据集涵盖了知识问答、教育内容、光学字符识别、定位计数、图形用户界面操作等多个领域。每个领域的数据都经过精心筛选和处理，确保模型能够获得高质量、多样化的学习材料。

**二、创新训练策略的巧妙设计**

STEP3-VL-10B的训练过程可以比作培养一个全能学者的过程。传统方法往往是让模型先学会处理文字，再学会理解图像，最后尝试把两种能力结合起来。但这种方法就像让一个人先只用左手生活一年，再只用右手生活一年，最后才开始协调使用双手，效率极其低下。

研究团队采用的是"统一全解冻预训练策略"，这意味着模型从一开始就同时学习处理文字和图像，让视觉理解和语言处理能力在训练过程中相互促进、共同成长。这种方法就像让孩子从小就同时学习说话和观察世界，自然而然地建立起语言与视觉之间的联系。

训练过程分为两个阶段。第一阶段使用9000亿个样本，学习率从5×10^-5逐渐降低到1×10^-5，重点培养模型的基础表示学习能力。第二阶段使用剩余的3000亿个高质量样本，学习率进一步降低到6×10^-6，这个阶段类似于精修课程，重点提升模型在感知和推理方面的精细化能力。

在后训练阶段，研究团队采用了两阶段监督微调策略。第一阶段的文本与多模态样本比例为9:1，主要建立强大的逻辑和语言基础。第二阶段将比例调整为1:1，有效平衡文本推理与视觉智能，增强模型处理多模态交互任务的能力。整个过程就像先打好基础再盖楼，确保每一步都稳扎稳打。

**三、强化学习带来的质的飞跃**

如果说前面的训练是让模型学会基本技能，那么强化学习阶段就是让模型真正变得聪明。研究团队设计了一套精妙的强化学习系统，通过超过1400次迭代训练，让模型学会如何更好地思考和推理。

这个强化学习系统的核心是一套双重奖励机制。对于有标准答案的任务，比如数学计算或视觉识别，系统会根据答案的准确性给出奖励。对于开放性任务，比如创意写作或复杂推理，系统则使用更加智能的评价模型来判断回答的质量。这就像既有标准化考试的客观评分，又有老师对作文的主观评价。

更有趣的是，研究团队发现了一个重要现象：在强化学习过程中，模型处理不同类型任务的行为发生了分化。对于需要复杂推理的任务，模型学会了生成更长、更详细的思考过程，就像学生学会在解题时写出详细步骤。而对于感知类任务，模型则学会了更加简洁高效的处理方式，直接给出准确答案，避免不必要的冗长推理。

这种分化现象反映了模型智能水平的提升。它开始像人类专家一样，能够根据问题的性质选择最适合的思考方式，而不是对所有问题都采用同一种处理模式。

**四、并行协调推理的革命性突破**

STEP3-VL-10B最令人惊叹的创新之一是"并行协调推理"（PaCoRe）技术。传统的AI推理就像一个人独自思考问题，而PaCoRe技术让模型能够像一个专家团队一样工作。

这个技术的工作原理很像电影中的头脑风暴场景。当遇到一个复杂问题时，模型会同时启动16个"思考分支"，每个分支都从不同角度分析问题，提出自己的见解和解答。然后，模型会综合所有这些观点，经过仔细比较和验证，最终给出最佳答案。

这种方法在处理视觉感知任务时特别有效。比如在图像计数任务中，不同的思考分支可能会关注图像的不同区域，或采用不同的计数策略。有些分支可能按行计数，有些按列计数，还有些可能按颜色分类计数。最后，模型会综合所有这些结果，给出最准确的答案。

实验结果显示，使用PaCoRe技术后，STEP3-VL-10B在多个任务上都有显著提升。在MathVision任务上提升了5.14%，在DynaMath任务上提升了5.09%，在空间理解的All-Angles-Bench任务上更是提升了7.50%。这些提升证明了并行推理在处理复杂认知任务时的强大威力。

**五、全方位性能评估的惊人结果**

为了全面评估STEP3-VL-10B的能力，研究团队进行了超过60个不同测试的综合评估，涵盖了多模态理解、数学推理、视觉识别、文档理解、空间推理等各个方面。评估结果让人刮目相看。

在多模态推理方面，STEP3-VL-10B在MMMU标准测试中获得78.11%的成绩，在更具挑战性的MMMU-Pro测试中达到64.08%。这个成绩不仅在10B级别的模型中遥遥领先，甚至超过了许多参数量是其10倍以上的大型模型。

在数学推理能力方面，模型表现更是令人惊叹。在MathVision测试中获得70.81%的成绩，在AIME2025这个被认为是AI数学推理最高挑战之一的测试中，竟然达到了87.66%的高分。要知道，这个测试即使对人类数学专家来说也是极具挑战性的。

在视觉识别和理解方面，STEP3-VL-10B同样表现出色。在MMBench英文测试中获得92.05%的成绩，在中文测试中获得91.55%的成绩。这表明模型不仅具有强大的视觉理解能力，还具备了良好的跨语言泛化能力。

特别值得一提的是模型在GUI（图形用户界面）理解方面的表现。在ScreenSpot-V2测试中获得92.61%的成绩，在OSWorld-G测试中获得59.02%的成绩。这意味着模型已经具备了理解和操作计算机界面的能力，为未来的智能助手应用奠定了基础。

**六、技术创新的深层解析**

STEP3-VL-10B的成功不是偶然的，而是多项技术创新协同作用的结果。研究团队在模型架构设计上做出了许多精妙的选择。

在视觉处理方面，他们选择了语言优化版本的感知编码器，而不是传统的空间优化版本。这个选择看似简单，实际上体现了深刻的洞察：对于多模态模型来说，视觉信息最终要与语言信息融合，因此让视觉编码器从一开始就具备语言对齐的特性，能够大大提高训练效率和最终性能。

在数据构建方面，团队投入了巨大精力构建高质量的训练数据集。他们不仅收集了大量的图文对数据，还特别注重数据的多样性和质量。比如在教育领域，他们收集了涵盖K-12教育、高等教育和成人学习的约1500万个样本，包括数学、物理、化学、人文等多个学科。

在OCR（光学字符识别）领域，他们构建了一个包含图像级和文档级文本识别、视觉到代码重构等多个方面的综合数据集。这个数据集包含1000万个真实图像和3000万个合成样本，涵盖了各种字体、布局和文本方向。

**七、与业界顶尖模型的正面较量**

当STEP3-VL-10B与业界最强的大型模型进行直接比较时，结果令人震惊。在与GLM-4.6V（1060亿参数）的对比中，STEP3-VL-10B在感知、识别和复杂推理任务上全面胜出。在与Qwen3-VL-Thinking（2350亿参数）的较量中，也能保持竞争优势。

更加令人印象深刻的是，STEP3-VL-10B甚至能够在某些任务上超越Gemini 2.5 Pro和Seed-1.5-VL等顶级商业模型。这些商业模型代表了当前AI技术的最高水平，通常需要巨大的计算资源和成本才能使用。而STEP3-VL-10B用仅仅10B的参数就能达到相当甚至更好的性能，这无疑是一个里程碑式的成就。

当使用PaCoRe并行协调推理技术时，STEP3-VL-10B的性能进一步提升。在MMMU测试中从78.11%提升到80.11%，在MathVision测试中从70.81%提升到75.95%，在AIME2025测试中更是从87.66%飙升到94.43%。这种提升幅度在AI领域是极其罕见的，证明了该技术的革命性价值。

**八、实际应用前景的广阔想象**

STEP3-VL-10B的成功不仅仅是学术研究的胜利，更预示着AI技术走向实用化的重大转折。由于其相对较小的参数规模，这个模型可以部署在更多样化的硬件环境中，为普通用户和中小企业提供强大的AI能力。

在教育领域，STEP3-VL-10B可以成为优秀的智能教师助手。它能够理解复杂的数学图表，解释科学实验现象，甚至帮助学生分析文学作品中的图像元素。更重要的是，它具备的多语言能力意味着可以为全球不同语言背景的学生提供服务。

在办公自动化方面，模型的GUI理解能力开启了新的可能性。它可以帮助用户自动执行复杂的计算机操作任务，理解和生成各种文档格式，甚至协助进行数据分析和可视化工作。

在创意产业中，STEP3-VL-10B强大的多模态理解能力可以为设计师、艺术家和内容创作者提供灵感和技术支持。它可以分析图像风格、理解设计意图、甚至协助生成创意内容。

**九、技术路线的深远影响**

STEP3-VL-10B的成功证明了一个重要观点：AI的发展不一定要依赖于不断增大模型规模。通过精巧的设计、高质量的数据和创新的训练方法，可以用更小的模型实现更强的能力。这为整个AI行业指明了一个更可持续的发展方向。

研究团队在论文中详细分析了强化学习过程中的动态变化，发现了许多有趣的现象。比如，随着训练的进行，模型的平均回答长度并没有单调增加，而是呈现出先增加后稳定的趋势。这反映了模型逐渐学会了根据任务类型选择合适的回答策略。

另一个重要发现是模型在处理感知任务时表现出的"长度缩减"现象。与推理任务需要详细思考过程不同，感知任务更适合直接、准确的回答。这种分化体现了模型智能水平的提升，它开始像人类专家一样，能够根据问题性质选择最适合的处理方式。

**十、开源精神的重要意义**

值得特别称赞的是，StepFun团队决定将STEP3-VL-10B完全开源，这为整个AI研究社区提供了宝贵的资源。开源不仅意味着其他研究者可以基于这个模型进行进一步研究，也为AI技术的民主化提供了可能。

开源模型的意义远不止于技术本身。它代表着知识共享的理念，让更多的研究者、开发者和创新者能够参与到AI技术的发展中来。特别是对于资源有限的研究机构和个人开发者来说，高质量的开源模型是他们进行AI研究和应用开发的重要基础。

STEP3-VL-10B的开源还具有重要的教育价值。通过研究这个模型的设计和训练过程，新一代的AI研究者可以学习到最前沿的技术方法和实践经验。这对于培养AI人才、推动技术创新具有不可估量的价值。

说到底，STEP3-VL-10B的成功为我们展示了AI发展的另一种可能性。它告诉我们，真正的智能不在于规模的庞大，而在于设计的精妙和方法的创新。这个仅有100亿参数的模型能够与千亿级模型相提并论，甚至在某些方面超越它们，这本身就是对"参数至上"思维的有力反驳。

对于普通用户来说，STEP3-VL-10B的意义在于它让强大的AI能力变得触手可及。不再需要昂贵的云计算服务，不再需要专业的硬件设备，普通的计算机就能运行这样一个智能助手。这种技术的普及化将会深刻改变我们的工作和生活方式。

更重要的是，这项研究为AI技术的可持续发展指明了方向。在全球都在关注能源消耗和环境保护的今天，开发更高效、更节能的AI模型不仅是技术追求，更是社会责任。STEP3-VL-10B证明了我们可以用更少的资源实现更强的智能，这为构建一个更加可持续的AI未来奠定了基础。

归根结底，STEP3-VL-10B不仅仅是一个技术产品，更是一种理念的体现。它证明了通过精心设计和创新方法，我们可以在效率和性能之间找到完美的平衡点。这种平衡不仅有利于技术的发展，也有利于社会的进步。随着这类技术的不断完善和普及，我们有理由相信，一个更加智能、更加便捷、也更加公平的未来正在向我们走来。

Q&A

Q1：STEP3-VL-10B相比其他大型AI模型有什么优势？

A：STEP3-VL-10B最大的优势是用仅100亿个参数就实现了千亿级模型的性能水平。它在多个测试中的表现甚至超越了参数量是其10-20倍的大型模型，比如GLM-4.6V和Qwen3-VL。更重要的是，由于参数规模较小，它可以在普通硬件上运行，大大降低了使用成本和技术门槛，让强大的AI能力变得更加普及和易用。

Q2：并行协调推理技术是如何工作的？

A：并行协调推理技术让模型能够像专家团队一样思考问题。当遇到复杂任务时，模型会同时启动16个"思考分支"，每个分支从不同角度分析问题。然后模型会综合所有观点，经过比较和验证后给出最佳答案。这种方法特别适合处理视觉感知任务，比如图像计数时，不同分支可能按行、按列或按颜色分类计数，最后综合得出最准确的结果。

Q3：STEP3-VL-10B在哪些实际应用场景中表现出色？

A：STEP3-VL-10B在多个实际应用场景中都有出色表现。在教育领域，它可以作为智能教师助手，理解数学图表和科学实验；在办公自动化方面，它能够理解和操作图形用户界面，协助文档处理和数据分析；在创意产业中，它可以为设计师和内容创作者提供技术支持。由于模型完全开源，开发者可以基于它构建各种专门化的应用程序。