行业首个！商汤正式开源原生多模态架构NEO，训练仅需1/10数据量

智东西
编译 王欣逸
编辑 程茜

智东西12月2日消息，昨天，商汤科技正式发布并开源了全新多模态模型架构NEO，该架构由商汤科技和新加坡南洋理工大学AI技术实验室S-Lab合作研发，是行业首个可用的、实现深层次融合的原生多模态架构，基于NEO架构的NEO模型仅用3.9亿训练数据，就达到了模块化架构下顶级VLM（视觉-语言模型）模型的性能，数据量仅需其他同等性能模型的1/10。

从基准测试来看，NEO模型在多模态能力综合评估、跨学科和复杂推理等多项指标中碾压上海AI Lab推出的Mono-InternVL-1.5、清华大学、上海AI Lab联合商汤推出的HoVLE等原生VLM模型，还在多项视觉理解任务中追平通义千问的视觉语言模型Qwen2-VL、上海AI Lab联合商汤推出的InternVL3等基于模块化架构的顶级VLM模型。

当前，业内主流的多模态模型大多遵循“视觉编码器+投影器+语言模型”的模块化范式，本质上仍以语言为中心，图像与语言的融合仅停留在数据层面，视觉编码和语言解码分离，模型学习效率低下，在复杂多模态场景下处理任务受限。

为此，商汤科技抛弃了传统的模块化结构，推出从零设计的NEO原生架构。NEO架构在注意力机制、位置编码和语义映射进行了底层创新，构建一个统一的原生基元，让模型具备统一处理视觉与语言的能力。

NEO架构相关论文已发布在arXiv上，题为《从像素到文字——迈向大规模的原生视觉语言原始基元（From Pixels to Words — Towards Native Vision-Language Primitives at Scale）》，商汤科技联合创始人、执行董事及AI基础设施和大模型首席科学家林达华博士，南洋理工大学S-Lab负责人、副教授刘子纬等均在该论文的作者行列。

开源地址：https://github.com/EvolvingLMMs-Lab/NEO

论文地址：https://arxiv.org/abs/2510.14979

一、同参数全面领先原生VLM，数据仅为同等性能模型的1/10，复杂文本理解存在局限

基于NEO架构，研究人员推出了两个参数的VLM模型：NEO-2.2B和NEO-9B，这两个模型利用Qwen3-1.7B和Qwen3-8B两个基础语言模型作为基础语言模型，添加了原生视觉组件。

在基准测试中，研究人员把NEO-2.2B、NEO-9B和同级别VLM模型进行对比，包括模块化架构的VLM模型InternVL3、Qwen2.5-VL等，以及原生VLM模型Mono-InternVL-1.5、HoVLE等。为了进行公平、可控的科学对比，研究人员专门构建了一个模块化VLM基线模型Encoder-Based作为对照。

从通用视觉语言的理解能力来看，与模块化VLM相比，NEO在2B和8B参数规模下表现都不错，NEO-2.2B和NEO-9B在多模态能力综合评估、跨学科和复杂推理等多个关键指标优于模块化VLM Encoder-Based；在同参数规模下，NEO几乎全面领先其他原生VLM。

值得一提的是，NEO仅使用约3.9亿训练数据，而InternVL3等模块化架构的顶级VLM模型至少使用了60亿训练数据，是NEO所需数据的15倍。

视觉任务测试中，在图表理解和文档结构理解任务上，NEO-2.2B和NEO-9B都表现出接近顶级模块化模型水平。

不过，NEO的密集文本识别和理解能力仍存在不足，几乎落后于所有模块化模型，在原生模型的对比中也不占优。NEO-9B在文档问答和图像中的文本问答能力的得分略低于NEO-2.2B。

研究人员指出，密集文本识别和理解能力不足是由于训练数据中此类高质量、知识密集型样本的不足，而NEO-9B的得分低于NEO-2.2B则是由于当前训练数据集的覆盖范围和知识密度有限。

此外，NEO在边缘部署方面具有优势，特别是在0.6B-8B的参数区间内，便于计算资源有限或实时性要求严格的场景应用。

二、原生图块嵌入，双向注意力并存，具备复杂场景扩展能力

NEO架构通过在注意力机制、位置编码和语义映射三个关键维度的底层创新，让模型天生具备了统一处理视觉与语言的能力：

1、原生图块嵌入（Native Patch Embedding）： 这一方法摒弃了离散的图像tokenizer，通过独创的图块嵌入层（Patch Embedding Layer ，PEL）自底向上构建从像素到词元的连续映射。

2、原生三维旋转位置编码（Native-RoPE）：NEO架构解耦了三维时空频率分配，为三个维度设定了不同的旋转基频率。视觉维度采用高频频率，便于模型理解空间布局和细粒度对齐；文本维度采用低频频率，兼容了预训练语言模型的旋转位置编码（RoPE）设置。由此，训练后的模型具备向视频处理、跨帧建模等复杂场景扩展的潜力。

3、原生多头注意力（Native Multi-Hea´d Attention）：针对不同模态特点，NEO在统一框架下实现了文本token的自回归注意力和视觉token的双向注意力并存。基于此，模型可以无视线性化顺序，直接根据原生三维旋转位置编码（Native-RoPE）的二维坐标来学习任意两个空间区域的语义和几何关系，以支撑复杂的图文混合理解与推理。

三、三阶段训练，平稳过渡视觉能力与复杂文本指令

NEO模型的训练分为三个阶段逐步推进：预训练、中期训练和监督微调。

在预训练阶段，训练的主要工作是学习基础视觉概念和上下文关系，并在预训练语言模型的指导下，初步建立图像与文本之间的对齐。NEO架构采用了Pre-Buffer（NEO中新增的视觉层）和Post-LLM（NEO中的语言大脑）分离式预训练，这一阶段Post-LLM被冻结，Pre-Buffer需要从头开始学习视觉感知能力，这保护了语言模型不被低质量的图像-文本对破坏，实现跨模态学习。这一阶段使用了约3.45亿的网络和合成的图像-文本对的数据。

中期训练阶段的核心目标是强化视觉与语言能力的对齐，提升模型对高分辨率图像、复杂场景、小物体和OCR文本的感知能力。这一阶段的训练数据来自InternVL-1.5的预训练语料库，包含4000万样本数据，整个架构使用相同的损失函数进行更新，以巩固视觉-语言对齐。

在监督微调阶段，NEO能够遵循复杂指令、进行多轮对话和执行多样化任务，更适用于实际应用。研究人员使用约400万高质量、多来源的指令数据，涵盖视觉问答、多模态对话、数学推理、知识问答等多种任务。

阶段式训练不仅防止了视觉训练破坏已有的语言能力，确保稳定优化，还能实现模型能力从基础的视觉概念到复杂指令的平滑过渡。

结语：正探索NEO规模化和突破数据瓶颈，拓展多模态应用边界

NEO系列模型实现了模型数据训练的高效性，其性能在同等参数规模原生VLM模型中处于领先地位。在图表和文档结构化理解上，NEO模型具有明显优势和竞争力。受制于训练数据和计算资源，NEO模型仍表现出了媲美顶尖模块化VLM的实力。

NEO模型还存在密集文本识别和理解能力的不足、依赖外部知识的短板。不过，研究人员指出这并非是架构的缺陷，而是训练数据集的覆盖范围、知识密集型样本、高质量数据的不足。

研究人员称，未来他们将会探索更大规模的NEO模型，解决知识和文本理解短板，开发稀疏架构，探索视频、具身智能等新应用场景。