百度、人大高瓴、TierFlow、清华等团队联合提出循环视觉智能模型LoopVL-1B

来源：市场资讯

（来源：机器学习算法那些事）

9 月 29 日，《LoopVL: Recurrent Visual Intelligence》提交到 arXiv，两周内登上 Hugging Face Daily Papers 日榜第一、周榜第二，GitHub 星标突破 250。这项工作由中国人民大学高瓴人工智能学院与百度牵头，TierFlow团队（tierflow.cn）、上海交通大学、清华大学、Monash 大学、马普智能系统研究所等八家单位共同完成，代码与权重均已开源。

论文链接：

arXiv:2609.38426v1，2026 年 10 月

代码：

https://github.com/Tier-Flow/LoopVL

权重：

https://huggingface.co/TierFlow/LoopVL

Hugging face官方体验链接：

https://huggingface.co/spaces/hugging-apps/loopvl

它做的事情可以一句话说清：一个语言骨干只有 1B 的视觉语言模型，主干只存 32 层参数，一次前向却执行 128 次 Transformer 层计算；在 0.14T token 的训练预算下，成绩超过了两个 4B 的稠密基线。

同表对照的 11 个紧凑多模态模型，训练 token 从 3T 到 36.38T 不等，LoopVL 只要 0.14T。这篇文章把它的做法、成绩和边界讲清楚，也顺便澄清几个流传中读错的地方。

一、一篇论文，八家单位

四位共同一作为 Zhe Qian（人大高瓴、百度）、Ziyang Gong（上海交通大学）、Zhongxing Xu（Monash 大学）与 Hehan Li（百度），其中 Hehan Li 任项目负责人。通讯作者为中国人民大学高瓴人工智能学院的马彦彪、上海交通大学的严骏驰教授与清华大学的韩军功教授。

八家参与单位中，项目的代码仓库开在 TierFlow 组织下，模型权重则以 TierFlow/LoopVL 的名义发布在 Hugging Face。TierFlow 团队署名作者为 Fei Luo 与 Mingxuan Wang。

— LoopVL 模型已经在 TierFlow 产品官网（tierflow.cn）展示

二、同一份预算，1B 与 4B 的对照

判断循环有没有用，最干净的做法是把数据量控制住。论文把 LoopVL 与三套稠密 Transformer 放在同一个 0.14T token 预算下从头训练，主干之外的模块设计保持一致。其中 Transformer-VL 1B 是 32 层、hidden 1536，与 LoopVL 拥有的 Transformer 层数、隐藏维度完全相同，区别只在于每一层只跑一次。

— 同一份 0.14T 预算下三套架构的八项基准成绩（数据来源：论文 Table 1）

同一份数据、同一套模块设计，唯一的变量是执行深度。八项任务里 LoopVL 全部超过 1B 基线，其中五项超过两个 4B 基线；4B-Wide 的成绩与 4B-Deep 相近，不改变整体格局。但边界同样清楚：VMCBench、AI2D、ChartQA 三项仍落后于 4B 基线，把它们读成平手或胜利是不准确的。

FLOPs 上还有一层账要看。LoopVL 的训练计算量为 2.47×10²¹，比 4B-Deep 的 2.89×10²¹ 低约 14.5%，比 4B-Wide 的 2.99×10²¹ 低约 17.4%，但接近 1B 基线 0.92×10²¹ 的 2.7 倍。所以更准确的说法是：它证明了参数和计算可以重新分配，还不能推出“同样算力下循环一定更强”。

三、怎么做到的：32 层参数，跑 128 次

普通 Transformer 是一叠各自独立的层，每层只算一次；循环 Transformer 则是一本只有几页的手册，翻来覆去地读——读的遍数多，页数不变。LoopVL 的主干是两份参数栈，L（低层）与 H（高层）各 16 层，两叠之间不共享参数，各自在栈内被反复调用。

— LoopVL 的 L/H 双栈循环结构（依据论文 Figure 2 重绘）

默认调度记作 H2L3：先连跑三次 L，接一个 H；再连跑三次 L，再接一个 H。算下来是 2 轮 × 每轮 4 次模块调用 × 每次 16 层，等于 128 次 Transformer 层计算，而需要保存的独立参数仍然只有 32 层。

H2L3 调度

H = scale · embed(图文 token)　# 高层状态，从输入初始化

L = 0　　　　　　　　　　　　　 # 低层状态，零初始化并跨轮保留

for cycle in range(2):　　　　　# Model-Loop，两轮

H = reinject_visual_anchor(H, visual_embed, cycle)

for _ in range(3):　　　　　 # Module-Loop，每轮三次 L

L = L_stack(L, cond=H)

H = H_stack(H, cond=L)

logits = lm_head(H)

嵌套的两层循环各有分工。Module-Loop 让完整的 L 栈在同一个高级条件下多更新几轮，把当前的视觉语言表征磨细；Model-Loop 让整合好的高级状态重新参与下一轮计算，换的是条件本身。两层嵌套之后，低层高频更新、高层低频换挡的节奏就出来了。

训练上还有一处容易被忽略：默认的 8 次模块调用全部参与前向，但反向图只从最后两次调用（L6、H2）逐渐扩到最后五次（H1、L4、L5、L6、H2），最早的三次 L 调用不进梯度计算。省下的是梯度图的开销，前向计算本身一次没少。

四、成本：0.14T 对 3T 到 36.38T

真正支撑“单位成本的智能”这个说法的，是论文表 2 的跨模型对照。展开 POPE 子类与 MMK12 学科后，全表共 16 个基准族、23 行成绩，LoopVL-1B 在其中 9 行拿到同表最高分。而它的训练 token 是 0.14T，同表对手从 3T 到 36.38T。

— 训练 token 量与 MMStar 得分对照（数据来源：论文 Table 2）

9 行最高分集中在视觉推理、通用视觉理解与抗幻觉三类：LogicVista 45.19（次高 36.91）、RealWorldQA 70.98、MMK12-Math 61.60、MathVision 38.49、VisuLogic 27.00、MMMU-Pro 38.67、MMStar 63.47，以及 POPE 的两个口径。用 1/260 的训练数据拿到同表最多的第一行，是这篇论文最硬的一条成本证据。

落后的地方同样集中：ChartQA 74.52 对 InternVL-3.5-4B 的 86.00，AI2D 75.49 对 82.80，HallusionBench 44.71 对 51.59。论文自己的措辞是“在幻觉、图表理解与科学推理上保持竞争力”，没有把这 11.5 分的差距藏起来。

五、边界：多算几遍为什么反而掉分

先看训练期消融：每个配置都从头独立训练，展开深度不同，成绩也不同。

训练配置

展开层数

MMStar

ChartQA

H1L1

32

H1L3

64

H2L1

64

H2L312863.4774.52

值得留意的是 H1L3 与 H2L1 这两行：它们执行的同样是 64 次层调用，展开深度完全一样，H2L1 却在五项基准上全面更好。差别只在于计算怎么分配——前者让 L 在同一个 H 条件下多工作几次，后者更频繁地完成 H 整合。算力一样，分配方式不同，成绩就分开了。

更极端的是推理期扫描。作者固定一个按 H2L3 训练好的检查点，只改推理时的调度，扫了 12 种配置。

— 固定 H2L3 权重、只改推理调度的扫描结果（数据来源：论文）

在这个检查点上，每轮 L 固定为 3 次时加深 Model-Loop 是负收益，固定轮次加磨细节是正收益。把 Model-Loop 从 2 轮加到 3 轮、4 轮，层调用数从 128 涨到 192、256，MMStar 反而从 63.47 一路降到 58.20 再降到 24.00。

关键发现

差距不在算多少，而在怎么组织 —— 同样是 128 次层调用，H2L3 拿 63.47，H4L1 只有 24.67。前者少换挡、多磨细节，后者多换挡、每轮只磨一次。

训练和推理要配套 —— 论文的判断很直接：模型在训练与推理的循环配置相匹配时表现最好；单纯增加深度或重新分配调用次数，都补不回匹配时的性能。

作者自己也划了边界：这组扫描不构成长度外推、自适应停止或无限测试时计算的证据。它没有重新训练模型去适应更长路径，只是在现有权重上外推计算安排。把一个调度实验读成“推理时算得越多越好”，是最常见的误读方式。

六、流传中读错的四处

论文传播开之后，站外转载出现了几处偏差，这里逐条订正。

常见误读与订正

01“多跑几轮会更强” — 不成立。固定 H2L3 权重改推理调度，H4L3（256 次层调用）MMStar 掉到 24.00，远低于 H2L3 的 63.47。

02“完全从头训练” — 要注明对象。视觉编码器用的是预训练好的 Penguin 并全程冻结，从零训练的是语言骨干与视觉接口。

03“注意力熵单调下降” — 原文图 6 的曲线是波动的，在模块调用之间来回起伏，不是平滑单调下滑。

04“1B 打败 4B”的口径 — 1B 指语言骨干规模，Hugging Face 权重页显示整个模型约 2B；且对照的 4B 是同预算下从头训练的基线，不是业已成型的商用 4B 模型。

结语：单位成本的智能，正在被重算

LoopVL 提供的是一个实例，不是定论。它证明了在特定的分层循环架构与 0.14T token 预算下，把参数换成运行时计算是可行的；它没有证明任何循环模型都会获得同样优势，也没有证明推理时可以自由伸缩计算量。

核心判断

体积和算力是两回事 —— 参数存储量决定显存与加载成本，执行深度决定算力与延迟。循环架构把这两个数字彻底分开，混着看容易得出完全错误的结论。

同样的算力，用在哪里更重要 —— 同为 64 次层调用，H2L1 拿 60.80，H1L3 只有 58.13。预算不变，计算安排在哪一层，决定了能拿到什么。

对参与方 TierFlow 而言，这次合作的方法论指向与它的主业一致。公开信息显示，TierFlow（tierflow.ai）做的是 AI 智能体的 token 使用效率优化，核心技术包括自研的 BrainNet 步骤感知、动态模型调度与统一 API；其对外披露的基准为 PinchBench 完成率 92.47%、SWE-Bench 解决率由 72% 提升至 76%、平均成本由 0.64 美元降至 0.35 美元。两者回答的是同一个问题：不靠把模型堆大，而靠在运行时判断该用多少计算。

论文的未来工作已经写明下一步：更大的参数规模、替代的循环组织方式、可变深度与自适应调度，以及让视觉编码器与循环主干联合适应。这条路线是否成立，要看下一代模型能不能在推理时真正自由地伸缩计算。