网易首页 > 网易号 > 正文 申请入驻

ICML 2026|首个视觉语言模型并行思考框架,一文解析内在机制

0
分享至



当前,测试时扩展范式普遍致力于增加推理长度。然而,已有研究表明,随着推理长度的持续增长,以垂直扩展为核心的计算范式容易陷入探索僵化等问题。因此,从另一维度拓展推理的宽度显得尤为重要。K2.5、Step3-VL 和 LongCat-Flash-Thinking 等模型已在推理宽度方面开展了有益的探索。

但另一方面,在视觉任务中,深度推理仍面临严峻挑战:随着推理序列的拉长,模型对视觉特征的注意力被不断稀释,导致 “注意力漂移”,进而引发严重的视觉幻觉。

为此,我们提出了 Visual Para-Thinker:这一针对大规模视觉语言模型的首个并行思考框架,并分析了该并行思考框架在视觉任务中发挥作用的内在机制。我们将 Pa-Attention(并行注意力机制)和 LPRoPE (分段学习位置编码)机制融入到我们的方法中,从而实现了不同推理路径隔离性、无偏性和可区分性。



  • 论文标题:Visual Para-Thinker: Divide-and-Conquer Reasoning for Visual Comprehension
  • 论文链接: https://arxiv.org/abs/2602.13310
  • 主页链接: https://github.com/xuhaoran1/Visual-Para-Thinker

并行推理路径:以视觉为中心划分

过往研究提出的并行思考范式,其核心在于通过拓展推理宽度以提升模型性能,基本原则是 “保持推理路径的多样性”。我们的 Visual Para-Thinker 同样遵循这一原则。然而,针对视觉语言模型的特性,我们进一步提出了一种以视觉为中心的路径划分方式,并认为其本质在于对视觉 token 注意力的重新分配。由此提出了两种视觉划分的分配模式:块划分和扫描划分



块划分:这种策略是根据特定的区域子图来划分推理路径的。在这个配置方面,每条路径都会吸引独特的视觉注意力分布,这种分布集中在指定的子区域,例如左上角、右上角、左下角或右下角等象限,如图 (a) 所示。

扫描划分:这种方法通过采用不同的视觉扫描轨迹来区分推理路径。具体而言,每条路径代表一种独特的视觉注意力分配,这种分配对应于一个预定义的扫描顺序,例如从左到右、从上到下、从右到左以及从下到上,如图 (b) 所示。

这两种视觉划分方式各有优劣:块划分虽然能够生成不同的子区域,但可能导致不同路径之间的计算冗余;而扫描划分虽结构简洁,却容易削弱路径之间的多样性。为此,我们采用混合训练策略,将两种划分方式生成的数据共同用于模型训练,以实现优势互补。



块划分方式下不同路径的对视觉令牌注意力分配模式可视化

视觉并行思考框架

基于以上两种视觉路径的划分方式,我们提出了视觉并行思考框架。该框架分为并行思考阶段和总结阶段,并维护了不同并行推理路径的隔离性、无偏性和可区分性

  • 并行思考阶段:基于共同的上下文,通过视觉划分这一理念,分配不同推理路径的思考方向
  • 总结阶段:将不同并行推理路径的背景信息进行整合,并综合考虑这些信息以得出最终结论。



隔离性

为了保证推理路径的隔离性,我们提出了Path-aware Attention (路径感知注意力),不同于因果注意力,路径感知注意力通过不同 < think i > 的特殊 token 实现不同路径的上下文隔离范式。



无偏性

为了保证推理路径的可区分性,过往的做法将不同路径的 position id 赋予不同的区间实现路径的之间的可区分性。然而,由于大语言模型的固有偏差,此时不同区间的 position id 存在先后顺序,会出现 loss in the middle 等现象,不同路径的思考权重会存在天生的位置偏差,我们认为这种方法因为不能将不同推理路径等同看待,本质上依然是串行思考。基于以上见解,我们将不同路径的 position id 赋予相同的区间,具体来说,在并行推理阶段,不同路径的起始 token 的 position id 相同



而在总结阶段,总结 token 的起始 token 则取最长的推理路径的结束 token 的 position id + 1



这使得不同推理路径在 Visual Para-Thinker 模型看来不存在固有的位置偏差,因而保证了无偏性。

可区分性

然而,上述将不同路径的位置编码映射为同一区间的做法仅仅保证了其无偏性,但损伤了不同路径的可区分性。如果直接使用这种位置编码,会导致 Visual Para-Thinker 混淆不同的推理路径,导致最后的结果错误。因而我们提出了Learnable Parallel Rotary Position Embedding (LPRoPE),具体来说,我们在不同 token 进行旋转位置编码之前,加入该 token 属于的推理路径的可学习位置编码,将旋转位置编码和可学习的绝对位置编码相结合,最终实现路径的可区分性。



数据与实验

训练配方

我们构建了一个包含 163,000 个问题 - 答案对的并行推理数据集,数据来源包括 LVIS、LAION、Microsoft COCO、PixMoCount、RefCOCO、RefCOCO+ 和 RefCOCOg 等。

在我们的数据构建框架中,Qwen3-VL-235B-A22BInstruct 充当教师模型。我们通过在温度为 0.1 的条件下实施一种融合了基于块的分区和扫描顺序分区的混合视觉分区策略,为每个样本生成四条以视觉为中心的推理路径。此外,我们还利用高温的 Qwen3-VL-30B-A3B-Instruct 和 InternVL3 5-241B-A28B 来生成更多样化的数据和检查样本。



图一

实验结果

我们的实验主要在在以视觉为中心的视觉感知类任务中进行,包括计数任务 (Pixmo,CountBench)、视觉搜索 (V*)、幻觉任务 (MMVP、HallusionBench) 及视觉定位 (RefCOCO) 等多种视觉感知任务,通过开展大量实验验证了所提方法的有效性。如图一所示,我们的方法在 V * 任务上分别在 3B 和 7B 上获得了 12.6 和 6.3 的提升,另一方面,在幻觉任务上 HallusionBench 上,我们的方法在 3B 和 7B 上获得了 6.1 和 5.0 的提升。这充分验证了多模态并行推理在视觉感知类任务上的提升。另一方面,在 Grounding 任务中,相比于原始的 Qwen2.5-VL,我们的方法也获得了一定程度上的提升,这些实验从各个方面验证了我们的方法的有效性。



图二

此外,我们还探讨了不同视觉任务对划分模式的偏好。以计数任务为例,其视觉注意力通常分散于图像各处。若采用块划分,各路径的计算结果可能因区域重叠而产生累积偏差,进而引发幻觉。因此,在此类任务中,我们倾向于使用扫描划分。

从本质上看,块划分方式通过将不同图像区域分配给不同路径,实现了显式的注意力分配;而扫描划分方式则通过改变模型对视觉 token 的注意顺序与方式,形成一种隐式的注意力分配机制,最终同样映射为多样化的推理路径。前者体现了从全局到局部的设计思路,后者则仍保留全局视角。



块划分方式可能导致不同推理重复计算

Visual Para-Thinker 是将并行思考框架应用于视觉语言领域的抛砖引玉之作,之后我们会将并行思考 RL,多轮思考,Agentic RL 等方法陆续应用在 Visual Para-Thinker 中,将 Visual Para-Thinker 实现更快更好的扩展。随着 K2.5,Step3-VL 和 LongCat-Flash-Thinking 等基座模型关注到并行思考这一范式,我们相信这一范式日后会爆发出巨大潜力。

作者简介

许浩然,浙江大学硕士。研究方向为 Multi-Agent、Multi-Modal、RL等。以第一/共一作者身份在 ICML、ACL、CVPR、AAAI、ICLR等国际顶级会议发表多篇论文。通讯单位为小米MiLMPlus团队。通讯作者为李佳泽,现任小米高级算法工程师,研究方向为Multi-Agent, Agentic RL。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
医院一线医护被逼走投无路,霸权式管理闹剧何时休?

医院一线医护被逼走投无路,霸权式管理闹剧何时休?

峰哥跑交通
2026-11-21 16:39:17
就在刚刚,WTT马斯喀特球星赛:国乒五项全军覆没,男单独苗0-3负于日本,无缘决赛

就在刚刚,WTT马斯喀特球星赛:国乒五项全军覆没,男单独苗0-3负于日本,无缘决赛

篮球热嗖
2026-11-21 18:48:51
墨总统:墨西哥不打算与中国签署自贸协定

墨总统:墨西哥不打算与中国签署自贸协定

俄罗斯卫星通讯社
2026-11-21 16:09:51
选战倒数!宋楚瑜罕见表态 吁不分党派挺童子玮

选战倒数!宋楚瑜罕见表态 吁不分党派挺童子玮

金牛传声
2026-11-21 15:18:45
钱学森当年纳闷地问张爱萍:搞科研为啥要设政治部?张爱萍反问得他哑口无言:你当年到底为啥非要从美国回来?

钱学森当年纳闷地问张爱萍:搞科研为啥要设政治部?张爱萍反问得他哑口无言:你当年到底为啥非要从美国回来?

唠叨说历史
2026-11-20 14:05:41
大南山隧道研究了十年,到底什么时候动工

大南山隧道研究了十年,到底什么时候动工

娱乐的硬糖吖
2026-11-21 09:20:19
2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

北京作家编剧肥猪满圈
2026-11-18 17:23:20
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
A股:股民都准备好了,不出所料,后天11.23,A股或迎更大变盘调整吗?

A股:股民都准备好了,不出所料,后天11.23,A股或迎更大变盘调整吗?

趋势清风侠
2026-11-21 15:24:27
跟普京谈了30分钟!高市马不停蹄致函欧洲:日本将继续支援乌克兰

跟普京谈了30分钟!高市马不停蹄致函欧洲:日本将继续支援乌克兰

深蓝的航迹
2026-11-21 18:34:45
炸桥也没用,美欧要强逼泽连斯基低头特朗普挑明:乌克兰正在输

炸桥也没用,美欧要强逼泽连斯基低头特朗普挑明:乌克兰正在输

秋枫未语
2026-11-21 00:31:10
C罗回击滕哈赫:能接受穆里尼奥批评,为何不能接受前曼联主帅?

C罗回击滕哈赫:能接受穆里尼奥批评,为何不能接受前曼联主帅?

雅儿姐姐爱侃剧
2026-11-21 11:23:07
这TM十六岁?

这TM十六岁?

中场阴谋家
2026-11-21 16:06:19
库里要的帮手来了!一笔三方交易,让勇士从摆烂重返争冠行列

库里要的帮手来了!一笔三方交易,让勇士从摆烂重返争冠行列

小齐说球
2026-11-21 19:06:13
“全国最霸气的车次”?V587次列车火了!

“全国最霸气的车次”?V587次列车火了!

环球网资讯
2026-11-20 13:41:47
库什纳称俄方接受乌克兰获北约式安全保障,近40国柏林开会争取“上桌”

库什纳称俄方接受乌克兰获北约式安全保障,近40国柏林开会争取“上桌”

澎湃新闻
2026-11-20 17:44:40
余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

快科技
2026-11-20 18:40:09
耻辱罚球!火箭124-133掘金,看数据:他是头号罪人!

耻辱罚球!火箭124-133掘金,看数据:他是头号罪人!

运筹帷幄的篮球
2026-11-21 12:17:53
CBA猛料!赵睿离开国家队原因曝光,深圳13+5+4国手赛季报销,巩晓彬丁彦雨航和解

CBA猛料!赵睿离开国家队原因曝光,深圳13+5+4国手赛季报销,巩晓彬丁彦雨航和解

中国篮坛快讯
2026-11-20 17:19:04
日方确认高市早苗与普京在深圳聊了30分钟,对话由日方主动提出

日方确认高市早苗与普京在深圳聊了30分钟,对话由日方主动提出

凤凰卫视
2026-11-20 16:23:06
2026-11-21 19:55:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
本地
游戏
艺术
公开课

旅游要闻

这么近的河北,向北京发出冬雪邀约

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

硬件外媒:《GTA6》PS6版也不能60帧!除非大缩水

艺术要闻

苍井空官宣复出,最新作品画面流出,网友:恶心!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版