网易首页 > 网易号 > 正文 申请入驻

3步推理生成加速20+倍!CoLT教会多模态大模型用「潜思维链」思考

0
分享至



一、研究背景:当 CoT 遇上「慢」与「窄」

近年来,多模态大语言模型(MLLM)在视觉问答、图表理解、科学推理等任务上取得了令人瞩目的进展。Qwen3-VL、InternVL3、Step3-VL 等模型不断刷新开源榜单,而支撑其复杂推理能力的关键技术之一,正是Chain-of-Thought(CoT,思维链):让模型在给出最终答案之前,先以自然语言逐步展开中间推理过程。

从 Wei 等人提出的 CoT 提示,到 DeepSeek-R1、OpenAI o1 所代表的长链推理范式,「先想后答」已成为构建高智能多模态系统的标准协议。

然而,文本 CoT 在带来性能增益的同时,也暴露出三个难以回避的结构性瓶颈。

  1. 推理效率:每一步思维都必须以离散 token 自回归生成,一次完整推理往往消耗数百甚至上千个 token,构成推理阶段最主要的计算负担。
  2. 表达局限:一旦将连续的思考过程「坍缩」为某一条具体的自然语言表述,模型便失去了在多种解题路径间保持分布的能力。
  3. 错误传播:早期推理步骤中的偏差会沿链条逐级放大,在长链场景下尤为致命。

为突破上述限制,学界开始探索Latent Reasoning(潜空间推理):将中间思考过程保留在连续表征空间中,而非显式解码为文本。

CoCoNut、CODI、SoftCoT、SIM-CoT 等工作在纯文本 LLM 上验证了这一方向的可行性;在多模态领域,LVR、LaCoT、MoNet 等方法则尝试借助辅助图像生成潜思维 token。但这些视觉潜推理方案往往依赖昂贵的图像标注或专用编码器,可扩展性受限。

一个自然的问题由此浮现:能否在不引入任何辅助视觉标注的前提下,仅利用已有文本CoT数据,让多模态模型在语言模型的潜空间中完成高效、可监督、可泛化的推理?

二、CoLT 核心思想:仅用 3 步潜向量完成深度推理

本文提出的CoLT(Chain of Latent Thoughts,潜思维链)给出了一份系统性的答案。



  • 论文标题:CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts
  • 会议:ECCV 2026
  • 作者:胡连宇,秦胜乾,廖泽钦,郭青,万亮,冯伟,刘杨
  • 机构:南洋理工大学 | 上海交通大学 | 南开大学 | 天津大学
  • 代码:https://github.com/hulianyuyy/CoLT
  • 论文地址:https://arxiv.org/abs/2606.31986

给定图像 v 与文本查询 x,标准 MLLM 先在视觉编码器中获得视觉 token,再与文本拼接输入语言模型。传统 Text CoT 需要生成 L 步显式推理文本 r₁,…,r_L 后才能输出答案;而 CoLT 将这一过程替换为仅 K 步潜思维向量 h₁,…,h_K(本文默认 K =3),每一步对应语言模型在指定推理位置的最后一层隐状态,并直接作为下一步的输入嵌入反馈回模型,无需扩展词表、无需引入特殊 token。

这一设计带来了数量级上的效率优势:相比 Text CoT 平均约 142 个推理 token,CoLT 仅需3 个连续向量即可完成思考,生成阶段耗时从约 7.24 秒降至0.32 秒(MMStar benchmark,单卡 H200),文本解码加速达22.6×,端到端推理加速10.1×。更引人注目的是,效率的提升并未以牺牲精度为代价。

在八个多模态基准上的平均准确率,CoLT 达到79.1%,不仅超越同骨干上的 Text CoT(75.7%,+3.4%),也显著领先现有潜推理与潜视觉推理方法。



图1:CoLT框架图。左图:(1)文本 CoT(思维链)在生成答案之前,会先生成冗长的推理文本 token;(2)潜在推理(latent reasoning)以潜在状态替代文本,但缺乏显式监督;(3)潜在视觉推理(latent visual reasoning)则通过编码器,将潜在状态与额外的图像标注进行对齐。右图:CoLT 生成潜在思维向量,并通过两种互补机制进行约束:外部的逐步监督(由解码器以前向和反向模式运行)以及内部的步间预测。

三、方法详解:三重步级监督,驯服无约束潜空间

将文本 token 替换为连续向量进行推理,看似简单,实则困难重重。无约束的潜空间缺乏结构化归纳偏置,模型极易学到语义空洞的表征,训练过程也会剧烈震荡,从而大幅降低精度。

CoLT 的核心创新,在于引入一套轻量但完备的步级(step-level)监督机制,从外部与内部两个维度共同规约潜思维链的语义与结构。

3.1 外部解码器:前向 + 后向双向锚定

CoLT 引入一个与骨干同族的小型外部解码器 D_φ(默认 Qwen3-0.6B,与 Qwen3-VL-8B 共享词表),在训练阶段对每个潜思维步提供互补监督:

  • 前向解码(Forward Decoding):以当前潜思维 h_k 为条件,解码器自回归生成下一步的文本推理 r_(k+1)。该损失确保每个潜向量编码了足够的信息,足以重构显式推理内容;梯度经解码器回传至主模型,驱动潜表征走向「可解释、可递进」的语义。



3.2 内部监督:步间连贯性预测





其中 α=β=γ=0.2。

3.3 两阶段训练与零开销推理

训练由 SFT 阶段组成:在 OneThinker 图像子集上以完整联合损失监督,动态将文本 CoT 标注切分为 K 段与潜思维步对齐。

推理阶段,外部解码器与投影头被完全丢弃,仅采用到 3 个潜向量的「闪电思考」与最终答案,零额外计算开销。

四、实验结果:八基准全面领先

研究团队在八个涵盖视觉理解、图表推理、文本丰富 VQA、科学问答、视觉不可或缺问题、图表理解与多任务综合评测的基准上系统评估 CoLT,骨干统一为 Qwen3-VL-8B-Instruct,确保公平对比。



表1 | 八个多模态基准综合对比(%)。† 表示基于 Qwen3-VL-8B 骨干。

从表 1 可以读出几条清晰结论:

  • 潜思维确实「有用」:相比直答模式(Avg. 69.5%),CoLT 提升 9.6 个百分点,证明仅 3 个连续向量即可承载 substantial 的推理能力。
  • 潜思维可以「更好」:相较同骨干 Text CoT(75.7%),CoLT 再提升 3.4%,在 ChartQA(+9.6%)与 TextVQA(+6.1%)上增益最为显著,恰是需要多步图表分析与 OCR 阅读的硬核场景。
  • CoLT 在潜推理赛道一骑绝尘:超越最强潜推理基线 SIM-CoT 5.1%,超越最强潜视觉推理基线 LVR 5.5%,且无需任何辅助图像标注。

与闭源模型的横向参照同样值得关注:在 MMBench 上 CoLT 达 84.6%,逼近 GPT-5-high(83.8%)与 Claude-Opus-4.1(83.0%);在 ChartQA 上以 74.7% 大幅领先 Gemini-2.5-Pro(59.7%)。对于 8B 规模的开源模型而言,这是一份颇具说服力的成绩单。

五、消融实验:每个监督信号都不可或缺

为厘清 CoLT 各组件的贡献,在四个代表性基准上进行了系统消融。

监督信号组合实验(表2)揭示:单独使用时,后向解码(67.2%)> 前向解码(65.8%)> 内部监督(63.6%);任意两两组合均显著优于单分量,其中 L_fwd + L_bwd 最强(69.8%);三者完整启用时平均准确率达 72.6%,且每增加一项监督均有稳定增益——后向解码的边际贡献最大(+4.5%),证实双向锚定是驯服潜空间的关键。



表2 | 监督信号组合消融

解码器规模消融(表3)则证明「小而美」:从 Qwen3-0.6B 扩展至 Qwen3-8B,平均准确率仅从 72.6% 微升至 73.2%(+0.6%),0.6B 解码器已能提供有效的步级监督,是精度-效率的最佳折中。



表3 | 外部解码器规模消融

潜思维步数 K 的敏感性分析(表4)显示性能在 K=3 处达到峰值(72.6%),过少(K=1, 66.8%)限制推理容量,过多(K=8, 71.2%)则引入冗余。跨 K 泛化实验进一步表明:以 K=3 训练、K=6 测试仅下降 0.7%,K=3 作为默认配置具有良好的鲁棒性。



表4 | 潜思维步数 K 的影响

六、效率加速:潜空间的天然优势

效率对比(表5)进一步量化了 CoLT 的实用价值。

在 MMStar 上,编码阶段三者均为 ~0.45s,瓶颈在生成阶段:Text CoT 需 7.24s 生成 142.1 个 token,CoLT 仅 0.32s 完成 3 个潜向量,生成加速 22.6×;端到端(编码+生成)加速 10.1×,且准确率从 Text CoT 的 67.1% 提升至 68.9%。

在 MMT-Bench 上结论一致:生成加速 22.4×,端到端 10.1×,准确率 67.4% vs. 63.3%。



表5 | 推理速度对比(单卡 H200,每样本均值)

七、可解释性:潜思维并非「黑箱」

一个常见质疑是:潜向量是否只是无法解释的数值噪声?

CoLT 用定性分析给出了否定答案。借助训练阶段的前向解码器,可将每个潜思维步h_k 投影回自然语言,揭示其编码的推理片段。



图2:两个可视化示例及其解码后的潜在思维。我们使用前向解码器将潜在状态重新映射回文本。不同颜色标注的片段表示由不同潜在推理步骤解码得到的推理内容。

论文 Figure 2 展示了两个逻辑推理与数学计算方面的实例:在逻辑模式匹配题中,三步潜思维分别对应逐行视觉扫描、绿色扇区计数与模式推断;在数学积木题中,潜步骤依次分解十位、个位并求和。颜色编码显示每步潜向量承载推理链中独立且语义明确的片段,步间逻辑连贯,验证了内部监督对结构化过渡的有效约束。

八、总结与展望

CoLT 为多模态潜空间推理提供了一条兼具理论美感与工程实用性的路径:以极少步数的连续潜思维替代冗长的文本 CoT,通过前向解码、后向解码与内部预测的三重步级监督驯服无约束潜空间,训练后零开销部署,在八个基准上以 79.1% 平均准确率全面领先,相对 Text CoT 实现 10.1× 端到端加速与 22.6× 文本生成加速,并在输入噪声下展现出卓越的鲁棒性。

未来方向包括:根据问题难度自适应调节潜思维步数 K;探索潜-文混合推理框架,在关键决策点切换显式/隐式表征;以及将潜思维链扩展至视频、音频等更多模态。

代码已开源:https://github.com/hulianyuyy/CoLT

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
弟弟6岁走失,20年后姐姐求职,看到老板戴父亲遗物当场痛哭

弟弟6岁走失,20年后姐姐求职,看到老板戴父亲遗物当场痛哭

兰姐说故事
2025-08-29 17:40:03
黄乐最新私密照爆出, 难怪黄仁勋把持不住!

黄乐最新私密照爆出, 难怪黄仁勋把持不住!

仕道
2026-11-17 11:11:01
天才告别!16 岁加布里埃尔发视频告别曼联,即将加盟皇马

天才告别!16 岁加布里埃尔发视频告别曼联,即将加盟皇马

夜白侃球
2026-11-18 13:09:44
赖文峰一家到南昌游玩,儿子也在,网友:杨钰莹老家,旧情难忘?

赖文峰一家到南昌游玩,儿子也在,网友:杨钰莹老家,旧情难忘?

不似少年游
2026-11-18 09:35:45
厉娜的瓜太炸裂了!2018年,她和经纪人在外面放贷,厉娜出了780万,经纪人出了1030万,一共1810万借给陈某,利息高达36%!

厉娜的瓜太炸裂了!2018年,她和经纪人在外面放贷,厉娜出了780万,经纪人出了1030万,一共1810万借给陈某,利息高达36%!

静若梨花
2026-11-16 22:23:40
《龙珠》这个小配角,真能一招秒杀弗利萨吗?原来鸟叔21年前给过答案

《龙珠》这个小配角,真能一招秒杀弗利萨吗?原来鸟叔21年前给过答案

动漫心世界
2026-11-18 12:03:35
金融危机真的不远了?华尔街开始疯狂抛售黄金,这意味着什么

金融危机真的不远了?华尔街开始疯狂抛售黄金,这意味着什么

奇思妙想生活家
2026-11-18 04:43:33
其实很多人活不过70岁

其实很多人活不过70岁

A活着
2026-09-27 09:05:25
难以置信!刘德华公开承认差不多一年没戏拍了,直言“为了生活”明年将主攻演唱会

难以置信!刘德华公开承认差不多一年没戏拍了,直言“为了生活”明年将主攻演唱会

火山詩话
2026-11-16 04:59:33
结束禁赛+结束轮休!火箭队替补2老将正式复出,内外线获增援

结束禁赛+结束轮休!火箭队替补2老将正式复出,内外线获增援

熊哥爱篮球
2026-11-18 12:54:36
网友背着30斤重的柯基与背着40斤重的萨摩耶主人在山上相遇,狗主人对视而笑,两狗难分伯仲…评论区:还有只拉布拉多更是重量级…

网友背着30斤重的柯基与背着40斤重的萨摩耶主人在山上相遇,狗主人对视而笑,两狗难分伯仲…评论区:还有只拉布拉多更是重量级…

大爱狗狗控
2026-11-12 20:46:25
现货黄金盘中失守3800美元/盎司

现货黄金盘中失守3800美元/盎司

北京商报
2026-11-18 10:46:21
尼克松访华见“打倒美帝”标语,毛主席用三字回应,尼克松当场大笑!

尼克松访华见“打倒美帝”标语,毛主席用三字回应,尼克松当场大笑!

文史季季红
2026-11-18 13:45:03
中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

职场资深秘书
2026-11-17 17:01:53
黄仁勋女儿,没戏了

黄仁勋女儿,没戏了

小鱼爱鱼乐
2026-11-17 18:11:53
几块钱一瓶的甲钴胺,可用于这2类常见病,对症用药才能屡用屡效

几块钱一瓶的甲钴胺,可用于这2类常见病,对症用药才能屡用屡效

熊猫医学社
2026-11-18 11:30:05
北京长城饭店将焕新重启,万豪旗下艾迪逊有望进驻

北京长城饭店将焕新重启,万豪旗下艾迪逊有望进驻

小蜜情感说
2026-11-18 04:53:44
再不补偿下岗失业工人和强行买断工龄的工人,今后这机会不复存在

再不补偿下岗失业工人和强行买断工龄的工人,今后这机会不复存在

笑熬浆糊111
2026-11-18 11:27:13
杜海涛英语直播上演“全障碍交流”:满屏英文全靠猜,笑着求网友“穿插中文”;沈梦辰曾调侃其在英国演讲:不如用中文,大家听得都累啊

杜海涛英语直播上演“全障碍交流”:满屏英文全靠猜,笑着求网友“穿插中文”;沈梦辰曾调侃其在英国演讲:不如用中文,大家听得都累啊

洪观新闻
2026-11-17 20:34:11
赖文峰一家到南昌游玩,儿子也在,网友:杨钰莹老家,旧情难忘?

赖文峰一家到南昌游玩,儿子也在,网友:杨钰莹老家,旧情难忘?

陈意小可爱
2026-11-18 06:38:24
2026-11-18 14:28:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14504文章数 142760关注度
往期回顾 全部

科技要闻

OPPO Reno17:手机背后竟然藏了只“喵”?

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
数码
手机
旅游
游戏

医生眼里"很伤腰"的椅子,很多人天天坐

数码要闻

Intel下下代处理器迎新进展!四大版本首次集体现身:桌面、笔记本全覆盖

手机要闻

苹果首款折叠iPhone Duo铰链风波升级,韩媒称供应商受压撤回声明

旅游要闻

视频|一眼万年,雪后野鸭湖把山盟海誓画成了模样

PS敦促玩家必须更新PS5!不然不让你玩《GTA6》

无障碍浏览 进入关怀版