网易首页 > 网易号 > 正文 申请入驻

3步推理生成加速20+倍!CoLT教会多模态大模型用「潜思维链」思考

0
分享至



一、研究背景:当 CoT 遇上「慢」与「窄」

近年来,多模态大语言模型(MLLM)在视觉问答、图表理解、科学推理等任务上取得了令人瞩目的进展。Qwen3-VL、InternVL3、Step3-VL 等模型不断刷新开源榜单,而支撑其复杂推理能力的关键技术之一,正是Chain-of-Thought(CoT,思维链):让模型在给出最终答案之前,先以自然语言逐步展开中间推理过程。

从 Wei 等人提出的 CoT 提示,到 DeepSeek-R1、OpenAI o1 所代表的长链推理范式,「先想后答」已成为构建高智能多模态系统的标准协议。

然而,文本 CoT 在带来性能增益的同时,也暴露出三个难以回避的结构性瓶颈。

  1. 推理效率:每一步思维都必须以离散 token 自回归生成,一次完整推理往往消耗数百甚至上千个 token,构成推理阶段最主要的计算负担。
  2. 表达局限:一旦将连续的思考过程「坍缩」为某一条具体的自然语言表述,模型便失去了在多种解题路径间保持分布的能力。
  3. 错误传播:早期推理步骤中的偏差会沿链条逐级放大,在长链场景下尤为致命。

为突破上述限制,学界开始探索Latent Reasoning(潜空间推理):将中间思考过程保留在连续表征空间中,而非显式解码为文本。

CoCoNut、CODI、SoftCoT、SIM-CoT 等工作在纯文本 LLM 上验证了这一方向的可行性;在多模态领域,LVR、LaCoT、MoNet 等方法则尝试借助辅助图像生成潜思维 token。但这些视觉潜推理方案往往依赖昂贵的图像标注或专用编码器,可扩展性受限。

一个自然的问题由此浮现:能否在不引入任何辅助视觉标注的前提下,仅利用已有文本CoT数据,让多模态模型在语言模型的潜空间中完成高效、可监督、可泛化的推理?

二、CoLT 核心思想:仅用 3 步潜向量完成深度推理

本文提出的CoLT(Chain of Latent Thoughts,潜思维链)给出了一份系统性的答案。



  • 论文标题:CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts
  • 会议:ECCV 2026
  • 作者:胡连宇,秦胜乾,廖泽钦,郭青,万亮,冯伟,刘杨
  • 机构:南洋理工大学 | 上海交通大学 | 南开大学 | 天津大学
  • 代码:https://github.com/hulianyuyy/CoLT
  • 论文地址:https://arxiv.org/abs/2606.31986

给定图像 v 与文本查询 x,标准 MLLM 先在视觉编码器中获得视觉 token,再与文本拼接输入语言模型。传统 Text CoT 需要生成 L 步显式推理文本 r₁,…,r_L 后才能输出答案;而 CoLT 将这一过程替换为仅 K 步潜思维向量 h₁,…,h_K(本文默认 K =3),每一步对应语言模型在指定推理位置的最后一层隐状态,并直接作为下一步的输入嵌入反馈回模型,无需扩展词表、无需引入特殊 token。

这一设计带来了数量级上的效率优势:相比 Text CoT 平均约 142 个推理 token,CoLT 仅需3 个连续向量即可完成思考,生成阶段耗时从约 7.24 秒降至0.32 秒(MMStar benchmark,单卡 H200),文本解码加速达22.6×,端到端推理加速10.1×。更引人注目的是,效率的提升并未以牺牲精度为代价。

在八个多模态基准上的平均准确率,CoLT 达到79.1%,不仅超越同骨干上的 Text CoT(75.7%,+3.4%),也显著领先现有潜推理与潜视觉推理方法。



图1:CoLT框架图。左图:(1)文本 CoT(思维链)在生成答案之前,会先生成冗长的推理文本 token;(2)潜在推理(latent reasoning)以潜在状态替代文本,但缺乏显式监督;(3)潜在视觉推理(latent visual reasoning)则通过编码器,将潜在状态与额外的图像标注进行对齐。右图:CoLT 生成潜在思维向量,并通过两种互补机制进行约束:外部的逐步监督(由解码器以前向和反向模式运行)以及内部的步间预测。

三、方法详解:三重步级监督,驯服无约束潜空间

将文本 token 替换为连续向量进行推理,看似简单,实则困难重重。无约束的潜空间缺乏结构化归纳偏置,模型极易学到语义空洞的表征,训练过程也会剧烈震荡,从而大幅降低精度。

CoLT 的核心创新,在于引入一套轻量但完备的步级(step-level)监督机制,从外部与内部两个维度共同规约潜思维链的语义与结构。

3.1 外部解码器:前向 + 后向双向锚定

CoLT 引入一个与骨干同族的小型外部解码器 D_φ(默认 Qwen3-0.6B,与 Qwen3-VL-8B 共享词表),在训练阶段对每个潜思维步提供互补监督:

  • 前向解码(Forward Decoding):以当前潜思维 h_k 为条件,解码器自回归生成下一步的文本推理 r_(k+1)。该损失确保每个潜向量编码了足够的信息,足以重构显式推理内容;梯度经解码器回传至主模型,驱动潜表征走向「可解释、可递进」的语义。



3.2 内部监督:步间连贯性预测





其中 α=β=γ=0.2。

3.3 两阶段训练与零开销推理

训练由 SFT 阶段组成:在 OneThinker 图像子集上以完整联合损失监督,动态将文本 CoT 标注切分为 K 段与潜思维步对齐。

推理阶段,外部解码器与投影头被完全丢弃,仅采用到 3 个潜向量的「闪电思考」与最终答案,零额外计算开销。

四、实验结果:八基准全面领先

研究团队在八个涵盖视觉理解、图表推理、文本丰富 VQA、科学问答、视觉不可或缺问题、图表理解与多任务综合评测的基准上系统评估 CoLT,骨干统一为 Qwen3-VL-8B-Instruct,确保公平对比。



表1 | 八个多模态基准综合对比(%)。† 表示基于 Qwen3-VL-8B 骨干。

从表 1 可以读出几条清晰结论:

  • 潜思维确实「有用」:相比直答模式(Avg. 69.5%),CoLT 提升 9.6 个百分点,证明仅 3 个连续向量即可承载 substantial 的推理能力。
  • 潜思维可以「更好」:相较同骨干 Text CoT(75.7%),CoLT 再提升 3.4%,在 ChartQA(+9.6%)与 TextVQA(+6.1%)上增益最为显著,恰是需要多步图表分析与 OCR 阅读的硬核场景。
  • CoLT 在潜推理赛道一骑绝尘:超越最强潜推理基线 SIM-CoT 5.1%,超越最强潜视觉推理基线 LVR 5.5%,且无需任何辅助图像标注。

与闭源模型的横向参照同样值得关注:在 MMBench 上 CoLT 达 84.6%,逼近 GPT-5-high(83.8%)与 Claude-Opus-4.1(83.0%);在 ChartQA 上以 74.7% 大幅领先 Gemini-2.5-Pro(59.7%)。对于 8B 规模的开源模型而言,这是一份颇具说服力的成绩单。

五、消融实验:每个监督信号都不可或缺

为厘清 CoLT 各组件的贡献,在四个代表性基准上进行了系统消融。

监督信号组合实验(表2)揭示:单独使用时,后向解码(67.2%)> 前向解码(65.8%)> 内部监督(63.6%);任意两两组合均显著优于单分量,其中 L_fwd + L_bwd 最强(69.8%);三者完整启用时平均准确率达 72.6%,且每增加一项监督均有稳定增益——后向解码的边际贡献最大(+4.5%),证实双向锚定是驯服潜空间的关键。



表2 | 监督信号组合消融

解码器规模消融(表3)则证明「小而美」:从 Qwen3-0.6B 扩展至 Qwen3-8B,平均准确率仅从 72.6% 微升至 73.2%(+0.6%),0.6B 解码器已能提供有效的步级监督,是精度-效率的最佳折中。



表3 | 外部解码器规模消融

潜思维步数 K 的敏感性分析(表4)显示性能在 K=3 处达到峰值(72.6%),过少(K=1, 66.8%)限制推理容量,过多(K=8, 71.2%)则引入冗余。跨 K 泛化实验进一步表明:以 K=3 训练、K=6 测试仅下降 0.7%,K=3 作为默认配置具有良好的鲁棒性。



表4 | 潜思维步数 K 的影响

六、效率加速:潜空间的天然优势

效率对比(表5)进一步量化了 CoLT 的实用价值。

在 MMStar 上,编码阶段三者均为 ~0.45s,瓶颈在生成阶段:Text CoT 需 7.24s 生成 142.1 个 token,CoLT 仅 0.32s 完成 3 个潜向量,生成加速 22.6×;端到端(编码+生成)加速 10.1×,且准确率从 Text CoT 的 67.1% 提升至 68.9%。

在 MMT-Bench 上结论一致:生成加速 22.4×,端到端 10.1×,准确率 67.4% vs. 63.3%。



表5 | 推理速度对比(单卡 H200,每样本均值)

七、可解释性:潜思维并非「黑箱」

一个常见质疑是:潜向量是否只是无法解释的数值噪声?

CoLT 用定性分析给出了否定答案。借助训练阶段的前向解码器,可将每个潜思维步h_k 投影回自然语言,揭示其编码的推理片段。



图2:两个可视化示例及其解码后的潜在思维。我们使用前向解码器将潜在状态重新映射回文本。不同颜色标注的片段表示由不同潜在推理步骤解码得到的推理内容。

论文 Figure 2 展示了两个逻辑推理与数学计算方面的实例:在逻辑模式匹配题中,三步潜思维分别对应逐行视觉扫描、绿色扇区计数与模式推断;在数学积木题中,潜步骤依次分解十位、个位并求和。颜色编码显示每步潜向量承载推理链中独立且语义明确的片段,步间逻辑连贯,验证了内部监督对结构化过渡的有效约束。

八、总结与展望

CoLT 为多模态潜空间推理提供了一条兼具理论美感与工程实用性的路径:以极少步数的连续潜思维替代冗长的文本 CoT,通过前向解码、后向解码与内部预测的三重步级监督驯服无约束潜空间,训练后零开销部署,在八个基准上以 79.1% 平均准确率全面领先,相对 Text CoT 实现 10.1× 端到端加速与 22.6× 文本生成加速,并在输入噪声下展现出卓越的鲁棒性。

未来方向包括:根据问题难度自适应调节潜思维步数 K;探索潜-文混合推理框架,在关键决策点切换显式/隐式表征;以及将潜思维链扩展至视频、音频等更多模态。

代码已开源:https://github.com/hulianyuyy/CoLT

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突发!美国 AI 芯片出口限制新增:新加坡、马来西亚、泰国、印度尼西亚、巴西

突发!美国 AI 芯片出口限制新增:新加坡、马来西亚、泰国、印度尼西亚、巴西

云头条
2026-11-17 00:44:09
网传2026年越来越多的人开始反向消费…

网传2026年越来越多的人开始反向消费…

慧翔百科
2026-11-12 08:28:44
煤老板换成了炒币客!十年前包厢里花的是挖煤挣的钱,如今手机一亮,十倍收益把人带进了坑

煤老板换成了炒币客!十年前包厢里花的是挖煤挣的钱,如今手机一亮,十倍收益把人带进了坑

王老师你还好吗
2026-11-18 00:33:13
终于看懂了!高油价正在复制香烟的涨价套路,老百姓却不玩了!

终于看懂了!高油价正在复制香烟的涨价套路,老百姓却不玩了!

江启
2026-11-17 01:14:38
看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

一盅情怀
2026-11-10 15:48:41
《一路向西》的四大美女,同一部电影,不同的人生道路

《一路向西》的四大美女,同一部电影,不同的人生道路

该用户已看透一切
2026-11-16 13:34:38
连续替补+踢不上球!12分钟就抽筋,曝吕孟洋在西班牙找私教保持球感

连续替补+踢不上球!12分钟就抽筋,曝吕孟洋在西班牙找私教保持球感

中场阴谋家
2026-11-16 22:25:56
某市政府办公室干部为领导起草发言材料时,引用涉密文件,认为“引用一两句话不至于涉密”,将材料发至微信群征求意见,被政务警告处分

某市政府办公室干部为领导起草发言材料时,引用涉密文件,认为“引用一两句话不至于涉密”,将材料发至微信群征求意见,被政务警告处分

政知新媒体
2026-11-17 07:39:52
原来她早已去世,从患病到离世仅16天,去世原因让人心痛!

原来她早已去世,从患病到离世仅16天,去世原因让人心痛!

情感大头说说
2026-11-18 00:54:43
曾是上海知名主持,主持《百里挑一》红极一时,如今58岁查无此人

曾是上海知名主持,主持《百里挑一》红极一时,如今58岁查无此人

星星邮递员
2026-11-15 21:32:14
河南女子拆睡9年喜褥,翻出缠红绳棉花小人,竟是婚嫁老习俗

河南女子拆睡9年喜褥,翻出缠红绳棉花小人,竟是婚嫁老习俗

普陀动物世界
2026-09-28 07:41:51
朝中社发文谴责日本拥核野心

朝中社发文谴责日本拥核野心

新华社
2026-11-15 20:49:19
360集团:内审发现员工涉嫌经济问题,其正在接受有关部门调查

360集团:内审发现员工涉嫌经济问题,其正在接受有关部门调查

每日经济新闻
2026-11-17 11:55:04
齐达内折服!德布劳内鼓掌!皇马天才在穆里尼奥麾下封神

齐达内折服!德布劳内鼓掌!皇马天才在穆里尼奥麾下封神

奶盖熊本熊
2026-11-17 08:57:40
个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

巢客HOME
2026-10-13 05:10:03
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
央视镜头下,殷桃的“真实颜值”,治好了我的容貌焦虑

央视镜头下,殷桃的“真实颜值”,治好了我的容貌焦虑

娱乐圈十三太保
2026-11-13 15:56:34
央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

削桐作琴
2026-11-09 15:29:05
中美建交47年,还没有任何一个在任美国总统敢落地台湾。

中美建交47年,还没有任何一个在任美国总统敢落地台湾。

叶葉夜
2026-11-15 13:56:44
2026-11-18 01:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142759关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

旅游
时尚
本地
游戏
手机

旅游要闻

蹬出炸口岩,留下手巴岩,张三丰在毕节这块石头上留下印记!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

世嘉《战场女武神3》移植PC!民间大神出手 支持键鼠

手机要闻

小米18 Pro系列手机国际版正式发布:把背屏带向海外,1399欧元起

无障碍浏览 进入关怀版