网易首页 > 网易号 > 正文 申请入驻

多模态推理新范式!DiffThinker:用扩散模型「画」出推理和答案

0
分享至

在多模态大模型(MLLMs)领域,思维链(CoT)一直被视为提升推理能力的核心技术。然而,面对复杂的长程、视觉中心任务,这种基于文本生成的推理方式正面临瓶颈:文本难以精确追踪视觉信息的变化。形象地说,模型不知道自己想到哪一步了,对应图像是什么状态。

尽管近期的「Thinking with Image」范式可以通过工具等对图像进行操作,但它们难以扩展到更复杂的长程任务,且在多轮交互中本身开销巨大。

近日,来自上海人工智能实验室、南京大学、香港中文大学和上海交通大学的研究团队提出了一种全新的生成式多模态推理(Generative Multimodal Reasoning)范式,并发布了模型DiffThinker

DiffThinker 彻底打破了「多模态输入 -> 文本输出」的传统定式,将推理过程重构为图像到图像(Image-to-Image)的生成任务。通过扩散模型(Diffusion Models),DiffThinker 能够在视觉空间中直接生成推理路径。

实验结果令人惊讶:在包含长程规划、组合优化、约束满足、空间推理等 7 项视觉中心的复杂任务中,DiffThinker 的表现显著优于包括GPT-5 (+314.2%)和Gemini-3-Flash (+111.6%)在内的顶尖闭源模型,以及经过相同数据微调的 Qwen3-VL-32B 基线 (+39.0%)。

  • 论文标题:DiffThinker: Towards Generative Multimodal Reasoning with Diffusion Models
  • 论文地址
  • https://arxiv.org/abs/2512.24165
  • 项目主页
  • https://diffthinker-project.github.io
  • 代码仓库
  • https://github.com/lcqysl/DiffThinker

01 从「以文思考」到「以图思考」

现有的多模态大模型在处理视觉推理任务时,难以追踪视觉信息的变化。比如在空间导航任务(VSP、Maze 等)中,模型仅靠语言分析路径,但输入图像不变,路径一长就很容易「看走眼」,不知道自己已经走到了哪。又比如拼图任务,模型如果不能直接对拼图操作,很难凭空想象出答案。即便是最新的「Thinking with Image」范式,也往往依赖于多轮对话和工具调用,导致推理链路极长,难以扩展到复杂场景。

研究团队还在项目主页提供了几个小游戏,以直观理解人与 MLLM 的思维范式差异。

那么,为什么不能让模型直接「看」着问题,把答案「画」出来?

DiffThinker 提出的核心理念正是如此。研究团队认为,多模态推理不应局限于符号空间,而应回归视觉空间,利用扩散模型直接生成答案。具体来说,DiffThinker 基于 Qwen-Image-Edit,配合 Flow Matching 训练直接用图像生产答案。

02 DiffThinker 的四大核心特性


作为全新的生成式推理范式,DiffThinker 展现出了传统 MLLM 难以企及的四大特性:

  • 高效推理(Efficient Reasoning)相比于 MLLM 动辄生成数千个 Token 的长思维链,DiffThinker 在训练和推理效率上均表现出色,且准确率更高。

  • 可控推理(Controllable Reasoning)MLLM 的输出长度不可预测,常出现过长思维链甚至输出崩溃导致死循环。而 DiffThinker 通过固定步数的欧拉求解器,能够以确定的计算预算完成推理,不受任务逻辑复杂度的干扰。

  • 原生并行推理(Native Parallel Reasoning)这是扩散模型独有的优势。在推理时,DiffThinker 能够在视觉空间中同时探索多条潜在路径,并随着去噪过程逐步收敛到最优解。这使得模型可以「边画边推理」,更直观。

  • 协同推理(Collaborative Reasoning)DiffThinker 还可以与 MLLM 合作。它生成多个候选视觉解,再由 MLLM 进行逻辑验证。实验显示,这种「DiffThinker 生成 + MLLM 验证」的组合,性能实现「1+1>2」,超越了任何单一模型。

03 实验结果:碾压级的性能


研究团队在四个领域的七大任务上进行了系统评测,包括:

  • 序列规划:VSP,VSP-Super,Maze(迷宫)
  • 组合优化:TSP(旅行商问题)
  • 约束满足:Sudoku(数独)
  • 空间配置:Jigsaw(拼图),VisPuzzle

主要结果如下:

DiffThinker 在所有任务上的平均得分高达87.4,而 GPT-5 仅为 21.1,Gemini-3-Flash 为 41.3。同数据训练的 Qwen3-VL-32B 也只有62.9。

04 视频生成 vs 图像生成


既然是视觉推理,用视频模型(Video Generation)会不会更好?

团队基于 Wan2.2-TI2V-5B 开发了 DiffThinker-Video 版本。结果发现,虽然视频能展示动态过程,但在推理准确率上反而不如图像生成模型,且推理时间增加了近一倍(1.1s vs 2.0s)。这表明,在当前的算力与模型架构下,「以图思考」仍是比「以视频思考」更高效的路径。

05 结语


DiffThinker 的出现,标志着生成式多模态推理(Generative Multimodal Reasoning)时代的开启。它证明了扩散模型不仅能画画,还能进行严密的逻辑推理。

对于长程、视觉中心的复杂任务,将推理过程从「文本流」转变为「视觉流」,或许正是通往下一代通用人工智能的关键一步。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

一盅情怀
2026-11-10 15:48:41
奇瑞中型SUV上市,6万还是全球品质!

奇瑞中型SUV上市,6万还是全球品质!

米粒说车唯一呀
2026-11-17 16:29:20
俄罗斯军用运输机坠毁西伯利亚!机上19人全部遇难

俄罗斯军用运输机坠毁西伯利亚!机上19人全部遇难

项鹏飞
2026-11-18 20:27:45
69岁赵本山三亚养老,被女儿直播曝日抽两包烟、顿顿8两酒,和94岁杨少华如出一辙,网友吵翻:该管吗

69岁赵本山三亚养老,被女儿直播曝日抽两包烟、顿顿8两酒,和94岁杨少华如出一辙,网友吵翻:该管吗

迪迪的娱乐故事
2026-11-16 17:39:39
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
下一个赖斯!阿森纳盯上世界级铁腰!阿尔特塔要组完美中场

下一个赖斯!阿森纳盯上世界级铁腰!阿尔特塔要组完美中场

澜归序
2026-11-18 10:41:37
儿子欲娶母瘫痪、父赌博、两弟弟读书的女友,清醒妈妈:要钱就断绝关系!扶贫婚姻会毁孩子一生

儿子欲娶母瘫痪、父赌博、两弟弟读书的女友,清醒妈妈:要钱就断绝关系!扶贫婚姻会毁孩子一生

菁妈育儿
2026-11-18 13:36:22
美媒:中国六代机2秒内90度转弯,机动能力震惊美国

美媒:中国六代机2秒内90度转弯,机动能力震惊美国

世家宝
2026-11-14 22:52:13
欧洲丈母娘首次来中国拜访女婿一家,刚下飞机人傻了:这是中国?

欧洲丈母娘首次来中国拜访女婿一家,刚下飞机人傻了:这是中国?

星宇共鸣
2025-09-18 18:13:16
这些人最低被判1000年监禁,最多则达14万年!

这些人最低被判1000年监禁,最多则达14万年!

年代回忆
2026-11-18 23:44:42
英国向乌克兰提供千枚导弹!美国会计划7.5亿援乌资金

英国向乌克兰提供千枚导弹!美国会计划7.5亿援乌资金

项鹏飞
2026-11-18 20:26:13
奥克兰市长从中国回新西兰后,公开宣称“民主已经过时”,“五眼席位可卖给日本”

奥克兰市长从中国回新西兰后,公开宣称“民主已经过时”,“五眼席位可卖给日本”

发现新西兰
2026-11-18 12:11:59
多家银行下调存款利率,手里的闲钱,继续存定期还是换方向?

多家银行下调存款利率,手里的闲钱,继续存定期还是换方向?

小白鸽财经
2026-11-16 07:05:04
一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

小豫讲故事
2026-08-02 06:00:12
“大邱之王”塞西尼亚:我一开始吃不来泡菜;想在此结束职业生涯

“大邱之王”塞西尼亚:我一开始吃不来泡菜;想在此结束职业生涯

懂球帝
2026-11-17 00:54:28
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
小米新车突然曝光:11月18日继续开售,26.99万起

小米新车突然曝光:11月18日继续开售,26.99万起

手机讲坛
2026-11-18 15:18:13
安妮·海瑟薇新片86%好评,HBO Max上线两天登顶

安妮·海瑟薇新片86%好评,HBO Max上线两天登顶

雾野寻踪2
2026-11-17 04:59:22
项英牺牲真相:为何多次拒绝毛泽东北上命令?只因自己的两个私心

项英牺牲真相:为何多次拒绝毛泽东北上命令?只因自己的两个私心

阿胡
2025-02-07 15:06:06
太扎心了!25岁女子和前男友酒店发生关系,事后仍被拒绝复合,女子不甘心,从此前男友就消失不见了

太扎心了!25岁女子和前男友酒店发生关系,事后仍被拒绝复合,女子不甘心,从此前男友就消失不见了

丫头舫
2026-10-19 20:19:42
2026-11-19 00:47:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
亲子
旅游
手机
公开课

房产要闻

6.6亿!海口卖地!

亲子要闻

宝宝气人但是聪明的4个行为

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版