网易首页 > 网易号 > 正文 申请入驻

UV-CoT:无监督视觉推理新突破,偏好优化重塑图像级思维链

0
分享至

本文第一作者是来自南洋理工大学的博士生赵克森,主要研究方向为 Reinforcement Learning in MLLMs. 该论文已被 ICCV 2025 录用。

随着文本领域中思维链(Chain-of-Thought,CoT)推理机制的成功应用,研究者开始将该方法引入视觉理解任务,以提升模型的推理能力和可解释性。

然而,现有模型局限于文本级别的思维链推理,且处理图像的粒度固定,难以根据语义线索动态关注图像中的关键区域。针对上述问题,本文提出UV-CoT(Unsupervised Visual Chain-of-Thought),一种无监督视觉思维链推理新框架

该方法以「关键区域→推理过程」的人类视觉理解方式为参考(如下图所示),设计了无监督的数据生成与偏好优化机制,动态聚焦关键区域,实现细粒度推理,显著提升了模型的空间感知与图文推理能力。

  • 论文标题:Unsupervised Visual Chain-of-Thought Reasoning via Preference Optimization
  • 论文链接:https://arxiv.org/abs/2504.18397
  • 项目地址:https://kesenzhao.github.io/my_project/projects/UV-CoT.html
  • 代码仓库:https://github.com/kesenzhao/UV-CoT
  • 开源模型: https://huggingface.co/papers/2504.18397

背景:有监督训练

需要高昂的人工成本

现有方法采用有监督微调(Supervised Fine-Tuning, SFT)策略训练模型,使用大量有标签的思维链推理数据,由人工标注关键区域及其推理过程。这类方法面临以下挑战:

人工标注成本高,扩展性差:标注关键图像区域和推理路径需要耗费大量人力和时间,尤其在复杂视觉语义理解任务中,难以适应多任务或大规模场景。

训练信号单一,泛化能力有限: SFT 仅利用人工标注的「正样本」(正确区域及回答),忽略其他潜在合理或不合理的区域与推理路径,导致模型在未知场景下的泛化能力不足。

UV-CoT设计了一套自动化的偏好数据生成与评估流程,结合改进的偏好优化算法 Score-DPO(sDPO),在不依赖人工标注的前提下,通过偏好评分排序引导模型实现无监督图像级思维链学习(如下图所示)。

贡献一:无监督偏好数据生成与评估

  • 通过动态生成偏好数据,UV-CoT 减少了对高质量标注数据的依赖,能够在无监督数据条件下实现图像级思维链推理。

贡献二: sDPO 与迭代学习

UV-CoT 使用改进的直接偏好优化(DPO)算法 sDPO,通过引入偏好分数差异优化图像级思维链推理,并采用迭代学习策略动态适应模型输出分布。

sDPO 损失函数如下:

实验亮点

显著性能提升(表 1):在六大基准上,优于有监督的思维链模型 Visual-CoT-7B,远超目标模型 LLaVA-1.5-7B 和其他无思维链模型。

泛化能力强,易于拓展(表 2):在零样本设置下,UV-CoT 平均提升 2.5%,添加额外无标注数据后,平均提升达 5.1%。

胜任高分辨率场景(表 3):在 V* Bench 上,UV-CoT 平均得分 0.402,平均提升 5.5%,尤其在 OCR 任务中提升 8.4%。

不依赖评估模型,边界框生成质量高(表 5):UV-CoT 通过自评估(目标模型作为评估器)表现仍远超目标模型 LLaVA-1.5-7B(+4.8%),接近 12B 模型 OmniLMM-12B(-0.2%)。将 UV-CoT 生成的边界框应用于 OmniLMM-12B 和 LLaVA-1.5-7B 辅助推理,性能分别提升 7.3% 和 4.7%。

偏好数据与思维链推理可视化

结语

UV-CoT 提出了一种创新的无监督视觉思维链推理框架,通过自动化的数据生成与对比评估机制,成功摆脱了对人工标注的依赖,实现了关键图像区域的自动识别与推理优化。该方法为高效、可扩展的多模态推理提供了新思路,为未来无监督视觉理解研究奠定了坚实基础。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一战封神的“海康三剑客”,要IPO了

一战封神的“海康三剑客”,要IPO了

投资家
2026-11-18 22:03:48
俄已解除禁杀令,允许暗杀泽连斯基?特朗普坦言:普京已经让步了

俄已解除禁杀令,允许暗杀泽连斯基?特朗普坦言:普京已经让步了

国际法大视野
2026-11-17 15:18:04
WTT香港总决赛名单刚公布,难堪一幕发生,樊振东当初的话没说错

WTT香港总决赛名单刚公布,难堪一幕发生,樊振东当初的话没说错

小小小白看世界
2026-11-18 20:45:27
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
有没有肠息肉,吃饭知道?医生:肠道有息肉的人,吃饭常有5异常

有没有肠息肉,吃饭知道?医生:肠道有息肉的人,吃饭常有5异常

芹姐说生活
2026-07-07 23:44:51
在重庆人眼中,华西医学院是什么地位?

在重庆人眼中,华西医学院是什么地位?

健身狂人
2026-11-16 15:46:12
大家今年都“穷”到什么程度了?网友评论区堪比大型“比惨”现场

大家今年都“穷”到什么程度了?网友评论区堪比大型“比惨”现场

夜深爱杂谈
2026-10-20 20:22:43
实锤了!香港“钻石王老五”古天乐秘婚!

实锤了!香港“钻石王老五”古天乐秘婚!

港港地
2026-11-17 10:06:37
都说航母是名副其实的吞金兽,到底夸张到什么地步?拿山东舰的日常伙食举例:每天光猪肉就得备上约 24 头,三千多名官兵一天要开 7 顿饭

都说航母是名副其实的吞金兽,到底夸张到什么地步?拿山东舰的日常伙食举例:每天光猪肉就得备上约 24 头,三千多名官兵一天要开 7 顿饭

扶苏聊历史
2026-11-04 11:02:53
日本政府做梦都没想到!俄方这轮不争岛了,直接询问日本认不认账

日本政府做梦都没想到!俄方这轮不争岛了,直接询问日本认不认账

顾史
2026-08-26 08:35:45
前R星开发者:特雷弗牛仔裤上的血迹,我打赌没人发现

前R星开发者:特雷弗牛仔裤上的血迹,我打赌没人发现

晚星归航2
2026-11-17 23:24:17
上层作孽,害死好人

上层作孽,害死好人

我是历史其实挺有趣
2025-08-02 08:59:00
自取其辱!高市早苗摇头晃脑,抛媚眼后丑态百出,马科斯无动于衷

自取其辱!高市早苗摇头晃脑,抛媚眼后丑态百出,马科斯无动于衷

花颜蕴韵
2026-11-18 19:56:56
苹果自家App Store终于适配iPhone Duo,铰链屏裂事件又有新进展

苹果自家App Store终于适配iPhone Duo,铰链屏裂事件又有新进展

科技兽
2026-11-18 22:34:05
全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

小鹿姐姐情感说
2026-11-18 03:24:23
这是男子品尝水果前的最后一个微笑,几秒后便痛不欲生

这是男子品尝水果前的最后一个微笑,几秒后便痛不欲生

万物杂志
2026-11-17 07:08:13
时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

古书奇谈
2026-11-17 10:23:42
又一国宣布:加息!金价,重挫!

又一国宣布:加息!金价,重挫!

证券时报
2026-11-18 17:28:04
美军证实第三艘航母已抵达中东,伊朗:若美国不接受伊条件霍尔木兹海峡将继续关闭,即便接受条件,外国军队在波斯湾的存在也必须终结

美军证实第三艘航母已抵达中东,伊朗:若美国不接受伊条件霍尔木兹海峡将继续关闭,即便接受条件,外国军队在波斯湾的存在也必须终结

每日经济新闻
2026-11-17 21:10:14
中国已经成为全球第一个集体拒接电话的国家

中国已经成为全球第一个集体拒接电话的国家

黯泉
2026-06-26 10:44:35
2026-11-19 01:16:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
教育
手机
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版