网易首页 > 网易号 > 正文 申请入驻

告别全量扫描!浙大提出COIDO:破解多模态数据选择「高耗」难题

0
分享至

本文第一作者是二年级博士生闫熠辰,主要研究方向是多模态大模型的数据质量管理;通讯作者是李环研究员,主要研究方向包括人工智能数据准备、大模型高效推理与部署、时空大数据与模型轻量化等。

01 省流版:一张图看懂 COIDO

在深入技术细节之前,我们先用一张漫画来直观理解 COIDO (Coupled Importance-Diversity Optimization) 解决的核心问题与方案:

正如钟离在漫画中所言,面对海量视觉指令数据的选择任务,传统方法需要遍历全部数据才能进行筛选造成大量「磨损」(高昂计算成本)。同时在面对数据重要性和多样性问题时,传统方法往往顾此失彼。而 COIDO 通过「耦合优化」的新契约,实现了以简驭繁的效果。

02 论文速览

  • 论文题目:COIDO: Efficient Data Selection for Visual Instruction Tuning via Coupled Importance-Diversity Optimization
  • 收录会议:NeurIPS 2025
  • 作者单位:浙江大学大数据智能团队、杭州电子科技大学、北京邮电大学
  • 项目代码:https://github.com/SuDIS-ZJU/COIDO
  • 论文链接:https://arxiv.org/abs/2510.17847

03 研究背景与动机 (Motivation)

多模态大语言模型(MLLM)的能力在很大程度上依赖于高质量的视觉指令微调(Visual Instruction Tuning)。然而,随着数据集规模的爆炸式增长(如 LLaVA-665K),在全量数据上进行微调带来了巨大的计算开销和冗余 。

现有的数据筛选方法虽然旨在选取高质量子集,但普遍存在两个关键痛点:

  • 高昂的筛选成本:现有方法通常要求目标 MLLM 对全量数据进行反向传播以计算重要性(如梯度、Loss),这导致筛选阶段本身的计算成本就极高,违背了 「降本增效」的初衷 。也就是说,为了筛选出少量有价值数据,我们还是得让全部的数据进入到目标 MLLM 当中并训练。
  • 优化目标的解耦:数据筛选通常需要兼顾重要性(Importance)和多样性(Diversity)。现有方法往往将二者割裂处理——在训练阶段关注重要性,在筛选阶段通过独立算法处理多样性。这种解耦往往导致次优的权衡 。

针对上述问题,本文提出了 COIDO 框架,旨在通过极低成本的训练,实现重要性与多样性的联合(耦合)优化 。

04 方法论 (Mothodology)

COIDO 的核心思想是摒弃「遍历全量数据」的旧范式,转而采用轻量级评分器(Plug-in Scorer)配合小样本采样的策略。

1. 轻量级评分器与小样本学习:不同于需要全量微调 MLLM 的方法,COIDO 引入了一个轻量级的插件评分器(COIDO Scorer)。我们仅从全量数据中随机采样一小部分(例如 20%)作为训练集。评分器通过这部分数据学习整个数据集的分布特征,从而能够对剩余数据进行泛化评分,无需遍历全集进行训练 。

2. 重要性与多样性的耦合优化 (Coupled Optimization):这是本论文的核心创新点。本文将重要性和多样性的优化统一在了一个联合训练框架中,而非分阶段进行:

重要性损失 (L_I):基于 Cross-Entropy Loss 的重加权。我们将评分器输出的得分 w 加权作用于 MLLM 的预测 Loss。根据反向传播原理,模型会自动降低高难度(高 Loss)样本的权重以最小化整体 Loss,从而使得评分器隐式地学习到样本的重要性(即:分数越低,样本越重要 / 越难)
多样性损失 (L_D):基于谱聚类(Spectral Clustering)的方差最小化。我们在特征空间将数据聚类,并计算各簇(Cluster)平均得分的方差。通过最小化该方差,迫使模型在挑选高分样本时,不会过度集中于某一类,从而保证了数据的多样性分布。

05 实验 (Experiments)

本文在 LLaVA-1.5-7B 模型及 LLaVA-665K 数据集上进行了广泛验证,并在 10 个主流多模态基准(包括 VQAv2, GQA, MMBench 等)上进行了测试。

1. 性能与效率的双重 SOTA:实验结果表明,COIDO 仅利用 20% 的数据进行训练和筛选,即可达到全量数据微调 98.2% 的平均性能。与现有的 SOTA 方法(如 ICONS、TIVE、COINCIDE)相比:

  • 计算效率最高:COIDO 拥有最低的 Total FLOPs (4.2E),显著优于需要全量遍历的方法。
  • 筛选质量最优:在相同的数据留存率下,COIDO 在各个 Benchmark 上均取得了极具竞争力的结果。

2. 强大的泛化性与迁移性:将在 LLaVA-665K 上训练好的 COIDO Scorer 直接应用于 Vision-Flan 数据集(Zero-shot Transfer),其表现甚至优于在该数据集上从头训练的评分器,证明了 COIDO 能够学习到通用的数据价值评估标准。

06 总结 (Conclusion)

COIDO 提供了一种全新的多模态数据筛选范式。它打破了「数据筛选必须昂贵」的刻板印象,证明了通过耦合优化和小样本学习,我们可以「以简驭繁」,用极小的计算代价精准定位高价值的视觉指令数据。这不仅为资源受限的研究者提供了高效微调 MLLM 的可能,也为未来大规模多模态数据的自动化清洗与治理提供了新的思路。

关注项目主页获取更多细节与代码实现!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
台北101点灯,力挺黄仁勋

台北101点灯,力挺黄仁勋

芯智讯
2026-11-17 12:23:23
46岁泰国王后苏提达真实颜值曝光,失去滤镜肤色黄,手臂还有淤青

46岁泰国王后苏提达真实颜值曝光,失去滤镜肤色黄,手臂还有淤青

笑傲春秋
2025-03-24 21:04:51
三家新能源车企纷纷倒下,这不是价格战,是蓄谋已久的资本大逃杀

三家新能源车企纷纷倒下,这不是价格战,是蓄谋已久的资本大逃杀

流苏晚晴
2026-09-01 18:39:03
普京和特朗普都已放话,只要人来了深圳,绝对不会错过金正恩

普京和特朗普都已放话,只要人来了深圳,绝对不会错过金正恩

娱乐的宅急便
2026-11-18 11:57:03
详解黄仁勋首份声明:他愿再任CEO,但董事会慌了

详解黄仁勋首份声明:他愿再任CEO,但董事会慌了

木蹊说
2026-11-18 11:14:37
发生在医院里的八卦有多炸裂?网友:我来总结,医院里的主任是最多情的

发生在医院里的八卦有多炸裂?网友:我来总结,医院里的主任是最多情的

带你感受人间冷暖
2026-11-07 00:05:26
普京表示:俄罗斯不能接受外国军队在乌克兰驻扎 部署在乌克兰境内的外国军队将成为俄军的合法打击目标

普京表示:俄罗斯不能接受外国军队在乌克兰驻扎 部署在乌克兰境内的外国军队将成为俄军的合法打击目标

每日经济新闻
2026-11-13 15:34:27
2009年,西安女学霸毛苒替黑人男友运毒被判死刑,审讯时死活不供他,行刑前24小时录像里只对父母说对不起

2009年,西安女学霸毛苒替黑人男友运毒被判死刑,审讯时死活不供他,行刑前24小时录像里只对父母说对不起

唠叨说历史
2026-11-17 10:14:48
塔斯社被踢出欧洲新闻联盟!

塔斯社被踢出欧洲新闻联盟!

胖胖说他不胖
2026-11-18 10:00:39
“浑身都是放纵的痕迹!”母亲晒儿子大学三年变化,连面相都变了,家长认为责任在学校,网友们痛斥

“浑身都是放纵的痕迹!”母亲晒儿子大学三年变化,连面相都变了,家长认为责任在学校,网友们痛斥

蝴蝶花雨话教育
2026-10-20 00:05:15
投资110亿!北京首座万象城 主塔楼成功封顶!

投资110亿!北京首座万象城 主塔楼成功封顶!

童童聊娱乐啊
2026-11-18 06:21:29
钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

墨策讲历史
2026-11-04 22:47:01
中国正在失控的商铺空置潮持续蔓延,怎么破解

中国正在失控的商铺空置潮持续蔓延,怎么破解

律法刑道
2026-11-12 09:49:42
援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

麓谷隐士
2026-11-17 00:05:10
皇马回购条款从900万涨到8000万,尼科·帕斯为何不愿回归?

皇马回购条款从900万涨到8000万,尼科·帕斯为何不愿回归?

看尽人间百态
2026-11-18 14:00:07
舆论反转!送货司机不慎碾死校内鸭子,张贴道歉信仍丢工作,广西一高校做法,引发轩然大波

舆论反转!送货司机不慎碾死校内鸭子,张贴道歉信仍丢工作,广西一高校做法,引发轩然大波

火山詩话
2026-11-18 08:08:06
再三告诫:最伤性生活的行为,不是喝酒!而是频繁的去做这5件事

再三告诫:最伤性生活的行为,不是喝酒!而是频繁的去做这5件事

牛锅巴小钒
2026-11-16 02:14:24
网传男子相亲,女方却想要结婚化债,这哪是结婚?这是抄家啊!

网传男子相亲,女方却想要结婚化债,这哪是结婚?这是抄家啊!

笔尖下的人生
2025-07-25 17:41:08
28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

王老师你还好吗
2026-11-11 21:45:48
星链被替换,乌克兰使用HiSKY终端打击俄罗斯,马斯克或失去更多

星链被替换,乌克兰使用HiSKY终端打击俄罗斯,马斯克或失去更多

山河路口
2026-11-16 14:24:17
2026-11-18 14:20:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14504文章数 142760关注度
往期回顾 全部

科技要闻

OPPO Reno17:手机背后竟然藏了只“喵”?

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
艺术
游戏
家居
房产

亲子要闻

为什么说养小男孩儿要比养小女孩儿难得多 #冷知识

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

PS敦促玩家必须更新PS5!不然不让你玩《GTA6》

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

雅居乐海南,又要卖地了!

无障碍浏览 进入关怀版