网易首页 > 网易号 > 正文 申请入驻

X-SAM:统一图像分割多模态大模型,20+图像分割数据集上均达SoTA

0
分享至

本研究由中山大学、鹏城实验室、美团联合完成,第一作者王豪为中山大学博士研究生,主要研究方向为图像和视频分割、开放场景视觉感知、多模态大模型等。论文共同通讯作者为梁小丹教授和蓝湘源副研究员。

背景与动机

Segment Anything Model (SAM) 作为基础分割模型在密集分割掩码生成方面表现卓越,但其依赖视觉提示的单一输入模式限制了在广泛图像分割任务中的适用性。多模态大语言模型(MLLMs)虽在图像描述、视觉问答等任务中表现出色,但输出局限于文本生成,无法直接处理像素级视觉任务,这一根本性限制阻碍了通用化模型的发展。

中山大学、鹏城实验室、美团联合提出X-SAM—— 一个统一的图像分割多模态大模型,将分割范式从 「分割万物」扩展到 「任意分割」。X-SAM 引入了统一框架,使 MLLMs 具备高级像素级感知理解能力。研究团队提出了视觉定位分割(Visual Grounded Segmentation, VGS)新任务,通过交互式视觉提示分割所有实例对象,赋予 MLLMs 视觉定位的像素级理解能力。为支持多样化数据源的有效训练,X-SAM 采用统一训练策略,支持跨数据集联合训练。实验结果显示,X-SAM 在广泛的图像分割基准测试中达到最先进性能,充分展现了其在多模态像素级视觉理解方面的优越性。

  • 论文地址:https://arxiv.org/pdf/2508.04655
  • 代码地址:https://github.com/wanghao9610/X-SAM
  • Demo地址: http://47.115.200.157:7861

方法设计

X-SAM 设计了通用输入格式和统一输出表示:

1)文本查询输入(Text Query)

  • 适用于通用分割、开放词汇分割、指代分割、GCG 分割、推理分割
  • 采用特殊短语标记 < p > 和 标注类别 / 短语 / 句子
  • 格式化为:""
  • category/phrase/sentence

2)视觉查询输入(Vision Query)

  • 适用于交互式分割和 VGD 分割任务
  • 支持点、涂鸦、边界框、掩码等多种视觉提示形式
  • 使用专用标记 < region > 表示视觉提示
  • 格式化为:""

3)统一输出表示

  • 引入特殊标记 < SEG > 表示分割结果
  • 标记间的潜在语言嵌入作为分割解码器的条件嵌入

X-SAM 采用端到端的统一分割 MLLM 架构,包含以下核心组件:

1)双编码器设计(Dual Encoders)

  • 图像编码器:采用 SigLIP2-so400m 提取全局图像特征,提升图像理解能力。
  • 分割编码器:采用 SAM-L 提取细粒度图像特征,提升图像分割效果。

2)双映射器架构(Dual Projectors)

为增强 LLM 的图像理解能力,X-SAM 采用特征融合策略。

  • 分割特征投影:利用像素重排(pixel-shuffle)操作减少空间尺寸,通过 MLP 投影到语言嵌入空间
  • 图像特征投影:直接通过 MLP 投影与分割特征连接后输入 LLM

3)分割连接器(Segmentation Connector)

针对图像分割任务对细粒度多尺度特征的需求,设计了分割连接器,为分割解码器提供丰富的多尺度信息。

  • 下采样路径:通过 0.5 倍像素重排生成 1/32 尺度特征;
  • 上采样路径:通过 2.0 倍像素重排生成 1/8 尺度特征;
  • 原始特征:保持 1/16 尺度特征。

4)统一分割解码器(Segmentation Decoder)

替换 SAM 原始解码器,采用 Mask2Former 解码器架构。

  • 模块优势:支持单次分割所有对象,克服 SAM 单对象分割限制。
  • 模块特点:引入潜在背景嵌入表示所有任务的 "忽略" 类别,实现一个解码器适配所有分割任务。

X-SAM 采用三阶段渐进式训练策略来优化多样化图像分割任务的性能:

1)第一阶段:分割器微调(Segmentor Fine-tuning)

2)第二阶段:对齐预训练(Alignment Pre-training)

3)第三阶段:混合微调(Mixed Fine-tuning)

针对训练数据集规模差异(0.2K 到 665K 样本),X-SAM 采用数据集平衡重采样策略:

其中 t 为控制过采样比例的超参数,f_d 为数据集 d 的频率。在混合训练过程中,根据 r_d 对数据集 d 进行重采样,改善在少样本数据集上的性能。

实验结果

综合性能指标

X-SAM 在超过 20 个分割数据集上进行了全面评估,涵盖 7 种不同的图像分割任务,实现了全任务最优性能。

部分关键任务性能指标

指代分割任务:

对话生成分割任务:

视觉定位分割任务:

图文理解任务:

可视化结果展示

总结与展望

X-SAM 作为首个真正统一的分割多模态大语言模型,成功实现了从「segment anything」到「any segmentation」的重要跨越。通过创新的 VGD 分割任务、统一架构设计和渐进式训练策略,X-SAM 在保持各项任务竞争性能的同时,实现了更广泛的任务覆盖范围,为图像分割研究开辟了新方向,并为构建通用视觉理解系统奠定了重要基础。未来研究方向可以聚焦于视频领域的扩展。一是与 SAM2 集成实现图像和视频的统一分割,进一步扩展应用范围;二是将 VGD 分割扩展到视频中,引入视频中的时序信息,构建创新的视频分割任务,为视频理解技术发展提供新的可能性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
宋喆出狱3年县城搬菜日结50块,前妻仓库2000平年营业额1200万,网友吵翻:谁更清醒

宋喆出狱3年县城搬菜日结50块,前妻仓库2000平年营业额1200万,网友吵翻:谁更清醒

迪迪的娱乐故事
2026-11-07 08:36:34
老话说,人身上有三处福相:第一,耳垂肥厚;第二,中年醒悟

老话说,人身上有三处福相:第一,耳垂肥厚;第二,中年醒悟

智慧生活笔记
2026-11-18 00:41:40
韩国教授坦言:放眼全球,唯独韩国瞧不起中国;而在中国人眼里,压根没有韩国的位置

韩国教授坦言:放眼全球,唯独韩国瞧不起中国;而在中国人眼里,压根没有韩国的位置

z千年历史老号
2026-10-08 17:02:34
0-3惨败!女单爆大冷!就在刚刚,WTT球星赛战报:日乒主力连斩国乒小将,国乒2胜5负,1项提前无冠,全网揪心

0-3惨败!女单爆大冷!就在刚刚,WTT球星赛战报:日乒主力连斩国乒小将,国乒2胜5负,1项提前无冠,全网揪心

体育闲话说
2026-11-19 14:35:13
港股联想集团午后跳水

港股联想集团午后跳水

每日经济新闻
2026-11-19 13:15:34
利好突袭!刚刚,全线拉升!史上最大IPO定了

利好突袭!刚刚,全线拉升!史上最大IPO定了

证券时报
2026-11-19 09:45:34
2027届高考生:我国性价比极高的3所大学,500多分就能上,毕业就业碾压211!明年高考别错过

2027届高考生:我国性价比极高的3所大学,500多分就能上,毕业就业碾压211!明年高考别错过

高三倒计时
2026-11-19 18:35:58
有没有人留意到?燃油车加 200 块钱的油,差不多能跑 400 公里,而纯电车花 200 元电费,或许能跑 2000 公里

有没有人留意到?燃油车加 200 块钱的油,差不多能跑 400 公里,而纯电车花 200 元电费,或许能跑 2000 公里

扶苏聊历史
2026-09-28 18:26:28
裴淳华接受中国日报专访坦言:我想在中国安度晚年!理由不是钱也不是事业,而是这么简单的小事情

裴淳华接受中国日报专访坦言:我想在中国安度晚年!理由不是钱也不是事业,而是这么简单的小事情

一盅情怀
2026-10-16 18:49:16
2026年低价卖房的人,可能要哭,中央一纸定调,明年楼市或迎反弹

2026年低价卖房的人,可能要哭,中央一纸定调,明年楼市或迎反弹

细说职场
2026-11-19 16:51:21
我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

背包旅行
2026-11-17 21:26:39
央国企加速清退劳务派遣!2026年底前必须整改完,千万人受影响

央国企加速清退劳务派遣!2026年底前必须整改完,千万人受影响

职场资深秘书
2026-11-19 18:38:10
美特斯拉Model Y不涨价续航涨8.5%,配置小调

美特斯拉Model Y不涨价续航涨8.5%,配置小调

凡兮说
2026-11-19 17:58:21
俄罗斯要求北约撤走东欧驻军,波兰嘲讽:俄1100万人家里没有厕所

俄罗斯要求北约撤走东欧驻军,波兰嘲讽:俄1100万人家里没有厕所

桂系007
2026-11-16 15:31:51
特朗普据悉考虑暂缓对伊朗军事打击

特朗普据悉考虑暂缓对伊朗军事打击

财联社
2026-11-14 19:43:33
颠覆认知!超150万人证实:打牌、麻将久坐,反而有益健康

颠覆认知!超150万人证实:打牌、麻将久坐,反而有益健康

华人星光
2026-10-20 13:15:05
不是阿尔瓦雷斯!巴萨错失世界级神锋!实力碾压阿根廷巨星

不是阿尔瓦雷斯!巴萨错失世界级神锋!实力碾压阿根廷巨星

奶盖熊本熊
2026-11-19 08:59:30
被传国家队劝退、与陈芋汐不和早有真相?官媒发文,曝全红婵现状

被传国家队劝退、与陈芋汐不和早有真相?官媒发文,曝全红婵现状

秋枫凋零
2026-11-19 19:03:27
蒙古国首都,居然没有任何“中国”元素,反而都是“日韩”文化?

蒙古国首都,居然没有任何“中国”元素,反而都是“日韩”文化?

谢葅解说
2026-11-17 23:20:08
属龙人:11月19日后,你的"安稳日子"要暂时中断

属龙人:11月19日后,你的"安稳日子"要暂时中断

刺头体育
2026-11-19 07:43:56
2026-11-19 19:47:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
艺术
亲子
家居
教育

房产要闻

6.6亿!海口卖地!

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

亲子要闻

宝宝气人但是聪明的4个行为

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

无障碍浏览 进入关怀版