网易首页 > 网易号 > 正文 申请入驻

最新论文 | SRMF: 浙大团队提出面向长尾UHR遥感语义分割的数据增强与多模态融合方法

0
分享至

文章来源:遥感与深度学习。

RS DL

题目:SRMF: A Data Augmentation and Multimodal Fusion Approach for Long-Tail UHR Satellite Image Segmentation

论文:https://arxiv.org/abs/2504.19839

代码与模型:https://github.com/BinSpa/SRMF

年份:2025

作者:Yulong Guo (共一), Zilun Zhang (共一), Yongheng Shang, Tiancheng Zhao, Shuiguang Deng, Yingchun Yang, Jianwei Yin

单位:浙江大学

原作者审阅认证

摘要

超高分辨率(UHR)遥感图像的语义分割在实际应用中常面临显著长尾分布:城市/农田等“头部”类别像素极多,而车站/公园/温室等“尾部”类别样本稀缺,导致模型对少数类识别不稳。SRMF提出从“数据-模型”双端出发:一方面以多尺度锚定区域采样(MSAR)替代常见的随机/中心裁剪,显著丰富单次训练样本的空间语境;另一方面以语义重排序与重采样(SRR-TA)在批内平衡类别,并首次在无需逐图文本标注的前提下引入遥感领域VLM文本先验进行像素级文本-视觉融合,缓解类内差异大、类间差异小带来的混淆。

(FBP数据集像素分布示例图)

创新点

  • MSAR(Multi-Scale Anchored Region Sampling):多尺度锚定区域采样,兼顾局部细节与更大环境语境,避免多尺度中心裁剪的样本重复与局部特化。

  • SRR-TA(Semantic Reranking & Resampling for Training Augmentation):基于SAM-HQ预分割得到的区域,按“主类别+类别丰富度”排序,优先采样尾部类,实现批内类别平衡。

  • 通用表征知识注入:汇总遥感常见地物类目,利用GeoRSCLIP等领域VLM提取文本特征,与视觉特征做余弦相似度融合,增强尾部类区分度且不依赖逐图文本标注。

(SRMF整体架构)

方法架构

1 MSAR:多尺度锚定区域采样

先从原图随机裁出锚定区域(h×w),再在2/3/4倍尺度窗口中搜集包含该锚区的候选块,随机采样后缩放回(h×w)并与锚区拼接成训练图。该策略提升锚区的“出现位置多样性”和“上下文多样性”,在不改变图像标签体系的条件下增广场景语境。

(MSAR架构)

2 SRR-TA:语义重排序与重采样

在每张UHR图像上用SAM-HQ生成多尺度掩膜与边界框,计算“主类别”“类别丰富度”,对区域打分排序,训练时优先抽取尾部类区域并保留地面采样距离(GSD)的一致性,形成兼顾上下文与少数类的批数据。

(在FBP数据集上生成的boxes示例)

3 文本-视觉融合(通用表征知识注入)

将K个遥感地物文本描述经领域VLM的文本编码器得到Rt(K×d),将视觉主干输出Ri(h×w×c)经线性映射到d维并与Rt计算像素级余弦相似度,把得到的相似度图与Ri拼接后送入解码器进行像素分类。该像素级注入把“类语义中心”灌注到每个位置,适合尾部类特征聚合。

实验与结果

  • 数据集:URUR(7前景类)、GID(5类)、FBP(24前景类),均为UHR遥感分割常用基准。

  • 指标:mIoU;整图采用滑窗(512×512,stride 341)预测并还原。

  • 总体效果:在URUR/GID/FBP上相较强基线稳定提升,并对“少数类”如barren land、pond、railway station等显著降低混淆。

  • 消融:MSAR优于随机/中心多尺度裁剪;保持GSD在尾部类采样中尤为关键;仅使用文本先验即可带来稳定增益,简单线性映射即可对齐多模态特征。

(主实验)

(消融实验)

设计抉择与经验

  • 为何MSAR有效?——在固定输入大小下扩大地面覆盖范围,引入更丰富的跨类邻接关系,有助于学习可分判的上下文。

  • 为何要保持GSD?——有助于尾部类在更广空间内被抽样到;破坏GSD会使极少类样本进一步稀释。

  • 为何文本先验优于“生成图像先验”?——文本语义更具泛化与压缩性;合成航拍视觉与卫星视角存在域差异,难以提供稳定增益。

开源与复现

  • 代码: https://github.com/BinSpa/SRMF (含训练与推理脚本)

  • 建议流程:先进行SAM-HQ批量掩膜预提取→构建SRR-TA优先队列→按MSAR策略生成训练批→注入文本先验→标准分割训练与滑窗推理。

引用

@article{Guo2025SRMF,

title={SRMF: A Data Augmentation and Multimodal Fusion Approach for Long-Tail UHR Satellite Image Segmentation},

author={Guo, Yulong and Zhang, Zilun and Shang, Yongheng and Zhao, Tiancheng and Deng, Shuiguang and Yang, Yingchun and Yin, Jianwei},

journal={arXiv preprint arXiv:2504.19839},

year={2025}

结语

SRMF以简洁、可落地的数据采样与多模态注入方案,有效缓解UHR遥感分割中的长尾难题并提升尾部类表现。欢迎关注项目仓库获取代码与数据,亦欢迎学术引用与合作交流。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

侧身凌空斩
2026-11-22 06:10:24
一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

怪味历史连连看
2026-09-08 01:55:32
【德甲】拜仁高层频频向穆西亚拉施压,世界职业球员协会实在看不下去了

【德甲】拜仁高层频频向穆西亚拉施压,世界职业球员协会实在看不下去了

体坛周报
2026-11-22 12:07:12
曝波切蒂诺曼联6人清洗名单!欲彻底推倒重建,B费马奎尔拉什福德全卖掉

曝波切蒂诺曼联6人清洗名单!欲彻底推倒重建,B费马奎尔拉什福德全卖掉

罗米的曼联博客
2026-11-22 11:46:44
52万“内推”南洋理工,中介私造假伯克利成绩单:女儿入学3个月被退学,退费≠免责

52万“内推”南洋理工,中介私造假伯克利成绩单:女儿入学3个月被退学,退费≠免责

青科新闻
2026-11-21 16:15:13
“别抱侥幸心理了,科技股投资者”!摩根大通劝退科技股:“还有很多人没卖”

“别抱侥幸心理了,科技股投资者”!摩根大通劝退科技股:“还有很多人没卖”

华尔街见闻官方
2026-11-22 12:14:16
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
金价跌破760元/克:有人花85万元一次入手11根金条,有人高位囤金“扛着”

金价跌破760元/克:有人花85万元一次入手11根金条,有人高位囤金“扛着”

民生故事会
2026-11-21 14:11:17
37岁张檬广州遛娃引热议!双保姆随行太惬意,产后状态太真实

37岁张檬广州遛娃引热议!双保姆随行太惬意,产后状态太真实

揭秘世间万象
2026-11-21 09:33:45
张雪骑摩托刚出P房就摔倒 师傅牙哥“技术不行 纯瘾大”的含金量还在上升

张雪骑摩托刚出P房就摔倒 师傅牙哥“技术不行 纯瘾大”的含金量还在上升

快科技
2026-11-22 08:56:13
中餐为啥不能把白酒推向全世界 ?评论区引发万千共鸣!都太敢说了

中餐为啥不能把白酒推向全世界 ?评论区引发万千共鸣!都太敢说了

另子维爱读史
2026-11-19 20:42:09
天冷,也阻挡不了我穿丝袜的热情

天冷,也阻挡不了我穿丝袜的热情

疾跑的小蜗牛
2026-11-21 20:44:46
泽连斯基给出“简单方案”,想阻止俄罗斯,先停止与俄贸易

泽连斯基给出“简单方案”,想阻止俄罗斯,先停止与俄贸易

无情有思ss
2026-11-22 12:49:27
这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

历史伟人录
2025-05-08 10:08:01
惊人预言:中国有一半的人口将塞进这几个地方,房产可能翻番

惊人预言:中国有一半的人口将塞进这几个地方,房产可能翻番

专业聊房君
2026-11-18 19:51:29
我卖掉北京房子住进儿子家,儿媳以为我睡着,跟儿子说:500万到账了

我卖掉北京房子住进儿子家,儿媳以为我睡着,跟儿子说:500万到账了

麦子情感故事
2026-11-22 10:35:40
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
精壮身材、高冷气场!7位当兵后更有魅力的韩星!

精壮身材、高冷气场!7位当兵后更有魅力的韩星!

ChicMyGeek
2026-11-22 11:08:10
黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

3DM游戏
2026-11-22 10:42:38
争议?皇马1.3亿巨星点赞切尔西1-4惨败!嘲讽阿隆索+时隔1年仍记仇

争议?皇马1.3亿巨星点赞切尔西1-4惨败!嘲讽阿隆索+时隔1年仍记仇

我爱英超
2026-11-22 07:20:17
2026-11-22 14:32:49
算法与数学之美 incentive-icons
算法与数学之美
分享知识,交流思想
5938文章数 64670关注度
往期回顾 全部

教育要闻

2026年留学趋势复盘:国内教育与国际教育生源争夺战升级

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
亲子
本地
公开课
军事航空

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版