网易首页 > 网易号 > 正文 申请入驻

综述238篇遥感微调!清华院士团队指出9大方向 | CVMJ

0
分享至

新智元报道

编辑:LRST

【新智元导读】在大数据和大模型推动下,微调技术凭借成本低、效率高优势,成为应对小样本、长尾目标等复杂场景的利器。从早期全参数微调到参数高效微调(PEFT),再到如今融合多种PEFT技术的混合微调,遥感微调技术不断进化。清华大学等团队在CVMJ期刊上系统梳理了技术脉络,并指出了九个潜在研究方向,助力遥感技术在农业监测、天气预报等关键领域发挥更大作用。

近年来,在大数据与大模型的共同驱动下,遥感图像解译的热点正从模型结构设计转向「基础模型 + 微调」的新范式。

在丰富且复杂的任务场景中,依托预训练的通用表征作为基础,通过任务化适配,可以实现更强的迁移能力和应用效果。

面对土地调查、农业监测、天气预报、海洋导航等关键应用领域所面临的「小样本、长尾目标、算力受限」的现实挑战,微调技术以其独特的优势,在更低的数据和资源成本投入下,取得更好的任务性能和更高的部署效率。

图1 基础模型、微调技术在遥感下游任务适配过程中的作用

顺应这一趋势,遥感微调技术经历了清晰的范式演进:早期主要采用全参数微调,通过解冻并更新大部分参数来实现跨任务迁移;

随后进入参数高效微调(PEFT)阶段,适配器、提示、重参数化等方法在卫星和航拍等遥感场景中迅速应用;近年来,逐步迈向「混合范式」,通过统一框架融合多种PEFT技术,兼顾多模态与多任务的一体化适配及可扩展性。

由此,形成了从「全参数 → PEFT → 融合微调」的技术主线,为工程实践提供了更加灵活的选择空间。

图2 代表性遥感微调技术的发展时间线

在此背景下,清华大学胡事民院士团队联合南开大学范登平教授团队、湖南大学李树涛教授、武汉大学杜博教授和中科院孙显研究员,在CVMJ期刊(当前影响因子18.3)发布遥感模型微调技术综述,系统梳理从传统微调到参数高效微调再到混合微调范式的技术脉络,并结合技术发展现状总结出多个潜在研究方向。

论文链接:https://ieeexplore.ieee.org/document/11119145

论文仓库:https://github.com/DongshuoYin/Remote-Sensing-Tuning-A-Survey

该综述以微调技术类型为线索,系统性地梳理了从早期的全微调方法到近年来兴起的参数高效微调方法在遥感领域的应用与发展历程。

内容不仅囊括了适配器微调(Adapter Tuning)、提示微调(Prompt Tuning)、低秩适应(LoRA)等主流的PEFT范式,还深入剖析了各类论文如何将这些技术与遥感图像的独特特性相结合,从而有效提升模型在分类、检测、分割等典型任务中的性能表现。

该论文的第一作者为清华大学博士后殷东硕,第二作者为南开大学赵廷枫同学。

方法体系

遥感微调技术全景梳理

遥感基础模型微调技术旨在高效地将大规模预训练的基础模型迁移至具体下游任务中,主要可分为六种范式。

图3 几种代表性的参数高效微调范式

适配器微调(Adapter Tuning)通过在预训练模型的骨干网络中插入轻量级、可学习的模块,在冻结大部分原始参数的同时,仅训练这些新增适配器以适应新任务。

提示微调(Prompt Tuning)则通过学习可优化的「提示」(Prompt)向量,将这些向量与输入数据拼接,引导冻结的模型产生期望输出,从而改变模型行为。

重参数化微调(Reparameterized Tuning)的核心思想是对模型权重的更新量进行低秩分解等参数化处理,例如流行的LoRA方法,通过学习两个低秩矩阵的乘积来模拟权重变化,大幅减少可训练参数。

混合微调(Hybrid Tuning)结合上述两种或多种范式,例如同时使用适配器微调技术和提示微调技术,以期获得更优的性能和灵活性。

部分微调(Partial Tuning)采用更直接的策略,仅解冻并微调预训练模型中的一部分原有参数,如最后几层的权重、偏置或归一化层参数。

改进型微调(Improved Tuning)对传统全微调技术进行优化,通过设计新的训练策略或损失函数来提升效率或性能。这些技术共同构成了当前遥感领域参数高效微调的主要方法体系。

图4 现有遥感微调技术概览

在具体应用中,代表性工作成功地将通用微调范式与遥感任务的特殊性进行了深度融合。

在适配器微调方面,AiRs专门设计了空间上下文适配器(SCA)和语义响应适配器(SRA),以更高效地处理遥感图像中的空间和语义信息;

SCD-SAM则通过语义适配器优化输入处理、重构重叠的图像块嵌入,并集成多尺度语义特征,显著提升了变化检测的性能。

在提示微调方面,RSPrompter提出了一种链式思维(Chain-of-Thought)提示方法,通过设计多步推理提示(例如,先判断目标存在性再进行分割),引导模型深入理解遥感图像中复杂的上下文关系。

在重参数化微调方面,LoRA-NIR专门针对近红外波段的遥感影像进行适配,而Xue等人将LoRA应用于SAM,成功将SAM强大的分割能力迁移到道路、水体等特定遥感地物的提取任务中。

混合微调方法如Upetu旨在整合多种高效的参数微调技术,而MSF-SAM则结合了适配器微调技术和LoRA微调技术,以期更全面地适应遥感任务的需求。

此外,部分研究通过优化训练策略来提升性能,例如,Ren等人在两阶段微调中引入度量判别损失和知识蒸馏,有效应对小样本场景下的灾难性遗忘问题。

数据集:遥感微调数据集整理

表1 遥感微调技术涉及到的数据集汇总

该综述系统性地梳理并整合了当前用于模型微调的主流遥感数据集,覆盖了光学、SAR、高光谱、点云以及文本-图像多模态等多种传感器类型,全面涉及去雾、变化检测、语义分割、目标检测、图像描述等任务。

表1数据集概览为遥感模型微调技术研究者快速定位适配数据、设计下游应用提供了高效的指引。

挑战与未来方向


  1. 高效小样本微调:针对标注数据较少的遥感目标(如野火、电厂),开发能够更加高效利用有限样本的微调技术。

  2. 拓展应用领域:将微调技术应用于超分辨率、去雾、图像修复、目标跟踪等当前较少涉及的遥感任务。

  3. 优化遥感基础模型性能:在新出现的遥感专用基础模型(RSFM)上进行系统的测试和优化,以提升微调效果。

  4. 结合遥感图像特性:设计能够充分利用遥感特有属性(如小目标、多尺度、SAR特性)的定制化微调方法。

  5. 引入新型PEFT范式:探索结构化稀疏微调、量化感知微调等新型高效微调技术在遥感领域的应用。

  6. 探索混合微调策略:组合不同的微调方法(如Adapter+LoRA+Prompting),以挖掘更优的性能表现。

  7. 微调理论研究:深入探究微调技术在遥感中发挥作用的原因,并建立其理论基础。

  8. 优化训练配置:研究学习率、优化器、Adapter层数等超参数在遥感领域中的优化策略,以提升微调效果。

  9. 研究缩放规律:分析模型大小、数据量与微调性能之间的关系,为遥感基础模型规模的可持续扩展提供指导。


结语

在大模型与大数据的时代背景下,基础模型与微调技术正引领遥感研究的新趋势。本文系统性地综述了遥感领域的微调技术发展现状。

现有方法依据所调整参数与预训练模型之间的关联性进行分类,旨在帮助读者清晰把握该技术的发展脉络。

参考资料:

https://ieeexplore.ieee.org/document/11119145

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

回京历史梦
2026-11-10 17:49:16
北京:17日有雨雪,周中有大风,18日最高气温6℃

北京:17日有雨雪,周中有大风,18日最高气温6℃

北青网-北京青年报
2026-11-16 12:19:05
就在刚刚,WTT马斯喀特球星赛首日:国乒3胜1负,徐奕1-3不敌瑞典博嘉德一轮游,杨惠泽3-0零封德国万远晋级正赛

就在刚刚,WTT马斯喀特球星赛首日:国乒3胜1负,徐奕1-3不敌瑞典博嘉德一轮游,杨惠泽3-0零封德国万远晋级正赛

篮球热嗖
2026-11-16 18:56:32
14年累计下跌5%:这些年中国股民是怎么活的?

14年累计下跌5%:这些年中国股民是怎么活的?

城事堂
2026-10-18 09:35:23
又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

人生录
2026-11-02 09:08:26
星盾彻底限制,美国将乌被占领土视为俄领土,美议员向马斯克发出警告

星盾彻底限制,美国将乌被占领土视为俄领土,美议员向马斯克发出警告

山河路口
2026-11-14 12:29:08
父亲公墓到期催着交几万块续费,我直截了当说不交了,工作人员冷笑着威胁要当无主处理,我当场把电话挂断

父亲公墓到期催着交几万块续费,我直截了当说不交了,工作人员冷笑着威胁要当无主处理,我当场把电话挂断

晓艾故事汇
2026-11-16 14:04:25
一场2-0验出国足一大庸才,表现拉胯不堪大任,邵佳一最好别用他

一场2-0验出国足一大庸才,表现拉胯不堪大任,邵佳一最好别用他

零度眼看球
2026-11-16 08:43:32
北京一区多个机关单位食堂,向学生开放早餐

北京一区多个机关单位食堂,向学生开放早餐

京城教育圈
2026-11-16 15:41:23
叶剑英晚年评价让人吃惊:粟裕、刘伯承用兵天下无双,而能让林彪、张国焘、彭德怀三位信服的人,翻遍整个历史,只有他一个

叶剑英晚年评价让人吃惊:粟裕、刘伯承用兵天下无双,而能让林彪、张国焘、彭德怀三位信服的人,翻遍整个历史,只有他一个

磊子讲史
2026-11-09 12:05:17
1954年赵一荻在台湾被软禁时拍照,42岁容貌出众且体态丰腴

1954年赵一荻在台湾被软禁时拍照,42岁容貌出众且体态丰腴

文史季季红
2026-10-11 08:50:03
阿里字节接连出招,WorkBuddy水深火热中

阿里字节接连出招,WorkBuddy水深火热中

人人都是产品经理社区
2026-11-16 16:23:46
德国乒协总监:不确定中国男乒是不是衰落,日本队整体稳定性更佳

德国乒协总监:不确定中国男乒是不是衰落,日本队整体稳定性更佳

寒士之言本尊
2026-11-09 17:45:13
12位APEC经济体领导人将出席!

12位APEC经济体领导人将出席!

看看新闻Knews
2026-11-15 12:42:03
副部长级!中国工程院院士,任985大学校长

副部长级!中国工程院院士,任985大学校长

TOP大学来了
2026-11-13 02:35:02
崔英杰出狱了,但那个被一刀刺死的城管队长,永远留在了2006年

崔英杰出狱了,但那个被一刀刺死的城管队长,永远留在了2006年

禁止读书
2026-11-13 09:59:44
“他能上小学都算祖坟冒青烟!”一家五口颠覆认知:黄毛的爷爷,满背的奶奶

“他能上小学都算祖坟冒青烟!”一家五口颠覆认知:黄毛的爷爷,满背的奶奶

妍妍教育日记
2026-09-09 18:05:48
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
52岁汪涵近况,一家四口定居长沙,长期嚼食槟榔,两鬓霜白装扮随意

52岁汪涵近况,一家四口定居长沙,长期嚼食槟榔,两鬓霜白装扮随意

一盅情怀
2026-11-04 11:01:37
“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

妍妍教育日记
2026-10-05 10:10:15
2026-11-16 21:19:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16694文章数 67238关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

女星劝妈妈去体检结果竟查出肺癌:妈妈一度瘦成皮包骨

头条要闻

女星劝妈妈去体检结果竟查出肺癌:妈妈一度瘦成皮包骨

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

99元抵2000元/续航580km 一汽-大众ID. AURA L5开启盲订

态度原创

健康
艺术
教育
家居
时尚

情绪真能让健康人"伤心至死"?

艺术要闻

汤唯:不靠惊艳五官,却美成了“气质女神”

教育要闻

没招了,只能这样证明啦

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天找到一些固定的穿衣公式,用针织衫搭配牛仔裤,减龄舒适

无障碍浏览 进入关怀版