前沿分享丨焦李成教授团队 悟瞳：遥感大模型

近日，CAAI监事、智能感知与图像理解教育部重点实验室焦李成教授团队在多个关键领域，构建了多个基础大模型，打造了先进的下一代人工智能基础模型体系。这些模型的发布标志着实验室人工智能人才培养、科研攻关等基础能力建设上迈出了关键一步。

智能感知与图像理解教育部重点实验室焦李成教授团队针对各领域复杂场景下的智能感知、决策与生成难题，在遥感影像解译、医学影像分析、智能优化决策、文旅资源修复生成、通信感知网络、水利治理、跨模态数据融合、电磁计算等关键领域，构建了多个基础大模型，打造了先进的下一代人工智能基础模型体系。

这些模型的发布标志着实验室人工智能人才培养、科研攻关等基础能力建设上迈出了关键一步，不仅为前沿科学研究提供了统一而强大的工具支撑，也为产业界在智慧城市、智能制造、医疗健康、自动驾驶、遥感分析等尖端应用领域的落地与突破奠定了坚实基础，并进一步提升团队在人工智能领域的话语权与竞争力。

遥感大模型——“悟瞳”

遥感技术作为国家空间信息基础设施的核心支撑，在国土安全、资源检测、灾害预警、生态保护等领域发挥着不可替代的作用。然而，当前遥感场景语义感知与解译领域长期面临三大瓶颈：其一，缺乏规范化基准体系，不同研究团队采用的模型、数据集与任务定义差异显著，导致技术进展难以横向验证与复用；其二，技术生态复杂封闭化，产业应用落地时面临部署壁垒，难以快速适配多样化场景，严重制约了行业自主创新与规模化应用；其三，通用大模型在垂直领域泛化性差，训练成本昂贵，难以高效适应多样化场景与任务需求。针对上述国家战略需求与行业痛点，本课题组以“自主可控、开放共享”为导向，启动遥感基础模型“悟瞳”攻关。团队聚焦“统一化基础模型+标准化任务框架+大中小模型协同”三轮驱动，旨在构建覆盖多模态、多任务、多场景的通用解译平台，为遥感领域提供“一库解决万务”的基础设施，助力构建国家空天信息智慧中心。

一、大模型技术架构介绍

“悟瞳”（RSFM）大模型示意图

“悟瞳”大模型技术体系旨在构建一个层次分明、透明化、模块化、可自由组合的遥感多模态基础模型生态系统。其采用“基础模型层-任务适配层-数据支撑层”三位一体的分层架构设计，以“统一基准、灵活适配、开放可扩展”为核心原则，覆盖从底层模型构建到上层任务应用的全流程闭环。基础模型层为核心算力底座，提供多样化架构选择以适配不同硬件与精度需求；任务适配层为功能核心，实现多类遥感解译任务的统一兼容与灵活调用；数据支撑层为评估基石，提供规范化多模态数据保障模型训练与性能验证。三层协同联动，既保障模型在精度、效率与泛化能力上的平衡，又通过 RSFM 代码框架实现“模型-任务-数据”的无缝对接，满足不同场景下的应用需求。

“悟瞳”基础模型算法库架构简图

1.1 基础模型部件

针对遥感/自然/医学数据在分辨率、模态、噪声等结构特点上的差异，RSFM构建了大规模跨架构基础模型库，涵盖基于 CNN、Transformer、Mamba 三大主流架构的 100+ 种视觉与语言基础模型，参数量覆盖 3M（轻量级模型，适配边缘设备、实时检测场景）至 7B（重量级模型，满足精细语义解译、多模态融合场景）。其中，CNN 模型侧重局部特征提取，适配低算力环境；Transformer 模型擅长全局上下文建模，提升复杂场景解译精度；Mamba 模型兼顾长序列处理能力与推理效率，适配高分辨率数据解译。

1.2 任务算法部件

针对实际场景的全应用需求，RSFM将复杂各异的下游任务抽象为可配置的流程，成功统一了10+ 类、100+ 种应用算法，涵盖场景分类、语义分割、目标检测、变换检测、实例分割、显著目标检测、多模态学习、多任务学习、参考图像分割、视觉定位、视觉问答等主流解译任务。通过模块化接口设计，支持任意基础模型与任务算法的灵活组合调用，无需重复开发适配代码，实现 “一键切换任务类型、多模型并行对比评估”，大幅降低研发与应用成本。

1.3 数据支撑部件

针对评估基准不统一问题，RSFM整理并规范了来自顶刊、顶会及国际竞赛的100+种公开数据集，构建了标准化数据分区策略、统一化预处理流程及严谨的定量评估体系， 确保不同研究间公平可比性。 RSFM数据库样本总量超10M+，致力于打造遥感领域的权威评测基准；数据模态涵盖光学、SAR、红外、多光谱、点云、DSM、深度、文本等，构建了对基础模型的多模态评测体系；数据场景覆盖城镇、乡村、水文、植被、农田、交通、军事、火星等，确保模型的泛化性与实用性。

二、成果展示

经过实验室十余名研究人员一年多时间的持续攻关，“悟瞳”已成功构建起目前全球范围内覆盖任务最全、模态最丰富、体系最庞大的遥感基础模型系统之一，初步实现了“一库解决万务”的既定目标。

开发人员界面 用户界面

针对开发人员，RSFM构建了简易化、透明化、模块化的搭建体系，研究人员仅需在对应模块开发库中添加并注册自研的模型设计，随后在默认配置文件中选择数据集、指定下游任务、设置训练参数，即可快速启动训练与评估。针对用户，只需要上传输入数据，在模型库中选择想要评估的基础模型与下游任务，等待运行，得到输出结果。

目前，RSFM已训练入库了不同任务、场景下的10000+大中小模型，未来将进一步支持算法推荐，简化用户的模型选择。此外，基于RSFM算法库，实验室已开发了超10种自研算法，其中部分已发表在行业顶刊或取得国际竞赛桂冠，未来将持续扩大规模，拓展应用场景，为遥感感知与解译的国产化发展保驾护航。

智能感知与图像理解教育部重点实验室自研的“悟瞳”遥感场景多模态大模型，紧密围绕国家国土空间治理现代化、生态环境安全监测、应急灾害快速响应等重大需求，针对遥感解译领域“基准缺失、技术闭源、任务碎片化”的核心痛点，以建立统一化技术体系为核心动机，通过三大关键创新实现突破：一是构建覆盖CNN/Transformer/Mamba 架构的 100 + 种基础模型，参数量灵活适配不同场景；二是集成 100 + 种遥感解译任务算法，实现模型-任务自由组合；三是建立100 +种多模态规范化数据集，统一评估基准。最终通过 RSFM 代码框架实现“一库解决万务”，打破技术壁垒，推动遥感解译从单点研发向规模化应用转型。

来源：IPIU智能感知与图像理解公众号