特约文章丨秦岭 · 西电遥感脑：遥感影像解译预训练大模型

文 / 侯彪，任仲乐，李卫斌，焦李成

摘 要：

本文分析了卫星遥感影像智能解译技术及应用两方面的发展现状，探讨遥感智能解译技术存在的难题和挑战，进一步介绍秦岭·西电遥感脑预训练大模型的技术架构，并构建“国产数据+国产AI算力平台+国产AI框架+自有技术”的遥感数字经济生态体系，实现遥感智能解译技术赋能千行百业，打造遥感数字生态产业高地。

关键词：

秦岭·西电遥感脑；遥感影像解译预训练大模型；遥感数字经济

1 遥感影像解译技术

遥感技术作为一种重要的对地观测技术，能够通过航空、航天传感器在不直接接触地物表面的情况下获取地物信息。卫星遥感成像能实时、精确、直观地获得场景信息，对大空间范围而言，是目前唯一可行的监测手段。我国幅员辽阔，和其他国家相比，面临更多的环境、资源、城市建设和国防安全问题，在环境、交通、海洋、农业、水利、测绘、地质、安全等领域，都迫切需要卫星遥感影像为经济建设与政府决策提供数据支持（见图 1）。2023年全球卫星遥感服务市场规模达到36.5亿美元，中国遥感服务市场规模达到217亿元，由于我国政府对遥感数据需求的提升，商业遥感卫星市场的发展与完善，“十四五”规划中对于商业遥感卫星行业的支持。预计2021—2026年我国遥感卫星市场将进入稳定成长期，行业保持15%左右的增速，预期年产值规模达到10亿元左右，带动上下游50亿元。

图1 遥感典型应用场景

从技术角度而言，近年来，随着遥感应用卫星的不断发射成功，获取的数据量成倍增加，表明遥感数据的获取能力空前提高，同时也为空间信息的及时处理、更新、存储等技术带来了新的挑战。如何高效、快速、实时获取和处理遥感信息，已经成为世界各国在此领域科技竞争的热点。当前，在国土、林业、农业等一些行业，遥感调查与更新还在采用人工目视解译的工作方式，耗时、费力、成本高、周期长；同时已有的基于统计建模或机器学习的传统解译方法也存在单一模型无法覆盖多个遥感应用场景，遥感领域知识与物理约束利用匮乏，依赖大量标注数据，精度和泛化能力无法满足实际需求，以及研发成本高、周期长等问题。这些障碍使得目前遥感影像解译技术无法满足当前经济社会快速发展对自然资源信息快速提取与更新的迫切需求。

从生态角度而言，国家“十四五规划”提出数字经济新优势战略，发展数字经济是把握新一轮科技革命和产业变革新机遇的战略选择。近年遥感产业发展正迎来爆发期，在国土资源、生态环境、水利、林业、农业、能源、气象、智慧城市，以及金融/期货等多个领域均有广泛应用需求，常态化遥感数据信息与应用服务成为趋势。而我国遥感卫星产业链相对复杂，上游涉及各种遥感卫星配套装备和系统的制造、发射和生产；中游覆盖政商领域的运营，为各领域下游合作发展提供服务；下游面向应用场景，主要从事面向特定应用场景的应用开发和数据增值服务。与遥感数据的获取能力相比，资源环境动态监测产品和信息服务能力远远滞后，国产卫星的利用效率还很低，成为我国进行高精度资源环境遥感动态监测的瓶颈。

本文针对我国地形地貌多样、气象条件复杂、地表结构细碎等复杂场景下的遥感大数据智能处理与空间认知的应用瓶颈，一方面结合海量数据、成像机理和地学知识，开展了以遥感影像地物要素提取及变化检测为核心的大规模影像智能解译技术研究，开发了“秦岭·西电遥感脑”遥感影像解译预训练大模型，实现了智慧遥感领域核心技术国产自主可控。该模型大幅提升了复杂、广阔自然场景自动解译的速度与精度，增强了模型的泛化能力，显著降低了研发成本和人工解译成本；另一方面提出“算力+算法+算据 + 知识”为核心AI资源的统一服务模式，并聚合资源各方在算力供给、模型算法创新、数据供应与生产等领域的优势，探索大模型的产业模式，打通产业上下游，面向各种场景应用提供使能服务，构建大模型产业价值链，推动数字经济和实体经济深度融合。

2 秦岭·西电遥感脑：遥感影像解译预训练大模型

秦岭·西电遥感脑是西安电子科技大学人工智能学院在遥感智能解译领域20余年深厚积淀的基础上，联合高分辨率对地观测系统陕西数据与应用中心、华为、西安雁塔人工智能创新发展中心，打造的从数据获取与预处理、数据标注、模型训练到应用落地的全流程国产化遥感影像解译预训练大模型。

如图2所示，遥感影像解译预训练大模型结合了成像机理、地学知识和海量高精度标注数据，突破遥感影像智能解译瓶颈，通过多源多模态自监督和领域自适应学习，有效获取遥感影像中丰富的语义信息，增强模型对遥感影像中地物变化及细节的感知能力，实现广域真实场景下多任务并行高精度实时解译。具体而言，有以下四个技术特点。

图2 “秦岭·西电遥感脑” 预训练大模型

2.1 面向复杂多样场景的层次化解译体系

针对遥感领域应用场景零散众多的特点，构建适合广域测绘调研到特定场景任务的“L0基础大模型+L1行业大模型+L2场景大模型”层次化解译体系。其中，L0基础大模型指全域全要素大模型，如全国范围地物全要素模型或某个省市地物全要素模型，关注给定区域内所有与生产生活相关的地物要素，满足国土测绘调研等需求；L1行业大模型指面向特定领域（如农业、林业、水利、城市建设、生态保护、灾害监测等）的行业大模型，满足该行业关注地物要素的需求；L2场景大模型指面向特定地物要素的场景大模型，满足该场景下的个性化需求，例如浙江农作物细分类（早稻、晚稻、单季稻、次生稻、油菜），以及铁路沿线障碍物安全检测（树脂瓦、石棉瓦、塑料薄膜、简易房、水泥房屋、彩钢瓦）等。需要指出的是，以上构建层次化大模型体系中的三级是不断更新和流动的，低一级模型可作为高一级模型的预训练模型，能够在少量样本下快速实现模型的学习收敛过程。

2.2 面向土地利用现状的地物要素类别与高质量标注

在参考《土地利用现状分类（2017）》《地理国情监测内容与指标（2020）》《LUCC分类体系（2018）》等国家和领域标准的基础上，充分调研遥感企业真实应用的地物场景，制定符合陕西乃至全国实际需求的遥感地物要素分类体系，并以此为依据设计标注标准，开展高质量标注。截至当前，大模型以高分辨光学和SAR等国产数据为主，影像分辨率优于5m，标注数据涉及陕西、浙江、广东、河南、贵州、福建、吉林等典型地区200多万平方公里，覆盖种植土地、林草、房屋建筑、交通 、水体等8个一级地物，梯田、水田、果园、林地、湿地、城市建筑、农村宅基地、铁路、公路等38类二级地物，苹果园、乔木、灌木、高层办公楼、工厂厂区、发电水库、养殖水面等20类三级地物，松树、木耳、香菇、固沙灌草、护坡灌草、高山草甸6类四级地物。

2.3 海量数据、成像机理和地学知识联合驱动的学习机制

面对多源多模态的复杂遥感数据和多样化的解译需求，基于数据驱动引领层次化大模型架构，使用自监督学习、领域自适应等方式降低对标记数据的依赖，从大量数据中挖掘地物结构特征；充分考虑遥感数据蕴含成像机理对地物成像特征与识别的影响，设计物理机制约束规则集合减少地物误分；构建吸纳广泛地学概念性与规律性知识的遥感专属地学知识库，加强对地物关系的准确捕获。最终形成“数据 - 机理 - 知识”联合驱动的大模型学习机制，实现从海量真实影像数据中精准提取复杂地物要素的本征特征。

2.4 国产 AI 软硬件系统支持下的优化训练

大模型是依托西安雁塔人工智能创新发展中心300P的强大算力，在昇腾Atlas算力底座和MindSpore AI框架下，采用华为智能无损以太网络将算力节点高速互连，开展的大规模遥感影像智能解译技术研究。针对广域场景遥感影像解译、大规模网络并行训练等难题，设计了大场景预处理、地物要素提取、变化检测等十几种专用算子，通过图算融合等深度图优化，以及跨层内存复用技术实现大模型全流程加速，并从海量遥感影像中挖掘多样地物的共有特征，提升广域自然场景自动解译的精度与速度。

大模型的优势包括如下四个方面。

① 覆盖场景多样。相较于传统单一模型仅满足单个应用场景需求的情况，大模型可同时覆盖多个地物应用场景，目前已覆盖60多类别的一级、二级、三级和四级地物，并随着模型迭代更新，覆盖场景范围不断扩大。

② 突破精度限制。通过大规模数据、成像机理和地学知识联合驱动下的大模型训练，使其具有强大的数据拟合和特征捕获能力，相较于传统模型，能够捕获更多数据和场景特征，精度提升显著。

③ 实现泛化能力。通过自监督学习、领域自适应等学习机制设定，以及地学概念性与规律性知识的引入，模型对不同等级地物共有特征及地物相互关系的捕获能力大大增强，表现出卓越的跨地物等级跨地区跨传感器参数的泛化能力。

④ 降低研发成本。大模型一方面在训练方式上采用自监督学习、领域自适应等低标记需求的学习模式，减少标注数据使用，降低模型研发成本；另一方面大模型+层次化解译体系可同时满足（或以极小的成本微调后满足）多任务、多场景的不同需求，也显著降低了应用成本。

图3展示了利用秦岭·西电遥感脑大模型对陕西省西安市雁塔区进行光学地物要素提取的可视化系统，精准分析了城墙、道路和水域等地物要素的面积及其占比，为城市规划提供参考。图4是2021年8月河南地区水灾前后通过雷达影像的变化检测分析，估计受灾区域和受灾面积，为抗震救灾提供信息支撑。

图3 系统平台——光学地物要素提取——西安雁塔

图4 系统平台——SAR 变化检测——河南地区

3 遥感数字经济生态体系

在核心算法不断创新的基础上，适应数字经济的时代要求，深化遥感智能解译技术落地应用，提出整合“算力+算法+算据+知识”等核心AI资源的统一服务模式，通过整合数据中心丰富的遥感数据资源、大模型的创新成果与雄厚的科研实力，以及国产先进的算力基础设施平台的优势，面向各场景应用提供使能服务，构建大模型产业价值链。

遥感产业是一个分工非常明确的产业。它的上游是数据生产，中游是数据处理、算法模型和遥感应用服务，下游则是丰富的应用场景。以大模型为核心，可以串联起遥感生态系统，拉通产业上中下游，打通遥感智能解译新生态，如图5所示。

图5 遥感数字经济生态体系

上游数据供应方统筹管理高分辨率国产数据应用示范与成果推广，具有获取、管理、分发数据的先天优势，为大模型的应用创新提供常态化遥感数据资源，并协助收集、汇聚、整理同行专业数据。

中游遥感算法模型提供方为遥感智能解译提供方案、模型、算法等并持续优化，在全国具备竞争优势，业内领先。普惠算力由国内领先的人工智能领域软硬件基础平台提供，具有人工智能平台运行的全栈技术能力，利用其在全国信息技术领域的产业聚合与生态拓展能力，为产业落地提供有效的商业模式推荐、产业推广支持。

下游提供服务，依托遥感应用领域的领军企业对应用场景的深度分析，加大对遥感卫星产业这一新型数字经济形态的支持力度，尤其加大对遥感数据处理关键基础平台、重大核心技术的持续支持，应用于航天遥感载荷、智能解译等关键技术和装备的研制与开发。

该体系充分发挥数据、强大算力设施与解译技术的综合优势，提高遥感领域数字产业化水平，以遥感大数据和遥感人工智能创新大模型赋能千行百业，提升生产效率，实现遥感人工智能和遥感大数据与各行业的融合式发展。各方聚合相关资源，形成“算力+算法+算据+知识”的核心竞争优势，为实际应用提供基础支撑。目前在农业、林业、水利、旅游、乡村振兴等重点领域，以及生态检察、资源审计、应急救灾、城市规划等场景得到广泛应用。

图6所示的是利用高分一号2015年6月拍摄影像对陕西省某县猕猴桃空间分布进行的分析，用于核查经济作物补贴审计。图7示出了2015—2022年对秦岭光头山的生态环境变化进行监测，尤其是草甸、植被、树木、建筑物、道路等地物要素多年的变化情况，为执法提供依据。图8示出了2021 年10月利用雷达影像对陕西某县发生的洪峰险情进行评估。实时掌握洪涝灾情，快速实施防汛抗洪工作。

图 6 自然资源监管案例——陕西周至猕猴桃空间分布分析

图 7 生态文明建设案例——秦岭光头山生态环境监测

图 8 灾害应急管理案例——陕西某县洪灾灾情评估

除此之外，在浙江农作物细分类的精准识别、沙特稀疏植被的精准提取、铁路沿线安全的精准检测、秦岭高山草甸变化的精确监测，安康旬阳矿区的安全检测、西安市雁塔区地物要素的精确提取、周至县林地覆盖情况的精确统计、周至县建设用地违规占用耕地的精确监测，以及西安长安沣峪口山洪灾害等应用场景的成功实践，充分验证了大模型在遥感影像解译领域的通用性和实用性，为政府决策、科研，以及产业发展提供了强大的技术支持，支撑政府提升行政执法与履职能力，对人工智能赋能遥感应用创新，使能千行百业具有标杆与示范意义。

秦岭·西电遥感脑预训练大模型的探索为构建遥感智能解译新生态提供了思路与参考。未来，遥感智能解译希望可以借助科研院和高校等机构在遥感卫星领域的技术优势，充分调动遥感应用企业对应用场景的深度分析，加大对遥感卫星产业这一新型数字经济形态的支持力度，尤其加大对遥感数据处理关键基础平台、重大核心技术的持续支持，打造成熟的遥感数字经济新生态。

（参考文献略）

侯彪

西安电子科技大学人工智能学院执行院长，华山学者特聘教授。主要研究方向为遥感影像解译。

任仲乐

西安电子科技大学华山准聘副教授。主要研究方向为遥感预训练大模型。

选自《中国人工智能学会通讯》

2024年第14卷第2期

科研新范式：All-in-One下的基础模型专题

扫描加入我们
获取更多学会资源