一句话总结

德国航空航天中心、慕尼黑工业大学、苏黎世大学等机构的研究人员发表综述，审视深度学习在遥感领域的近期进展与挑战，并敦促遥感科学家将领域专业知识融入深度学习，作为一种隐式通用模型，以应对气候变化和城市化等大规模挑战。

核心贡献

• 本文综述了深度学习在遥感中的应用，强调深度神经网络持续优于手工特征方法，且多数研究集中在使用基准数据集的分类和检测任务上。
• 它指出了技术挑战，包括标注数据有限、全球尺度可迁移性，以及对弱监督或无监督学习的需求，并回顾了如永不停止学习和自学习等方法。
• 该工作提供了资源，如2017年IEEE GRSS数据融合竞赛数据集和Functional Map of the World Challenge数据集，并倡导将物理模型与深度学习融合，以应对气候变化和城市化等大规模问题。

引言

深度学习已变革计算机视觉，随着卫星数据量爆炸式增长和计算资源增加，其在遥感领域的应用也在加速。遥感影像带来了先前的深度学习方法尚未充分解决的独特挑战：数据往往是多模态的（光学和SAR）、具有地理定位、采集传感器质量各异，且本质上是时间序列；这些数据不仅需要分类，还需要反演地球物理量，并且必须在全球尺度上处理。作者回顾了深度学习在遥感中的最新进展，涵盖高光谱成像、SAR、甚高分辨率分析、数据融合和三维重建，同时为社区提供了实用工具和开放资源。

数据集

作者整理了一份适用于训练深度神经网络的开放遥感数据集列表，按任务分组。这些数据集被描述为用于开发和基准测试模型的资源，论文概述了其组成、来源和典型用途。

场景分类数据集（每张图像单标签）

• UC Merced数据集 – 包含21个土地利用类别的2,100张RGB图像（256×256像素），每类100张图像。用于整幅图像分类。来源：加利福尼亚大学默塞德分校视觉实验室。
• AID数据集 – 包含30个场景类别的10,000张标注航拍图像。比UC Merced规模更大、更多样化，符合现代深度学习的数据需求。来源：武汉大学。
• NWPU-RESISC45数据集 – 包含45个场景类别的31,500张图像，在图像总数和类别数量上均为最大的土地利用场景分类数据集。来源：西北工业大学。

图像分类数据集（像素级语义标注）

• 苏黎世夏季数据集 – 来自QuickBird影像覆盖苏黎世的20个影像切片，经全色锐化至0.6米分辨率，具有8个土地利用类别和真值标签。来源：Michele Volpi的研究网站。
• 泽布吕赫数据集（2015年数据融合竞赛） – 7个10,000×10,000像素的瓦片，每个瓦片包含5厘米分辨率的RGB图像和密集LiDAR点云（65点/平方米）。密集标注为8个土地/物体类别。其中5个瓦片提供标签用于训练，剩余2个通过上传至DASE服务器进行评估。
• ISPRS二维语义标注挑战赛 – 覆盖Vaihingen和Potsdam的亚分米级影像。Vaihingen：33个瓦片（约2000×3000像素），一半已标注，另一半未标注用于评估。Potsdam：24个已标注瓦片（6000×6000像素）和14个未标注瓦片用于评估。包含高度数据（数字表面模型）和一个红外通道。标签涵盖6个类别加上一个杂物类别。评估使用保留的未标注瓦片。

配准/匹配数据集

• SARptical数据集 – 来自柏林市中心的10,000对精确配准的SAR和光学图像块。基于3D InSAR点云（TerraSAR-X）和3D光学点云（UltraCam，20厘米地面间距）构建。用于训练和测试SAR-光学配准与匹配算法。来源：慕尼黑工业大学。

论文强调这些数据集可作为训练深度学习模型的现成基准。数据集在适用时提供预定义划分：泽布吕赫和ISPRS提供固定的训练和评估瓦片；SARptical提供用于配准任务的配对图像块；场景分类数据集通常随机划分用于训练和测试。作者未进行额外裁剪或元数据构建；数据集按发布形式使用，经过全色锐化或LiDAR栅格化等标准预处理。

方法

作者将自编码器模型作为特征表示的一类基础深度学习架构。标准自编码器通过非线性映射 $\boldsymbol{h} = f(\boldsymbol{\Theta}\boldsymbol{x} + \boldsymbol{\beta})$h=f(Θx+β) 将输入 $\pmb{x} \in \mathbb{R}^D$x∈RD 映射到潜在表示 $\pmb{h} \in \mathbb{R}^M$h∈RM。编码后的特征随后用于重建输入 $\pmb{y} = f(\boldsymbol{\Theta}'\boldsymbol{h} + \boldsymbol{\beta}')$y=f(Θ′h+β′)。参数通过随机梯度下降（SGD）优化，以最小化 $\pmb{x}$x 和 $\pmb{y}$y 之间的欧氏距离。堆叠自编码器（SAE）由多个层组成，其中一层的输出作为下一层的输入。为处理潜在维度超过输入维度（$M > D$M>D）的情况，稀疏自编码器通过最小化包含Kullback-Leibler（KL）散度惩罚项的损失函数，对隐藏单元施加稀疏性约束。与确定性自编码器不同，受限玻尔兹曼机（RBM）是随机无向图模型，具有可见层和隐藏层。能量函数定义为 $\mathbb{E}(\boldsymbol{x}, \boldsymbol{h}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{x} - (\boldsymbol{h}^T\boldsymbol{W}\boldsymbol{x} + \boldsymbol{c}^T\boldsymbol{x} + \boldsymbol{b}^T\boldsymbol{h})$E(x,h)=21​xTx−(hTWx+cTx+bTh)。堆叠RBM形成深度信念网络（DBN），通过贪婪逐层方法进行训练。

参考框架图：

作者回顾了推动计算机视觉发展的成功卷积神经网络（CNN）架构。AlexNet将早期见解扩展到更深的网络，使用修正线性单元（ReLU）缩短训练时间，采用dropout层避免过拟合，并运用数据增强技术。它特别在GPU上训练，以处理更大的数据集和图像。VGG网络强调简洁性和深度，严格使用 $3 \times 3$3×3 滤波器和 $2 \times 2$2×2 最大池化层，强化了更深架构促进层次化特征表示的理念。ResNet通过添加执行恒等映射的捷径连接，绕过堆叠卷积层以促进优化，解决了极深网络中的退化问题。全卷积网络（FCN）对语义分割至关重要，采用编码器/解码器结构，实现端到端的上采样学习，并利用跳跃连接进行多尺度推理。

如下图所示：

作者将深度学习应用于高光谱数据分析，尤其是分类任务。深度学习架构提取高层、层次化的特征，这些特征对由大气散射和光机制引起的非线性高光谱成像具有鲁棒性。自编码器（如堆叠自编码器和DBM）用于从未标注数据中提取层次化光谱特征。监督CNN以1D、2D和3D配置使用。1D和2D CNN分别处理光谱或空间信息，而3D CNN执行空间-光谱卷积操作，通过将光谱维度视为类似时间轴，更有效地建模光谱信息。

参考框架图：

对于无监督特征提取，作者讨论了使用稀疏学习进行贪婪逐层权重估计的卷积网络。提出了一种全残差卷积-反卷积网络，用于无监督光谱-空间特征学习。该网络中学习的滤波器对物体层面的语义视觉模式展现出显著的描述能力，有效捕捉金属板和植被覆盖等特征。

如下图所示：

此外，循环神经网络（RNN）被用于高光谱图像分类。作者提出了一种具有修改的门控循环单元（GRU）和新激活函数的RNN模型。该架构将高光谱像素视为序列数据，通过网络推理确定信息类别。

参考框架图：

实验

综述的实验评估了深度学习在高光谱图像分类、SAR目标识别与地形分析、高分辨率卫星场景分类与目标检测，以及从影像中三维重建等方面的表现。深度架构，特别是CNN，通过学习层次化、判别性表示，均持续优于传统手工特征方法，但由于标注遥感数据有限，它们常常会过拟合，从而依赖数据增强、迁移学习或较小网络设计。深度学习的整合也带来了质的新成果，如语义标注的三维模型和完全学习的立体视觉流水线。总体而言，深度学习显著推进了遥感解译，但数据稀缺仍是核心实际挑战。

基于CNN的立体视觉方法在排名中占据主导地位，其坏像素错误率远低于传统SGM方法。排名第一的3DMST达到5.92%的错误率，而SGM为18.4%，突显了学习特征对深度估计精度的影响。CNN方法占据前四名，错误率在5.92%至8.08%之间。经典SGM方法大幅落后，错误率是最佳CNN方法的两倍以上。

该评估在标准基准上比较了立体深度估计方法，将传统SGM与几种基于CNN的方法进行对比。结果清楚地表明，学习特征具有决定性优势，基于CNN的技术占据前列，且错误率显著更低。这证明深度学习比经典手工方法大幅提高了精度。