HSI-BERT：基于Transformer双向编码器表示的高光谱图像分类

深度学习方法在高光谱图像分类中得到了广泛应用，并取得了当前最优的性能。然而，现有的深度学习方法在高光谱图像分类任务中仍面临感受野有限、灵活性不足以及泛化能力差等问题。为解决上述挑战，本文提出了一种名为HSI-BERT的新方法，其中BERT代表基于变换器的双向编码器表示（Bidirectional Encoder Representations from Transformers），HSI则代表高光谱图像（Hyperspectral Imagery）。所提出的HSI-BERT具备全局感受野，能够捕捉像素之间无论空间距离远近的全局依赖关系。该方法具有高度灵活性，支持灵活且动态的输入区域设定。此外，由于HSI-BERT在联合训练过程中能够从不同形状的区域中实现有效泛化，无需重新训练即可适应新场景，因而展现出优异的泛化能力。HSI-BERT主要基于多头自注意力（Multi-Head Self-Attention, MHSA）机制构建，其核心结构为MHSA层。在该层中，多个注意力头分别学习不同的注意力模式，每个头均能编码语义上下文感知的特征表示，从而提取具有判别性的特征。所有头生成的特征经过融合后，最终获得包含丰富空间-光谱信息的表示，这对于实现精确的像素级分类至关重要。定量与定性实验结果表明，HSI-BERT在分类精度和计算效率两方面均显著优于现有的各类基于卷积神经网络（CNN）的模型，并在三个广泛使用的高光谱图像数据集上达到了当前最先进的性能水平。