RS-Mamba 用于大型遥感图像密集预测

上下文建模对于高分辨率遥感图像密集预测任务至关重要。如今，非常高分辨率（VHR）遥感图像的日益增大给有效建模上下文带来了挑战。虽然基于变换器的模型具备全局建模能力，但在应用于大型VHR图像时会遇到计算复杂度问题，因为它们具有二次复杂度。传统的将大图像裁剪为小块的方法会导致显著的上下文信息损失。为了解决这些问题，我们提出了一种用于大型VHR遥感图像密集预测任务的遥感Mamba（RSM）模型。RSM专门设计用于以线性复杂度捕捉遥感图像的全局上下文，从而实现对大型VHR图像的有效处理。考虑到遥感图像中的地表覆盖物由于遥感俯视成像的特点而分布在任意空间方向上，RSM引入了一个全向选择扫描模块，以多方向全局建模图像上下文，从不同方向捕捉大尺度空间特征。我们在各种地表覆盖物上的语义分割和变化检测任务中进行了大量实验，证明了所提出的RSM的有效性。基于RSM，我们设计了简单而有效的模型，在没有复杂的训练策略的情况下，在VHR遥感图像的密集预测任务中达到了最先进的性能。利用其线性复杂度和全局建模能力，RSM在大型遥感图像上实现了比基于变换器的模型更高的效率和准确性。有趣的是，我们还展示了我们的模型在密集预测任务中通常随着图像尺寸的增大表现更好。我们的代码可在https://github.com/walking-shadow/Official_Remote_Sensing_Mamba 获取。