Swin2-MoSE：一种新的遥感单图像超分辨率模型

由于当前光学和传感器技术的局限性以及更新这些技术的高成本，卫星的光谱和空间分辨率可能无法始终满足预期要求。因此，遥感单图像超分辨率（RS-SISR）技术引起了广泛关注。在本文中，我们提出了一种改进版本的Swin2SR模型，即Swin2-MoSE模型。我们的模型引入了MoE-SM，这是一种增强版的专家混合（Mixture-of-Experts, MoE），用于替代所有Transformer块中的前馈层。MoE-SM设计了智能合并器（Smart-Merger）这一新层，用于合并各个专家的输出，并采用了一种新的方法来分配专家之间的任务，定义了一种新的每样本策略（per-example strategy），而不是常用的每标记策略（per-token strategy）。此外，我们分析了位置编码之间的相互作用，证明了通道偏置（per-channel bias）和头偏置（per-head bias）可以正向协作。最后，我们提出使用归一化互相关（Normalized-Cross-Correlation, NCC）损失和结构相似性指数测量（Structural Similarity Index Measure, SSIM）损失的组合，以避免典型的均方误差（Mean Squared Error, MSE）损失限制。实验结果表明，在2倍、3倍和4倍分辨率提升任务中（使用Sen2Venus和OLI2MSI数据集），Swin2-MoSE的表现优于任何基于Swin的模型，最高可提高0.377至0.958 dB（PSNR）。它还显著优于现有最先进模型，显示出强大的竞争力和卓越的潜力，特别是在复杂任务中。此外，我们还进行了计算成本分析。最后，我们展示了Swin2-MoSE在语义分割任务中的有效性（使用SeasoNet数据集）。代码和预训练模型可在以下网址获取：https://github.com/IMPLabUniPr/swin2-mose/tree/official_code