基于序列化扩散模型的遥感图像云去除方法作者：赵晓虎 [ORCID] 和 贾克斌 * [ORCID]北京工业大学信息工程学院，北京 100124，中国* 通讯作者。《遥感》2023年，15(11)，2861；https://doi.org/10.3390/rs15112861收稿日期：2023年4月11日 / 修订日期：2023年5月24日 / 接受日期：2023年5月26日 / 发表日期：2023年5月31日（本文属于特刊《推进机器学习在遥感中的应用以增强时空泛化能力》）下载 浏览图表审稿报告 版本信息 注释摘要大多数通过星载光学卫星获取的光学观测数据均受到云层或霾的干扰，严重制约了地球观测技术的进一步应用。因此，探索一种高效的云去除方法具有重要意义。本文提出了一种新型概率生成模型——基于序列的扩散模型（Sequential-based Diffusion Models, SeqDMs），用于遥感领域的云去除任务。所提方法由两部分构成：多模态扩散模型（Multi-modal Diffusion Models, MmDMs）和基于序列的训练与推理策略（Sequential-based Training and Inference Strategy, SeqTIS）。具体而言，MmDMs 是一种新型扩散模型，其通过重构去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPMs）的逆过程，将辅助模态（如对云层干扰具有鲁棒性的合成孔径雷达，SAR）提供的额外信息融入主模态（即光学卫星影像）的分布学习中，从而提升重建质量。为充分融合时间维度上的信息，SeqTIS 设计用于在不重新训练模型的前提下，整合任意长度的主模态与辅助模态输入序列的时间信息。借助 MmDMs 与 SeqTIS 的协同作用，SeqDMs 具备处理任意长度输入序列的灵活性，仅需引入一至两个额外输入样本即可实现显著性能提升，并大幅降低模型重训练的时间成本。我们在公开的真实世界多模态、多时相云去除数据集 SEN12MS-CR-TS 上对所提方法进行了评估。大量实验与消融研究结果表明，与当前多种先进云去除方法相比，所提出的方法在重建样本质量以及对任意长度序列的适应能力方面均展现出显著优势。