摘要
光学与雷达卫星时序数据具有显著的协同效应：光学影像富含丰富的光谱信息，而C波段雷达则能够捕捉有用的几何信息，并且不受云层遮挡的影响。受近期基于时间注意力机制的方法在多种作物制图任务中取得成功启发，我们提出研究如何将此类模型适配于多模态数据的处理。为此，我们实现了多种融合策略，包括一种新颖的融合方法以及对训练过程的简单调整，在几乎不增加复杂度的前提下，显著提升了模型的性能与效率。实验表明，各类融合策略各具优劣，适用于不同的应用场景。随后，我们在多个任务上评估了多模态融合的收益，包括地块分类、像素级分割以及全景式地块分割。结果表明，通过融合光学与雷达时序数据，多模态时间注意力模型在性能表现和抗云干扰能力方面均优于单一模态模型。为支持上述实验，我们对PASTIS数据集进行了扩展，加入了空间对齐的雷达影像时序数据。由此构建的新数据集——PASTIS-R，是首个大规模、多模态、公开可获取的卫星时序数据集，具备语义与实例级标注，为遥感时序分析研究提供了重要资源。