轻量级、预训练的变压器模型用于遥感时间序列分析

机器学习方法在卫星数据的应用中具有广泛的社会相关性，但用于训练模型的标签数据往往难以获取或根本无法获得。自监督学习是在标记数据有限的情况下的一种自然解决方案，但目前针对卫星数据的自监督模型未能充分利用这些数据的特点，包括时间维度（对于许多应用如作物生长监测至关重要）和来自多种互补传感器的数据（这可以显著提高模型的预测性能）。我们介绍了Presto（预训练遥感变压器），这是一种在遥感像素时间序列数据上预训练的模型。通过专门为遥感数据设计Presto，我们可以创建一个规模显著较小但性能优异的模型。Presto在各种全球分布的遥感任务中表现出色，并且在计算资源需求远低于大型模型的情况下，其性能与后者相当。Presto可用于迁移学习或作为简单模型的特征提取器，从而实现大规模高效部署。