MTP：通过多任务预训练推进遥感基础模型

基础模型通过提升各种图像解释任务，重塑了遥感（Remote Sensing, RS）领域的格局。预训练是一个活跃的研究课题，包括监督学习和自监督学习方法，以有效初始化模型权重。然而，将预训练模型迁移到下游任务时可能会遇到任务差异问题，这是由于预训练任务通常被设计为图像分类或对象区分任务所致。在本研究中，我们探索了多任务预训练（Multi-Task Pretraining, MTP）范式，以解决这一问题。我们采用共享编码器和任务特定解码器架构，在SAMRS数据集上进行了涵盖语义分割、实例分割和旋转目标检测的多任务监督预训练。MTP支持参数量超过3亿的卷积神经网络和视觉变换器基础模型。预训练模型在多种遥感下游任务上进行了微调，包括场景分类、水平和旋转目标检测、语义分割以及变化检测。广泛的实验结果表明，在14个数据集上的测试显示我们的模型优于现有类似规模的模型，并且其性能与更大规模的最先进模型相当，从而验证了MTP的有效性。