增强遥感视觉-语言模型以实现零样本场景分类

视觉-语言模型在遥感领域的应用由于其广泛的预训练而展现出巨大的潜力。然而，这些模型在零样本场景分类中的传统使用方法仍然涉及将大图像分割为小块并进行独立预测，即归纳推理，从而因忽视了宝贵的上下文信息而限制了其有效性。我们的方法通过利用基于文本提示的初始预测以及图像编码器提供的补丁亲和关系来增强零样本能力，采用演绎推理的方式，在无需监督且计算成本较低的情况下解决了这一问题。我们在10个遥感数据集上使用最先进的视觉-语言模型进行了实验，结果表明，与归纳零样本分类相比，该方法显著提高了准确性。我们的源代码已在Github上公开：https://github.com/elkhouryk/RS-TransCLIP