HyperAIHyperAI

Command Palette

Search for a command to run...

增强遥感视觉-语言模型以实现零样本场景分类

Karim El Khoury Maxime Zanella Benoît Gérin Tiffanie Godelaine Benoît Macq Saïd Mahmoudi Christophe De Vleeschouwer Ismail Ben Ayed

摘要

视觉-语言模型在遥感领域的应用由于其广泛的预训练而展现出巨大的潜力。然而,这些模型在零样本场景分类中的传统使用方法仍然涉及将大图像分割为小块并进行独立预测,即归纳推理,从而因忽视了宝贵的上下文信息而限制了其有效性。我们的方法通过利用基于文本提示的初始预测以及图像编码器提供的补丁亲和关系来增强零样本能力,采用演绎推理的方式,在无需监督且计算成本较低的情况下解决了这一问题。我们在10个遥感数据集上使用最先进的视觉-语言模型进行了实验,结果表明,与归纳零样本分类相比,该方法显著提高了准确性。我们的源代码已在Github上公开:https://github.com/elkhouryk/RS-TransCLIP


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供