基于判别区域的多标签零样本学习

多标签零样本学习（ZSL）是标准单标签ZSL的一个更为现实的变体，因为自然图像中可能同时存在多个对象。然而，多个对象的存在使得推理过程变得更加复杂，并且需要对视觉特征进行区域特定的处理以保留其上下文线索。我们注意到，现有的最佳多标签ZSL方法在关注区域特征时采用了共享的方法，即为所有类别使用一组共同的注意力图。这种共享的注意力图会导致注意力分散，在类别数量较多时无法有选择性地聚焦于相关位置。此外，将空间池化的视觉特征映射到类别语义上会导致类间特征纠缠，从而妨碍分类。为此，我们提出了一种基于区域的区分性保持多标签零样本分类的新方法。该方法保持了空间分辨率以保留区域级别的特性，并利用双层注意力模块（BiAM）通过结合区域和场景上下文信息来丰富特征。增强后的区域级特征随后被映射到类别语义上，仅对其类别预测进行空间池化以获得图像级别的预测，从而保持多类特征的分离。我们的方法在两个大规模多标签零样本基准数据集NUS-WIDE和Open Images上取得了新的最先进水平。在NUS-WIDE数据集上，我们的方法相比已发表的最佳结果实现了6.9%的绝对平均精度提升（mAP）。