生成式多标签零样本学习

多标签零样本学习旨在将图像分类到多个未见类别中，这些类别在训练过程中没有可用的数据。在广义变体中，测试样本还可能包含已见类别。现有的方法依赖于从已见类中学习共享或特定标签的注意力机制。然而，在多标签设置下，为未见类生成可靠的注意力图仍然是一个挑战。相比之下，最先进的单标签生成对抗网络（GAN）方法直接从相应的类别属性嵌入中学习合成特定类别的视觉特征。然而，在零样本设置下，从GAN合成多标签特征的研究尚未开展。在这项工作中，我们引入了不同层次的融合方法，包括属性级、特征级和跨层次（跨越属性级和特征级）的方法，以从对应的多标签类别嵌入中合成多标签特征。据我们所知，我们的工作是首次解决在（广义）零样本设置下的多标签特征合成问题。我们在三个零样本图像分类基准数据集上进行了全面实验：NUS-WIDE、Open Images 和 MS COCO。我们的基于跨层次融合的生成方法在这三个数据集上均优于现有最先进方法。此外，我们展示了我们的融合方法在MS COCO上的零样本检测任务中的泛化能力，取得了优于现有方法的表现。源代码可在 https://github.com/akshitac8/Generative_MLZSL 获取。