异构语义迁移在部分标签下的多标签识别

多标签图像识别中的部分标签问题（MLR-PL）是指每张图像中某些标签已知而其他标签未知的情况，这可能大大降低标注成本，从而促进大规模多标签图像识别的发展。我们发现，每张图像内部以及不同图像之间存在强烈的语义关联，这些关联有助于将已知标签所拥有的知识转移到未标注的标签上，从而提高MLR-PL任务的性能（见图1）。在本研究中，我们提出了一种新颖的异构语义转移（HST）框架，该框架包含两个互补的转移模块，分别探索图像内和跨图像的语义关联，以将已知标签的知识转移到生成未标注标签的伪标签。具体而言，一个图像内语义转移（IST）模块为每张图像学习一个特定于该图像的标签共现矩阵，并根据这些矩阵将已知标签映射到补充未标注的标签。此外，一个跨图像转移（CST）模块学习类别特定的特征原型相似度，然后帮助补充那些与相应原型具有高相似度的未标注标签。最后，利用已知和生成的伪标签共同训练多标签识别模型。我们在Microsoft COCO、Visual Genome和Pascal VOC 2007数据集上进行了广泛的实验，结果表明所提出的HST框架在性能上优于当前最先进的算法。特别是，在这三个数据集上相对于表现最佳的先前算法的结果，其平均精度均值（mAP）分别提高了1.4%、3.3%和0.4%。