为零样本目标检测合成未见对象

现有的零样本检测方法将视觉特征映射到语义域，以识别已知对象，并希望在推理过程中将未知对象映射到相应的语义上。然而，由于未知对象在训练过程中从未被可视化，检测模型倾向于偏向已知内容，从而将未知对象标记为背景或某个已知类别。在这项工作中，我们提出为未知类别合成视觉特征，从而使模型在视觉域中同时学习已知和未知对象。因此，主要挑战在于如何仅使用类别的语义信息准确地合成未知对象？为了实现这一雄心勃勃的目标，我们提出了一种新颖的生成模型，该模型不仅利用类别语义生成特征，还能区分性地分离这些特征。此外，通过统一的模型框架，我们确保合成的特征具有高多样性，能够反映类内差异以及检测边界框中的不同定位精度。我们在三个目标检测基准数据集（PASCAL VOC、MSCOCO 和 ILSVRC 检测）上测试了我们的方法，在传统和广义设置下均显示出比现有最先进方法显著的性能提升。我们的代码可在 https://github.com/nasir6/zero_shot_detection 获取。