生成多标签零样本学习

マルチラベルゼロショット学習は、訓練中にデータが利用できない複数の未見カテゴリに画像を分類することを目指しています。汎化変種では、テストサンプルに既知のカテゴリも含まれることがあります。既存のアプローチは、既知クラスから共有またはラベル固有の注意を学習することに依存しています。しかし、マルチラベル設定において推論時に未見クラスに対する信頼性のある注意マップを計算することは依然として課題となっています。一方で、最先端のシングルラベル生成対抗ネットワーク（GAN）ベースのアプローチは、対応するクラス属性埋め込みから直接クラス固有の視覚特徴を合成することを学習します。しかし、ゼロショット設定におけるGANからのマルチラベル特徴の合成はまだ研究されていません。本研究では、属性レベル、特徴レベルおよびクロスレベル（属性と特徴レベル間）での異なる融合手法を導入し、対応するマルチラベルクラス埋め込みからマルチラベル特徴を合成します。当該研究が知る限り、本研究は（汎化された）ゼロショット設定におけるマルチラベル特徴合成問題に取り組んだ最初のものとなります。包括的な実験はNUS-WIDE、Open ImagesおよびMS COCOという3つのゼロショット画像分類ベンチマークで行われました。我々のクロスレベル融合に基づく生成手法は、これら3つのデータセット全てで最先端の性能を上回りました。さらに、MS COCOでのゼロショット検出タスクにおいても、我々の融合手法の汎化能力が示され、既存方法に対して優れた性能を達成しました。ソースコードはhttps://github.com/akshitac8/Generative_MLZSL で公開されています。