要約
一般化ゼロショット学習における多くのアプローチは、画像特徴空間とクラス埋め込み空間との間のクロスモーダルマッピングに依存している。ラベル付き画像は高コストであるため、画像または画像特徴の生成によってデータセットを拡張するアプローチが検討されている。しかし、画像の生成は細部の情報を失いやすく、特徴の生成はクラス埋め込みに関連するマッピングの学習を必要とする。本研究では、特徴生成のアプローチをさらに一歩進め、モダリティ固有のアライメント付き変分自己符号化器（variational autoencoders）を用いて、画像特徴とクラス埋め込みの共有潜在空間を学習するモデルを提案する。これにより、潜在特徴には画像およびクラスに関する必要な判別情報が保持され、その上でソフトマックス分類器を訓練できる。本手法の鍵となるのは、画像から学習された分布と補助情報（side-information）から学習された分布をアライメントさせることで、未観測クラスに関連する本質的なマルチモーダル情報を含む潜在特徴を構築する点である。我々は提案手法による学習された潜在特徴を、CUB、SUN、AWA1、AWA2といった複数のベンチマークデータセット上で評価し、一般化ゼロショット学習および少サンプル学習（few-shot learning）において、新たな最先端（state-of-the-art）性能を達成した。さらに、さまざまなゼロショット分割を用いたImageNet上での実験結果から、提案する潜在特徴が大規模な設定においても良好な汎化性能を示すことが明らかになった。