一般化ゼロショットおよびファーサンプル学習を用いたアライド変分オートエンコーダー

多くの一般化ゼロショット学習の手法は、画像特徴空間とクラス埋め込み空間の間のクロスモーダルマッピングに依存しています。ラベル付き画像が高コストであるため、一つの方針は、画像または画像特徴を生成することでデータセットを拡張することです。しかし、前者は細かい詳細を欠き、後者はクラス埋め込みに関連するマッピングを学習する必要があります。本研究では、特徴生成を一歩進め、モダリティ固有のアライメント変分オートエンコーダーによって画像特徴とクラス埋め込みの共有潜在空間を学習するモデルを提案します。これにより、潜在特徴に画像とクラスに関する必要な識別情報が残り、その上でソフトマックス分類器を訓練することができます。当手法の鍵となる点は、画像から学習した分布とサイド情報から学習した分布をアライメントさせることで、未見クラスに関連する重要なマルチモーダル情報を含む潜在特徴を構築することです。我々は提案した潜在特徴をCUB, SUN, AWA1, AWA2などのベンチマークデータセットで評価し、一般化ゼロショット学習および少量ショット学習において新たな最先端の成果を達成しました。さらに、ImageNetにおける様々なゼロショット分割での結果も示しており、提案した潜在特徴が大規模設定でも良好に一般化することを確認しています。