潜在埋め込みフィードバックと識別的特徴を用いたゼロショット分類

ゼロショット学習は、学習時にまったくデータが存在しない未観測カテゴリの分類を目的とする。一般化されたゼロショット学習（generalized zero-shot learning）では、テストサンプルが既視（seen）カテゴリまたは未観測（unseen）カテゴリのいずれかに属する可能性がある。現在の最先端手法は、クラス固有の意味的埋め込み（semantic embeddings）を活用して未観測クラスの特徴を生成する生成的対抗ネットワーク（Generative Adversarial Networks, GAN）に依拠している。これらの手法は学習段階では意味的に一貫した特徴を生成するが、特徴の生成および分類の段階ではこの制約を無視してしまう。本研究では、（一般化された）ゼロショット学習のすべての段階——学習、特徴生成、分類——において意味的一貫性を強制する新規アプローチを提案する。まず、意味的埋め込みのデコーダーからフィードバックループを導入し、学習段階および特徴生成段階の両方で生成された特徴を反復的に精緻化する。その後、デコーダーから得られた対応する潜在埋め込みと併せて、生成された特徴を識別性の高い特徴に変換し、分類時に用いることでカテゴリ間の曖昧性を低減する。物体および行動の（一般化された）ゼロショット分類における実験により、意味的一貫性と反復的フィードバックの有効性が示され、6つのゼロショット学習ベンチマークにおいて既存手法を上回る性能を達成した。ソースコードは https://github.com/akshitac8/tfvaegan で公開されている。