要約
限られた量のデータから学習する、いわゆる Few-Shot Learning は、挑戦的なコンピュータビジョンのタスクとして注目されています。いくつかの研究では、セマンティクスを活用し、複雑なセマンティック融合メカニズムを設計することで、制約のあるデータ内の希少な代表的な特徴を補完しています。しかし、クラス名などの単純なセマンティクスに依存すると、その簡潔さによりバイアスが生じます。また、外部知識から広範なセマンティクスを取得することは非常に時間と労力を要します。この制約は、Few-Shot Learning におけるセマンティクスの潜在能力を大幅に制限しています。本論文では、高品質なセマンティクスを生成する自動的な方法である Semantic Evolution を設計しました。高品質なセマンティクスの導入により、以前の研究で使用されていた複雑なネットワーク構造や学習アルゴリズムへの依存が軽減されます。したがって、我々はシンプルな2層ネットワークである Semantic Alignment Network を用いて、セマンティクスと視覚特徴を豊富な識別特徴を持つ堅牢なクラスプロトタイプに変換することにより、few-shot 分類を行います。実験結果は、我々のフレームワークが6つのベンチマークにおいてすべての既存手法を上回ることを示しており、シンプルなネットワークと高品質なセマンティクスが複雑な多モーダルモジュールよりも優れた性能を発揮できることを証明しています。コードは https://github.com/zhangdoudou123/SemFew で公開されています。