
要約
「一張の画像は千の言葉に匹敵する」という言葉は、単なる分類をはるかに超える意味を持つ。しかし、その画像の多くの領域(パッチ)は、独立して観察された場合、分類とはまったく無関係な意味を持つ可能性がある。このような状況は、データ量が限られている一方で、画像パッチ間の比較に強く依存する多数の少サンプル学習(few-shot learning)アルゴリズムの効率を著しく低下させる要因となる。この問題に対処するため、本研究では「クラス認識型パッチ埋め込み適応(Class-aware Patch Embedding Adaptation, CPEA)」という手法を提案する。CPEAの核心的なアイデアは、パッチ埋め込みにクラス認識情報を統合することで、各パッチ埋め込みがクラスに適合する性質を持つようにすることである。さらに、異なる画像間におけるクラス関連パッチ埋め込みの間で、高密度のスコア行列を定義し、ペアとなる画像間の類似度を定量的に評価する。可視化結果から、CPEAはクラスごとにパッチ埋め込みを集中させる効果があることが示された。4つのベンチマークデータセット(miniImageNet、tieredImageNet、CIFAR-FS、FC-100)における広範な実験結果から、本手法は既存の最先端手法を顕著に上回ることが確認された。ソースコードは以下のURLから公開されている:https://github.com/FushengHao/CPEA。