要約
本稿では、既存の概念を用いて新しい属性-対象の組み合わせを認識するという、構成的ゼロショット学習（Compositional Zero-Shot Learning: CZSL）の問題に取り組む。近年の研究では、CLIPなど強力な一般化能力を有する大規模な視覚言語事前学習（Vision-Language Pre-trained: VLP）モデルの活用が注目されている。しかし、これらの手法は事前学習モデルをブラックボックスとして扱い、CLIPの前後処理に注力する一方で、CLIP内部の層間における意味的コンセプトを内因的に掘り下げることにはあまり寄与していない。そこで本研究では、CLIPのアーキテクチャに深く立ち入るアプローチを提案し、大規模言語モデルにおいて効果が実証されたパラメータ効率的な手法であるアダプターを、CLIPの各エンコーダ層に挿入する。さらに、アダプターにコンセプト意識を付与することで、「対象」「属性」「構成」といったコンセプト固有の特徴を抽出可能とする。本手法は、MIT-States、C-GQA、UT-Zappos、VAW-CZSLの4つの代表的なCZSLデータセット上で評価され、既存手法と比較してすべてのデータセットで最先端の性能を達成した。