ラベル伝播を用いたゼロショット分類とビジョン-言語モデル

Vision-Language Models (VLMs) は、クラス名のリストのみが提供されるゼロショット分類において、印象的な性能を示しています。本論文では、ラベルなしデータが存在する場合のゼロショット分類に取り組みます。ラベルなしデータのグラフ構造を活用し、ジオデシック距離を使用した分類を行うためのラベル伝播（Label Propagation: LP）に基づく方法 ZLaP を提案します。ZLaP はテキストと画像特徴を両方含むグラフに対して LP をカスタマイズし、双対解と疎化ステップに基づく効率的な帰納的推論手法も提案しています。私たちは広範な実験を行い、14 の一般的なデータセット上で ZLaP の有効性を評価し、最新の関連研究よりも優れた性能を示すことを確認しました。コード:https://github.com/vladan-stojnic/ZLaP