17日前

DiffKendall:微分可能なケンドールの順位相関を用いた少サンプル学習のための新規アプローチ

Kaipeng Zheng, Huishuai Zhang, Weiran Huang
DiffKendall:微分可能なケンドールの順位相関を用いた少サンプル学習のための新規アプローチ
要約

少ショット学習(few-shot learning)は、ベースデータセット上で学習されたモデルを、モデルが以前に見たことのない新たなタスクに適応させることを目的としている。このような設定では、新規クラスにおける特徴量のチャンネルごとの値が相対的に均一な分布を示す傾向があり、新規タスクにおけるチャンネルの重要度を評価することが困難となる。従来の少ショット学習手法では、コサイン類似度や負のユークリッド距離といった幾何学的類似度指標を用いて、二つの特徴量間の意味的関連性を測定している。しかし、幾何学的類似度が高くなる特徴量同士であっても、意味論的に異なる場合が少なくなく、特に少ショット学習の文脈ではその傾向が顕著である。本論文では、幾何学的類似度指標よりも、特徴チャンネルの重要度順位(importance ranking)が少ショット学習においてより信頼性の高い指標であることを示す。我々は、推論段階でのみ幾何学的類似度指標をケンドールの順位相関(Kendall's rank correlation)に置き換えることで、異なるドメインを持つ多数の手法およびデータセットにおいて、少ショット学習の性能が向上することを実証した。さらに、ケンドールの順位相関の非微分性という課題に対処するため、メタ学習用に慎重に設計された微分可能な損失関数を提案する。幾何学的類似度を微分可能なケンドールの順位相関に置き換えることで、本手法は既存の多数の少ショット学習アプローチと統合可能であり、今後の幾何学的類似度指標に依存する最先端手法とも容易に統合可能である。広範な実験により、順位相関に基づくアプローチの有効性が検証され、少ショット学習における顕著な性能向上が示された。