トランスダクティブ少サンプル学習の現実的な評価

トランスダクティブ推論は、少サンプル学習（few-shot learning）において広く用いられており、少サンプルタスクにおけるラベルなしクエリ集合の統計情報を活用するため、インダクティブな手法に比べて著しく優れた性能を示すことが一般的である。現在の少サンプルベンチマークでは、推論時に完全にクラスバランスの取れたタスクが用いられている。しかしこれは人工的な規則性であり、現実的ではないと主張する。なぜなら、この仮定はテストサンプルの周辺ラベル確率が既知であり、均一分布に固定されていると仮定しているからである。実際の状況では、ラベルなしクエリ集合の周辺ラベル分布は任意かつ未知である。本研究では、少サンプルタスクにおけるクエリ集合内のクラス分布に任意性を導入し、クラスバランスの人工的特徴を排除することを目的として、その影響を検討する。具体的には、クラスの周辺確率を単体（simplex）上に原理的かつ現実的なサンプリングを可能にするディリクレ分布（Dirichlet distribution）としてモデル化する。これにより、既存の少サンプルベンチマークを活用しつつ、任意のクラス分布を持つテストタスクを構築できる。我々は、3つの広く用いられているデータセットにおいて、最先端のトランスダクティブ手法を実験的に評価した結果、驚くべきことに、性能の著しい低下が確認され、場合によってはインダクティブ手法を下回る結果も得られた。さらに、α-ダイバージェンスに基づく相互情報量損失の一般化を提案する。この損失関数は、クラス分布の変動に対しても効果的に対応可能である。実験的に、我々が提案するトランスダクティブなα-ダイバージェンス最適化が、複数のデータセット、モデル、および少サンプル設定において、最先端手法を上回る性能を達成することを示した。本研究のコードは、https://github.com/oveilleux/Realistic_Transductive_Few_Shot にて公開されている。