コンテキスト付きスイーズ・アンド・エクサイトによる効率的なFew-Shot画像分類

近年、低データ環境下でのタスク間で効果的な知識転移を必要とするユーザー中心の応用が増加している。代表的な例として、特定のユーザーに特化したラベル付きデータの少量で学習することで事前学習済みシステムをカスタマイズするパーソナライゼーションがある。このような設定では、計算コストが低く抑えられた状態で高い精度を維持することが求められるため、精度と適応コストのパレート最適境界が極めて重要となる。本論文では、少量の画像分類タスク設定において、パレート最適境界を前進させるという重要な貢献を行う。その中心となるのは、新しい適応ブロック「コンテキスト・スイーズ・アンド・エキサイトーション（CaSE）」の提案である。CaSEは、ユーザーのデータ（コンテキスト）を単一の順伝播で処理するだけで、事前学習済みニューラルネットワークを新たなタスクに著しく効果的に適応可能にする。本研究では、メタ学習で訓練されたCaSEブロックを用いてネットワーク本体を条件付きで適応し、線形ヘッドの適応には微調整（fine-tuning）手法を採用することで、UpperCaSEという手法を定義した。UpperCaSEは、VTAB+MDの26データセットおよび、現実世界のパーソナライゼーションに向けた困難なベンチマーク（ORBIT）において、メタ学習手法と比較して新たな最先端の精度を達成した。さらに、微調整手法に近づく精度を実現しつつ、適応コストを桁違いに低減するという利点を有している。