2ヶ月前

微分可能な凸最適化を用いたメタ学習

Kwonjoon Lee; Subhransu Maji; Avinash Ravichandran; Stefano Soatto
微分可能な凸最適化を用いたメタ学習
要約

多くの少ショット学習のためのメタ学習手法は、最近傍近接分類器などの単純な基本学習者に依存しています。しかし、少ショット領域においても、判別的に訓練された線形予測器がより良い汎化性能を提供することがあります。本研究では、これらの予測器を基本学習者として使用し、少ショット学習のための表現を学習することを提案します。実験結果から、これらが特徴量サイズと性能の間でより良いトレードオフを提供することが示されています。我々の目的は、新しいカテゴリに対して線形分類則のもとで良好な汎化性能を持つ特徴埋め込みを学習することです。この目的を効率的に解決するために、線形分類器の2つの特性を利用します:凸問題の最適性条件の暗黙的な微分と最適化問題の双対形式。これにより、計算コストが僅かに増加するだけで高次元の埋め込みを使用して汎化性能を向上させることができます。我々が提案する手法であるMetaOptNetは、miniImageNet、tieredImageNet、CIFAR-FS、およびFC100という少ショット認識ベンチマークで最先端の性能を達成しました。当該コードはhttps://github.com/kjunelee/MetaOptNet で公開されています。