2ヶ月前

MAMLのトレーニング方法

Antreas Antoniou; Harrison Edwards; Amos Storkey
MAMLのトレーニング方法
要約

少ショット学習の分野は最近、著しい進展を見ています。これらの進展の多くは、少ショット学習をメタ学習問題として捉えることで達成されました。モデル非依存メタ学習(Model Agnostic Meta Learning: MAML)は、現在、メタ学習を通じた少ショット学習において最も優れたアプローチの一つです。MAMLは単純で洗練されており、非常に強力ですが、神経ネットワークのアーキテクチャに対して非常に敏感である、訓練中に不安定性が生じやすい、訓練の安定化と高い汎化性能を達成するために困難なハイパーパラメータ探索が必要である、そして訓練時および推論時に非常に計算コストが高いといった様々な課題があります。本論文では、これらの課題を解決し、システムの安定性を向上させるとともに、MAMLの汎化性能、収束速度、計算負荷を大幅に改善するための様々な改良案を提案します。この改良版MAMLをMAML++と呼びます。