要約
深層ニューラルネットワークが偏った訓練データに対して過学習しやすいことが示されており、この問題に対処するため、メタラーニングはメタモデルを用いて訓練バイアスを補正するアプローチを採用している。これまでは有望な性能が報告されているものの、メタラーニング手法における極めて遅い学習速度が現在の主要な課題となっている。本論文では、メタ勾配計算における最もコストの高いステップを、より高速なレイヤー単位の近似で置き換える新たな「高速メタ更新戦略（Faster Meta Update Strategy: FaMUS）」を提案する。実験的に、FaMUSがメタ勾配の精度が十分に高く、かつ分散が小さい近似を達成できることを確認した。2つのタスクにおいて広範な実験を実施した結果、本手法は訓練時間を約2/3削減しつつも、同等またはより優れた汎化性能を維持できることを示した。特に、合成データおよび現実的なノイズ付きラベルの両方において、最先端の性能を達成し、標準ベンチマークにおける長尾認識タスクにおいても有望な結果を得た。