ワンショットメタラーニングにおけるマルチタスク重み最適化のための同時摂動法

メタラーニング手法は、データが少ない状況下でも新しいタスクに迅速に適応できる学習アルゴリズムの構築を目指している。このような手法の最も困難なベンチマークの一つが、ワンショット学習問題である。この設定では、多くのアルゴリズムが訓練サンプル数の限界に起因する不確実性に直面し、過学習が生じる可能性がある。この問題は、モデルに追加情報を与えることで解決できる。その最も効果的な手法の一つとして、マルチタスク学習が挙げられる。本論文では、標準的なメタラーニングパイプラインの改良に着目する。提案手法は、共通の損失関数内で複数のメタトレーニングタスクからの情報を同時に活用する。これらのタスクが損失関数に与える影響は、各タスクごとの重みによって制御される。重みの適切な最適化は、トレーニングプロセスおよび最終的なモデル品質に大きな影響を与える。本研究では、同時摂動確率近似（Simultaneous Perturbation Stochastic Approximation: SPSA）の手法群を用いたメタトレーニングタスク重みの最適化を提案・検証する。また、勾配ベースの手法と比較して、確率的近似法の優位性を示す。提案するマルチタスク修正法は、ほぼすべてのメタラーニング手法に適用可能である。本研究では、Model-Agnostic Meta-Learning（MAML）およびプロトタイプネットワーク（Prototypical Network）アルゴリズムに対して、CIFAR-FS、FC100、miniImageNet、tieredImageNetにおけるワンショット学習ベンチマーク上での応用を検討した。実験の結果、マルチタスク修正法は元の手法に対して性能向上を示した。本論文で初めてマルチタスク重み最適化に適応されたSPSAトラッキング（SPSA-Tracking）アルゴリズムは、最も顕著な精度向上を達成し、最先端のメタラーニング手法と競合する性能を示した。本研究のコードはオンラインで公開されている。