2ヶ月前

学習された層別計量と部分空間を用いた勾配ベースのメタ学習

Yoonho Lee; Seungjin Choi
学習された層別計量と部分空間を用いた勾配ベースのメタ学習
要約

勾配ベースのメタ学習手法は、勾配降下法を利用して様々なタスク間の共通性を学習します。従来のこれらの手法はメタ学習タスクにおいて成功を収めてきましたが、メタテスト時には単純な勾配降下法に頼っていました。当研究の主要な貢献は、{\em MT-net}(MTネット)です。このネットワークにより、メタ学習者が各層の活性化空間上でサブスペースを学習し、そのサブスペース上でタスク固有の学習者が勾配降下を行うことが可能になります。さらに、{\em MT-net}(MTネット)のタスク固有の学習者は、メタ学習された距離計量に基づいて勾配降下を行い、これにより活性化空間がタスク識別に対してより敏感になるように変形されます。我々は、この学習されたサブスペースの次元数が、タスク固有の学習者の適応課題の複雑さを反映することを示しました。また、当モデルは初期学習率の選択に対して従来の勾配ベースのメタ学習手法よりも少ない感度を持つことを確認しています。当手法は少ショット分類および回帰タスクにおいて最先端またはそれに匹敵する性能を達成しています。