2ヶ月前

確率的モデル非依存的メタ学習

Chelsea Finn; Kelvin Xu; Sergey Levine
確率的モデル非依存的メタ学習
要約

少ショット学習のためのメタ学習は、過去のタスクや経験から事前知識を獲得し、新しいタスクを少量のデータから学習することを目指します。しかし、少ショット学習における重要な課題はタスクの曖昧性です:強力な事前知識が多数の過去のタスクからメタ学習できても、新しいタスクに対する小さなデータセットは単一のモデル(例:分類器)を正確に獲得するのにあまりにも曖昧すぎる場合があります。本論文では、新しいタスクに対してモデル分布からサンプリングできる確率的なメタ学習アルゴリズムを提案します。当手法は、勾配降下法を通じて新しいタスクに適応するモデル非依存型メタ学習を拡張し、変分下限を用いて訓練されるパラメータ分布を取り入れます。メタテスト時には、ノイズを勾配降下法に注入する簡単な手順により適応が行われ、メタトレーニング時にはこの確率的な適応手順が近似モデル事後分布からのサンプルを生成するようにモデルが訓練されます。実験結果は、当方法が曖昧な少ショット学習問題において妥当な分類器と回帰器をサンプリングできることを示しています。また、曖昧性に関する推論がダウンストリームの能動的学習問題にも利用可能であることを示しています。

確率的モデル非依存的メタ学習 | 最新論文 | HyperAI超神経