メモリ化を伴わないメタラーニング

少量のデータで新しい概念を学習できる能力は、知能の重要な側面であり、ディープラーニング手法にとってこれまで困難な課題であった。メタラーニングは、過去のタスクから得たデータを活用して、新しいタスクに対する効率的な学習を可能にする有望な手法として登場している。しかし、多数のメタラーニングアルゴリズムは、メタトレーニングタスクが互いに排他的であることを暗黙のうちに要求している。すなわち、一つのモデルが同時にすべてのタスクを解くことはできないという制約である。たとえば、少サンプル画像分類のタスクを構築する際、従来の手法では各タスクごとに画像クラスをNウェイ分類ラベルにランダムに割り当てる。この手順が行われない場合、メタラーナーはタスクのトレーニングデータを無視し、ゼロショットですべてのメタトレーニングタスクを処理できる単一のモデルを学習してしまうが、新しい画像クラスに対しては適応が不十分になる。この要件は、ユーザーがタスク設計に細心の注意を払わなければならないことを意味する。たとえば、ラベルのシャッフルや入力からタスク固有の情報を削除するなどの対策が必要となる。一部の分野では、この制約によりメタラーニングがまったく適用不可能になってしまう。本論文では、情報理論に基づくメタ正則化目的関数を設計することで、この課題に取り組む。この手法はデータ駆動型の適応を優先させ、メタラーナーがどの情報をタスクのトレーニングデータから学ぶべきか、またどの情報をテスト入力から推論すべきかを自ら決定するようにする。このアプローチにより、互いに排他的でないタスクのデータを用いても、新しいタスクへの効率的な適応が可能となる。本手法は、コンテキストベースおよび勾配ベースの両方のメタラーニングアルゴリズムに適用可能であり、従来のメタラーニングが困難とされてきた実用的環境でも有効に活用できる。実験により、これらの設定において、本手法が従来のメタラーニングアルゴリズムを著しく上回ることを示した。