要約
順次入力されるタスクの最適化において、深層ニューラルネットワークは過去のタスクから得た知識を維持する能力に欠けるため、災害的忘却（catastrophic forgetting）に悩まされることが一般的である。これにより、既に学習済みのタスクの性能が著しく低下する可能性がある。この問題を緩和するため、継続的学習（continual learning）に関する研究が行われてきた。しかし、ネットワークサイズの拡大や過去のタスクに有利な知識の変化に伴い、計算コストの増加という課題も生じている。本研究では、現在のタスクを効果的に学習するために、モデル探索を用いて過去のタスクに対する有益な情報と有害な情報を区別する新たなアプローチを提案する。新たなタスクが与えられた際、提案手法は過去のタスクから潜在的な関連知識を発見し、新たなタスクの知識習得を補完的に支援する。さらに、関連タスクからの現在のタスクの損失に対する感度測度を導入することで、タスク間の協調関係を捉えつつ、有害な干渉を軽減する。本手法は、小規模から大規模に至る幅広いデータセットを用いて、タスク増加型およびクラス増加型の両方の継続的学習シナリオに適用した。実験結果から、提案手法は多数の継続的学習手法と比較して優れた性能を発揮し、災害的忘却の軽減も効果的に行っていることが確認された。